Коли ШІ почав “їсти” світ, його навчили “їсти” менше: знайомтесь із “мозком”, що думає як ми
Привіт, друзі! Інколи, спостерігаючи за складними та футуристичними речами, як-от штучний інтелект, дивуєшся, наскільки він схожий на нас. Нещодавно, мій знайомий програміст, з великим досвідом роботи, зазначив: “Ми створюємо машини, що переважають нас у багатьох аспектах, але забуваємо про найефективніший винахід – наш мозок”. І це спостереження змусило мене замислитись.
Уявіть: Китай розробив новий штучний інтелект, названий “розумник 2.0”, який не лише конкурує з наявними моделями ШІ, а й значно випереджає їх у швидкості. І це на тлі того, що більшість із нас, згадуючи ШІ, думає лише про чат-боти, на кшталт ChatGPT. Проте чи замислювались ви, скільки енергії споживають ці “розумні” помічники? Деякі експерти називають їх “енергетичними вампірами”, й цифри справді вражають.
Не хочу лякати, але згідно з нещодавнім дослідженням MIT Technology Review, лише сервери ШІ в США минулого року витратили від 53 до 76 терават-годин електроенергії. Це обсяг, якого вистачить для живлення понад 7 мільйонів американських домогосподарств упродовж року! І це лише одна країна, а світ набагато ширший, і ШІ працює скрізь.
Ще цікавіше: коли ви ставите ChatGPT звичайне запитання, ви витрачаєте стільки ж енергії, скільки й від лампочки, що горить годину. А коли генеруєте зображення – це наче ввімкнути мікрохвильову піч на 15 хвилин. Помножте це на мільярди запитів щодня у всьому світі… Як бачимо, масштаби колосальні.
У цій ситуації з’являється історія, заради якої ми тут зібралися. Що, якби я сказав, що дослідники знайшли спосіб створити ШІ, який у тисячі разів ефективніший, просто копіюючи принципи роботи нашого мозку? Зустрічайте “Spiking Brain” – “мозок, що пульсує”. І повірте, це не просто покращення – це справжній прорив!
Старі комп’ютери – як космічні ракети, а новий ШІ – як смартфон: всупереч логіці
Уявімо: сучасні ШІ-моделі нагадують старі комп’ютери з 90-х. Пам’ятаєте, як вони грілися та гуділи, ніби літак перед зльотом? Так от, “Spiking Brain” – це ніби той самий комп’ютер, але перетворений на тонкий смартфон, котрий майже не витрачає батарею, але здатен набагато більше.
Секрет “Spiking Brain” полягає в тому, що він функціонує за принципом роботи нашого справжнього мозку, а не як звичайний комп’ютер. Звичайний ШІ обробляє інформацію, постійно виконуючи математичні операції. Навіть з тими даними, які не мають цінності. Це як у вас є калькулятор, котрий наполегливо рахує, чому 0 помножити на 0 дорівнює 0, при кожній операції. Чи не марнотратно? Ще й як!
Наш мозок набагато хитріший. Нейрони в ньому “вистрілюють”, тобто передають сигнали, лише коли відбувається щось важливе. Якщо нічого суттєвого не відбувається, вони спокійно “дрімають”. Це називається “подієво-орієнтована обробка”, і це неймовірно ефективно. Мозок людини працює приблизно на 20 Ватах. Це менше, ніж споживає лампочка! І при цьому він здатний на те, про що сучасні ШІ можуть лише мріяти.
Дослідники “Spiking Brain” створили ШІ, який імітує цю “мозкову” поведінку. Замість постійного “пережовування” цифр, він активується лише тоді, коли є щось суттєве для обробки. Його назвали “Spiking” (пульсуючий) саме тому, що штучні нейрони “вистрілюють” або активуються лише за потреби, як і справжні.
Але найцікавіше починається з того, що команда не просто зробила ШІ схожим на мозок, а повністю переосмислила його архітектуру. Традиційно ШІ використовує так звану “квадратичну увагу” – чим більше тексту ви даєте, тим складніше йому працювати, причому складність зростає експоненціально. Це як вести розмову, де кожне нове слово робить її вдвічі складнішою. “Spiking Brain” використовує “лінійну увагу”. Це означає, що незалежно від довжини вхідних даних – чи то твіт, чи цілий роман – складність обробки зростає лише пропорційно.
Вони поєднали це з технікою “змішані експерти” – це як мати команду спеціалістів, де для кожного завдання працюють лише ті, що знаються на ньому, а решта відпочивають. І результати… просто неймовірні! Вони створили дві версії: “Spiking Brain 7B” та “Spiking Brain 76B”. Модель з 7 мільярдами параметрів показала прискорення більш ніж у 100 разів при обробці великих текстів порівняно з традиційними моделями. Найбільше вражає те, що їхній “пульсуючий” механізм досяг 69% “розрідженості”. Це означає, що 69% обчислень були непотрібними і їх можна було пропустити! Уявіть: якби батарея вашого телефону тримала заряд на 69% довше, або ваш ноутбук працював у 100 разів швидше з великими документами. Саме такі зміни пропонуються.
Abacus AI: коли цифри оживають
Щоб ви не думали, що це все лише теорія, є компанія Abacus AI, яка вже демонструє, як ці ідеї реалізуються на практиці. Їхнє програмне забезпечення “Deep Agent” – це щось неймовірне. Вони використовують різноманітні сценарії використання та систему з багатьма агентами, яка може допомогти… здається, у мільярді справ!
Наприклад, вони можуть допомогти користувачам створювати короткі відео за одним запитом. Тобто, ви бачите відео з Ейнштейном, котрий щось пояснює, і все це створено лише за допомогою одного запиту! ШІ зробив усе самостійно. Або, скажімо, ви можете створювати власні ШІ-додатки для повсякденного життя. Один користувач створив додаток з аутентифікацією, де можна обрати будь-якого історичного персонажа і вести з ним розмову на основі реального історичного контексту, використовуючи можливості великих мовних моделей (LLM).
А для тих, хто захоплюється аналізом даних, “Deep Agent” – це справжній скарб. Він може працювати з PDF-файлами, витягувати фінансові показники, як-от EBITDA, маржу прибутку, коефіцієнт заборгованості, та створювати інтерактивні дашборди. Якщо вам цікаво спробувати, загляньте за посиланням [в описі]. Дякуємо Abacus AI за підтримку цього відео!
Китайський “відповідник” змінює правила гри: не Nvidia єдиною
Тут варто відзначити цікавий момент. Дослідники “Spiking Brain” не тренували свою модель на графічних процесорах (GPU) від Nvidia, як це робить майже весь світ ШІ. Вони використовували “Meta X hardware” – по суті, китайський аналог Nvidia. І це надзвичайно важливо! Це доводить, що ефективний розвиток ШІ не обов’язково залежить від монополії однієї компанії. Їм вдалося навчити свою 76-мільярдну модель на сотнях таких GPU за тижні без збоїв чи проблем зі стабільністю. А модель 7B показала 23.4% використання “модельних операцій” (model flops utilization) – простими словами, дуже високу ефективність. І все це, витративши близько 2% від даних, які зазвичай використовують традиційні моделі.
Нейроморфні обчислення: майбутнє ШІ – в імітації біології
“Spiking Brain” – це не просто дослідницький проєкт. Це частина масштабної тенденції, яку вчені називають “нейроморфними обчисленнями”. Основна ідея полягає в тому, що майбутнє ШІ – в імітації біології, а не в безглуздому нарощуванні обчислювальних потужностей.
Тільки цього року ми побачили значні досягнення в цій сфері від університетів по всьому світу. Корнелльський технічний університет у співпраці з Brainchip запустив курси з нейроморфних обчислень. Університет Пердью отримав 32 мільйони доларів на розробку систем комп’ютингу, натхненних роботою мозку. Навіть такі гіганти, як Intel та IBM, інвестують ресурси в розробку нейроморфних чіпів, які працюють як біологічні мозки.
Intel, приміром, досліджує гіперефективне рішення, натхненне мозком, – нейроморфні обчислення. Мозок споживає мінімум енергії, але вирішує складні завдання, навчаючись у реальному часі. На відміну від сучасних ШІ, мозок базується на розріджених та адаптивних мережах нейронів, обчислюючи лише тоді та там, де це потрібно. Це забезпечує кращу ефективність та швидший відгук. Ці мережі, натхненні мозком, вже реалізовані в новітньому дослідницькому нейроморфному чіпі Intel – Loihi 2. У лабораторіях по всьому світу Loihi 2 демонструє значне збільшення продуктивності та енергоефективності порівняно з традиційними процесорами.
Від метану до атомних реакторів: енергетична криза ШІ
Як зазначив один дослідник Google: “Поточний підхід до ШІ просто не є стійким. Ми говоримо про непомірні витрати енергії та води, а також використання землі”. Міжнародне енергетичне агентство прогнозує, що попит на електроенергію для дата-центрів може подвоїтися за найближчі роки. Ми вже спостерігаємо, що дата-центри споживають близько 1.5% світової електроенергії.
Тим часом компанії вдаються до відчайдушних заходів, щоб “нагодувати” свої ШІ. Тренувальний центр ШІ Ілона Маска в Мемфісі помітили у використанні десятків метанових генераторів, що, можливо, порушує Закон про чисте повітря, просто для доповнення енергомережі. Microsoft навіть розглядає можливість повернення до використання ядерних реакторів для живлення своїх ШІ-дата-центрів.
Ось чому комп’ютерні системи, натхненні мозком, як “Spiking Brain”, стають не просто цікавими, а критично важливими. Природа витратила мільярди років на оптимізацію мозку для ефективності, і ми нарешті стаємо достатньо розумними, щоб скопіювати ці рішення, замість “тупо” боротися з проблемами силою.
Ефективність без компромісів: факти говорять краще за слова
Дослідження “Spiking Brain” також демонструє важливу ідею: вам не потрібно жертвувати продуктивністю заради ефективності. Їхні моделі показують порівнянну продуктивність з набагато великими традиційними моделями, витрачаючи при цьому незначну частку енергії та даних. 7-мільярдна модель відновила майже 90% продуктивності базової моделі за різними бенчмарками, досягнувши рівня, аналогічного з іншими передовими моделями.
Вони навіть протестували “Spiking Brain” на мобільних процесорах, розгорнувши стиснену 1B-модель на процесорах мобільних пристроїв. Результат вражаючий: ШІ значно прискорився. Це означає, що ваш смартфон потенційно зможе запускати складні ШІ, які наразі вимагають величезних дата-центрів.
Майбутнє у вашій кишені: ШІ-асистенти, що “не гріються”
Що це означає для звичайного користувача? Користуючись зараз ШІ, ви, по суті, орендуєте час на величезних енерговитратних комп’ютерах у дата-центрах. З такими технологіями, як “Spiking Brain”, ми можемо опинитися в майбутньому, де ваші пристрої запускатимуть складний ШІ локально, без постійного підключення до інтернету та без шкоди для планети.
Уявіть собі розмову з ШІ-асистентом, котрий розумний як GPT-4, але працює повністю на вашому телефоні, майже не витрачаючи батарею. Або ШІ-додатки, які обробляють сотні годин відео чи тисячі документів, а ваш ноутбук при цьому навіть не нагрівається. Ось до чого веде комп’ютинг, натхненний роботою мозку.
Вікно у думки ШІ: прозорість – запорука безпеки
Крім того, дослідники “Spiking Brain” продемонстрували візуалізацію “спліків” (spike visualization), що дозволяє бачити, коли і як саме “вистрілюють” їхні штучні нейрони. Це ніби вікно у мисленнєвий процес ШІ в реальному часі. Ця прозорість може бути надзвичайно важливою для безпеки та розуміння ШІ, особливо коли ці системи стають потужнішими.
Залізо майбутнього: чіпи, що працюють як мозок
Привабливий аспект “заліза” полягає в наступному. “Пульсуючий” механізм, який вони розробили, може працювати зі спеціалізованими нейроморфними чіпами, створеними для надзвичайної енергоефективності. Компанії, як-от Brainchip, Intel (їхні чіпи Loihi) та IBM (їхні процесори TrueNorth), вже створюють обладнання, розроблене спеціально для “пульсуючих” нейронних мереж. Ці чіпи функціонують фундаментально інакше, ніж звичайні процесори. Вони використовують енергію лише тоді, коли штучні нейрони потребують комунікації, як і справжні мозки. Експериментальні впровадження вже демонструють економію енергії до 89% при збереженні понад 95% обчислювальної точності.
Від лабораторії до реальності: нейроморфний бум
Найцікавіше, що ця технологія блискавично переходить з дослідницьких лабораторій у реальні застосування. Ми вже спостерігаємо, як нейроморфні обчислення використовуються в автономних дронах, що літають за допомогою обробки зображень, натхненної роботою мозку, або в “розумних” сенсорах, які можуть працювати рік від однієї батареї.
Це ідеальний час, оскільки ми стикаємося з тим, що дослідники називають “стіною традиційних покращень комп’ютингу”. Закон Мура – ідея про те, що комп’ютерні чіпи стають удвічі швидшими кожні 2 роки – фактично не працює. Ми більше не можемо просто зменшувати транзистори й очікувати магічного покращення продуктивності. Натомість біологія пропонує інший шлях.
Палець у океані нейронів: паралелі з нашим мозком
Наш мозок має близько 86 мільярдів нейронів, кожен з яких з’єднаний тисячами інших, створюючи мережу, яка є неймовірно паралельною та ефективною. Сучасний ШІ намагається імітувати це на традиційних комп’ютерах, але це нагадує спробу симулювати океан, обчислюючи позицію кожної молекули води окремо.
Нейроморфні обчислення, такі як “Spiking Brain”, йдуть іншим шляхом. Замість симуляції поведінки, вони безпосередньо впроваджують принципи, натхненні роботою мозку, в апаратне та програмне забезпечення. Результат – системи, котрі не лише ефективніші, але й здатні навчатися та адаптуватися в реальному часі.
Petabytes of power: про ефективність, як у людському мозку
Людський мозок виконує близько 20 петафлопс на ват енергії. Величезна ефективність! Сучасні ШІ-системи навіть близько до цього не наближаються. Але з такими досягненнями, як “Spiking Brain”, ми починаємо бачити шлях до ефективності на рівні мозку в штучних системах.
Контекст має значення: Чому ШІ вчиться забувати
Дослідники також вирішили ще одну проблему ШІ – обмеження довжини контексту. Більшість сучасних ШІ-моделей можуть “запам’ятовувати” лише кілька тисяч слів. Якщо ви ведете тривалу розмову або працюєте з великим документом, вони, по суті, забувають початок, коли доходять до кінця.
“Лінійний механізм уваги” “Spiking Brain” дає змогу обробляти набагато довші контексти без цієї проблеми. Вони успішно протестували його на послідовностях до 4 мільйонів токенів. Це приблизно еквівалент восьми повних романів! Завдяки лінійному масштабуванню, час обробки та використання пам’яті збільшується лінійно, а не експоненціально, як у традиційних моделях.
Це може змінити нашу взаємодію з ШІ. Замість того, щоб ділити довгі документи чи розмови на частини, ви зможете подати ШІ цілу книгу і мати змогу обговорювати її. Або уявіть ШІ, який пам’ятає кожну вашу розмову, що дозволяє більш персоналізовану та контекстну взаємодію.
Green AI: як ШІ може стати союзником у боротьбі зі зміною клімату
Енергетичні наслідки цього просто приголомшливі. Якщо підхід “Spiking Brain” стане стандартом для розробки ШІ, ми потенційно зможемо зменшити енергоспоживання ШІ на порядки. Замість сприяння зміні клімату, ШІ може стати інструментом для боротьби з ним.
Говорячи про боротьбу зі зміною клімату, є ще один аспект. Більш ефективний ШІ означає не лише нижчі рахунки за електроенергію. Це означає, що ми можемо розгортати ШІ там, де енергія обмежена або дорога. Це може демократизувати доступ до передових ШІ-технологій для країн, що розвиваються, або віддалених регіонів.
Quantization: коли точності не обов’язково бути 100%
Команда “Spiking Brain” також продемонструвала, що їхній підхід працює з “квантизацією” – використанням чисел меншої точності для представлення інформації. Вони показали, що поєднання їхнього “пульсуючого” механізму з 8-бітовим цілочисельним квантуванням призвело до незначної втрати продуктивності, але значно зменшило енергоспоживання. У деяких тестах вони досягли підвищення енергоефективності до 43 разів порівняно з традиційними операціями з плаваючою комою.
Open Source: ключ до швидшого прогресу
Найважливіше в цьому дослідженні – воно відкрите. Дослідники опублікували код і моделі публічно, що дає змогу іншим дослідникам та компаніям спиратися на їхню роботу. Так прискорюється науковий прогрес: коли проривні відкриття поширюються, а не приховуються.
Ми вже бачимо подальші дослідження, що базуються на інноваціях “Spiking Brain”. Команди з усього світу досліджують, як поєднати “пульсуючі” нейронні мережі з іншими техніками ефективності, як оптимізувати їх для різних типів обладнання та як масштабувати їх до ще більших моделей.
The Brain Computer Race: коли нейронаука зустрічається з ШІ
Сфера нейроморфних обчислень зараз просто “вибухає”. За останній рік ми спостерігаємо значні оголошення про фінансування. На ринок виходять нові нейроморфні чіпи, а університети починають пропонувати спеціалізовані курси з обчислень, натхненних роботою мозку.
Особливо захоплює конвергенція між дослідженнями нейронауки та розробкою ШІ. Створюючи кращі ШІ-системи, натхненні мозком, ми також глибше розуміємо, як працюють біологічні мозки. Це замкнутий цикл, де кожне поле рухає інше вперед.
Beyond Efficiency: адаптивність та стійкість ШІ
Наслідки виходять далеко за межі простого підвищення ефективності ШІ. Натхненні ШІ-обчислення можуть призвести до ШІ-систем, які є більш адаптивними, більш здатними до навчання на обмежених даних. Сучасні ШІ-системи досить “крихкі” – вони реагують на найменші зміни, які людина б ніколи не помітила.
А системи, натхненні роботою мозку, зазвичай набагато стійкіші до такого роду “ворожих” вхідних даних. Також існує потенціал для ШІ-систем, які можуть безперервно навчатися протягом усього свого життя, а не перенавчатися з нуля щоразу, коли ми хочемо їх оновити. Це може призвести до ШІ-помічників, які дійсно ростуть і адаптуються разом зі своїми користувачами.
The Trillion-Parameter Horizon: що далі?
Дослідники “Spiking Brain” вже працюють над ще більш передовими версіями. Вони досліджують, як масштабувати до трильйона параметрів, зберігаючи ті ж переваги ефективності, як інтегрувати свій підхід з іншими передовими ШІ-техніками та як розгортати ці системи на всьому – від смартфонів до суперкомп’ютерів.
І ширший тренд до комп’ютингу, натхненного роботою мозку, також прискорюється. Ми бачимо, як великі технологічні компанії активно інвестують у ці дослідження. Уряди фінансують ініціативи з комп’ютингу, натхненні роботою мозку, і з’являються нові стартапи з інноваційними підходами до впровадження біологічних принципів у штучні системи.
Підсумовуючи, ми на порозі захоплюючої ери, де штучний інтелект стає не просто потужнішим, а й розумнішим у використанні ресурсів. “Spiking Brain” та нейроморфні обчислення – це не лише технічні новинки. Це крок до більш сталого, ефективного та, можливо, навіть більш “людяного” штучного інтелекту.
Що далі? Далі – стежити за цими проривами, підтримувати дослідження, які виходять за межі традиційних підходів, і бути готовими до того, що ШІ може стати нашим партнером у досягненні неймовірних цілей, а не просто “чорною дірою” для енергії.
Заклик до дії: Поки ви розмірковуєте над цим, спробуйте уявити, як би ви використали ШІ, який працює так само ефективно, як ваш мозок, на повсякденних пристроях. Поділіться своїми ідеями в коментарях! Адже саме наша спільна цікавість і бажання розуміти роблять технології по-справжньому захопливими.
