Чи винні ми у “галюцинаціях” ШІ? Як фантазія машин стає їхньою суперсилою.

Чи винні ми самі у “галюцинаціях” штучного інтелекту? І чому це насправді може бути добре!

Минулого тижня мій друг-розробник, втомлено зітхнувши, поділився в чаті посиланням на цікаве дослідження від OpenAI про “галюцинації” мовних моделей. Звучить дещо драматично, ніби наші цифрові помічники раптом вигадують власні реальності. Але, якщо розібратися, виявляється, що це не зовсім те, що ми собі уявляємо, і, що найголовніше, може бути ключем до чогось значно більшого за просто “правильну” відповідь.

У світі, де ми змагаємося за кожну секунду, найточнішу відповідь, за найменший прояв “незнання” від машини, ми, здається, самі підштовхуємо її до цієї “творчої” поведінки. І, гадаю, ви всі це відчували – ту мить, коли від ШІ чекаєш чогось більшого, ніж просто компіляції фактів. Ми хочемо, щоб він дивував, вигадував, а іноді навіть… фантазував.

Сьогодні ми зануримося в дивовижний світ “галюцинацій” штучного інтелекту. З’ясуємо, чому вони виникають, як ми самі до цього причетні, і чому, можливо, варто розглядати їх не як проблему, а як потенційну суперсилу. Приготуйтеся, буде цікаво!

Oracle, дата-центри та перший “техно-святий”: новини тижня, які ви могли пропустити

Перш ніж занурюватися в глибини теми “галюцинацій”, коротко оглянемо, що ж відбувалося в світі технологій останнім часом. Це як зайти на базар – багато цікавого, але потрібно вибирати найважливіше.

• Oracle підкорює Уолл-стріт: Чому цього тижня всі говорили про Oracle? По-перше, компанія продемонструвала просто чудові фінансові результати, перевершивши всі очікування. Дехто навіть назвав їх “чисто приголомшливими”! По-друге, OpenAI вирішили закупити величезний обсяг обчислювальних потужностей та дата-центрів саме в Oracle. Йдеться про 300 мільярдів доларів! Це одна з найбільших угод в історії ШІ-інфраструктури. Мабуть, ці “галюцинації” вимагають чимало енергії!

• Будівельний бум дата-центрів: У продовження теми: звіт Bank of America Institute показує, що будівництво дата-центрів досягло рекордних обсягів – 40 мільярдів доларів. Це на 30% більше, ніж минулого року! Все через те, що техгіганти активно інвестують в інфраструктуру для ШІ. По суті, ми будуємо нову “цифрову” енергетику, щоб годувати ці розумні машини.

• iPhone 17: інноваційно, але…: Apple представила свій новий, найтонший iPhone. Звучить чудово, але реакція була неоднозначною. Користувачі в захваті, а от Волл-стріт ставиться обережніше, сумніваючись, чи дійсно нові ШІ-фішки в цій моделі є чимось революційним. Можливо, смартфон все ще не вміє “галюцинувати” так само креативно, як великі мовні моделі?

• Перший “техно-святий”: І на десерт – у світі з’явився перший “технічний святий”! 15-річний Карлос Аддіс, якого прозвали “божим інфлюенсером”, був канонізований Католицькою Церквою за створення вебсайтів, які документували релігійні дива. Що ж, навіть у цифровому світі добрі справи можуть бути винагороджені.

Чому мовні моделі “вигадують” і як ми їх до цього заохочуємо

Як колись казали: “Штучний інтелект – це просто наступний крок еволюції”? Так от, еволюція іноді має несподівані “побічні ефекти”. Один з найцікавіших – це, звісно, “галюцинації” великих мовних моделей (LLM). Це коли ШІ, замість того, щоб відповісти “я не знаю” або надати чітку відповідь, починає вигадувати щось на кшталт: “Я – пірат, готовий до пригод!” Чи, може, він справді щось знає про це?

Найбільш захопливим в цьому питанні є дослідження OpenAI “Why language models hallucinate” [Чому мовні моделі галюцинують]. Головна думка: можливо, “голоси” цих “галюцинацій” лунають зсередини самої системи, і ми самі до цього причетні.

Як це працює “зсередини”?

Уявіть собі… ну, уявіть, що ви намагаєтеся навчити дитину кулінарному мистецтву. Ви показуєте їй, як готувати борщ, і щоразу, коли вона робить щось більш-менш правильно, ви її хвалите. А коли помиляється, ви просто мовчите. Що вона робитиме? Намагатиметься вгадати, як зробити краще, щоб отримати вашу похвалу.

Приблизно так само працює навчання мовних моделей. У них є система винагород, де “вгадати” і отримати бодай частку балу – краще, ніж сказати “я не знаю” і отримати нуль. Ця система побудована на так званому “навчанні з підкріпленням” (Reinforcement Learning) [Навчання з підкріпленням].

І тут починається драма:

1. Цінність “вгадування”: Моделі винагороджуються за те, що дають відповідь, навіть якщо вона не зовсім точна. Краще вгадати, ніж мовчати. Навіть якщо це вгадування буде схоже на піратську байку.
2. Тиск “оцінок”: Ми постійно тестуємо ці моделі, порівнюємо їх. Кожен тест – ніби шкільний іспит, де зазвичай є лише дві відповіді: “правильно” або “неправильно”. Немає “майже правильно” чи “непогано”. Це спонукає модель бути “впевненою” у своїх відповідях, навіть якщо її впевненість – це вигадка.
3. “Синдром відмінника”: Розробники моделей хочуть показати найкращі результати. Якщо нова модель на 1% точніша за попередню – це успіх! Але ця гонитва за показниками може призводити до того, що моделі уникають “я не знаю”, бо це негативно впливає на їхній “рейтинг”.

Коли “більше точності” стає проблемою

Є такий міф: чим точнішою стає модель, тим менше у неї буде “галюцинацій”. Дослідження OpenAI спростовує це. Вони провели такий собі експеримент: замість того, щоб питати модель “чи це правда?”, вони запитували “чи це реалістично?”.

Уявіть, що я запитую: “День народження Скайлер – 15 вересня”. Модель може відповісти: “Так, це правильно”. Або: “Я не знаю”. Але якщо її запитати: “Чи реалістично, що чийсь день народження – 15 вересня?”, вона, ймовірно, відповість: “Так, це цілком реалістично”. Хоча насправді, хтозна, коли день народження у Скайлер?

Це показує, що “точність” і “відсутність галюцинацій” – це не завжди одне й те саме. Модель може видавати “реалістичні” відповіді, які насправді є вигаданими.

Цікаво знати: Вчені навіть намагалися навчити моделі не визначати правдивість твердження, а просто реєструвати, чи схоже воно на те, що могла б сказати модель. І знаєте що? Це теж виявилося складним завданням!

То що ж робити?

Замість того, щоб намагатися повністю викорінити “галюцинації”, можливо, варто навчитися краще “калібрувати” моделі? Тобто, щоб вони могли точно показувати, коли вони впевнені, а коли – ні. Це як коли ви дивитеся на прогноз погоди: там є ймовірність дощу, а не просто “дощ буде/дощу не буде”.

А ще, можливо, нам потрібні нові інструменти, які б системно перевіряли відповіді ШІ. Наприклад, якби модель могла показувати, на якому саме шматку інформації з інтернету чи бази даних ґрунтується її відповідь. Це допомогло б нам зрозуміти, чи це справжнє знання, чи вигадка.

І, звісно, варто розрізняти “галюцинації” від звичайних помилок. Якщо модель навчена на неправдивих даних і повторює їх – це одне. А якщо вона “фантазує” – це вже інше. Нам потрібна чіткіша мова, щоб говорити про ці речі.

Чи робимо ми самі собі “пекло” на ринку праці?

Пам’ятаєте, як якось прозвучала гучна заява, що за 3-6 місяців ШІ буде писати 90% коду, який раніше писали розробники? Минуло вже пів року, і, чесно кажучи, світ ще стоїть. Розробники не зникли, хоча, звісно, інструменти для написання коду стали значно потужнішими.

Але що це означає для ринку праці загалом? Нещодавно я натрапив на статтю “Ринок праці – це пекло” [посилання на статтю], і вона наштовхнула на цікаві думки. Якось розмовляв з рекрутером, який розповідав, як за останні два роки все перевернулося з ніг на голову. Компанії використовують ШІ для автоматизації подачі заявок, для проведення співбесід, а самі шукачі роботи – для оптимізації своїх резюме. І в результаті – повний хаос, де люди майже не спілкуються з людьми.

Автоматизація чи доповнення?

Це класичне питання: чи замінює ШІ людей, чи просто допомагає їм працювати краще? У випадку з кодом, судячи з усього, це радше доповнення (augmentation), ніж автоматизація (automation). Тобто 90% коду, який пишуть розробники, тепер може бути згенеровано за допомогою ШІ. Але сам процес розробки, проєктування, архітектури – це все ще людська робота.

Але чи можливі винятки? Деякі експерти вважають, що якби кожен мав доступ до найновіших інструментів, то 90% коду справді могли б генеруватися. Проблема в тому, що наша “цивілізація” ще не зовсім готова до цього. Це і вартість доступу до таких інструментів, і необхідність навчитися ними користуватися.

Де все ще панують люди?

Хоча ШІ вже навчився генерувати багато чого, є сфери, де він поки що не такий сильний. Наприклад, перетворення запитів природною мовою на SQL-код. Це здавалося б просто, але робота зі складними схемами баз даних, правильним розумінням імен стовпців і зв’язків між ними – це досі виклик.

А ще, як зазначив Білл Гейтс [посилання на Білла Гейтса], програмування залишається “безпечною” професією. Тобто, попри всі досягнення ШІ, людський інтелект, креативність і глибоке розуміння інженерних принципів залишаються незамінними.

“Приховані” шляхи пошуку роботи

Якщо глобальні системи стають настільки “автоматизованими” і, можливо, втрачають людяність, чи не стануть приватні мережі і “тіньові” чати головним способом пошуку роботи? Це вже було актуально, але тепер, схоже, ця тенденція посилюється.

Але є й інший шлях: навчитися “грати за правилами” нової системи. Це може означати:

• Публікувати свої проєкти: GitHub, особисті сайти – покажіть, що ви вмієте.
• Бути активним у спільноті: Долучайтеся до open-source проєктів, діліться знаннями.
• Демонструвати ентузіазм і зацікавленість: Це те, що ШІ поки що не може підробити.

Чи стануть наші тостери “розумними”? Про мікро-моделі ШІ

Уявіть собі: модель штучного інтелекту, яка вміщується на картці розміром з візитну. Звучить як наукова фантастика, але це вже реальність! Дослідники змогли запустити версію моделі Llama 2 на такому крихітному пристрої [посилання на Llama 2].

Це відкриває двері до абсолютно нового світу – світу “мікро-моделей”. Уявіть, що ваші повсякденні речі – ярлик на одязі, предмет побутової техніки, навіть візитівка – можуть мати власний маленький “мозок”.

Чи потрібні нам “мікро- LLM”?

З одного боку, ми могли б мати пристрої, які працюють автономно, не потребуючи постійного підключення до хмари. Це особливо актуально для місць з поганим інтернетом. З іншого боку, якщо інтернет стане всюдисущим, чи буде сенс “запікати” ШІ в кожен пристрій?

Можливо, майбутнє за спеціалізованими моделями. Замість гігантських універсальних помічників, ми матимемо маленькі, але дуже розумні моделі, які чудово виконують одну-дві задачі. Наприклад, модель для перекладу, чи модель для аналізу датчиків на виробництві.

Творчість і збереження культури

Існує думка, що ці малі моделі можуть бути не лише інструментами, а й засобами збереження культурної спадщини. Наприклад, переклад рідкісних мов або збереження традицій. Однак є й побоювання, що масове використання універсальних моделей може, навпаки, “розмивати” унікальність локальних культур.

Ми зараз стоїмо на порозі великих змін. Як ми будемо використовувати ці нові інструменти? Чи зможемо ми зберегти людське обличчя в епоху домінування алгоритмів?

Від “людиноподібних” ШІ до реальних рішень

Мені подобається образ “розумних” речей, але водночас я розумію, що іноді ми занадто захоплюємося ідеєю зробити ШІ схожим на людину. Це може бути привабливо, але часто ми втрачаємо з поля зору головне – практичну користь.

Якщо ми зможемо відійти від концепції “ШІ як маленький чоловічок” і зосередитися на конкретних задачах з чіткими вхідними та вихідними даними, то й реальні результати будуть значно кращими. Це допоможе нам перетворити ШІ з експериментального інструменту на потужну частину нашого бізнесу, нашого життя.

На завершення: не бійтеся “галюцинувати”!

Отже, що ми маємо в підсумку? “Галюцинації” ШІ – це не обов’язково погано. Це може бути ознакою креативності, спробою моделі знайти вихідні дані. А наше прагнення до “досконалої точності” може парадоксально штовхати її до цієї “вигадливості”.

Ринок праці стрімко змінюється, і нам потрібно адаптуватися, проявляти ініціативу та демонструвати свою унікальність. А майбутнє моделей – як великих, так і крихітних – обіцяє бути захопливим.

Що робити далі?

1. Не бійтеся експериментувати: Спробуйте різні ШІ-інструменти, грайтеся з запитами, досліджуйте, на що вони здатні.
2. Будьте критичними: Пам’ятайте, що за кожною відповіддю стоїть алгоритм. Перевіряйте інформацію, особливо коли вона надто дивна чи надто “досконала”.
3. Фокусуйтеся на цінності: Шукайте, як ШІ може допомогти вирішити ваші реальні проблеми, а не просто створити “людиноподібного” помічника.
4. Діліться знаннями: Обговорюйте свої відкриття, ставте запитання, будьте частиною спільноти, що розвиває ці технології.

Бо тільки разом ми зможемо зрозуміти, як найкраще використовувати цей потужний інструмент, щоб він служив нам, а не навпаки. І пам’ятайте: іноді найцікавіші відкриття приходять саме тоді, коли ми дозволяємо собі трохи “погалюцинувати”.