Спостережливість за Штучним Інтелектом: Як Відстежувати Ваших Агентів та Отримувати Відчутний Зворотній Зв’язок
У світі штучного інтелекту, де агенти керують складними завданнями та взаємодіють з даними, надзвичайно важливо мати чітке розуміння їхньої роботи. Як і в будь-якій системі, здатній до помилок, прозорість є ключем до успіху. У цьому відео, яке я нещодавно переглянула, мені розповіли про неймовірно корисний інструмент для відстеження роботи агентів ШІ, що дозволяє спостерігати за їхніми діями, відстежувати витрати на токени та виявляти потенційні проблеми.
Агент ШІ, подібно до складного механізму, може працювати непередбачувано. Вони можуть “галюцинувати”, помилятися, а також споживати велику кількість ресурсів, особливо при масштабному використанні. Саме тому моніторинг їхньої роботи є критичним.
Від демо до детального розбору: Занурення у світ спостережливості
У демонстрації було показано, як розроблений інструмент забезпечує повну видимість усіх дій, які виконує агент. Це як мати прозорий журнал, в якому детально записано кожну виконану операцію.
Ось основні компоненти, які роблять цей інструмент таким корисним:
- Реєстрація дій: Відстеження кожного кроку, який робить агент, від виклику інструментів до обробки відповідей.
- Моніторинг витрат: Дізнаєтеся, скільки токенів було використано під час кожної операції, а також загальну вартість.
- Визначення помилок: З легкістю визначайте, коли щось пішло не так, та аналізуйте причини.
Спершу було показано демо-версію агента, що використовує інструменти get_contacts (отримання контактної інформації) та send_email (надсилання електронного листа). Результат роботи цього агента – він знайшов інформацію про Майкла Скотта та надіслав йому електронного листа.
Вхідні дані (запит): “Отримайте контактну інформацію Майкла Скотта та надішліть йому електронний лист з питанням, як у нього справи.”
Вихідні дані (відповідь): “Я знайшов інформацію про Майкла Скотта та надіслав йому листа електронною поштою.”
Важливо відзначити, що основний акцент робився саме на журналі дій агента. У журналі відображаються всі виконані дії, штамп часу, вхідні та вихідні дані.
Розбір даних: Що ми бачимо у журналі?
У журналі дій агента ми бачимо:
- Дії: Виклик двох інструментів (get_contacts та send_email). Для кожного інструменту записується його назва, передані параметри та результати. Наприклад, для send_email зафіксували, кому було відправлено лист, тему та текст.
- Токени: Загальна кількість токенів, використаних для кожного виклику інструментів та використана модель.
- Вартість: Загальна сума витрат на операцію.
Потім було показано, що трапиться, якщо в роботі агента виникне помилка. Штучно роз’єднали модель чату, після чого попросили агента вивести “Привіт”. В результаті, агент видав повідомлення про помилку та не зміг виконати завдання через відсутність з’єднання. У журналі, в порівнянні з попередніми прикладами, не було зафіксовано жодних виконаних дій та спожитих токенів, а вартість склала нуль.
Розширені можливості налаштування
Варто відзначити, що поля в журналі дій агента налаштовуються під потреби користувача. Це означає, що можна додавати або видаляти інформацію, яку ви хочете бачити. Наприклад, якщо вам цікаві конкретні параметри, які використовуються інструментами, ви можете без проблем їх додати в журнали.
Три інструменти: Бачимо все
У наступному прикладі агент використовує три інструменти. Це дозволяє продемонструвати, як система фіксує детальну інформацію про кожен крок.
Секрет успіху, як виявляється, криється у функції “return immediate steps”, яку треба активувати у вашому агенті ШІ. Вона дозволяє бачити проміжні кроки, які агент робив, а також їхні результати.
Зазвичай, агент видає лише кінцевий результат. Але функція “return immediate steps” додає в вихідні дані додаткове поле під назвою “intermediate steps”. Тут ми можемо бачити кожну дію, кожен виклик інструменту, передані параметри та отримані відповіді.
Наприклад, у демонстрації агент використовував інструмент “створити подію” (“create event”), щоб запланувати обід з 14:00 до 15:00.
Іншим важливим налаштуванням було змінити стандартну поведінку на випадок помилки. Замість того щоб повністю зупинити робочий процес, було налаштовано потік таким чином, що робочий процес переходить на гілку помилки, дозволяючи записувати помилку та продовжувати роботу.
Автоматизація з Claude: Спрощений процес
Введення коду в блоки для очищення даних може здатися складним. Але все набагато простіше, ніж може здатися на перший погляд. Автор використовував Claude – потужний інструмент для роботи зі штучним інтелектом, – щоб автоматично сформувати код. Це означає, що вам не потрібно бути експертом в програмуванні, щоб налаштувати систему спостереження.
Мета:
- отримати всі виклики інструментів
- отримати всі токени
- підрахувати загальну вартість
Для цього були потрібні наступні три поля: steps, tokens, total cost.
Claude впоралася з цим завданням, автоматично згенерувавши код для форматування даних та підрахунку вартості. Це показує, наскільки потужні сучасні інструменти можуть спростити складні операції.
Google Sheets: Відображення даних та аналіз
Після очищення даних необхідно забезпечити систему для їх збереження та аналізу, що дозволило б отримувати корисні інсайти. В якості рішення було обрано Google Sheets, що пропонує:
- Штамп часу: Дата та час виконання операції, відформатовані у зручному для читання форматі.
- Назва робочого процесу: Дозволяє групувати дані за різними робочими процесами.
- Вхідні та вихідні дані: Для контексту та розуміння вхідних запитів та відповідей.
- Дії: Список викликаних інструментів та їх параметри.
- Токени: Деталізована інформація про токени.
- Загальна вартість: Відображає вартість кожної операції.
Відстеження та аналіз даних – ключ до оптимізації та розуміння.
Приклад: Аналіз помилок
Варто розглянути приклад, коли агент зазнає помилки. Якщо агент не може надіслати електронний лист через проблему з авторизацією, система все ще запише інформацію про виконані дії та витрачені токени, що дає змогу проаналізувати цю помилку.
Вхідна інформація: “Надішліть електронний лист Майклу Скотту з питанням, як у нього справи.”
Вихідна відповідь: “Я не можу надіслати електронного листа через проблему з авторизацією. Чи потрібно виконати щось інше?”
У журналі буде збережено дані про те, що відбулося. Хоча лист не було надіслано, ми все одно можемо бачити, які інструменти були використані, та як багато це коштувало.
Легкий старт: Доступ до шаблону та інструкцій
Найважливіше – це доступність. Автор відео надає легкий шлях для початку роботи.
Як отримати все необхідне:
- Спільнота: Долучайтеся до безкоштовної спільноти.
- Шаблон: Завантажуйте файл JSON з налаштуваннями робочого процесу.
- Google Sheets: Отримуйте також готовий шаблон Google Sheets, який вам потрібно буде під’єднати до вашого акаунту.
Все це дозволяє швидко налаштувати систему моніторингу без значних зусиль.
Висновок: Чіткість та контроль
Спостережливість за ШІ – важливий крок у створенні надійних та ефективних агентів. Інструменти, про які йшлося, забезпечують:
- Повну видимість процесу.
- Детальний моніторинг витрат.
- Легкість діагностики проблем.
Автор відео поділився корисними матеріалами, які ви можете використати вже сьогодні.
Завдяки таким інструментам, моніторинг агентів стає простим та доступним для кожного. Це не тільки покращує роботу з ШІ, але й дає більше контролю та важить кожну копійку.
