Відео як маяк: Розкриваємо безкоштовний світ AI-агентів, один Docker-контейнер за раз
У кожному новому технологічному горизонті завжди світить промінь надії – можливість спробувати щось революційне, не витративши на це цілий статок. Сьогодні ми вирушаємо саме в таку подорож, де безкокоштовний доступ до AI-агентів стає реальністю завдяки простому відеоуроку.
Зануртесь у захопливий світ, де переконання “щось хороше не може бути безкоштовним” розбивається об скелю простоти та доступності. Разом із нашим провідником ми крок за кроком розберемося, як встановити та експлуатувати численні open-source моделі, що відкривають двері до інтелектуального осягнення, не вимагаючи фінансових витрат.
Перш ніж ми почнемо, важливо згадати про передумови: цей урок передбачає, що ви вже обладнали локально розгорнутий NN, користуючись набором для початківців з self-hosted AI. Якщо ні, не хвилюйтеся. Просто перегляньте попереднє відео (якщо є), і тоді повертайтеся сюди, щоб продовжити захопливий шлях.
Розпакування локального AI-світу: Шлях до свободи
Отже, припускаємо, що стартова частина вже завершена, і ви маєте локальну версію, що працює. У нашому випадку це може бути NVIDIA NeMo (або інша платформа, якщо “NIDAN” — це помилка в назві), що вже запущений. Усередині, де “зберігаються” AI-моделі, ви побачите Ollama – локальний рушій. У простій версії, як у нашому прикладі, ви можете побачити Llama 3.1 (або актуальну версію, оскільки Llama 3.2 не існує) – вашу першу open-source модель.
Але справжнє диво починається, коли ви отримуєте доступ до різноманітних open-source моделей. Це як зайти в бібліотеку, де кожна книга – це окремий інтелектуальний світ. Саме тут криється справжній скарб: можливість вибору!
У цьому місці й відбувається магія безкоштовного доступу – перехід до Ollama та завантаження будь-якої з доступних моделей, які ви можете використовувати.
Довідник від Ollama: Джерело інтелектуального різноманіття
Оскільки ми знаходимося в самому серці цієї подорожі, варто зайти на веб-сайт Ollama.com (посилання можна знайти в описі відео). Тут не потрібно нічого завантажувати, оскільки все, що потрібно – це вибрати розділ “Models”. Перед нами постає цілий каталог – різноманітний вибір моделей штучного інтелекту, готовий до вашої команди.
Тут знайдете:
DeepSeek: Ця модель вважається однією з найпопулярніших, з мільйонами завантажень.
Інші моделі Llama: Варіанти на будь-який смак і потреби.
Ми маємо у своєму арсеналі велику кількість моделей, які можна протестувати абсолютно безкоштовно.
Для наочного прикладу звернемо увагу на DeepSeek-Coder 1.3B, яка є мислячою моделлю.
Обираємо її. Відкриваються цікаві дані.
Розшифровка даних: Параметри та можливості
По-перше, ми бачимо різні параметри, доступні у open-source версії DeepSeek: 1.3B, 6.7B, 33B мільярдів (виправлені існуючі розміри параметрів).
По-друге, тут присутня інформація про розмір моделі та розмір контекстного вікна.
У цьому місці виникає важливе питання: як зрозуміти, яку модель слід обрати? Тут ви можете звернутися до ресурсів, таких як Perplexity AI або ChatGPT, і надати їм дані про ваш комп’ютер (RAM, VRAM, процесорна потужність). Вони допоможуть вам визначити, яка модель найкраще підійде для ваших потреб. Наприклад, чим більше параметрів у моделі, тим потужнішою вона буде, але тим більше ресурсів вона потребує.
Ще один важливий аспект – порівняння з моделями із закритим вихідним кодом, такими як GPT та Claude. GPT-4 містить майже 1.8 трильйонів параметрів, тоді як GPT-4o – 200 мільярдів. Claude 3.5 Sonnet – приблизно 175 мільярдів. Ці моделі зазвичай швидші та потужніші за open-source аналоги. Розрив між ними поступово скорочується, і колись open-source моделі зможуть змагатися з ними на рівних.
Отже, варто пам’ятати про обмеження моделей з відкритим кодом, а також враховувати технічні характеристики вашого комп’ютера.
Тепер, коли ми розібралися з цим, перейдемо до простого прикладу. Встановлюємо DeepSeek-Coder 1.3B (1.3 мільярди параметрів).
Установка одним кліком: Практичний посібник
Щоб встановити модель, використовуємо кнопку “copy”, щоб скопіювати назву моделі.
Відкриваємо наш Docker Desktop, де переглядаємо контейнери.
Відкриваємо контейнер з Ollama.
Переходимо у вкладку “Exec”.
Вводимо команду olama pull, після чого вставляємо назву моделі, яку ми скопіювали (наприклад, deepseek-coder:1.3b). Натискаємо Enter.
Розпочинається процес завантаження та встановлення DeepSeek-Coder. Після його завершення модель стане доступна в NVIDIA NeMo (або у вашій системі, де ви запускаєте моделі).
Тепер повертаємося до NVIDIA NeMo та відкриваємо вузол Ollama.
Натискаємо стрілочку, і зараз ми бачимо DeepSeek-Coder:1.3b.
Перемикаємось на DeepSeek-Coder.
Для перевірки просимо розповісти жарт.
Тепер система використовує локальну модель DeepSeek-Coder:1.3b. Ми розуміємо це, оскільки модель “думає” перед відповіддю.
Отже, все працює.
Повертаємось в Ollama -> Models, вибираємо Qwen:1.8b з 1.8 мільярдами параметрів (виправлено назву моделі та її параметри).
Скопіювали назву, вставляємо в командний рядок Ollama в Docker Desktop -> вкладка Exec -> olama pull qwen:1.8b.
Натискаємо Enter. Qwen встановлюється миттєво.
Повертаємось до NVIDIA NeMo, відкриваємо Ollama, бачимо Qwen:1.8b.
Все відбувається локально, безкоштовно, і ми маємо широкий вибір.
Знову ж таки, моделі з 1.3-1.8 мільярдами параметрів підходять для базових розмов. Для агентів з викликом інструментів та іншими функціями рекомендую моделі з 7B, 13B, 34B або 70B мільярдами параметрів (виправлено типові розміри моделей).
Корисні команди: Розширення можливостей
У вкладці Exec контейнера Ollama є декілька корисних команд:
olama list: Виводить список встановлених моделей (Qwen:1.8b, DeepSeek-Coder:1.3b, Llama 3.1).olama rm: Видаляє модель. Наприклад,olama rm qwen:1.8b. Модель видаляється та оновлюється в реальному часі.
Створення власного AI-світу: Сила в простоті
Ось так просто і зручно використовувати локальні моделі. Можливо, на перший погляд це дещо лякає, але, як переконались, все дуже легко. Не забувайте про підтримку. Ваша зацікавленість – це найкраща мотивація.
Отже, тепер ви маєте базові знання і готові до власних експериментів. Сміливо пірнайте у глибини AI-світу!
