Відео як маяк: Розкриваємо безкоштовний світ AI-агентів, один Docker-контейнер за раз
У кожному новому технологічному. Горизонті завжди світить промінь надії – можливість спробувати щось революційне, не витративши на це цілий статок. Сьогодні ми вирушаємо саме в таку подорож, де безкокоштовний доступ до AI-агентів стає реальністю завдяки простому відеоуроку.
Зануртесь у захопливий світ, де переконання “щось хороше. Не може бути безкоштовним” розбивається об скелю простоти та доступності. Разом із нашим провідником ми крок за кроком розберемося, як встановити та експлуатувати. Численні open-source моделі, що відкривають двері до інтелектуального осягнення, не вимагаючи фінансових витрат.
Перш ніж ми почнемо, важливо згадати про передумови: цей урок передбачає, що ви вже обладнали локально розгорнутий NN, користуючись набором для початківців з self-hosted AI. Якщо ні, не хвилюйтеся. Просто перегляньте попереднє відео (якщо бачите, є), і тоді повертайтеся сюди, щоб продовжити захопливий шлях.
Розпакування локального AI-світу: Шлях до свободи
Отже, припускаємо, що стартова частина вже завершена, і ви маєте локальну версію, що працює. У нашому випадку це може бути NVIDIA NeMo (або інша платформа, якщо “NIDAN” – це помилка в назві), що вже запущений. Усередині, де “зберігаються” AI-моделі, ви побачите Ollama – локальний рушій. У простій версії, як у нашому прикладі, ви можете побачити Llama 3. 1 (або актуальну версію, оскільки Llama 3. 2 не існує) – вашу першу open-source модель.
Але справжнє диво починається, коли ви отримуєте доступ до різноманітних open-source моделей. Це як зайти в бібліотеку, де кожна книга – це окремий інтелектуальний світ. Саме тут криється справжній скарб: можливість вибору! Більше того, наприклад,
У цьому місці типу, й відбувається магія безкоштовного доступу – перехід. До Ollama та завантаження будь-якої з доступних моделей, які ви можете використовувати. Щоб було ясно,
Довідник від Ollama: Джерело інтелектуального різноманіття
Оскільки. Більше того, ми знаходимося в самому серці цієї подорожі, варто зайти на веб-сайт Ollama. Фактично, com (посилання можна знайти в описі відео). Тут не потрібно нічого завантажувати, оскільки все, що потрібно – це вибрати розділ “Models”. Перед нами постає цілий каталог – різноманітний вибір моделей штучного інтелекту, готовий до вашої команди.
Тут знайдете:
-
DeepSeek: Ця модель вважається однією з найпопулярніших, з мільйонами завантажень.
-
Інші моделі Llama: Варіанти на будь-який смак і потреби.
Ми маємо у своєму арсеналі велику кількість моделей, які можна протестувати абсолютно безкоштовно.
Для наочного прикладу звернемо увагу на DeepSeek-Coder 1. 3B, яка є мислячою моделлю проте
Обираємо її. Відкриваються цікаві дані.
Розшифровка даних: Параметри наприклад, та можливості
По-перше, ми бачимо різні параметри, доступні у open-source версії DeepSeek: 1. 3B, 6. 7B, 33B мільярдів (виправлені існуючі розміри параметрів).
По-друге, тут присутня інформація про розмір моделі та розмір контекстного вікна.
У цьому місці виникає важливе питання: як зрозуміти, яку модель слід обрати? Тут ви можете звернутися до ресурсів, таких як Perplexity AI або ChatGPT, і надати їм дані про ваш комп’ютер (RAM, VRAM, процесорна потужність). Цікаво, вони допоможуть вам визначити, яка модель найкраще підійде для ваших потреб. Більше того, наприклад, чим більше параметрів у моделі, тим потужнішою вона буде, але тим більше ресурсів вона потребує. Цікаво,
Ще один важливий аспект – порівняння з моделями із закритим вихідним кодом, такими як GPT та Claude. GPT-4 містить майже 1. 8 трильйонів параметрів, тоді як GPT-4o – 200 мільярдів. Claude 3. 5 Sonnet – приблизно 175 мільярдів. Ці моделі зазвичай швидші та потужніші за open-source аналоги. До речі, розрив між ними поступово скорочується, і колись open-source моделі зможуть змагатися з ними на рівних.
Отже, варто пам’ятати про обмеження моделей з відкритим кодом, а також враховувати технічні характеристики вашого комп’ютера.
Тепер, коли ми розібралися з цим, перейдемо до простого прикладу. Встановлюємо DeepSeek-Coder 1. 3B (1 бо 3 мільярди параметрів).
Установка одним кліком: Практичний посібник
.
Щоб встановити модель, використовуємо кнопку “copy”, щоб скопіювати назву моделі.
Відкриваємо слухайте, наш Docker Desktop, де переглядаємо контейнери.
Відкриваємо контейнер з слухайте, в принципі, Ollama та
Переходимо у вкладку “Exec”, десь так.
Вводимо команду olama pull, після чого вставляємо назву моделі, яку ми скопіювали (наприклад, deepseek-coder:1. 3b). Натискаємо Enter оскільки
Розпочинається процес завантаження та встановлення DeepSeek-Coder. Після його завершення модель стане доступна в NVIDIA NeMo (або у вашій системі, де ви запускаєте моделі).
Тепер повертаємося припустимо, до NVIDIA NeMo та відкриваємо вузол Ollama.
Натискаємо стрілочку, і зараз ми бачимо DeepSeek-Coder:1. 3b розумієте, бо
Перемикаємось на DeepSeek-Coder хоча знаєте,
Для перевірки просимо розповісти жарт.
Тепер система використовує локальну модель DeepSeek-Coder:1. 3b. Більше того, ми розуміємо це, оскільки модель “думає” перед відповіддю.
Отже, все працює. Звичайно,
Повертаємось в Ollama -> Models, вибираємо Qwen:1. 8b з 1. 8 мільярдами параметрів (виправлено назву моделі та її параметри).
Скопіювали назву, вставляємо в командний рядок Ollama в. Docker Desktop -> вкладка Exec -> olama pull qwen:1. 8b.
Натискаємо Enter. Qwen встановлюється миттєво.
Повертаємось до NVIDIA NeMo, відкриваємо Ollama, бачимо Qwen:1. 8b.
Все відбувається локально, безкоштовно, і ми маємо широкий вибір.
Знову ж таки, моделі з 1 тому 3-1. 8 мільярдами параметрів підходять для базових розмов. Для агентів з викликом інструментів та дивіться, іншими функціями рекомендую моделі з 7B, 13B, 34B або 70B мільярдами параметрів (виправлено типові розміри моделей).
Корисні команди: Розширення можливостей
У вкладці Exec контейнера. Ollama є бачите, декілька корисних команд:
- . Цікаво,
-
olama list: Виводить список встановлених моделей (Qwen:1. 8b, DeepSeek-Coder:1 тому 3b, Llama 3 проте 1). -
olama rm: слухайте, Видаляє модель хоча наприклад,olama rm qwen:1 і 8b. Модель видаляється та оновлюється в реальному часі.
Створення власного AI-світу: Сила. В простоті
Ось так просто і зручно використовувати локальні моделі. Можливо, на перший погляд це дещо лякає, але, як переконались, все дуже легко. Не забувайте про підтримку. Зрозуміло, ваша зацікавленість – це найкраща мотивація.
Отже, тепер ви маєте базові знання і готові до власних експериментів. Сміливо пірнайте у глибини AI-світу!
