Збудуйте свій AI-світ: Повний посібник з локального розгортання.

Створення Всесвіту Штучного Інтелекту: Покрокова інструкція з локального розгортання

З вуст майстра, який вже давно занурений у шалений вир інформаційних технологій, а тепер освоює загадковий світ штучного інтелекту, ми дізнаємося, як зібрати потужний AI-стек на власному сервері. Забудьте про захмарні рахунки за хмарні сервіси та втрату контролю над власними даними – це ваш шанс побудувати персональну AI-вселенну.

Вступ: Чому Локальний AI – Це Майбутнє

У світі, де штучний інтелект стає дедалі поширенішим, з’являється нагальна потреба взяти кермо управління в свої руки. Зовсім скоро, AI буде як унікальний особистий ресурс, і якщо його тримати локально, то переваги важко переоцінити. Саме тому цей посібник зосереджується на тому, щоб навчити вас розгортати AI-інструменти на власних серверах, будь то VPS або локальний комп’ютер.

Переваги Локального AI:

• Контроль над даними: Найголовніша перевага – повний контроль над вашими даними. Ви вирішуєте, як їх зберігати, обробляти та використовувати.

• Економія коштів: Забудьте про щомісячні витрати на хмарні сервіси. Залежно від ваших потреб, ви можете витратити на VPS лише від $6 до $10.

• Персоналізація: Налаштуйте систему під свої унікальні потреби. Експериментуйте з різними моделями та інструментами, щоб отримати найкращі результати.

Що Ми Будемо Встановлювати? Стек AI Мрії

У цьому посібнику ми зануримося в установку цілого комплексу інструментів, які дозволять вам отримати максимум від локального AI:

• Caddy: Розширений вебсервер, який полегшує керування конфігураціями та реалізує безпечні HTTPS-з’єднання.

• Flowwise: Інтуїтивний інструмент для створення AI-агентів, що працює за принципом “no-code/low-code”.

• N8N: Платформа автоматизації робочого процесу, яка дозволяє інтегрувати різні сервіси та автоматизувати повсякденні завдання.

• Llama: Локальна модель великої мови (LLM), яка дозволяє взаємодіяти з AI без потреби в хмарних сервісах (має значення наявність потужної GPU).

• Open Web UI: Зручний інтерфейс для взаємодії з вашими AI-моделями.

• Portainer: Інтерфейс для управління контейнерами Docker.

• Currans: Векторна база даних, яка буде незамінна для створення потужних AI-рішень.

• Reddis Search Engine X: Локальна пошукова система для ваших даних.

• Superbase Stack: Пакет інструментів для побудови баз даних.

Необхідні Передумови:

Перш ніж ми почнемо, переконайтеся, що ви маєте:

• VPS або локальний комп’ютер з Linux. (Автори рекомендують виділити 4 ГБ або 8 ГБ оперативної пам’яті та 4 ядра ЦП).
• Python, Git та Docker, встановлені на вашому сервері.

Крок 1: Підготовка до Встановлення

Першим кроком буде перехід до репозиторію GitHub, підготовленого Kim (автором репозиторію local AI package). Тут ви знайдете всі необхідні файли та інструкції.

Вам потрібно буде виконати наступні дії:

1. Клон репозиторію: Перейдіть у терміналі до бажаної директорії та виконайте команду git clone <адреса_репозиторію>.
2. Перейдіть до клонованого репозиторію: Використовуйте команду cd <назва_репозиторію>.
3. Створіть копію файлу конфігурації: Скопіюйте файл amp.example та перейменуйте його (наприклад, amp.env).

Крок 2: Налаштування Файлу .env

Найважливіший крок – це заповнення файлу .env. Це файл, у якому містяться ключові параметри конфігурації для вашого AI-стека.

Ось що вам потрібно буде налаштувати:

• Шифрувальний ключ (Encryption key): Згенеруйте його на сайті, наданому автором (посилання буде в описі відео). Скопіюйте згенероване значення та вставте у відповідне поле у файлі .env.

• Пароль (Your super password): Для тестування, створіть надійний пароль та введіть його. Не забувайте, що в реальному продакшн-середовищі необхідно використовувати набагато сильніші паролі.

• Ключ API (Anon key): Згенеруйте його аналогічно шифрувальному ключу та вставте у відповідне поле.

• Service Role Key: Також згенеруйте та вставте цей ключ.

• Tenant ID: Залиште або змініть його на простий номер (наприклад, “1”).

Крок 3: Запуск Сервісів з Docker Compose

Тепер, коли файл .env налаштовано, ви готові до запуску!

Вам потрібно виконати одну з наступних команд, залежно від наявності GPU:

• Для Nvidia GPU: docker compose up --build
• Для CPU: python start_services.sh -profile CPU

Цей процес може зайняти деякий час, оскільки система завантажуватиме та встановлюватиме образи для Docker. Будьте терплячими та чекайте, поки все не завершиться.

Крок 4: Доступ до Ваших Сервісів

Після завершення встановлення, вам потрібно буде отримати доступ до встановлених сервісів за допомогою вашого браузера. Для цього вам потрібно знати правильні порти.

Ось приблизний список портів, який ви можете використовувати (залежить від вашої конфігурації файла .env):

• Open Web UI: порт 3000
• Flowise: порт 3001
• N8N: порт 5678

Додаткова інформація:

• Використання Cloudflare Tunnel: Якщо ви хочете отримати доступ до своїх сервісів через власну доменну адресу, Cloudflare Tunnel – чудовий варіант. Автори використовують його для безпечного доступу до своїх сервісів, не відкриваючи порти на вашому сервері. Перейдіть на сайт Cloudflare, створіть тунель та налаштуйте його для доступу до ваших служб.
• Portainer для управління Docker: Ви можете використовувати Portainer, щоб керувати вашими контейнерами Docker та моніторити їх роботу. Для цього, вам необхідно встановити Portainer, використовуючи скрипти, надані автором (які будуть в описі відео). Після цього, просто відкрийте Portainer в браузері через вказаний порт.

Крок 5: Налаштування Portainer

Як вже зазначалось, Portainer – незамінний інструмент для управління контейнерами Docker. Встановлення Portainer є важливим кроком, щоб візуально контролювати ваш стек AI.

Дії:

1. Відкрийте ваш Portainer через призначений порт (наприклад, 9000).
2. Створіть обліковий запис адміністратора.
3. Перейдіть до розділу “Local” (локальне середовище) для керування вашими контейнерами.

У розділі контейнерів Portainer ви побачите всі запущені контейнери вашого AI-стеку. Скористайтесь цією зручною панеллю для зупинки, перезапуску та загального моніторингу.

Крок 6: Підключення Cloudflare Tunnel (Використання домену та HTTPS)

Щоб отримати доступ до вашого AI-стеку через власний домен та з використанням HTTPS, вам потрібно буде використовувати Cloudflare Tunnel.

1. Увійдіть у панель керування Cloudflare.
2. Створіть новий тунель. Назвіть тунель (наприклад, “lightning stack AI”) та завантажте необхідний конфігураційний файл на ваш сервер.
3. Підключіть ваш домен до Cloudflare (якщо у вас його ще немає).
4. У конфігурації тунелю створіть записи для кожної служби. Наприклад:
   • Для Open Web UI: Виберіть свій домен, підключіть його до порту 3000 вашого локального сервера.
   • Для Flowise: Виберіть свій домен, підключіть його до порту 3001 вашого локального сервера.
   • Для N8N: Виберіть свій домен, підключіть його до порту 5678 вашого локального сервера.

Після цього, ваші сервіси стануть доступні через ваш домен, з автоматичним шифруванням HTTPS.

Крок 7: Налаштування Веб-інтерфейсу та AI-агентів (Open Web UI, Flows, Currant)

Далі, вам потрібно налаштувати веб-інтерфейс та AI-агентів.

1. Open Web UI: Відкрийте Open Web UI у вашому браузері (через локальний порт або через Cloudflare Tunnel). Створіть обліковий запис та налаштуйте моделі.

2. Flowise: Увійдіть у ваш Flowise. Створіть необхідні облікові дані для доступу до API.

3. Currans: Налаштуйте Currans – векторну базу даних. Переконайтеся, що у вас є необхідні облікові дані, які ви отримали на попередніх етапах.

Крок 8: Запуск Робочих Процесів та Перевірка Результатів

Після налаштування, запустіть ваші робочі процеси та перевірте результати роботи вашого AI-стеку. Переконайтесь, що все працює належним чином, включаючи:

• Взаємодію Open Web UI з вашими LLM.
• Роботу ваших AI-агентів у Flowise.
• Функціональність векторної бази даних Currans.

Підсумок

Тепер у вас є працюючий локальний AI-стек, готовий до експериментів та розширення. Ви маєте власний, персоналізований AI-інструмент, який повністю під вашим контролем. Це тільки початок вашого шляху у світ штучного інтелекту. Не бійтеся експериментувати, налаштовувати та покращувати ваш стек, щоб він відповідав вашим унікальним потребам.

Фінальні Рекомендації

• Документація: Ретельно вивчіть документацію для кожного інструменту AI, який ви встановили.
• Спільнота: Долучайтесь до онлайн спільнот та форумів, щоб ділитися досвідом та отримувати відповіді на ваші запитання.
• Оновлення: Регулярно оновлюйте ваше програмне забезпечення (Docker-образи, LLM та інші компоненти) для отримання нових функцій та виправлення помилок.
• Безпека: Завжди пам’ятайте про безпеку. Використовуйте надійні паролі, оновлюйте програмне забезпечення та слідкуйте за потенційними вразливостями.

Щасливої подорожі у світі AI! Нехай ваш інтелект розширюється, а ваші можливості зростають!