Перетворення Відео: Котики на Вовків та Магія ComfyUI

Перетворення Котиків на Вовків та Інші Чудеса: Занурення у Світ Restyle Відео з ComfyUI

Привіт, друзі! З вами Ліла Гарт, і сьогодні ми пірнаємо у захопливий світ перетворення відео. Ви коли-небудь мріяли перетворити звичного котика, що гуляє клавішами фортепіано, на величного вовка, який ступає по тій самій клавіатурі в засніженому лісі? Або ж поміняти забарвлення вашого друга чи додати йому зовсім інший стиль? Сьогодні ми відкриємо двері до цього дивовижного світу, використовуючи неймовірний інструмент – ComfyUI!

Наше завдання – взяти звичайне відео, наприклад, ось цього милого котика, і змінити його стиль, колір, або навіть перетворити на іншу істоту, повністю змінивши його візуальний образ.

Як це працює: Знайомство з One та VASE

Для цього ми будемо використовувати модель one. Це ключовий гравець у нашому творчому процесі. А щоб зробити все ще цікавіше, ми додамо до цього інструмент під назвою VASE. (Так, як у вазі з квітами, але тут трохи інше значення).

Механіка проста: ми беремо відео з котиком, завантажуємо його в ComfyUI, і витягуємо перший кадр. Цей перший кадр – наша відправна точка для подальших експериментів. Далі, ми його трошки змінюємо, використовуючи, наприклад, зображення вовка, який крокує по клавішах.

Як виглядає сам процес?

1. Завантажуємо відео. Починаємо з відео з котиком.
2. Витягуємо перший кадр.
3. Застосовуємо магію (і Вашу фантазію!). Перетворюємо перший кадр на щось інше, використовуючи зображення вовка або інші творчі засоби.
4. Впроваджуємо трансформації. Використовуємо one та VASE. One генерує відео, а VASE працює як “Control Net”.
5. Генеруємо кінцевий результат!

Встановлення та налаштування: Не лякайтесь, це не складно!

Я знаю, можливо, цей опис звучить трохи складно, але все це надзвичайно просто, ймовірно, навіть простіше ніж Ви уявляєте! Нижче, я зібрала для вас покрокову інструкцію:

1. Встановлення необхідних вузлів.

У ComfyUI є така крута функція: “Install Missing Custom Nodes”. просто обираєте пункт “Install missing custom nodes” в розділі “Manager”. Після цього, натискаємо кнопку “Install”.

2. Перезавантаження та перезавантаження…

Після встановлення вузлів, вам потрібно буде перезапустити ComfyUI. Обираємо кнопку “restart” та з радістю чекаємо. Далі, оновлюємо браузер. Все, вузли встановлено!

3. Встановлення моделей: дещо технічне…

Встановлення моделей – це наступний етап, який вам потрібно буде пройти.

• Знаходимо моделі: У робочому процесі є всі необхідні посилання, а також дублювання їх в описі відео.
• Завантажуємо: Ви завантажуєте модель і перейменовуєте її як вам забажається. Наприклад: vase-12.1-1.3b-preview.
• Розміщуємо: поміщаємо моделі в папку comfy UI models diffusion models.
• One VA: Встановлюємо ще одну модель! Для встановлення One VA скористуйтесь Model Manager. Введіть “one va” в полі пошуку та сміливо встановлюйте.
• Встановлюємо модель в необхідне місце: Потрібно буде помістити Clip моделі в папки comfy UI models clip або comfy UI models text encoders.

4. Перезавантажуємо!

Після встановлення моделі, знову ж таки, перезавантажуємо ComfyUI.

5. Завантажуємо відео: У ComfyUI завантажуємо потрібне відео.

6. Налаштування тривалості відео: Налаштовуємо тривалість, вказуючи кількість кадрів відповідно до бажаної тривалості відео. Наприклад, якщо у вас відео 25 кадрів за секунду та ви хочете 5 секунд, то 16 (кадри в секунду які використовує модель one) * 5 = 80, додати ще одну рамку для надійності – отримуємо 81 кадр.

7. Визначення кадрів для обробки: Можна налаштувати вибір необхідних кадрів з відео.

8. Отримання образу для зміни.

Завантажуємо перший кадр відео. Використовуючи вузол “Save Image”, зберігаємо його. Переходимо в інший робочий процес, де перетворюємо перший кадр на новий образ (наприклад, зображення вовка).

9. Налаштування підказки (prompt).

Все ще не достатньо? Додаємо підказку для One, вказуючи, що саме хочемо бачити – вовк, сніг, піаніно – все, що підкаже ваша творчість.

10. Запускаємо процес!

Що ж насправді відбувається? Розбираємо “кухню” творчості

Давайте розберемося, що відбувається за лаштунками.

• Video Resizing та Depth Control Map: VASE працює саме з ними. VASE, по суті, виконує роль “Control Net”, що керує процесом перетворення на основі карти глибини.
• VASE як “Control Net”. VASE використовує карту глибини, надаючи їй необхідні дані.
• Глибина – це лише початок! Змінивши їх, можна використовувати Canny edge, Open pose або інші техніки для керування зображенням.
• Strength: Керуємо змінами. Повзунок Strength: впливає на інтенсивність застосування VASE. Рекомендоване значення: 1.
• Start та End Percent: Це як таймер для творчості. Коли VASE почне та закінчується впливати на кожен з кадрів..
• T-Cache: Швидкість без втрат якості. Використовуємо T-Cache для значного прискорення процесу.
• Video Sampler: Тут рождається магія! Це те місце, де відбувається генерація відео.
• Decodе: З латентного простору в реальний світ. Ми перетворюємо згенеровані дані з латентного простору назад у те, що ми можемо бачити.
• Конкатенація та фінал. Все це об’єднується, утворюючи готове відео.

Практичні поради та секрети успіху

• Експериментуйте з підказками! Найкращі результати досягаються шляхом ретельного підбору промптів.
• Почніть з малого. Не намагайтеся зробити все з першої спроби. Спробуйте прості зміни, перш ніж переходити до складних перетворень.
• Не бійтеся помилок! Експериментуйте з різними параметрами, щоб побачити, що працює найкраще для вас.

Підведемо підсумки

Світ restyle відео з використанням One та VASE відкриває перед нами безмежні можливості для творчості. Ви можете перетворити будь-яке відео на щось дивовижне, використовуючи лише свою уяву і трохи технічних знань. Головне – не боятися експериментувати та насолоджуватися процесом!

Сподіваюся, вам було цікаво! До нових зустрічей, творчі друзі!