Еволюція в ШІ: Подорож Від Відео-до-Відео та Нових Горизонтів
Мене звуть Ліла Гарт, і сьогодні ми разом зануримося у захопливий світ штучного інтелекту, де творчість зустрічається з технологіями. Сьогодні я хочу поділитися враженнями від нещодавнього відео, яке розкриває перед нами неймовірні можливості у сфері відео-рестилізації та генерації зображень.
Відео-до-Відео: Коли Магія Втілюється в Пікселях
Почнімо з самого початку – з відео-до-відео рестилізації. Я, як і автор відео, є великим шанувальником цього процесу. Спочатку може здатися, що це щось дивне та трохи глючне, але зрештою відкривається безмежний простір для творчості. Можна використати власний відеоматеріал, вдихнути в нього нове життя та перенести в неймовірні світи.
Автор відео відмічає дві основні проблеми, з якими найчастіше стикаються користувачі. Перша – стилізаційне перевантаження, коли зображення починає перетворюватися на щось віддалене, схоже на 3D-анімацію. Друга – синхронізація губ, яка, на щастя, вже знаходиться на фінальному етапі вирішення.
У відео продемонстрували оновлення від RunwayML, що, на їхню думку, наразі лідирує в цій сфері. І що ж? Результати дійсно вражаючі! Яскравим прикладом є перетворення улюбленого багатьма фільму “Одного разу на Дикому Заході” у кіберпанковий вестерн.
Як працює RunwayML?
Процес відносно простий. Ви берете перший кадр, обробляєте його в Midjourney для рестилізації, а потім в RunwayML. В результаті отримуєте вражаючу синхронізацію губ і збереження індивідуальності акторів. Хоча, звісно, не забуваємо про характерні для кіберпанку деталі, наприклад, кібернетичну маску на обличчі персонажа. Автори відео підкреслюють, що це дійсно неймовірно.
Варто зазначити, що нова версія є у бета-версії, але, як ви бачите, вона демонструє чудові результати.
Процес роботи в RunwayML детально:
- Завантаження відео: Ви просто перетягуєте відео у програму. У RunwayML вперше з’являється таймлайн, що дуже зручно.
- Натискаємо “чарівну кнопку”: Програма автоматично пропонує різні варіанти стилізації.
- Рестилізація у Midjourney (або будь-якій іншій програмі).
- Вибір зображення та його перенесення в RunwayML.
- Використання різних вбудованих опцій: Можна вибрати модель, налаштувати control nets (глибина, нормальна карта, поза, soft edge), Face mesh (для покращення стабільності), та найважливіше – обмежити кількість кадрів, що генеруються за раз.
Ключовий момент:
Варто зазначити, що стилізація може змінюватись у різних частинах відео. Щоб уникнути цього, рекомендовано поділяти відео на частини, використовуючи слайдер.
Приклади та Враження:
У відео приводяться ще декілька прикладів, які демонструють неймовірну стабільність та вражаючу якість відео-до-відео, коли персонажі зберігають свою унікальність та атмосферу.
Higsfield: Створюємо Світ З Вашою Участю
Далі автори відео переходять до Higsfield. Це ще один інструмент, що пропонує великі можливості для створення зображень. Найцікавішим, на мою думку, є функція «Train a character», яка дозволяє навчити ШІ та створити власного унікального персонажа.
Як це працює:
Вам потрібно завантажити щонайменше 20 фотографій однієї людини. Обираючи фотографії, зверніть увагу на чіткість обличчя, уникайте групових знімків. Автор відео ділиться, що використовує багато фотографій з власним обличчям, і в результаті модель добре “вивчила” його.
Bleed-in та як його уникнути:
У процесі навчання може виникнути “bleed-in” – коли модель запозичує елементи з середовища, в якому ви знаходитесь. Наприклад, це було помітно на зображеннях, де фон переносився у кінцеве зображення.
Вихід:
- Радимо підбирати фотографії в різних навколишніх умовах.
- Можна відредагувати фон, видаливши непотрібні деталі.
Позитивні моменти:
Higsfield має чудовий редактор, який дозволяє вносити зміни та виправлення. Коли все працює як треба, результати вражають.
Higsfield: від зображення до відео
Особливо вражає те, що Higsfield дозволяє перетворити створені зображення на відео за допомогою різних пресетів.
Додаткові можливості:
Ще одна цікава особливість Higsfield – це те, що фонові персонажі в процесі генерації відео перестають бути схожими на вас.
Експерименти у стилі “kitbash”
У відео продемонстрований експеримент, коли автор з’єднав різні інструменти для створення ефектного відео. Він використав WAN 2.1, Pika, Higsfield та After Effects. Результат? Безперечно, варто уваги!
Magnific: Відточена Точність
Наостанок, автори відео розглянули Magnific – програму для покращення зображень. Вона відрізняється від креативного масштабування тим, що не змінює оригінальний вигляд зображення. Вона дозволяє збільшити розмір фотографії та покращити різкість, роблячи зображення значно чіткішим.
У підсумку:
Штучний інтелект продовжує вражати. Від відео-до-відео рестилізації до створення власних персонажів – інструменти стають потужнішими, а можливості безмежними. Залишається лише експериментувати, вчитися та насолоджуватися творчим процесом!
Дякую за увагу! Сподіваюся, цей огляд був для вас корисним та надихаючим. До зустрічі незабаром!
