Відгук на нову функцію Runway: “References” – Коли штучний інтелект натхненний людськими історіями
Привіт всім! З вами Ліла Гарт, і сьогодні ми з вами зануримось у захопливий світ штучного інтелекту, а саме – у нову функцію “References” від Runway. Знаєте, я завжди захоплювалась креативністю та потенціалом, який криється в наших руках, особливо коли ці руки направляють технології. І зараз, спостерігаючи, як штучний інтелект стає все більш здатним втілювати наші уяви, я відчуваю справжнє хвилювання.
Отож, маємо новий гравець на горизонті – функція “References” від Runway. З її допомогою, як обіцяють розробники, ми зможемо досягти неймовірної стабільності та узгодженості персонажів і об’єктів у відео. І знаєте, саме цього ми так довго чекали! Адже, часто, найскладніше у роботі з ІІ – це втримати героя від перевтілення у щось зовсім інше посеред відео.
Перші кроки та знайомство з функцією
Розберемось детальніше, як це працює. По суті, “References” дозволяє вам завантажити зображення персонажа або об’єкта, і потім штучний інтелект буде використовувати його як орієнтир для створення відеоряду. Це як дати художнику ескіз і попросити його написати картину – тільки тут художник – це потужний алгоритм.
Власники Runway не стали зволікати і випробували функцію в дії. Розпочалось все з “Gen 48” – 48-годинного фестивалю AI-фільмів, де учасники мали можливість першими випробувати нові можливості Runway. І результати вражають! Майстри показали, що дійсно можливо досягти у створенні відео неймовірних річей.
А зараз, після завершення інтенсивного етапу, функція стає доступною для всіх. Якщо ви ще не маєте доступу, не хвилюйтесь – як показує практика, це питання кількох днів.
Наш таємний герой – пан у синьому костюмі
Отож, перейшли до практики. Наш герой, пан у синьому костюмі, знову з нами! У минулій серії він опинився у занедбаному шахтарському містечку, і зараз функція “References” дозволяє нам оживити його пригоди знову.
Він з’являється зараз, у вигляді зображення, яке я створила – пан у синьому костюмі, який, на мою думку, трохи нагадує героя з відомого серіалу. Тепер, використовуючи “References”, ми можемо перенести його у рух.
Важливо пам’ятати, що просто перетягнути зображення – не працює. Натомість, потрібно натиснути кнопку “Gen 4 references”, перейти на вкладку “Image”, натиснути “+” і завантажити фото. Після цього ми вводимо промт, щоб натхнути алгоритм: “чоловік у синьому костюмі з зображення [номер зображення], що стоїть в занедбаній шахті, тримаючи ліхтарик”.
І ось воно! Чотири варіанти. Деякі з них дуже схожі на вихідне зображення. Звісно, є і невеличкі відхилення – колір костюму, вираз обличчя, але загалом, все дуже пристойно. Далі, я використовую вдосконалений промт: “чоловік йде вперед досліджувати печеру”. І результат вражає!
Так, з’являються деякі артефакти (якщо придивитись). Але, загалом, персонаж залишається впізнаваним, а ліхтарик у його руках перетворюється на… камеру. Але це все дрібниці, еге ж?
Друзі та стилі: багатогранність творчості
Далі, я вирішила повернутись до історії, яку ми розпочали з паном у синьому костюмі – і додати до неї вовка, якого ми вже знаємо. Завантажуємо картинку вовка, вводимо відповідний промт: “чоловік у синьому костюмі з зображення (номер зображення), та вовк з зображення (номер зображення)”, обираємо з кількох варіантів той, що найбільше нам подобається, і відправляємо його у відео.
І ось, вони вирушають у подорож, досліджуючи печеру! Перші кілька секунд – трохи інертності, потім все чудово. Вовк трохи “кульгає”, але загалом – все як ми й хотіли.
Крім того, “References” чудово працює з різними стилями. І тепер, ми можемо налаштувати генерацію. За допомогою попередньо встановлених пресетів Runway, або використовуючи власні стилі, ми зможемо отримати неймовірні результати. Експерименти – наше все! Звісно, з великим ризиком.
Експерименти з різними героями
Але, не варто зупинятись на одному герої. Я вирішила ще дещо перевірити. Створила двох героїв, Блейна та Роджера, і помістила їх у антураж кримінальної драми. Тут починаються певні проблеми. Результати стали менш передбачуваними, місцями навіть кумедними. Голови персонажів міняються місцями, у одного виростає борода, інший взагалі виглядає так, наче його захопили злі духи.
Що ж сталося? Я припускаю, що спроба одночасно опрацювати двох схожих персонажів – занадто складне завдання для ІІ. Алгоритм просто плутає атрибути.
Але, я вирішила не здаватись. Я створила ще одного персонажа, жінку, і спробувала знову помістити їх разом у сцену. І результати стали кращими!
З цього можна зробити висновок: якщо герої дуже схожі один на одного, алгоритм може змішувати їхні риси. Але, навіть з такими нюансами, “References” дозволяє зробити дійсно вражаючі кадри.
Різноманітність кадрів та локацій
Ще одна цікава особливість – можливість створювати кадри з різними кутами огляду. Легко зробити кадр через плече. А потім – зробити зворотний ракурс. Додати трохи руху камери. І ось, перед нами – справжній фільм! Тут ІІ допомагає почувати себе режисером. А якщо додати конкретну локацію?
Я створила ще один епізод. Два героя, на вулиці Лос-Анджелеса, наче вони щось обговорюють. Результат – крутий! Все виглядає дуже реалістично.
До речі, у цій серії я не використовувала Turbo-модель. Вона робить відео швидше, але… дивніше.
Експерименти з Frame
Ще один цікавий момент: чи може “References” взаємодіяти з тим, що було створено у Frame? Я створила двох персонажів, у кіберпанковому стилі. І результат вийшов досить непоганим. Хоча, стилістично – це не шедевр, але у плані кінематографічної мови – все тримається разом.
Наостанок, невеличкий лайфхак. Можна змінити положення рук персонажа у наступному кадрі – і отримати два кадри за ціною одного.
Результати: як працює “References” з детальними образами?
А як “References” працює з наборами зображень одного персонажа? Раніше подібні функції часто плутались, генеруючи декілька версій одного й того ж героя. Але “References” справився без проблем!
Наприклад, створила образ Лари Крофт (звісно, умовно!), та вказала, що вона – відважна авантюристка. Усі деталі були враховані. І якісна відеоробота була готова!
Ще один трюк: беремо зображення героя, використовуємо його як референс, а потім просимо створити кадр з висоти пташиного польоту над тропічними джунглями. Результат – приголомшлива картинка!
Від творчості спільноти
Крім особистих вражень, я також хочу поділитися найкращими роботами спільноти.
Dave Clark показав нам неймовірну історію про персонажа на ім’я Арті, який відпочиває від людей.
Tom likes Robots демонструє чудовий приклад використання AI відео.
Andy McNamera показує приголомшливий кадр з чотирма персонажами. У Gen3 було максимальна кількість референсів – три, тому це просто неймовірно!
Підсумок
Отже, чи справився Runway з “References”? Безперечно! Чи все ідеально? Звісно, ні. Але, як то кажуть, це – найгірше, що може трапитись зараз. І це – той самий випадок.
Звісно, доведеться пристосовуватись, вирішувати проблеми. Але, це стосується і традиційного кіно. Важливо, що ми отримали те, про що так довго мріяли. Тож – вперед, творити!
Дякую за увагу! З вами була Ліла Гарт. До нових зустрічей!
