Відгук на нову функцію Runway: “References” – Коли штучний інтелект натхненний людськими історіями
Привіт всім! З вами Ліла Гарт, бачите, і сьогодні ми з вами зануримось у захопливий світ штучного інтелекту, а саме – у нову функцію “References” від Runway. Зрозуміло, знаєте, я завжди захоплювалась креативністю та потенціалом, який. Криється в наших руках, особливо коли ці руки направляють технології. Щоб було ясно, і зараз, спостерігаючи, як штучний інтелект стає все більш здатним втілювати наші уяви, я відчуваю справжнє хвилювання.
Отож, маємо новий гравець на горизонті – функція “References” від Runway. З її допомогою, як обіцяють розробники, ми зможемо досягти. Неймовірної стабільності та узгодженості персонажів і об’єктів у відео. І знаєте, саме цього ми так довго чекали! До речі, адже, часто, найскладніше у роботі з ІІ -. Це втримати героя від перевтілення у щось зовсім інше посеред відео. Зрозуміло,
Перші кроки та знайомство з функцією
Розберемось детальніше, як це працює. Щоб було ясно, по суті, “References” дозволяє вам завантажити зображення персонажа або об’єкта, і. Безумовно, потім штучний інтелект буде взагалі, використовувати його як орієнтир для створення відеоряду. Це як дати художнику ескіз і попросити його написати картину – тільки тут художник – це потужний алгоритм. Зрозуміло,
скажімо,
Власники Runway не стали зволікати і випробували функцію в дії. Розпочалось все в принципі, з “Gen 48” – 48-годинного фестивалю AI-фільмів. Де учасники мали можливість першими випробувати нові можливості Runway. І результати вражають! Майстри показали, що дійсно можливо досягти у створенні відео неймовірних річей.
А зараз, після завершення інтенсивного етапу, функція стає доступною для всіх. Якщо ви ще не маєте доступу, не хвилюйтесь. – як показує практика, це питання кількох днів. До речі,
Наш таємний герой – пан у синьому костюмі
Отож, перейшли до практики. Наш слухайте, герой, пан у синьому костюмі, знову з нами! У минулій серії він опинився у занедбаному шахтарському містечку, і зараз функція “References” дозволяє нам оживити його пригоди знову. Безумовно,
Він з’являється зараз, у вигляді зображення, яке я створила – пан. У синьому костюмі, який, на мою думку, трохи нагадує героя з відомого серіалу. Тепер, використовуючи “References”, ми можемо перенести його у рух.
Важливо пам’ятати, що просто перетягнути зображення – не працює. Натомість, потрібно натиснути кнопку “Gen 4 references”, перейти на вкладку “Image”, натиснути “+” і завантажити фото. Щоб було ясно, після цього ми вводимо промт, щоб натхнути алгоритм: “чоловік у синьому. До речі, костюмі з зображення [номер зображення], що стоїть в занедбаній шахті, тримаючи ліхтарик”.
розумієте,
І ось воно проте чотири варіанти. Деякі з скажімо, них дуже схожі на вихідне зображення. Звісно, є і невеличкі відхилення – колір костюму, вираз обличчя, але все дуже пристойно. Далі, я використовую припустимо, вдосконалений промт: “чоловік йде вперед досліджувати печеру”. І результат вражає і припустимо,
Так, з’являються деякі артефакти (якщо придивитись). Але, персонаж залишається впізнаваним, а ліхтарик у його руках перетворюється на. Камеру. Але це все дрібниці, еге ж? Відверто кажучи, фактично,
Друзі та стилі: багатогранність творчості
Далі, я вирішила повернутись до історії, яку ми розпочали з паном у синьому костюмі – і додати до неї вовка, якого ми вже знаємо. Завантажуємо картинку вовка, вводимо відповідний промт: “чоловік у синьому костюмі з зображення (номер зображення), та вовк з зображення (номер зображення)”, обираємо з кількох варіантів той, що найбільше нам подобається, і відправляємо його у відео.
І ось, вони вирушають у подорож, досліджуючи печеру! Перші кілька секунд – трохи інертності, потім все чудово. Вовк трохи “кульгає”, але – все як ми й хотіли.
“References” чудово працює з різними стилями. І тепер, ми можемо налаштувати генерацію. За допомогою попередньо встановлених пресетів Runway, або використовуючи власні стилі, ми зможемо отримати неймовірні результати. Експерименти – припустимо, наше все та звісно, з великим ризиком.
Експерименти з різними героями
Але, не варто зупинятись на одному герої. Я вирішила ще дещо перевірити. Створила двох героїв, Блейна та Роджера, і помістила їх у антураж кримінальної драми. Тут починаються певні проблеми і результати стали менш передбачуваними, місцями навіть кумедними. Голови уявіть значить, собі, персонажів міняються місцями, у одного виростає борода. Інший взагалі виглядає так, наче його захопили злі духи.
Що ж сталося? Я припускаю, що спроба одночасно опрацювати наприклад, двох схожих персонажів – занадто складне завдання для ІІ. Алгоритм просто плутає атрибути.
Але, я вирішила не здаватись. Я створила ще одного персонажа, жінку, і спробувала знову помістити їх разом у сцену. І результати стали кращими!
З цього можна зробити висновок: якщо герої дуже. Схожі один на одного, алгоритм може змішувати їхні риси. Але, навіть з такими нюансами, “References” дозволяє зробити дійсно вражаючі кадри.
Різноманітність кадрів та локацій
Ще одна цікава особливість – можливість створювати кадри з різними кутами огляду. Легко зробити кадр через плече оскільки а потім – зробити зворотний ракурс. Додати трохи руху камери. І ось, перед нами – справжній фільм! Тут ІІ допомагає почувати себе режисером. А якщо додати конкретну локацію?
Я створила ще один епізод. Два героя, на вулиці Лос-Анджелеса, наче вони щось обговорюють. Результат – крутий і все виглядає дуже реалістично, в такому дусі.
До речі, у цій серії я не використовувала Turbo-модель. Вона робить відео швидше, але хоча дивніше.
Експерименти з Frame
Ще припустимо, один цікавий момент: чи може “References” взаємодіяти з тим, що було створено у Frame? Я створила двох персонажів, у кіберпанковому стилі тому і результат вийшов досить непоганим. Хоча, стилістично – це не шедевр, але у плані кінематографічної мови – все тримається разом. От,
Наостанок, невеличкий лайфхак, приблизно так. Можна змінити положення рук персонажа у наступному кадрі – і отримати два кадри за ціною одного.
Результати: дивіться, як працює “References” з детальними образами? Щоб було ясно,
А як “References” працює з наборами зображень одного персонажа? Раніше подібні функції часто плутались, генеруючи декілька версій одного й того ж героя. Але “References” справився без проблем! Очевидно,
Наприклад, створила образ Лари Крофт (звісно, умовно! ), та вказала, що вона – відважна авантюристка. Усі деталі були враховані та і якісна відеоробота була готова!
Ще один трюк: беремо зображення героя, використовуємо його як референс, а потім просимо створити кадр з висоти пташиного польоту над тропічними джунглями. Результат – приголомшлива картинка!
Від творчості спільноти
Крім особистих вражень, я також хочу поділитися найкращими роботами спільноти.
Dave Clark показав нам неймовірну історію про персонажа на ім’я Арті, який відпочиває від людей.
Tom likes Robots демонструє чудовий приклад використання AI відео.
Andy McNamera показує приголомшливий кадр з чотирма персонажами. У Gen3 було максимальна кількість референсів – три, тому це просто неймовірно! Справа в тому, що
Підсумок
Отже, чи справився Runway з “References”? Безумовно, безперечно! Чи все ідеально і звісно, ні. Але, як то кажуть, це – найгірше, що може трапитись зараз. І це – той самий випадок проте
Звісно, доведеться пристосовуватись, вирішувати проблеми. Але, це стосується і традиційного кіно. Важливо, що ми отримали те, про що так довго мріяли. Очевидно, тож – вперед, творити!
Дякую за увагу тому з вами була Ліла Гарт. До нових зустрічей!
