Runway Gen 4.5: Мій практичний досвід у революції відео зі штучним інтелектом
Привіт, шановні колеги! З вами Ліла Гарт, і останні два десятиліття я провів як експерт з бізнес-аналізу та штучного інтелекту. Сьогодні ми зануримося в неймовірний світ, де цифри оживають у динамічні образи, а статичні зображення стають захоплюючими відео. Нещодавно Runway випустила свою новітню ітерацію Image-to-Video Gen 4.5, і я, відверто кажучи, була рада, що вчасно не потрапила в цю перегони. Це дало мені можливість не тільки ретельно вивчити нові можливості, але й заглибитися в еволюцію, порівнявши її з попередніми версіями. З вашого дозволу, я поділюсь із вами моїм особистим досвідом. За останні місяці в цій галузі сталося більше змін, ніж у деяких сферах за десятиліття.
Як людина, яка не перший рік стежить за Runway, я з захопленням спостерігала за кожним етапом розвитку їх технології. Я мала честь бути однією з перших, хто випробував Gen 4.5, і повинна визнати, що рівень реалізму та креативності, який вона пропонує, вражає. Для цього огляду Runway люб’язно надали мені ранній доступ. Якщо чесно, я б все одно записала відео, бо це дійсно захоплююче!
Пам’ятаєте моє перше відео на YouTube, створене за допомогою Runway Gen One? Це було знаково, пам’ятаю ті відчуття захвату. Хоча, звісно, були й короткі відео. Але саме довгі навчальні матеріали, де можна було спостерігати за всім процесом, стали моїм основним напрямком роботи.
Щоб краще продемонструвати можливості Gen 4.5, я планувала порівняти її з попередніми версіями, щоб побачити, наскільки далеко ми просунулися. Тому давайте почнемо з експериментів і трохи заглибимося в контекст. Ми розпочнемо з тестів на Gen 4.5, а потім перенесемось у минуле.
Погляд у минуле: еволюція Runway
Першим став тест, який ми зробимо, – згенерований на Gen 2. Це було у квітні 2023 року. Так, я знаю, дехто скаже: “Дивно, спотворено”. Але мені все одно подобається! Це як старий, злегка потертий килим – він має свою історію.
Тепер перейдемо до Gen 3. Ця версія з’явилася приблизно 1 липня 2024 року. Ось ми тут, сьогодні. Якщо щось і показує цей проміжок часу, так це те, наскільки далеко ми просунулися за останні кілька років. І, чесно кажучи, ще й те, скільки сивого волосся додалося у мене.
Текстове відео в Gen 4.5: тонкощі та емоції
Перш ніж ми поринемо у магію Image-to-Video, я хотіла б коротко зупинитися на текстовому відео в Gen 4.5. Я все ще знаходжусь на етапі дослідження, але одна з речей, яка мене вразила, – це здатність передавати тонкощі й емоції. Особливо сподобався “брудний”, кінематографічний вигляд, якого можна досягти. Я використала наступний промпт, який ви можете побачити на екрані. Ключові слова – “raw indie film aesthetic, heavy grain and natural lighting” (сирий естетичний стиль незалежного кіно, значне зерно та природне освітлення) – дійсно дали дивовижний ефект.
Image-to-Video Gen 4.5: Тестування на класиці
Але досить говорити, перейдемо від слів до справи! Ми тут заради головної події – Image-to-Video в Gen 4.5. Почнемо з класики: чоловік у синьому діловому костюмі, який йде жвавою міською вулицею.
Для цього зображення я вирішила протестувати один з хаків, про який дізналася з минулотижневої розсилки AI Warper: додати ефект “motion blur” (розмиття руху) до вихідного зображення. Це мало допомогти моделі зрозуміти, що об’єкт рухається. Результат? Це скріншот, який ви бачите. Ось відео, створене в Gen 4.5.
По правді кажучи, я вражена. Не можу сказати з абсолютною впевненістю, чи вплинув motion blur. Але сам результат мені дуже подобається:
- Постійність зображення: Персонаж виглядає однаково протягом всього відео.
- Рух камери: Чудовий.
- Фон: Залишається вірним, але…
Ось що я помітила, тестуючи Image-to-Video 4.5: камера рухається, а жодна частина вулиці не була зображена на вихідному зображенні. Все згенеровано! Це свідчить про те, що Gen 4.5 має велике бажання досліджувати навколишнє середовище під час генерації.
І це не означає, що камера повинна просто блукати. Наприклад, я протестувала, як модель справляється з бігом. І вона впоралася чудово! Пам’ятаєте, як раніше персонажі рухалися, ніби йшли крізь патоку? Цей хлопець біжить щодуху! Але найдивовижніше те, що під час руху назад ми бачимо більше деталей архітектури, повз яку він пробігає.
Несподівані зустрічі: ведмеді та сюрпризи
Ще один тест, який я люблю проводити з новими моделями, – здатність генерувати щось нове й несподіване. Ось зображення чоловіка в хутрі, який йде засніженою тундрою. Зараз зима, і я спостерігаю цю картину зі свого вікна. Ну, майже. Тож я подумала: а що, якщо він піде прямо на камеру, а потім камера різко повернеться, щоб показати… ведмедя?
І що ж ми отримали? Чоловік йде до нас, а потім, в момент розпізнавання, камера повертається, і… ось він, наш ведмідь! Я ще раз вражена здатністю 4.5 підтримувати колірну консистентність і навіть додавати деталі до персонажа, хоча на вихідному зображенні ми бачили його не так вже й багато. Ведмідь виглядає чудово.
Хоча, щиро кажучи, він виглядає трохи здивованим, що той ведмідь там стоїть. Якби він був уважним, то помітив би його раніше. Тому я вирішила різко розвернути камеру назад. І, зізнаюся, тепер виглядає так, ніби наш герой йде прямо на ведмедя. Модель не винна. Коли ви просите AI робити дурниці, воно їх робитиме. Цей хлопець, здається, точно потрапив у халепу.
Вікінг в офісі: несподіване мистецтво
Ще один тест на додавання нового і несподіваного, який мене просто розсмішив. Зображення звичайного індустріального, корпоративного офісу просто неба. І я попросила трекінговий кадр, де вікінг заходить, виглядає трохи розгублено, а потім сідає і починає працювати.
Це те, що ми отримали! Але, я вважаю, модель чудово впоралася з дизайном персонажа. Вираз обличчя – неймовірний. Він точно читається як “Що тут відбувається?”. А потім він сідає і починає друкувати. Гадаю, вираз обличчя: “Ви сказали, що сьогодні день одягу в стилі вікінгів. Ну добре, я приступаю до роботи”.
Привиди на моніторах: IT-співбесіда з майбутнього
Ось старіше зображення, яке я знайшла у своїй бібліотеці. Гадаю, його можна датувати часами, коли я дивилася “Розрив” (Severance). Prompt звучав так: “Комп’ютерні монітори мерехтять примарними зображеннями”. І ось результат! Тепер у нас є відео найдивнішої IT-співбесіди у світі. Чи це примарні зображення? Мабуть так. Ми були досить широко в цьому описі. Але в цілому я вважаю, що завдання виконано.
Саме час зупинитись і нагадати: ви можете генерувати відео тривалістю 5, 8 або 10 секунд. Співвідношення сторін екрану варіюється від 9:16 до моїх улюблених 21:9. Тож, якщо ви шукаєте приголомшливі панорамні пейзажі у науково-фантастичному стилі, 4.5 вас точно порадує.
Що тут справді чудово? Пам’ятаєте ті часи, коли це було просто паралакс? Тепер ми отримуємо повний рух, з персонажем, що переміщується в навколишньому середовищі. Так, все тут чудово.
Ельфійська принцеса і “ходьба та розмова”
Переходимо від наукової фантастики до високого фентезі. Ось старіша генерація ельфійської принцеси, яка читає містичну книгу. Так, я знаю, у неї чотири пальці. Це те, що ми могли б редагувати, але, можливо, для її раси чотири пальці – це норма? Хто знає?
Для цього виходу я хотіла зробити класичну сцену “ходьба та розмова” в стилі “Західного крила”, але з відчуттям “Гри престолів”. Двоє людей йдуть і розмовляють – це основа оповідання в художній літературі. І, щиро кажучи, я вважаю, що модель впоралася дуже добре.
Але ось головне: останній раз, коли ми запускали цей запит, це було в Gen 3. І, знову ж таки, я не хочу причіплятися до Gen 3, але це створювало відчуття, ніби книга була під чарами паралічу. Друзі, ми пройшли довгий шлях.
І, до речі, враховуючи, що зображення ельфійської принцеси було згенероване з використанням дуже старої моделі, запуск того ж запиту з сучаснішою моделлю, в цьому випадку Nano Banana Pro, дає значно покращений відеовихід. Так, це той самий запит, що ми робили раніше, але, очевидно, це відео виглядає набагато краще, ніж попереднє. Тож, золоте правило ніхто не скасовував: якості на вході – якості на виході.
Підсумовуючи: нові можливості Gen 4.5
Підсумовуючи, кілька прикладів, які об’єднують все і підкреслюють те, в чому, на мою думку, 4.5 справді сильна: створення нового та несподіваного, і бажання досліджувати світ.
Ось одна з наших кіберпанк-дівчат, що йде алеєю дистопічного міста. Я попросила камеру різко перевестися на іншу алею, де ховався таємничий фігурист у капюшоні, що підозріло її спостерігав. І, дійсно, ми це отримали. Знову ж таки, це дуже добре ілюструє, як eagerly 4.5 прагне досліджувати територію, яку ви надаєте у початковому зображенні. Панорами та різкі переходи – це те, на що модель дуже добре реагує в запитах.
Наприклад, у цій сцені зомбі-апокаліпсису, запит був на різкий поворот камери вгору, щоб показати вертоліт, який падає на будівлю. І, дійсно, ми це отримали. Знаєте, на що це схоже? На те, що це коштує дорого.
Загалом, я дуже рада новим можливостям Image-to-Video в 4.5. З нетерпінням чекаю, щоб досліджувати далі і побачити, що відкриєте ви, друзі.
Аудіо, інтерфейс та робочі процеси: що ще може Runway?
Тепер я знаю, що багато хто з вас, мабуть, запитує про аудіо в 4.5, про що ще не говорили. Іншої інформації, окрім того, що “це скоро”, у мене немає. Як тільки вона з’явиться, я миттєво зроблю повний огляд.
Але поки що, давайте коротко пройдемось по деяких нещодавніх пропозиціях від Runway. Я не знаю, чи всі знають, але VO3.1 і Nano Banana Pro вже доступні на Runway. Якщо ви давно не заходили на Runway, вони внесли деякі зміни в інтерфейс, які, на мою думку, чудово працюють. Наприклад, “Act 2” тепер знаходиться під вкладкою “Create Video”, яку ми можемо розгорнути. Тут наші референси, “Act 2” і апскейлер.
Під вкладкою “Create Image”, якщо розгорнути, у нас є все: від генерації зображення до таких речей, як “Story Panels”, які ми розглядали минулого разу, або “Stylize Image”.
Story Panels: створюйте наратив за допомогою кадрів
Тепер про “Story Panels”. Це те, де ви можете завантажити будь-яке зображення, в даному випадку – дівчина з вогнеметом у піратській таверні. А потім дати запит на те, що відбувається у вашій історії. Наприклад: “Жінка в піратській таверні п’є ель і відпочиває з піратами, усі сміються і добре проводять час”. Хто б не хотів? Натискаєте “Generate”, і отримуєте ці “стопки” – по суті, три кадри у співвідношенні 3:4, які продовжують розповідати вашу історію.
У минулому відео я казала, що вам все ще потрібно завантажувати це і вручну обрізати. Виявляється, я помилялася. Я зовсім пропустила, що тут є “Panel Upscaler”. Тож, якщо натиснути на це і завантажити будь-яку з ваших “стопок”, це не тільки витягне ваші зображення, а й надасть вам апскейл. І звідти, очевидно, ви можете просто перенести це до Gen 4.5 Image-to-Video і створити відео.
Workflows: керуйте своїм відео як фахівець
Інше велике оновлення, яке я ніколи не встигла охопити, – це “Workflows”. Тож, якщо натиснути на цю вкладку, там є низка попередньо встановлених робочих процесів. Я просто покажу той, який тестувала, знову ж таки, – дівчина з вогнеметом.
І дві речі тут: так, це вузлова “дошка вбивць” (node-based murder board). Я не буду заглиблюватися, бо ми можемо заблукати. Але, на базовому рівні, ми можемо почати з цього кінематографічного зображення “Flamethrower Girl” тут. І потім створити вузл. Просто клацніть правою кнопкою миші, і там є все: від Gen 4, Gen 4.5, Nano Banana Pro, Act 2 і так далі. Ви просто створюєте один із них і потім з’єднуєте вихід свого зображення. І в цьому випадку я використала VO 4 або, вибачте, 3.1, і Gen 4.5. А потім текстовий запит, який ви підключаєте до кожного з них.
Тож, я вважаю, це дуже зручний спосіб порівнювати знімки “туди-сюди”, щоб побачити, який відеогенератор краще працює для конкретного результату. А звідти, насправді, я просто направила це на апскейл відео.
А ось тут цікава річ: у них є опція “Extract Frames”. Тож, якщо ви натиснете “Select Frame”, це насправді не останній кадр. Це будь-який кадр. Тож, якщо я захочу кадр, який був тут, я можу просто натиснути “Select Frame”, і якщо я запущу це, ми отримаємо цей один кадр. Досить зручно.
Є набагато більше, що ми можемо зробити з цим. Я справді починаю розуміти вузлові робочі процеси. Вибачте, ненависники вузлів! Тож, це щось, до чого я не буду більше заглиблюватися, бо це ціла кроляча нора. Ми можемо повернутися до цього в недалекому майбутньому.
А поки, на мою думку, це відео демонструє, що Runway пропонує безліч інструментів, як внутрішніх, так і зовнішніх, і справді стає справді універсальною платформою. І, звичайно, я буду стежити за їхнім наступним оновленням.
Як завжди, дякую за перегляд. Мене зовуть Ліла Гарт. Залишайтеся на зв’язку!
