Коли ШІ заговорив: чи готові ваші відео до життя?
Привіт, друзі! З вами Ліла Харт, і останнім часом мене не покидає думка про те, як швидко змінюється світ технологій. Ще зовсім недавно ми дивувалися, як штучний інтелект може створювати неймовірні зображення. А тепер він заговорив. І не просто невиразно бурмоче, а веде діалоги, співає пісні та навіть озвучує цілі сцени. Вражає, чи не так?
Минулого тижня світ AI-фільммейкінгу буквально вибухнув від новин. Компанія Kling випустила нову версію – 2.6, і хоча це всього лише оновлення на 0.1, воно стало справжнім проривом. Адже тепер Kling вміє працювати зі звуком. Так-так, ви не помилилися. Відео, створені за допомогою ШІ, тепер можуть мати власний аудіосупровід. Це як оживити німу кінокартину, додавши їй голоси, музику й звуки…
Але чи все так ідеально, як здається на перший погляд? Чи можна вже зараз довіряти ШІ свої кінопроєкти, чи це лише перші кроки? Сьогодні ми зануримося у можливості Kling 2.6, подивимося, де він показує найкращий результат, а де ще потребує вдосконалення. Крім того, наш давній знайомий, ByteDance, не залишився осторонь і випустив Cdream 4.5 – нову версію свого генератора зображень. Він також обіцяє багато цікавинок, особливо в плані розуміння навколишнього світу та часової послідовності. І, звісно, ми не оминемо увагою шалено крутий нейромережевий запит – Nano Banana, який може стати справжнім рятівником для тих, хто захоплюється створенням фільмів за допомогою ШІ. Тож, пристебніть паски, бо тиждень був насиченим!
Kling 2.6: час заговорити!
Kling не перестає дивувати. Після випуску флагманської моделі 0.1, яка досі захоплює мене своєю глибиною, компанія пішла ще далі – випустила версію 2.6, яка вміє генерувати відео зі звуком. Це як отримати бажаний інструмент, про який мріяли, хоча навіть не очікували, що він з’явиться так скоро.
Щоб оцінити нові можливості, я вирішила спробувати створити коротку сцену. Уявіть собі: детектив у стилі нуар. Похмуро, загадково, і, найголовніше, тепер зі звуком!
(Далі йде вставка відео або опису з subtitles: “I need to hire you for a case.” >> “Im not taking the job. Feels like blood money.” >> “Ill pay you $2 million.” >> “Ill take the case. I should have known Id never lived to collect that money.”)
Звучить досить непогано, погодьтесь? Наш герой не просто рухається, а й говорить, передаючи емоції. Але, як завжди, є нюанси.
Цікавий факт: Це не був один магічний клік. Мені довелося змонтувати кілька окремих кліпів, щоб отримати такий результат. Штучний інтелект поки що не завжди ідеально з’єднує фрагменти в єдину історію.
Крім того, ви одразу помітите різницю в голосах. Вони можуть змінюватися від одного згенерованого кліпу до іншого. Тому, якщо ви хочете, щоб ваш персонаж звучав однаково протягом усього фільму, будьте готові до експериментів.
(Далі йде вставка відео/аудіо з subtitles: “Im not taking the case. Feels like blood money.” >> “I should mention I have spoken to Clling about this. Uh they are aware that this is a feature that we all desperately want and well I mean what can I say? Theyre working towards it.”)
Саме так, розробники Kling вже знають про цю проблему. Це не баг, а скоріше особливість, над якою вони працюють. Адже всі ми хочемо, щоб наші ШІ-персонажі звучали як живі люди, а не як набір випадкових реплік.
Технічні аспекти: що вміє Kling 2.6?
Наразі Kling 2.6 генерує відео тривалістю 5 або 10 секунд із роздільною здатністю 1920×1080. Це стандарт, але сподіваємось, що в майбутніх версіях буде більше. Звісно, він все ще підтримує генерацію відео з тексту та зображень. Але, будьте уважні, функції “першого кадру” та “останнього кадру” поки що недоступні. Це означає, що керувати точним початком і кінцем вашої сцени буде складніше.
І ще один важливий момент: наразі Kling 2.6 підтримує генерацію мови лише англійською та китайською. Це дещо обмежує, особливо для нас, українців, але, як я вже казала, розробники активно працюють над розширенням мовної підтримки.
Давайте подивимося, як він справляється з текстовими запитами. Я взяла свою улюблену тему – агента ФБР, натхненного “Твін Пікс”, у кафе.
(Далі йде вставка відео з subtitles: “It is a damn fine cup of Joe. But hows the pie? >> The pie is amazing. Its an old recipe from the log lady.”)
Що сказати? Досить солідно для відео з тексту. Діалоги, які я просила, на місці. Наш агент ФБР видав виступ, гідний Дейла Купера – повний ентузіазму. І, до речі, Kling похвалив за те, що агент не тримає дві чашки кави одночасно, як це часто буває в інших AI-генераторах. Виявляється, надлишок кофеїну – це проблема, яку ШІ також навчився уникати!
А тепер спробуймо те саме, але з зображенням (image-to-video). Я взяла ту ж сцену і віддала її на з’їдання Kling 2.6.
(Далі йде вставка відео з subtitles: “It is a damn fine cup of Joe. But hows the pie? The pie is amazing. Its an old recipe from the log lady.”)
Тут є одна деталь, яка мені ріже слух – є невелика скутість у вимові, певна механічність у фразах. Але, якщо чесно, в контексті “Твін Пікс” це навіть працює, додаючи такого собі “лінчівського” вайбу.
Гумористичне застереження: Іноді трапляються “діалогові збої”, коли репліки перемішуються. Наприклад, наша героїня раптом починає говорити ніби з-під палки про той самий чудовий пиріг.
(Далі йде вставка відео з subtitles: “It is a damn fine cup of Joe. >> But hows the pie? The pie is amazing. Its an old recipe from the log lady. >> Man, Julie back there sounds pretty unenthusiastic about that pie.”)
“Діалогові збої” – так, вони трапляються. Але, на щастя, цей недолік не такий очевидний, як, скажімо, у версії V3.
Швидка перевірка: піратський речитатив
Хоча деякі діалоги можуть звучати трохи штучно, Kling 2.6 вражає своєю здатністю генерувати швидкі, насичені епізоди. Я дала йому завдання – піратський речитатив. Уявіть собі :
(Далі йде вставка відео/аудіо з subtitles: “Im the aquatic erratic glatic dramatic clatic hold breaker swing and cut last faster than a hurricane maker. Watch a ship navigation lock on a location put devastation without any negotiation. Im Abro. Im tacked to the speed is impractical. The way Im navigating is strictly not”)
Я вже оголошую: “Піратський кор” – це новий хіп-хоп жанр, який вибухне наступного року! Це було вражаюче, особливо враховуючи, що я отримала лише 10 секунд. Жахливо, що модель стільки потужності витрачає на такий короткий проміжок часу.
Звісно, як і будь-який ШІ, Kling може іноді “глючити”. Але ця “дивність” часто буває надзвичайно кумедною. Як, наприклад, у цьому випадку від Alex G media:
(Далі йде вставка відео з subtitles: “Come on, baby. Please talk to me.” >> “I have pizza.” >> “Lets talk. I can tell you one thing. I know that lets talk. That really means lets argue.”)
А це ж справжня знахідка!
Минуле оживає: як Kling 2.6 додав звуку старим відео
Найцікавіше, що 2.6 – це, по суті, 2.5 з доданим звуком. Це навіть відчувається. І, що приємно, якщо ви зайдете до своєї бібліотеки, то старі відео, згенеровані раніше у версії 2.5, тепер також отримали аудіо! Це як знайти забуті фотографії, а потім виявити, що вони ще й говорять!
(Далі йде вставка відео/аудіо з subtitles: “Oh, interestingly, some of your 2.1 generations will also now have audio.”)
А деякі навіть старіші генерації (2.1) теж отримали звук! Звісно, аудіо там може бути трохи “кривим”, але ж ви спочатку й не замовляли звук. Це показує, що Kling 2.6 сильний не тільки в діалогах, але й у створенні звукових ефектів. Наприклад, ось як їх використовує Stevie Mack.
Китайська мова: чи звучить природніше?
Оскільки Kling 2.6 підтримує дві мови, я вирішила перевірити, чи звучатиме діалог природніше китайською, адже Kling – це китайська компанія. Експеримент провели, натхненний стилем “Варкрафт” та Джона Ву.
(Далі йде вставка відео/аудіо китайською, а потім англійською з subtitles: “What movie do you think were in >> with These Guns? Definitely an action movie. >> Pity. I dressed for a romance. >> Maybe next time.”)
Я, звісно, не знаю китайської, але з боку все виглядало цілком природно. Шановні носії мови, напишіть у коментарях, як вам здалося?
Загалом, Kling 2.6 – це значний крок уперед. Мені не надто подобаються поточні голоси персонажів, але це лише початок. Я впевнена, що будуть оновлення. А поки що, ми маємо чудову модель 0.1 для експериментів, яка досі захоплює мене своєю глибиною.
ByteDance Cdream 4.5: новий претендент у “банановому” змаганні
А тепер перенесемося до ByteDance та їхньої нової іграшки – Cdream 4.5. Це генератор зображень, редактор, все в одному. Основні переваги, які вони обіцяють: краща деталізація, чіткіші риси обличчя, кінематографічне кольорографування, 3D-глибина та висока роздільна здатність до 4K. А ще, тепер він краще розуміє текст і може працювати з 10 референсними зображеннями для кращої консистентності.
Я вирішила перевірити його “розуміння світу” на старому знайомому – чоловікові в синьому костюмі. Але цього разу ми відправимо його в подорож у часі!
Уявіть: наш герой, який минулого разу потрапив до Зони 51, тепер опинився… у 1972 році!
(Далі йде вставка зображення: “a man in a blue business suit walking down a busy city street in 1972.” Із календарем, що показує 1972 рік.)
Cdream 4.5 чудово впорався. Ось вам і календар, і одяг, і загальна естетика. Але це тільки початок!
Тепер – стрибок у 1982 рік!
(Далі йде вставка зображення: Той самий чоловік, але вже з календарем 1982 року. Оточення та одяг також відповідають.)
Вражаюче! Він не тільки змінив календар, але й оточення, одяг перехожих, машини – все стало епохальним.
1992 – епоха джинсів і широких піджаків!
(Далі йде вставка зображення: Чоловік у широкому синьому костюмі, на фоні машини Honda Accord, типової для 90-х.)
І знову – 100% влучання! Цей костюм, ця машина… Cdream 4.5 просто кричить “1992-й”!
2002 – час тонких костюмів і нових автомобілів.
(Далі йде вставка зображення: Чоловік у більш приталеному костюмі, машини відповідні.)
На цьому етапі вже немає таких яскравих відмінностей, але все одно – дуже правдоподібно.
2012 – skinny jeans та personalised plates!
(Далі йде вставка зображення: Жінка в skinny jeans, машина з номерним знаком 2012.)
А ось і 2012 рік – skinny jeans! І машини відповідно до трендів.
І нарешті – 2022, наш час.
(Далі йде вставка зображення: Сучасні машини, вітрина магазину тепер схожа на сірий корпоративний бокс.)
Тут сталося дещо несподіване. Той самий магазин, який був з нами з першого кадру, тепер перетворився на якийсь корпоративний сірий бокс. Трохи сумно, але так буває.
А що буде у 2032?
(Далі йде вставка зображення: Типовий футуристичний образ “неонової утопії”.)
Це вже класичний AI-образ майбутнього – неоновий, трохи утопічний. Нічого екстраординарного.
Цей експеримент з чоловіком у синьому костюмі, хоч і був трохи кумедним, але чудово показав, наскільки добре Cdream 4.5 розуміє “світобудову” та часові рамки.
Але Cdream 4.5 – це не тільки про подорожі в часі. Він також створює чудові естетичні зображення. Ось, наприклад, шеф, який псує стейк.
(Далі йде вставка зображення: Шеф, що прикрашає стейк.)
І дама, що насолоджується кавою в Парижі. Зверніть увагу: жодного “подвійного тримання” чашки!
(Далі йде вставка зображення: Дама в Парижі з кавою.)
Cdream 4.5 тепер доступний на Dreamina та через API. Він посідає сьоме місце в рейтингу text-to-image. Як думаєте, заслужено?
Неймовірна “бананова” підказка для кіномайстрів!
А тепер – про секретну зброю для AI-кіномейкерів: неймовірну підказку “Nano Banana”. Вона допомагає генерувати “контактні листи” – набір потенційних кадрів, які чудово підійдуть для послідовних сцен.
Уявіть, що ви берете одне зображення, і ця підказка генерує вам цілий список варіантів, як може розвиватися дія.
(Далі йде вставка зображення: Результат роботи “Nano Banana” – колонка з потенційними кадрами.)
Не всі кадри ідеальні, і не всі вони послідовні, але це чудовий інструмент для пошуку ідей. Особливо корисно, якщо ви працюєте з перенесенням персонажів з одного AI-відео в інше.
Як це найкраще використовувати?
- Згенеруйте “контактний лист” за допомогою Nano Banana.
- Виберіть найкращі кадри.
- Використовуйте їх як референси для подальшої генерації відео, наприклад, у VO.
Це займе час і потребуватиме експериментів, але це надзвичайно корисний спосіб мати багато варіантів і будувати своє кіно. Особливо, коли потрібно підтримувати візуальну консистентність персонажів.
Лайфхак: Якщо вам потрібно замінити персонажа, ви можете надати AI референсне зображення того, кого саме ви хочете бачити на екрані.
І, звісно, я залишу посилання на цю чудову підказку в описі, щоб ви могли її спробувати та адаптувати під себе.
Що далі?
Тиждень був насиченим. Kling 2.6 зробив величезний крок уперед, додавши звук до відео. ByteDance Cdream 4.5 показав, наскільки добре ШІ розуміє світ і час. А Nano Banana дає нам нові інструменти для створення кіно.
Звісно, ці технології ще не ідеальні. Є проблеми з консистентністю голосів, іноді трапляються “діалогові збої”, а робота зі звуком потребує доопрацювання. Але прогрес видно неозброєним оком.
Зараз за лаштунками вже чекає Runway Gen 4.5. Я поки що не маю до нього доступу, але як тільки отримаю – обов’язково протестую його на повну.
Підсумовуючи, ми спостерігаємо справжню еволюцію у світі AI-відео та зображень. Кожен реліз приносить нові можливості, які роблять AI-контент ближчим до реальності.
Що робити вам? Експериментуйте! Спробуйте Kling 2.6, пограйтеся з Cdream 4.5, дослідіть Nano Banana. Не бійтеся помилятися, адже саме в процесі помилок народжуються найцікавіші відкриття.
Заклик до дії: Завантажте нові версії, протестуйте їх, і діліться своїми враженнями та результатами в коментарях! Давайте разом досліджувати цю дивовижну подорож у світ штучного інтелекту.
До наступних зустрічей! Ваша Ліла Харт.
