Нова ера в AI: Як WAN 2.6 та C Dance 1.5 Переформатовують Відеогенерацію
Привіт, друзі! Ліла з вами, і останні тижні я відчувала себе спостерігачем захоплюючих перегонів, де замість машин – передові AI-моделі, а замість траси – наш цифровий простір. Коли здавалося, що темп трохи спав, компанія Alibaba випустила WAN 2.6 – оновлення свого AI-відеогенератора. Це не просто оновлення, а справжній прорив! Паралельно ByteDance не відстає, представивши C Dance 1.5. Хоча це трохи дивно, у мене є деталі та зразки для огляду. Чи знали ви, що тепер можна створити відео від першої особи з уже наявного відео? Дивовижно, правда? Отже, поринемо глибше!
WAN 2.6: Коли AI Начинає Говорити (та Співати!)
WAN 2.6 з’явився всього через кілька місяців після версії 2.5, що вже вражає. Але важливіше не швидкість, а мультимодальний підхід, який використовує ця версія. Якщо ви чули про порівняння із Sora – забудьте, це інше. Близько до моделі Cllings 01 [посилання].
Найбільш захопливим є аудіо. Якщо версія 2.5 вже мала звук, то в 2.6 він вийшов на новий рівень. Якість звуку настільки висока, що AI тепер може говорити!
“Сподіваюся, ви запам’ятали свої репліки, бо тепер ми можемо розмовляти!”
Так, ви не помилилися. Тепер AI-відео можуть говорити. Але це ще не все:
- Мульти-кадри з інтелектом: Модель розумно генерує кілька послідовних кадрів, що робить відео більш плавним.
- Функція “Камео”: Можливість появи персонажів у відео на короткий проміжок часу.
- Відео з аудіо: Це, мабуть, найцікавіша функція, особливо для музичних кліпів або озвучення. Але, як це часто буває з AI, іноді все виходить ідеально, а іноді – зовсім ні. Ми ще це побачимо.
Музичний Марафон: Як AI Справився з Кліпом?
Я вирішила протестувати функцію аудіо-до-відео. Взяла трек, згенерований у Suno [посилання], (сам трек не був створений за допомогою WAN), і ось що вийшло.
“І ось ми застрягли в цьому параді стоп-сигналів на цьому курсорі. Сподіваюся, ви бачили мій дзвінок на конференцію. Хтось ще дивиться Plurabus? Бо якщо так, ви точно знаєте, звідки ідея. Привіт, Керол. Так, мій ода понеділковій поїздці на роботу.”
Загалом, WAN 2.6 чудово синхронізував слова з рухом губ, навіть між різними сценами. Це був не один цілісний запис, а чотири кліпи, з’єднані разом. Чому? Максимальна тривалість відео WAN – 15 секунд. Звучить непогано, чи не так?
Цікаво, що модель може навіть генерувати текст!
“Синергія, інновації, зростання.”
Здається, AI добре розуміє атмосферу… корпоративної дистопії.
Ще один момент: у відео з’явився текст пісні, хоча його не було в текстовому запиті, лише в аудіо! Це нова функція.
Тепер про недоліки. Чи все ідеально? Звісно, ні. Особливо в текстовій генерації. Ось, наприклад, цей персонаж…
(З’являється статичне зображення моторошного, спотвореного обличчя, що нагадує персонажа з фільму жахів)
Я не знаю, звідки він взявся, але він виглядає моторошно.
“Твін Пікс” в AI-форматі: кава, пиріг і… дивацтва
Спробуємо класичний приклад – агента ФБР у кафе, як у “Твін Пікс”.
“Це бісовий добрий йо!” – каже агент.
“А пиріг?” – запитує бариста.
“Пиріг неймовірний. Це давній рецепт від Волохатої леді, яка отримала його від сов,” – відповідає агент.
Непогано, правда? Порівнюючи з першою спробою на V3, де доводилося розтягувати відео, 15 секунд – це справжня розкіш.
Але AI, як завжди, підкидає сюрпризи. Той самий запит – і отримуємо ось це:
“Це бісовий добрий йо!” – каже агент.
“А пиріг?” – запитує бариста.
“Пиріг неймовірний. Це давній рецепт від Волохатої леді, яка отримала його від сов.”
(Зображення стає сюрреалістичним, з елементами, що нагадують стилістику Девіда Лінча).
Можливо, модель просто вирішила увійти в образ Девіда Лінча?
Від Картинки до Відео: Коли AI Додає Персонажів
Переходимо до генерації відео з зображення. Створюємо фільм про депресію з персонажами “Твін Пікс”.
“Здається, ми в кіно про депресію.”
“Я знаю, що так. Інді-фільми про депресію завжди знімають саме так.”
Цікава функція – “розумний вибір мульти-кадрів” (smart multi-shot selector).
“Здається, ми в кіно про депресію.”
“Я знаю, що так. Інді-фільми про депресію завжди знімають саме так.”
AI добре впорався з вимогами до простору сцени. Але картинка другого кадру… трохи не підійшла. І як бонус – новий персонаж! Хоча, можливо, вона там і була, просто я її не помітила. Додавання жінки в останніх кадрах – теж цікаво.
Аудіо-до-Відео: Повернення в Минуле
Повернімося до аудіо-до-відео. Я взяла короткий уривок зі старого фільму “Ніч живих мерців” [посилання] і ось що вийшло:
“Це останнє повідомлення зі штабу національної цивільної оборони у Вашингтоні. Встановлено, що особи, які нещодавно померли, повертаються до життя і вчиняють акти вбивства.”
Ліпсінк – чудовий, деталі епохи (ну, майже) присутні. Хоча гігантський мікрофон справа – це, звісно, цікаво. Може, в 1950-х вони були такі великі?
А ось із зображення:
“Це останнє повідомлення зі штабу національної цивільної оборони у Вашингтоні. Встановлено, що особи, які нещодавно померли, повертаються до життя і вчиняють акти вбивства.”
Загалом, непогано. Хоча десь у новинах проїжджає машина… але хто знає, як працювали ті студії? Може, вони постійно були трохи… під мухою?
“Зірки” WAN: Коли Персонажі Стають Постійними
Ще одна крута функція – “Зірка” (Starring). Вона схожа на функцію стабілізації персонажів в інших моделях, але тут тренування відбувається на основі завантаженого відео.
Тестуємо з новими персонажами. Ось Нікі, коп під прикриттям:
(Відео з Нікі, який поводиться трохи дивно, можливо, намагається спілкуватися іноземною мовою)
“Я… я залишив твій одяг…”
Це виглядало дещо несподівано. Можливо, проблема в тому, що модель ще не повністю готова, або вона намагалася бути двомовною. Нікі та Едріс (це, до речі, мій варіант Едріса Ельби) в промпті:
“Залиш мою куртку з собою, як хотів Вонг. Тож, Едріс, ти…”
Загалом, ця функція може бути чудовою, але, можливо, варто почекати день-два, поки все “відлагодиться”. Або ж ваш проєкт вже двомовний, як у моєму випадку.
Але коли все працює – це вражає! Ось Нікі та “Полум’яна дівчина”:
“Хіба ти не надто гарна, щоб бути барменом?”
“А ти не надто дурна, щоб думати, що це дасть тобі безкоштовний напій?”
Оновлення для WAN 2.6 – значне. Але я особисто найбільше чекаю на аудіо-до-відео. Це справді інноваційна функція.
Щодо відкритого коду для WAN 2.6: Alibaba нічого не повідомляла, тому, скоріш за все, ні. Але є шанс, що 2.5 стане відкритою. Будемо слідкувати!
ByteDance: C Dance 1.5 – Загадковий Реліз
Тепер перейдемо до ByteDance. Вони випустили C Dance 1.5 Pro (ну, ніби). З ByteDance завжди все дещо дивно. Ця версія доступна в деяких країнах, але не всюди.
Але вихід є! Зазвичай C Dance випускається на платформі Dreamina, і, можливо, там буде нова версія під назвою AI Video 3.5 Pro. Що це взагалі таке? ByteDance, розберіться!
Наразі, єдине місце, де можна спробувати C Dance 1.5 – це CapCut, відеоредактор від ByteDance. Там є 3 безкоштовні спроби, а потім потрібно заплатити. У мене вже є підписка на іншому сервісі, тому платити двічі я не буду.
Як це працює в CapCut: заходимо в AI Video, вибираємо C Dance 1.5 (або 3.1 Sora 2, якщо хочете). Там можна задати тривалість (5, 20 або 12 секунд) і співвідношення сторін.
Спробуємо нашу “Полум’яну дівчину”:
“Ну, ось ще один тест мене. Цікаво, як я звучу цього разу. Подивимося, чи є у мене той вокальний хрип, який ви так любите.” (Звучить трохи спотворено)
Для тих, хто не дуже любить хрип – є інший варіант.
Тепер агент ФБР у кафе через C Dance 1.5:
“Це бісовий добрий йо! А пиріг?”
“Пиріг неймовірний. Це давній рецепт від Волохатої леді, яка отримала його від сов.”
Загалом, непогано. Є пар з чашки, але, можливо, її щойно помили. Немає подвійних чашок, як часто буває. Наш агент виглядає доволі… спокійно.
Повернемося до C Dance 1.5 пізніше, якщо ByteDance знову не змінить назву.
EgoX: Коли Фільм Стає Твоїм POV
І останнє, але не менш важливе. Це поки що білий папір (white paper), але я думаю, вам це сподобається.
EgoX: генерація егоцентричного (від першої особи) відео з одного екзоцентричного (загального) відео.
Або, простіше кажучи: ви можете взяти сцену, наприклад, як Джокер підриває лікарню в “Темному лицарі” [посилання], і перетворити її на відео від першої особи (POV). Це просто фантастика!
Інші приклади:
- Hulk Vision (з “Віку Ультрона”) – хоча я очікувала зеленого відтінку [посилання].
- Tony Stark’s POV (з першого “Залізної людини”) – виглядає приголомшливо [посилання].
- POV світового класу гравця в настільний теніс – якби ви готувалися до Олімпіади [посилання].
Як це працює? Велика модель відеодифузії, легкі LoRA та механізм самоусвідомлення, керований геометрією. Це дозволяє отримати POV-кадри без надмірної галюцинації.
Звісно, очевидне застосування – тренування роботів. Але уявіть: дивитися фільм, який ви бачили сто разів, але очима головного героя! Це може бути дійсно захопливо. Буду слідкувати за цим проєктом.
Гарячі Новини на Десерт
Поки я готувала це відео (статтю), з’явився справжній снігопад новин:
- GPT Image 1.5: вийшов, будемо розбиратися в наступному пості.
- Tencent HY World 1.5 World Play: відкритий код Genie 3 – виходить завтра, теж подивимося.
- Meta SAM Audio: тепер можна ізолювати звуки зі складних міксів. Справжня “stem creation”. Цікаво! [посилання]
- Kling 2.6: тепер підтримує голосове керування. Однакові голоси в різних генераціях. Дуже чекаю! [посилання]
Багато тем для обговорення, правда?
Підсумовуючи все вищесказане,
ми бачимо, як AI-відеогенерація розвивається шаленими темпами. WAN 2.6 з його мультимодальністю та аудіо-до-відео функціями, таємничий C Dance 1.5 від ByteDance і, звісно, EgoX, який обіцяє перевернути наше уявлення про кіно. Ці інструменти стають дедалі потужнішими, доступнішими і, найголовніше, інтегрованими в наш творчий процес.
Що далі?
- Експериментуйте! Спробуйте ці нові версії, грайте з промптами, тестуйте різні функції.
- Слідкуйте за оновленнями! Світ AI змінюється щодня. Підпишіться, щоб не пропустити головне.
- Діліться своїми творіннями! Покажіть, що ви можете створити з цими новими інструментами.
Зрештою, ці технології – лише інструменти. Справжня магія створюється вами, з вашими ідеями та вашим баченням. Тому не бійтеся експериментувати, бути сміливими та створювати щось захопливе.
На цьому все, друзі! Буду рада почути ваші думки в коментарях. До зустрічі!
