Sky Reels: Новий гравець на арені AI-відео – безкоштовний, відкритий та. З амбітною платформою
Здається, розумієте, у світі AI-відео з’явилась нова зірка – Sky Reels! Це не просто чергова нейронна мережа, а ціла екосистема: відкрита. Безкоштовна та з власною платформою, яка пропонує чимало цікавих можливостей. Чесно кажучи, чи все тут ідеально? Звісно, ні. Але потенціал вражає, і його точно варто дослідити.
Sky Reels – це AI-відео модель, яка одночасно є open-source проєктом та платформою. Така стратегія випуску є досить цікавою, адже вона охоплює обидві сторони AI-відео сфери. Подібне ми бачили хіба що з LTX Studio. Сподіваюсь, ця тенденція стане більш поширеною в майбутньому. Хоча, варто зазначити, що з платформою дивіться, Sky Reels є певні нюанси, але про них поговоримо трохи згодом.
Що стосується самої моделі, то версія V1 вже доступна на GitHub. Ви знайдете там як версію для перетворення тексту у відео, так і версію для створення відео з зображень. Sky Reels побудована на базі Hunan взагалі, video model, яка також є open-source, щось на зразок. Але навчена на значно більшому обсязі даних – близько 10 мільйонів кліпів. Розробники Sky Reels зазначають, що модель базується на власній системі очищення та анотації даних, яка фокусується на створенні human-centric video Foundation model. Це досягається завдяки:
- Класифікації виразів обличчя: розбиття людських емоцій на 33 окремих типи. Цікаво,
- Розпізнаванню та розумінню сцен: детальніше ми це розглянемо, коли дійдемо до платформи.
- Роздільність та таймінг: модель image-to-video генерує відео з роздільністю 544×960, 97 кадрів при 24 кадрах в секунду (тобто трохи більше 4 секунд).
Для тих, кому цікава швидкість обробки, приблизно, AI Primus провели тести на RTX 4090: генерація 4-секундного відео з 18, в такому дусі. 5 ГБ VRAM зайняла близько 30 хвилин, а відео на 289 кадрів – приблизно півтори години.
Перейдемо до платформи. Вона не є безкоштовною, хоча вам і надаються. Дві безкоштовні генерації, щоб ви могли її спробувати. Розглянемо начебто, тарифні плани трохи згодом, щось на зразок. Цікаво, що раніше розділ “AI Drama” був повністю безкоштовним, але зараз цей банер зник. Варто зазначити, що я протестував його.
Говорячи про спільноту Sky Reels, в стрічці я натрапив на одну цікаву генерацію. Звісно, я вже давно змирився з тим, що. Моє обличчя може бути в якомусь тренувальному датасеті. Але, якщо вже на те пішло, то мені подобається, що я. Тут в крутій шкіряній куртці і стою в якомусь похмурому провулку.
Платформа припустимо, Sky Reels дуже насичена функціоналом. Тут є власний генератор зображень (хоча, ймовірно, він використовує Flux) та власний відеоредактор. Це перший раз, коли я бачу відеоредактор, вбудований в AI-відео генератор.
Звісно, тут є стандартні функції перетворення тексту у відео та зображень у відео. Найбільш заплутана частина – це режими генерації. Розробники Sky Reels пояснили, що тут використовується цікавий підхід. Є режими “Auto”, “Fast”, “High” та “Stable”. В залежності від обраного, платформа використовує різні моделі (напевно, звичайні API suspects) та власну модель Sky Reels V1. Дивно, при виборі режиму “Auto” платформа сама вирішує, яку модель використовувати, базуючись на вашому запиті, щоб оптимізувати результат. Після численних тестів було визначено, що режим “High Quality” з 5-секундними відео використовує нову модель.
Почнімо з декількох прикладів перетворення тексту у відео.
Приклад 1: “В палаючій пустелі чоловік в чорному плащі йде поруч з конем. Дивно, “
Результат доволі пристойний проте хоча з’явився ще один кінь з вершником. Якість на рівні Sora Light.
Приклад 2: “Воїн-вікінг тримає чашку кави в епічному фентезі кадрі. “
Результат теж хороший. Відверто кажучи, персонаж виглядає як справжній вікінг, і мені подобається, що модель додала йому в руку чашку кави, а не величезний флакон. Звичайно, є декілька незначних проблем: дрібний тік великим пальцем (можливо, від надлишку кофеїну) та незначний морфінг світла на задньому плані. Але це не критично.
Більшість користувачів віддають перевагу перетворенню зображень у відео. Тож подивимось, що сталося з нашим чоловіком в синьому костюмі. Минулого разу він потрапив на загадковий острів, зайшов у. Фактично, печеру і пережив дивну сновидну послідовність про свою колишню дружину.
Приклад 3: Зображення з Midjourney + промпт “Чоловік прокидається після сну і не розуміє, де він знаходиться. Без розмов. “
Результат вражає. Видно, що Sky Reels робить акцент на “людиноцентричності”. Реакція виглядає дуже природною. Хоча, можна посперечатися, чи наприклад, він виглядає збентеженим, чи скоріше розкаюється. Тут можна по-різному інтерпретувати цю сцену.
Приклад наприклад, 4: Промпт “Вона посміхається в камеру, а потім відходить. “
Тут також все зроблено дуже добре. Чоловік дивиться їй в слід – це вражає. Модель також правильно визначила що вдягнуто на жінці. Проте є проблема – жінка тримає ліхтар, а коли відходить, ліхтар зникає. Все зроблено дуже класно.
Приклад 5: Промпт “Людина опускає пістолет і починає сміятися. “
Він і справді вважає цей жарт дуже смішним. Цікаво, що один з чоловіків не був вхідному зображенні – він з’явився вже у відео. – він має активну роль.
Приклад 6: Зображення в стилі стімпанк-фільму, якби його знімали в 80-х + промпт “Чоловік і жінка дивляться один на одного і виражають занепокоєння. “
Результат знову хороший. Жінка запитує: “Ти відчуваєш цей запах? “, а чоловік відповідає: “Не знаю, про що ти, це просто пар. ” Є невелика проблема з лінією погляду, але це можна виправити.
До речі, модель добре робить рух камери. Ось приклад зображення в стилі “З широко заплющеними очима” Стенлі Кубрика + промпт “камера обертається вліво”.
Всі персонажі залишаються незмінними, навіть маски не перетворилися на щось жахливе. Хоча одна свічка з’являється з нічого, і є якась дивна примара на задньому плані. Але, з іншого боку, це ж таємне товариство, хто знає, що там відбувається?
Також є функція розкадрування. Насправді, вона працює подібно до Sora. Є можливість додати новий кадр, використовуючи останній кадр з попереднього відео.
Приклад: Запустив зображення астронавтів без жодного промпту. Результат – астронавт безуспішно намагається пити кави через шолом. А інший бере невидиме перо і починає писати в повітрі. До речі,
Варто зазначити, що Sky Reels добре зберігає стиль. Ось приклад короткого відео, де два бандити збираються влаштувати змагання з. Пиття, а потім в бар заходить той, хто збирається їх всіх вбити.
Наостанок розглянемо розділ “AI Drama”. Він ще десь так, не повністю готовий, але тут є багато цікавих ідей, типу того. Це щось на зразок генератора фільмів. Ви задаєте промпт, описуючи сюжет, і, здається, можете завантажити сценарій або роман. Під час фази написання сценарію, Sky Reels перетворює ваш сюжет на набір епізодів, кожен довжиною в хвилину. Потім ви можете обрати акторів, змінювати їх вигляд, або навіть імпортувати зображення, щоб створити шаблон для цих персонажів.
Це все ми вже бачили раніше. Але чого ми ще не бачили, так це те, що в початковому кадрі є референси по позах. Я призначаю персонажів цим позам. Персонажі ще не завжди виглядають однаково, але над цим працюють. Те ж саме стосується і фону. Здатність контролювати пози камери та розміщення персонажів – це великий крок вперед.
Також є ліп-сінк, але поки що найслабша ланка – це згенеровані AI голоси.
Існує Sky Reels A1 expressive portrait animation in video diffusion Transformers, де open source код знову ж таки доступний. Простіше кажучи, все це додає Sky Reels балів та робить платформу, на яку варто звернути увагу.
Щодо цін, то все open source, звичайно, безкоштовно. Якщо використовувати платформу, то при реєстрації ви отримуєте 300 кредитів, що складає приблизно три-чотири відео. Також ви отримуєте 50 кредитів щодня.
- Базовий план: $7,9
- Big Daddy план: $76
Безлімітного плану поки що немає.
Звісно, це не останній раз, коли ми бачимо цю платформу. Тут ще багато чого цікавого, наприклад, хочу спробувати відеоредактор.
