Уперед, у світ зображень: World Labs революціонує креатив з Marble
Останнім часом мене захоплює одна думка: світ став набагато складнішим, а технології – ще дивовижнішими. Спілкуючись з друзями про новітні розробки штучного інтелекту, один з них запитав: “А чи можна уявити – і ти вже там?”. Ця фраза стала початком історії. Сьогодні розкажу про платформу, яка дозволяє “бродити всередині зображень”. Саме так! Зануримося у світ World Labs та їхню нову модель Marble.
Виглядає як наукова фантастика? Можливо. Але застосування цієї технології – це справжній прорив для кіновиробництва, інтерактивного контенту, ігор, а можливо, й для чогось, про що ми ще не здогадуємося. Найцікавіше – погратися з цим можна вже зараз і безкоштовно. Готові до “Першого гравця”?
Коли великі моделі стають крихкими
Я стежу за World Labs з моменту їхнього виходу наприкінці 2024 року. Тоді було багато гучних анонсів нових “моделей світу”, включно з Genie 2 від Google. Хоча обидві платформи на перший погляд могли здатися схожими, World Labs обрали інший шлях. У чому ж різниця?
Великі світові моделі, як Minecraft, Mirage з естетикою Grand Theft Auto чи Genie 3 від Google, мають спільну проблему – недостатню стійкість. Вони генерують відео кадр за кадром, створюючи середовище, яке можна досліджувати. Це вже звучить як магія, але з часом світ “тане”, а об’єкти зникають. Ніби я лишився без ключів у змодельованому світі.
Сплетіння реальності: Гауссові сплайни – нова надія?
World Labs пропонує рішення з використанням гауссових сплайнів. Вважаю, що “Гауссові сплайни” – найкраща назва для панк-рок гурту! Що ж це таке? Гауссові сплайни створюють об’ємне середовище на основі точок, які об’єднавшись, формують цілісний 3D-простір.
Є обмеження. Зазвичай, бачиш лише те, що бачить модель. Якщо об’єкт не видно, його ніби й немає. Але… принаймні, донедавна.
Знайомтеся з Marble: Ваш провідник у тривимірність
Відтепер з’являється Marble – нова модель від World Labs. Вона може взяти ваше фото і перетворити його на повноцінне 3D-середовище. Можна буквально крутитися навколо! Вся інформація про простір (те, чого не було на фото) – це робота Marble. Це дозволяє вільно блукати цим світом. Це просто неймовірно!
Іноді виходять кумедні речі, як ось ці двері. Не знаю, хто б поставив двері посеред прірви, але архітектор потребує перекваліфікації. Якщо дивитися знизу, точно зламаєш ногу!
Є обмеження, про які поговоримо пізніше. Але вражає, як модель працює з різними естетиками, зберігаючи консистентність. Наприклад, наша похмура детективна контора з 40-х. Пропустивши фото через Marble, ми можемо вільно гуляти офісом, переглядаючи справи. Задня частина приміщення, якої на фото не було, повністю створена моделлю. Тут з’явився стіл, лампа, а може, навіть стіл для “дівчини п’ятниці”.
Керувати просто: WASD – рух, пробіл – вгору, Ctrl – вниз. Можна змінювати поле зору квадратними дужками! Круто.
Створюємо свій світ: Просто, як двічі два
Створити свій 3D-світ неймовірно просто. Потрібно лише завантажити зображення. Уявіть фото з відпустки – місце, яке я точно не можу собі дозволити. Можна генерувати зображення й за текстовим описом, але, думаю, більшість завантажуватиме фото.
Є два варіанти: модель “marble 01 mini” (40 секунд) або “plus” (10 хвилин). Я обрав “plus” – чому б і ні?
До речі, модель автоматично генерує текстовий опис для зображення. Його можна редагувати, щоб створити нові зони або додати щось. Хоча сьогодні з цим виникла проблема. Вчора все працювало. Нічого, це бета-версія.
І ось ми блукаємо місцем, яке мені не по кишені. О, цікаво, там гори! Класно.
Обережно, двері зачиняються: Ліміти моделі
Давайте про обмеження. Чим більше деталей, тим більше відчувається “гауссова хрусткість” текстур. Модель добре справляється з локацією, натякає на інші зони. Але їх там немає. Часом вона може створювати кімнати всередині кімнат.
Ось ми піднімаємося… це вихідне зображення. А тут – інша кімната. І, здається, ще одна. Не раджу туди заходити.
Жодної інтерактивності. Виходите назовні… бачите межі. Якщо зайти за них… покидаєте світ. Круто. Якщо загубилися, натисніть “0”, і повернетеся до початкової точки.
Натхнення через перешкоди: Створення короткометражки
Обмеження є. Але тертя – це бензин для креативності! З Marble можна зробити багато чого. Я створив короткометражку.
[Музика. Звучить закадровий голос]
“Змінофорт починається з одного обороту. Змінофорт починається з одного обороту. Змінофорт починається…”
“Добре. Я на місці. Змінофорт почнеться через 17 годин. Люди завжди думають, що робота на станції – це пригода. Насправді, ні. Їжа огидна, ми ніколи не спимо. І ця розмова завжди триває… Змінофорт починається через половину обороту. Я сплю у своєму одязі, але терплю цей голос. Але знаєте що? Заради такого виду все це варто!”
“Змінофорт починається через чверть обороту. Скільки оборотів залишилося до того, як полагодити кавоварку?”
Ось так. Консистентний персонаж у консистентному місці. Це вирішує купу проблем з кіновиробництвом на базі ШІ. Якщо вам цікаво, як би це працювало з багатьма кімнатами для більших світів, ми розглянемо це трохи згодом. Але спершу – короткий огляд того, як була створена ця коротка стрічка, одразу після короткої згадки від нашого сьогоднішнього спонсора, Storyblocks.
Рекламна пауза: Storyblocks – ваш помічник у творчості
Знаючи, що цей канал присвячений технологіям відео на базі ШІ, ви можете здивуватися, яке місце тут займає Storyblocks. Багато хто вже оголосив “смерть” стокових відео. Але, чесно кажучи, це не так. Я постійно використовую стокові відео.
Storyblocks – це не просто зображення та відео. Маю зізнатися: я не дуже добре володію After Effects. Як і багато з вас, знаю достатньо, щоб наробити біди. Тому для мене рятівним колом є бібліотека з шаблонами After Effects, які є у Storyblocks. Можна взяти згенеровані ШІ кадри, створити заставку чи проморолик, і швидко отримати якісну послідовність, яка виглядає професійно.
Це не тільки After Effects. Storyblocks має шаблони для Premiere Pro, Da Vinci Resolve і Apple Motion. Можна отримати доступ до всієї бібліотеки Storyblocks прямо у своєму робочому процесі за допомогою плагіна Creative Cloud. З Storyblocks отримуєте необмежену кількість завантажень високоякісних медіа за одну підписку. HD, 4K, моушн-графіка, звукові ефекти та багато іншого. Кожне завантаження безкоштовне для використання і попередньо ліцензоване назавжди, тож ви можете зосередитися на творчості, а не на юридичних питаннях.
Найкращі фільми на базі ШІ – це поєднання людської креативності та згенерованого матеріалу. Storyblocks – ідеальний міст між ними. Дуже дякую Storyblocks за спонсорство цього відео. Ви можете отримати ще 2 місяці безкоштовно при щорічній підписці – це обмежена пропозиція [посилання].
Як це було зроблено: Від пікселів до кіноекрану
Повертаючись до короткометражки. Я зібрав її приблизно за три години. Розповім, як це було. Якщо будуть питання, пишіть у коментарях.
Крок 1: Створення середовища. Я почав зі створення середовища в World Labs. Це один з їхніх шаблонів. Також я експериментував з текстовим описом, направив модель так, щоб двері відкривалися на космічну станцію. Ви можете редагувати своє середовище.
Крок 2: Зйомка кадрів та прибирання артефактів. Я досліджував середовище. Коли знаходив кадр, натискав “зробити скріншот”. Готовий кадр. Далі рухаєтеся до наступного ракурсу.
У цих скріншотах є артефакти гауссових сплайнів. Щоб це виправити, можна використовувати інструменти, на кшталт DaVinci, Stream або Rev. Я дивився на Rev – він справляється з цим легко. Просто даєте запит: “очисти це зображення, зроби його більш кінематографічним”.
Крок 3: Додавання консистентного персонажа. Після кадрів локації, залишилося додати персонажа. Я рекомендую створювати 360-градусні відео ваших персонажів. Це дуже допомагає, коли ви завантажуєте їх у редактори зображень на базі ШІ. Це допомагає мати кадри обертом.
Два доповнення щодо Rev. У минулому відео пропустив: тут є кнопка “редагувати” після генерації. Вона дозволяє сегментувати зображення, потім окремі області. Якщо хотіли б відредагувати, наприклад, книжкову полицю, ви можете запросити новий опис для неї. Щодо безкоштовного використання: кожен отримує кілька годин безкоштовного використання після реєстрації, а потім щоденне безкоштовне використання становить близько 15 хвилин. Зауважте, це час GPU, а не обмеження за таймером.
Крок 4: Анімація кадрів з VEO 3. Звідти я переніс зображення у Google Flow, використовуючи VEO 3. Ви знаєте, типова робота з VEO 3 потребує багато спроб, щоб отримати результат. Більшість з них я запускав у якості V3, бо мав купу кредитів, тож вирішив їх використати.
Крок 5: Редагування та постобробка. Після того, як ми згенерували матеріал, я зробив монтаж і переніс у Topaz Astra для апскейлу. Я вважаю, що він чудово справляється з цим загальним виглядом, роблячи зображення набагато кращими.
Для фінальних штрихів я повернув виведення Topaz в Premiere. Додав шар пилу та подряпин. Далі – ефект світлового освітлення з блакитним розмиттям. Це надає ефекту лінзи, як у Дж. Дж. Абрамса. Зробив це дуже тонко. Легке розмиття камери. Це встановлено на 31%, режим змішування – “освітлення”, а відсоток розмиття – 10%. Знову ж таки, ефект пом’якшення. І останнє – віньєтування.
Крок 6: Музика та звуковий дизайн. Музика створена в Suno. Я трохи лінувався і не замінив голоси, як я вам радив у відео про 10 секретів кіновиробництва на базі ШІ [посилання].
А якщо це тільки початок? Шалені речі попереду!
І це ще не все! Це лише кіновиробництво. Далі ще цікавіше. Чесно кажучи, трохи вище мого рівня розуміння. Але навіть якщо ви не до кінця розумієте технічні деталі, ви побачите потенціал.
Оскільки Marble може експортувати у форматі гауссових сплайнів, є багато чого, що можна зробити. Наприклад, ви можете створити гру в 3JS. Це те, що, напевно, багато хто з нас зможе зробити, навіть без технічних навичок, просто за допомогою ChatGPT, Gemini, Claude чи будь-чого іншого.
Можна імпортувати це в Unreal Engine і робити все, що там роблять. Хоча, це вже точно не моя стихія. 3D-пакет, з яким більшість глядачів цього каналу знайомі, – Blender. Можна імпортувати сплайни, очистити їх у Blender, зробити все, що потрібно.
Щодо створення більших середовищ, таких як багатокімнатні локації… Britannia Italy демонструє використання Poser [посилання]. У них є чотири такі локації, це світи Marble. Використовуючи Poser, вони можуть вирівняти кожну з цих локацій, експортувати весь пакет, і ось у вас вже є багатокімнатна локація, де ви можете блукати. Це просто неймовірно.
VR, Чорне дзеркало та ваша креативність
Для більш просунутих технічних ентузіастів: “Це було б чудово у VR”. Можна експортувати у VR. Знаєте, на що це все схоже? Бачили епізод “Чорного дзеркала” ” Eulogy “? Той, де Пол Джаматті переглядав старі фотографії зі свого життя. Ось приблизно так. Знову доказ того, що ми живемо в епізоді “Чорного дзеркала”.
Але, це був один з найзворушливіших епізодів. Не все так похмуро. В усьому цьому є безліч різних способів підходу до World Labs Marble, і це надзвичайно захопливо. Від моїх “дитячих” методів “2D kit bashing” до повноцінних 3D-пакетів.
Ви можете почати гратися з цим вже сьогодні. Я в бета-версії, яка дозволяє створювати середовища. Зареєструйтеся. А поки чекаєте, можете використовувати будь-яке з цих доступних середовищ. Я поділюся своїми роботами публічно, посилання будуть в описі. Тож, якщо хочете з ними погратися – будь ласка!
Тим часом, тут безліч середовищ, і вони достатньо різноманітні, щоб ви могли створити практично будь-який короткометражний фільм, який собі уявите. І тоді ви зможете отримати уявлення про те, на що здатна модель, а на що – ні. Обмеження – це запрошення до креативності.
Поточні обмеження не будуть існувати довго. Натомість, у нас з’явиться новий набір обмежень, які нам доведеться навчитися долати. Це наша робота. Йдіть на World Labs, пограйтеся з Marble, зареєструйтесь у списку очікування бета-версії. Дайте знати, що ви думаєте, у коментарях.
Як завжди, дякую за перегляд!
