Компания Adobe и Гонконгский университет науки и технологий представили TransPixar — новый подход к созданию визуальных эффектов. Новая модель обеспечивает прозрачность видео, сгенерированного искусственным интеллектом (ИИ), что очень важно для создания таких эффектов, как дым, отражения и взрывы, которые легко интегрируются в цифровое окружение.

В мире VFX уже давно используются альфа-каналы для оживления прозрачных элементов — дыма, воды, стекла. Однако достижение этих эффектов в видеороликах, созданных ИИ, остается сложной задачей из-за скудных наборов обучающих данных и технических трудностей, связанных с адаптацией существующих моделей. TransPixar меняет уравнение, представляя эффективную структуру для создания RGBA-видео, сочетающую RGB (цвет) и альфа-каналы (прозрачность).

Результаты впечатляют. В демонстрационных роликах показаны динамичные сцены, такие как вращающийся пояс астероидов или трещащий магический портал, созданные на основе простых текстовых подсказок. Способность модели анимировать неподвижные изображения в прозрачные видеоролики еще больше расширяет ее возможности.

Потенциал TransPixar выходит за рамки кино и игр. Приложения в виртуальной реальности, дополненной реальности и образовании могут использовать его способность генерировать прозрачные, динамические визуальные эффекты. На данный момент его открытый исходный код создает основу для волны инноваций, предлагая создателям представить, что будет дальше с прозрачными визуальными эффектами.

Исследовательская группа опубликовала код на GitHub и интерактивную демонстрацию на Hugging Face. Исследователи отмечают, что модель по-прежнему требовательна к вычислениям, однако будущие оптимизации могут снизить ее стоимость, что сделает ее жизнеспособной для небольших студий и одиночных разработчиков.