Компания Meta AI представила два своих новейших инструмента искусственного интеллекта (ИИ) — Emu Video для генерации текста в видео и Emu Edit для точного редактирования изображений с помощью текста.
Ключевой инновацией Emu Video является "факторизованный" подход, который разделяет генерацию текста в видео на два этапа: сначала генерируется изображение на основе текстового запроса, а затем генерируется видео, обусловленное как изображением, так и текстом. Такой подход упрощает процесс создания видео, позволяя отказаться от более сложных многомодельных методов, использовавшихся в предыдущем инструменте Meta Make-A-Video.
Видеоролики, созданные Emu Video, имеют разрешение 512х512 пикселей, но при этом демонстрируют удивительную согласованность с предоставленными текстовыми подсказками.
По данным Meta, Emu Video значительно превзошла предыдущие модели преобразования текста в видео, включая Imagen Video от Google и PYOCO от NVIDIA, по качеству видео и соответствию текстовым подсказкам. Факторизованный подход позволяет также анимировать изображения, предоставленные пользователем.
Наряду с Emu Video компания Meta продемонстрировала возможности Emu Edit — инструмента, предназначенного для выполнения различных задач редактирования изображений на основе интерпретации искусственным интеллектом инструкций на естественном языке. Emu Edit позволяет пользователям редактировать изображения с высокой точностью и гибкостью.
"Emu Edit — это многозадачная модель редактирования изображений, которая устанавливает передовые результаты в области редактирования изображений на основе инструкций", — говорится в исследовательском документе Meta, посвященном этому инструменту, и подчеркивается его способность точно выполнять сложные инструкции по редактированию.
Точность Emu Edit повышается за счет использования диффузоров — передовой технологии ИИ, получившей распространение в Stable Diffusion. Такой подход позволяет сохранить визуальную целостность исходных изображений.
Emu Edit может изменять только релевантные пиксели и оставлять нетронутыми области в соответствии с инструкциями. Emu Edit был обучен на наборе данных из 10 млн триплетов изображений, содержащих входные данные, инструкции и конечный результат. По результатам человеческой и автоматической оценки он значительно превзошел существующие методы редактирования на основе инструкций.
По мнению Meta, эти достижения могут позволить создавать такие творческие приложения, как создание собственных анимированных стикеров, легкое редактирование личных фотографий и более выразительное визуальное общение.
