Исследователи компании Microsoft представили CoDi — уникальную модель ИИ на основе Composable Diffusion, которая способна одновременно обрабатывать и генерировать контент в различных модальностях, включая текст, изображения, видео и аудио.

Модель Composable Diffusion (CoDi) разработана исследовательской группой Microsoft Azure Cognitive Services в сотрудничестве с Университетом Северной Каролины в Чапел-Хилл и является частью проекта i-Code, в рамках которого ИИ используется для улучшения взаимодействия человека и компьютера. CoDi отличается от традиционных систем генеративного ИИ, которые ограничены конкретными модальностями ввода. В качестве примера можно привести синхронизированное видео и аудио, но при объединении независимо генерируемых информационных потоков могут возникать несоответствия и проблемы с согласованием.

Поскольку наборы обучающих данных для большинства современных комбинаций модальностей недостаточны, исследователи использовали стратегию выравнивания, которая обеспечивает соответствие модальностей как на входе, так и на выходе. В результате CoDi может создавать условия для любой комбинации входных сигналов и генерировать любой набор модальностей, даже тех, которые отсутствуют в обучающих данных.

Отличительной особенностью CoDi является также процесс обучения. Он предполагает проецирование входных модальностей, таких как изображения, видео, аудио и язык, в единое семантическое пространство. Это позволяет гибко обрабатывать мультимодальные входные сигналы, а благодаря модулю перекрестного внимания и кодировщику окружения он способен одновременно генерировать любую комбинацию выходных модальностей.

Устраняя недостатки традиционных моделей ИИ, основанных на использовании одной модальности, CoDi предлагает решение, позволяющее избежать часто громоздкого и медленного процесса объединения генеративных моделей, специфичных для разных модальностей.

Исследователи приводят примеры возможностей CoDi, демонстрируя его способность генерировать синхронизированное видео и аудио из отдельных текстовых, звуковых и графических подсказок. В одном из примеров на вход были поданы текст "мишка на скейтборде, 4k, высокое разрешение", изображение Таймс-сквер и звук дождя.

CoDi сгенерировала короткое видео, на котором плюшевый мишка катается на скейтборде под дождем на Таймс-сквер, сопровождаемое синхронизированными звуками дождя и уличного шума.