Show-1 — генеративная модель ИИ для преобразования текста в видео, использующая гибридный подход и превосходящая существующие альтернативы.

Исследователи из Национального университета Сингапура разработали Show-1 — новую систему ИИ, способную генерировать высококачественные видеоролики на основе текстовых описаний.

В Show-1 используется комбинация двух различных архитектур диффузионных моделей — пиксельной и латентной, что позволяет объединить лучшие стороны обоих подходов.

Модели диффузии на основе пикселей работают непосредственно со значениями пикселей и поэтому лучше согласуют генерацию с текстовой подсказкой, но требуют больших вычислительных мощностей. Латентные подходы, напротив, сжимают входные данные в латентное пространство перед диффузией. Они более эффективны, но с трудом сохраняют мелкие текстовые детали.

Модель Show-1 сочетает в себе эти две архитектуры: для генерации ключевых кадров и интерполированных изображений низкого разрешения используется диффузия на основе пикселей. При этом захватывается все движение и содержимое вблизи текстовой подсказки. Затем для масштабирования видео с низким разрешением до высокого используется диффузия на основе латентности. Латентная модель выступает в роли "эксперта", добавляющего реалистичные детали.

Этот гибридный подход сочетает в себе лучшее из двух миров — точное выравнивание текста по видео с помощью пиксельных моделей и эффективное масштабирование с помощью латентных моделей.

По словам команды, Show-1 достигает таких же или лучших результатов по реалистичности и согласованию текста с видео, чем современные методы, такие как Imagen Video или Runways Gen-2. При этом она использует всего 20-25% памяти GPU, необходимой чисто пиксельным моделям для генерации видео, что также может сделать Show-1 привлекательным для приложений с открытым исходным кодом.

Более подробную информацию и примеры можно посмотреть на странице проекта Show-1.