До недавнего времени видеоролики, созданные с помощью искусственного интеллекта (ИИ), были лишены звука. Однако, ситуация меняется: Pika Labs представляет новую генеративную аудиомодель, которая генерирует звуковые эффекты на основе текстовых подсказок. С помощью этой функции пользователи могут добавлять в свои видео простые звуки: журчание воды, крик орла или рев мотора.

Создание звуковых эффектов по-прежнему не зависит от содержания видео. Текстовая подсказка, направляющая генерацию видео, также генерирует звук, который затем накладывается на видео. Кроме того, пользователи также могут вводить конкретные звуковые подсказки, чтобы лучше контролировать генерацию. 

Новые модели могут выполнять генерацию аудио и видео на одном этапе, автоматически генерируя звуки, соответствующие видео, на основе анализа отдельных видеокадров и вставляя их в нужные места.

В настоящее время новая функция доступна только подписчикам тарифного плана Pro, но в скором времени она будет развернута в более широком масштабе. 

Ранее компания Pika Labs также представила инструмент для синхронизации голосов, который позволяет пользователям добавлять синхронизированные с губами голоса к персонажам в видеороликах, созданных ИИ.

Pika Labs — стартап, специализирующийся на генеративном ИИ для видео. Его основали аспиранты Стэнфорда Деми Гуоа и Ченлин Менг. С помощью их продукта, Pika Video Generator, пользователи могут создавать и редактировать видео в различных стилях, таких как 3D-анимация, аниме, мультфильмы и кино. Pika Labs предлагает генерацию текста в видео и изображений в видео. В последнем случае можно анимировать существующие изображения.