Компания HeyGen, специализирующаяся на разработке ИИ, представила инструмент, позволяющий переводить видео длительностью до пяти минут на разные языки. При этом программа клонирует голос человека, снимающегося на видео, и соответствующим образом корректирует движения его губ.

В ходе тестирования, проведенного пользователем Twitter Джоном Фингером, перевод работал безупречно, несмотря на фоновый шум оживленной улицы. В отредактированном видеоролике отвлекающие звуки отфильтровываются.

Синтетический голос на другом языке очень напоминает оригинал, хотя и звучит несколько роботизированно или механически. Поражает также точность воспроизведения интонаций.

Инструмент "Видеоперевод" от HeyGen в настоящее время находится в стадии открытого бета-тестирования. На момент запуска он поддерживает английский, испанский, французский, китайский, немецкий, итальянский, португальский, голландский, хинди и японский языки в качестве входных. Перевод программа может осуществляться только на английский, испанский, французский, хинди, итальянский, немецкий, польский и португальский языки. Другие языки будут добавлены в ближайшие недели.

Для получения наилучшего результата HeyGen предлагает соблюдать определенные технические требования, такие как минимальная продолжительность 30 секунд, типы файлов MP4, Quicktime и Webm и разрешение от 480х480 до 1920х1920 пикселей.

Компания предлагает пользователям зарегистрироваться и получить два бесплатных кредита для редактирования или создания до двух минут видео. Дополнительные 15 кредитов предоставляются по цене от 29 долларов в месяц и могут быть использованы во всех браузерных программах HeyGen.

Идея синхронизации голоса и губ не нова, но она вызывает ажиотаж, особенно в киноиндустрии, а также опасения среди актеров озвучивания. HeyGen делает эту технологию доступной не только для крупных киностудий с огромными бюджетами, но и для небольших компаний и обычных пользователей.