Французская ИИ-лаборатория Kyutai представила в Париже своего ИИ-ассистента Moshi, который может вести естественные разговоры с пользователями. Технология будет выпущена с открытым исходным кодом.

По словам Kyutai, Moshi — это первый общедоступный ИИ-ассистент с естественными разговорными способностями. Ранее OpenAI уже демонстрировала эту функцию для GPT-4o, но до сих пор не выпустила ее.

Во время презентации генеральный директор Kyutai Патрик Перес рассказал, что Moshi был разработан командой из восьми человек всего за шесть месяцев. Отличительной особенностью Moshi является возможность говорить и слушать в режиме реального времени. Kyutai утверждает, что теоретическая задержка Moshi составляет всего 160 миллисекунд, а на практике она колеблется между 200 и 240 миллисекундами.

Архитектура Moshi основана на новом подходе, который Kyutai называет "моделью аудиоязыка". Вместо того чтобы преобразовывать речь в текст, как обычно, модель сильно сжимает аудиоданные и рассматривает их как псевдослова. Это позволяет ей напрямую работать с аудиоданными и предсказывать речь, что делает ее исконно мультимодальной моделью, подобно GPT-4o.

Для обучения Moshi использовались различные источники данных, включая данные о движении человека и видеоролики с YouTube. Сначала была обучена чисто текстовая модель под названием Helium. Затем было проведено комбинированное обучение с использованием текстовых и аудиоданных. Для тонкой настройки разговора использовались синтетические диалоги.

Поскольку базовая языковая модель имеет всего 7 миллиардов параметров, она демонстрирует обычные ограничения, свойственные небольшим моделям в диалоге. Тем не менее, языковые возможности и скорость впечатляют и намекают на потенциал, когда в этой технологии будут использоваться более мощные и крупные модели.

Чтобы придать Moshi последовательный голос, компания Kyutai сотрудничала с актрисой по имени Алиса. Она записала монологи и диалоги в разных стилях, которые затем были использованы для обучения системы синтеза речи.

Компания Kyutai видит в Moshi большой потенциал, способный изменить способ общения с машинами.

Демоверсия Moshi теперь доступна онлайн. В ближайшие месяцы Kyutai планирует выпустить технологию с открытым исходным кодом, чтобы разработчики и исследователи могли изучать, адаптировать и расширять ее.