NaturalSpeech 3 — новая система преобразования текста в речь (TTS) от Microsoft, которая может клонировать голоса и эмоции. Система использует новый тип нейронного кодека, который разбивает речь на различные составляющие, такие как содержание, просодия, тембр и акустические детали. Это стратегическое расчленение позволяет системе ориентироваться в сложностях речи с беспрецедентной тонкостью и генерировать естественную, схожую с человеческой речь.

Кроме того, в NaturalSpeech 3 речь можно настраивать в соответствии с эмоциями (гнев, страх или удивление) и стилем диктора. Примеры можно прослушать здесь. После тщательных экспериментов NaturalSpeech 3 продемонстрировал свое превосходство над существующими технологиями TTS по различным параметрам, включая качество, сходство, просодию и разборчивость. Примечательно, что ее производительность продолжает расти с увеличением масштаба, демонстрируя значительный прирост при расширении до 1 млрд параметров и обучении на 200 000 часов данных.

Одной из наиболее ярких особенностей NaturalSpeech 3 является возможность манипулировать различными атрибутами речи с помощью подсказок. Эта возможность не только демонстрирует адаптивность системы, но и открывает широкие возможности для применения в области синтеза и преобразования речи, знаменуя собой значительный скачок к более естественному взаимодействию человека и компьютера.

Расширяя границы искусственной генерации речи, эта система прокладывает путь в будущее, где взаимодействие с цифровыми устройствами будет таким же естественным и интуитивно понятным, как и общение с человеком. Полная информация об исследовании под названием "NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models" доступна по ссылке.