Компании Microsoft и Project Gutenberg использовали технологии ИИ для создания более 5 000 бесплатных аудиокниг с высококачественными синтетическими голосами.

В рамках проекта исследователи объединили достижения в области машинного обучения, автоматического выбора текста (какие тексты читаются вслух, какие нет) и систем синтеза естественной речи.

Сначала был разработан алгоритм, который понимает структуру электронной книги на основе HTML и отличает основной текст от несущественных элементов, таких как сноски, номера страниц или таблицы.

За этим так называемым синтаксическим разбором следует собственно преобразование текста в речь (text-to-speech, TTS). В данном проекте использовались, в частности, WaveNet, Tacotron и FastSpeech, способные создавать естественную и человекоподобную речь.

Кроме того, была разработана система, способная различать диктора и диалог, а в данном случае даже отдельных персонажей и их эмоции, и соответствующим образом адаптировать генерируемый голос.

Вся технологическая цепочка работает на фреймворке машинного обучения SynapseML, который предназначен для разбиения различных задач и их параллельной обработки.

В общей сложности в рамках проекта было собрано более 35 000 часов аудиоданных по классической литературе, пьесам и биографиям, начитанных "четким и последовательным голосом".

Уже один этот набор данных может быть полезен для дальнейших проектов по созданию ИИ. Исследовательская группа намерена сделать все аудиоданные доступными в виде открытого кода без ограничений.

Аудиокниги доступны на Spotify, Apple Podcasts или Google Podcasts. Более подробную информацию о проекте можно найти на официальном сайте.

Project Gutenberg — это бесплатная электронная библиотека с более чем 70 000 электронными книгами, доступными для бесплатного чтения и скачивания.