Meta представляет Voicebox, модель искусственного интеллекта, которая поддерживает обработку звука для создателей

После бесчисленных слухов Meta наконец официально анонсировала свою модель искусственного интеллекта последнего поколения под названием Voicebox. Эта модель предназначена для того, чтобы помочь создателям контента эффективно решать задачи, связанные с генерацией голоса, такие как редактирование звука, сэмплирование и стилизация, даже без специального обучения. Это возможно с помощью данных в контексте.

Мета уверенно утверждает, что эта новая модель искусственного интеллекта «принесет пользу многим людям во всем мире», а не только в области создания контента. Например, помогая слепым людям слышать текстовые сообщения голосом, а также позволяя людям говорить на иностранных языках собственным голосом.

Сам Voicebox рекламируется как способный как создавать высококачественные аудиоклипы, так и редактировать предварительно записанные аудиоклипы для удаления нежелательных помех, таких как автомобильные гудки, сохраняя при этом тот же многоязычный контент и стиль (воспроизводя речь на шести разных языках). Запланированные будущие разработки Meta для этой модели включают обеспечение естественных голосов визуальных помощников или персонажей в играх метавселенной.

Meta также сравнила Voicebox с другими моделями искусственного интеллекта на базе обработки звука, представленными в настоящее время на рынке, в частности с такими ключевыми конкурентами, как Vall-E и YourTTS. В целом, модель Meta является продвинутой и превосходит конкурентов при сравнении частоты ошибок в Word и сходства стилей.

Voicebox построен на Flow Matching. Это новейшая неавторегрессивная генеративная модель Meta, которая может обрабатывать весьма недетерминированные сопоставления между текстом и речью. Это позволяет Voicebox учиться на различных типах речевых данных без необходимости тщательно их маркировать, что дает ему возможность получить доступ к более разнообразным и крупномасштабным обучающим данным. На сегодняшний день Voicebox обучен более чем 50 000 часам записей речи и транскрипций аудиокниг на английском, французском, испанском, немецком, польском и португальском языках.

Хотя эта технология может открыть новую эру искусственного интеллекта в обработке звука, Мета признает, что она может создать потенциал для злоупотреблений и непреднамеренного вреда. В исследовательском документе, которым поделилась Meta о Voicebox, содержится подробная информация о том, как компания создала высокоэффективный классификатор, который может различать подлинные голоса и голоса, генерируемые Voicebox.

Meta не сделает программу AI Voicebox доступной для публичного использования и не выпустит исходный код, по крайней мере, на данный момент.