Meta、クリエイター向けの音声処理をサポートする AI モデル「Voicebox」を発表

数え切れないほどの噂の後、Meta はついに Voicebox と呼ばれる最新世代の AI モデルを正式に発表しました。このモデルは、コンテンツ作成者がコンテキスト内のデータを通じて、特別なトレーニングを受けていなくても、オーディオ編集、サンプリング、スタイル化などの音声生成関連タスクを効率的に処理できるように設計されています。

メタ氏は、この新しい AI モデルはコンテンツ作成の分野だけでなく、「世界中の多くの人々に利益をもたらす」と自信を持って断言します。たとえば、目の見えない人が自分の声を使ってテキストメッセージを聞くことができるようにしたり、人々が自分の声で外国語を話せるようにしたりすることができます。

Voicebox 自体は、同じ多言語コンテンツとスタイル (6 つの異なる言語で音声を生成) を維持しながら、高品質のオーディオ クリップの作成と、車のクラクションなどの不要な中断を除去するために録音済みのオーディオ クリップの編集の両方ができると宣伝されています。Meta が計画しているこのモデルの将来の開発には、メタバース内のゲームのビジュアル アシスタントやキャラクターに自然な音声を提供することが含まれています。

Meta はまた、Voicebox を、現在市場に出ている他の音声処理を利用した AI モデル、特に Vall-E や YourTTS などの主要な競合他社と比較しました。全体として、Meta のモデルは先進的であり、Word のエラー率とスタイルの類似性を比較した場合、競合製品よりも優れています。

Voicebox はフロー マッチングに基づいて構築されています。これは Meta の最新の非自己回帰生成モデルで、テキストと音声の間の高度に非決定的なマッピングを処理できます。これにより、Voicebox は、慎重にラベルを付けることなく、さまざまなタイプの音声データから学習できるようになり、より多様で大規模なトレーニング データにアクセスする機会が得られます。これまでに、Voicebox は英語、フランス語、スペイン語、ドイツ語、ポーランド語、ポルトガル語で 50,000 時間以上の音声録音とオーディオブックの書き起こしのトレーニングを受けてきました。

このテクノロジーは音声処理における AI の新時代の到来をもたらす可能性がありますが、メタ社は悪用や意図しない危害を引き起こす可能性があることを認めています。Meta が Voicebox に関して共有した研究論文には、本物の音声と Voicebox によって生成された音声を区別できる非常に効果的な分類器を同社がどのように構築したかについての詳細が含まれています。

メタ社は、少なくとも現時点では、AI Voicebox プログラムを一般公開したり、ソースコードを公開したりする予定はありません。