Meta introduce Voicebox, un modello AI che supporta lelaborazione audio per i creatori

Dopo innumerevoli voci, Meta ha finalmente annunciato ufficialmente il suo modello AI di ultima generazione chiamato Voicebox. Questo modello è progettato per aiutare i creatori di contenuti a gestire in modo efficiente le attività relative alla generazione vocale come l'editing audio, il campionamento e la stilizzazione, anche senza una formazione specifica, possibile attraverso i dati nel contesto.

Meta afferma con sicurezza che questo nuovo modello di intelligenza artificiale "avrà benefici a molte persone in tutto il mondo", non solo nel campo della creazione di contenuti. Ad esempio, aiutare i non vedenti a sentire i messaggi di testo usando la propria voce, così come consentire alle persone di parlare lingue straniere con la propria voce.

Voicebox stesso è pubblicizzato come in grado sia di creare clip audio di alta qualità sia di modificare clip audio preregistrati per rimuovere interruzioni indesiderate, come i clacson delle auto, pur mantenendo lo stesso contenuto e stile multilingue (producendo discorsi in sei lingue diverse). Gli sviluppi futuri pianificati da Meta per il modello includono la fornitura di voci naturali per assistenti visivi o personaggi nei giochi nel metaverso.

Meta ha anche confrontato Voicebox con altri modelli di intelligenza artificiale basati sull'elaborazione audio attualmente sul mercato, in particolare concorrenti chiave come Vall-E e YourTTS. Nel complesso, il modello di Meta è avanzato e supera la concorrenza quando si confronta il tasso di errore di Word e la somiglianza di stile.

Voicebox è basato su Flow Matching. Questo è l'ultimo modello generativo non autoregressivo di Meta, in grado di gestire una mappatura altamente non deterministica tra testo e parlato. Ciò consente a Voicebox di apprendere da molti tipi diversi di dati vocali senza doverli etichettare attentamente, dandogli l'opportunità di accedere a dati di addestramento più diversificati e su larga scala. Ad oggi, Voicebox è stato addestrato su oltre 50.000 ore di registrazioni vocali e trascrizioni di audiolibri in inglese, francese, spagnolo, tedesco, polacco e portoghese.

Anche se questa tecnologia potrebbe inaugurare una nuova era dell’intelligenza artificiale nell’elaborazione audio, Meta riconosce che potrebbe introdurre il rischio di abusi e danni involontari. Il documento di ricerca condiviso da Meta su Voicebox include dettagli su come l'azienda ha creato un classificatore altamente efficace in grado di distinguere tra voci autentiche e voci generate da Voicebox.

Meta non renderà disponibile per uso pubblico il programma AI Voicebox, né rilascerà il codice sorgente, almeno per ora.