Meta introduce Voicebox, un model AI care acceptă procesarea audio pentru creatori

După nenumărate zvonuri, Meta și-a anunțat în cele din urmă oficial modelul AI de ultima generație numit Voicebox. Acest model este conceput pentru a ajuta creatorii de conținut să gestioneze eficient sarcinile legate de generarea vocii, cum ar fi editarea audio, eșantionarea și stilizarea, chiar și fără antrenament specific posibil prin date în context.

Meta afirmă cu încredere că acest nou model de inteligență artificială va „beneficia mulți oameni din întreaga lume”, nu doar în domeniul creării de conținut. De exemplu, ajutând persoanele nevăzătoare să audă mesajele text folosind vocea lor, precum și le permite oamenilor să vorbească limbi străine cu propria lor voce.

Voicebox în sine este promovat ca fiind capabil atât de a crea clipuri audio de înaltă calitate, cât și de a edita clipuri audio preînregistrate pentru a elimina întreruperile nedorite, cum ar fi claxonele mașinii, păstrând în același timp același conținut și stil multilingv (producând vorbire în șase limbi diferite). Evoluțiile viitoare planificate de Meta pentru model includ furnizarea de voci naturale pentru asistenți vizuali sau personaje în jocurile din metavers.

Meta a comparat, de asemenea, Voicebox cu alte modele AI alimentate de procesare audio aflate în prezent pe piață, în special concurenți cheie precum Vall-E și YourTTS. În general, modelul Meta este avansat și depășește concurența atunci când compară rata de eroare Word și similaritatea stilului.

Voicebox este construit pe Flow Matching. Acesta este cel mai recent model generativ neautoregresiv al Meta, care poate gestiona maparea foarte nedeterministă între text și vorbire. Acest lucru permite Voicebox să învețe din multe tipuri diferite de date de vorbire fără a fi nevoie să le eticheteze cu atenție, oferindu-i posibilitatea de a accesa date de antrenament mai diverse și la scară largă. Până în prezent, Voicebox a fost instruit cu privire la peste 50.000 de ore de înregistrări de vorbire și transcriere de cărți audio în engleză, franceză, spaniolă, germană, poloneză și portugheză.

În timp ce această tehnologie ar putea introduce o nouă eră a AI în procesarea audio, Meta recunoaște că ar putea introduce potențialul de abuz și vătămare neintenționată. Lucrarea de cercetare pe care Meta a împărtășit-o despre Voicebox include detalii despre modul în care compania a construit un clasificator extrem de eficient care poate face distincția între vocile autentice și vocile generate de Voicebox.

Meta nu va face programul AI Voicebox disponibil pentru uz public și nici nu va elibera codul sursă, cel puțin deocamdată.