Meta wprowadza Voicebox, model AI obsługujący przetwarzanie dźwięku dla twórców

Po niezliczonych plotkach Meta w końcu oficjalnie ogłosiła swój model AI najnowszej generacji o nazwie Voicebox. Model ten został zaprojektowany, aby pomóc twórcom treści efektywnie wykonywać zadania związane z generowaniem głosu, takie jak edycja dźwięku, próbkowanie i stylizacja, nawet bez specjalnego szkolenia. Jest to możliwe dzięki danym w kontekście.

Meta z przekonaniem potwierdza, że ​​ten nowy model sztucznej inteligencji „przyniesie korzyści wielu ludziom na całym świecie”, nie tylko w dziedzinie tworzenia treści. Na przykład pomoc osobom niewidomym w słyszeniu wiadomości tekstowych za pomocą ich głosu, a także umożliwienie ludziom mówienia w językach obcych własnym głosem.

Sam Voicebox jest reklamowany jako umożliwiający zarówno tworzenie wysokiej jakości klipów audio, jak i edytowanie nagranych wcześniej klipów audio w celu usunięcia niepożądanych zakłóceń, takich jak klaksony samochodowe, przy jednoczesnym zachowaniu tej samej wielojęzycznej zawartości i stylu (tworzenie mowy w sześciu różnych językach). Planowane przyszłe udoskonalenia modelu Meta obejmują zapewnienie naturalnych głosów asystentom wizualnym lub postaciom w grach w Metaverse.

Meta porównała także Voicebox z innymi dostępnymi obecnie na rynku modelami AI wyposażonymi w przetwarzanie dźwięku, w szczególności z kluczowymi konkurentami, takimi jak Vall-E i YourTTS. Ogólnie rzecz biorąc, model Meta jest zaawansowany i przewyższa konkurencję, porównując współczynnik błędów programu Word i podobieństwo stylów.

Voicebox opiera się na Flow Matching. Jest to najnowszy nieautoregresywny model generatywny Meta, który radzi sobie z wysoce niedeterministycznym mapowaniem tekstu i mowy. Dzięki temu Voicebox może uczyć się na podstawie wielu różnych typów danych mowy bez konieczności ich dokładnego etykietowania, co daje mu możliwość dostępu do bardziej zróżnicowanych danych szkoleniowych na dużą skalę. Do tej pory Voicebox został przeszkolony na podstawie ponad 50 000 godzin nagrań mowy i transkrypcji audiobooków w języku angielskim, francuskim, hiszpańskim, niemieckim, polskim i portugalskim.

Choć technologia ta może zapoczątkować nową erę sztucznej inteligencji w przetwarzaniu dźwięku, Meta przyznaje, że może spowodować potencjalne nadużycia i niezamierzone szkody. Artykuł badawczy, który Meta udostępniła na temat Voicebox, zawiera szczegółowe informacje na temat tego, jak firma zbudowała wysoce skuteczny klasyfikator, który potrafi odróżnić głosy autentyczne od głosów generowanych przez Voicebox.

Meta nie udostępni programu AI Voicebox do użytku publicznego, ani nie udostępni kodu źródłowego, przynajmniej na razie.