Meta apresenta Voicebox, um modelo de IA que suporta processamento de áudio para criadores

Após inúmeros rumores, a Meta finalmente anunciou oficialmente seu modelo de IA de última geração chamado Voicebox. Este modelo foi projetado para ajudar os criadores de conteúdo a lidar com eficiência com tarefas relacionadas à geração de voz, como edição de áudio, amostragem e estilização, mesmo sem treinamento específico.

Meta afirma com segurança que este novo modelo de IA “beneficiará muitas pessoas em todo o mundo”, não apenas no campo da criação de conteúdo. Por exemplo, ajudar pessoas cegas a ouvir mensagens de texto usando a voz, bem como permitir que as pessoas falem línguas estrangeiras com a própria voz.

O próprio Voicebox é anunciado como capaz de criar clipes de áudio de alta qualidade e editar clipes de áudio pré-gravados para remover interrupções indesejadas, como buzinas de carros, enquanto mantém o mesmo conteúdo e estilo multilíngue (produzindo fala em seis idiomas diferentes). Os desenvolvimentos futuros planejados pela Meta para o modelo incluem o fornecimento de vozes naturais para assistentes visuais ou personagens em jogos no metaverso.

A Meta também comparou o Voicebox com outros modelos de IA com processamento de áudio atualmente no mercado, especificamente concorrentes importantes como Vall-E e YourTTS. No geral, o modelo do Meta é avançado e supera a concorrência ao comparar a taxa de erro do Word e a similaridade do estilo.

Voicebox é baseado em Flow Matching. Este é o mais recente modelo generativo não autorregressivo do Meta, que pode lidar com mapeamento altamente não determinístico entre texto e fala. Isso permite que o Voicebox aprenda com muitos tipos diferentes de dados de fala sem precisar rotulá-los cuidadosamente, dando-lhe a oportunidade de acessar dados de treinamento mais diversos e em grande escala. Até o momento, o Voicebox foi treinado em mais de 50.000 horas de gravações de fala e transcrições de audiolivros em inglês, francês, espanhol, alemão, polonês e português.

Embora esta tecnologia possa inaugurar uma nova era de IA no processamento de áudio, Meta reconhece que pode introduzir o potencial de abuso e danos não intencionais. O artigo de pesquisa que Meta compartilhou sobre o Voicebox inclui detalhes sobre como a empresa construiu um classificador altamente eficaz que pode distinguir entre vozes autênticas e vozes geradas pelo Voicebox.

A Meta não disponibilizará o programa AI Voicebox para uso público, nem divulgará o código-fonte, pelo menos por enquanto.