Meta, 창작자를 위한 오디오 처리를 지원하는 AI 모델 Voicebox 출시

수많은 소문 끝에 Meta는 마침내 Voicebox라는 최신 세대 AI 모델을 공식적으로 발표했습니다. 이 모델은 콘텐츠 제작자가 특정 교육 없이도 오디오 편집, 샘플링, 스타일화 등 음성 생성 관련 작업을 효율적으로 처리할 수 있도록 설계되었으며 상황에 맞는 데이터를 통해 가능합니다.

메타는 이 새로운 AI 모델이 콘텐츠 제작 분야뿐만 아니라 "전 세계 많은 사람들에게 이익을 줄 것"이라고 자신있게 단언합니다. 예를 들어, 시각 장애인이 자신의 목소리로 문자 메시지를 들을 수 있도록 돕는 것은 물론, 사람들이 자신의 목소리로 외국어를 말할 수 있도록 하는 것도 가능합니다.

Voicebox 자체는 고품질 오디오 클립을 생성하고 미리 녹음된 오디오 클립을 편집하여 자동차 경적 소리와 같은 원치 않는 방해 요소를 제거하는 동시에 동일한 다국어 콘텐츠와 스타일을 유지하면서(6개 언어로 음성 생성) 광고할 수 있습니다. 모델에 대한 Meta의 계획된 향후 개발에는 메타버스의 게임에서 시각적 보조자 또는 캐릭터에 자연스러운 음성을 제공하는 것이 포함됩니다.

Meta는 또한 Voicebox를 현재 시중에 나와 있는 다른 오디오 처리 기반 AI 모델, 특히 Vall-E 및 YourTTS와 같은 주요 경쟁업체와 비교했습니다. 전반적으로 Meta의 모델은 단어 오류율과 스타일 유사성을 비교할 때 경쟁사보다 앞서 있으며 성능이 뛰어납니다.

Voicebox는 Flow Matching을 기반으로 구축되었습니다. 이는 텍스트와 음성 간의 매우 비결정적인 매핑을 처리할 수 있는 Meta의 최신 비자동회귀 생성 모델입니다. 이를 통해 Voicebox는 신중하게 레이블을 지정할 필요 없이 다양한 유형의 음성 데이터로부터 학습할 수 있으므로 보다 다양하고 대규모의 교육 데이터에 액세스할 수 있습니다. 현재까지 Voicebox는 영어, 프랑스어, 스페인어, 독일어, 폴란드어 및 포르투갈어로 된 50,000시간 이상의 음성 녹음 및 오디오북 전사에 대한 교육을 받았습니다.

이 기술은 오디오 처리 분야에서 AI의 새로운 시대를 열 수 있지만 Meta는 남용 및 의도하지 않은 해를 끼칠 가능성이 있음을 인정합니다. Voicebox에 관해 Meta가 공유한 연구 논문에는 회사가 실제 음성과 Voicebox에서 생성된 음성을 구별할 수 있는 매우 효과적인 분류기를 어떻게 구축했는지에 대한 세부 정보가 포함되어 있습니다.

메타는 적어도 당분간은 AI 보이스박스 프로그램을 공개적으로 사용할 수 없게 만들거나 소스코드를 공개하지 않을 예정이다.