마이크로소프트가 개발한 AI인 Vall-E는 실제 사람의 목소리를 3초 동안 들으면서 실제 사람의 말투와 말투를 모방할 수 있지만 여전히 로봇 목소리처럼 들립니다.

마이크로소프트의 AI Vall-E. 일러스트 사진 : VallE-Demo.
Microsoft의 이 AI 시스템을 "신경 코덱 언어 모델"이라고 합니다. 코덱은 알고리즘을 사용하여 비디오를 처리하고 이를 바이트 스트림에 저장하는 도구입니다. 오디오 또는 비디오 파일은 축소된 후 다양한 목적으로 압축이 풀립니다.
Vall-E는 Microsoft가 2022년 Meta에서 개발한 기계 학습 기술을 사용하는 오디오 코덱인 EnCodec 플랫폼을 기반으로 구축되었습니다. Vall-E는 각 사람의 오디오를 캡처하고 분석하여 고유한 오디오 코덱을 만든 다음 EnCodec을 통해 정보를 "토큰"이라는 부분으로 분류합니다. 이는 일반적으로 파형 형태였던 기존의 문자 음성 변환 방식과 다릅니다.
그런 다음 Vall-E는 훈련 데이터를 사용하여 음성 억양에 대해 "알고 있는" 내용을 일치시키고 "학습한" 내용에 따라 다른 문구를 말할 수 있습니다.
이 전체 음성 모방 과정은 3초 안에 완료됩니다. 이는 오늘날 어떤 언어 모방 AI 시스템으로도 달성한 적이 없습니다.
Microsoft는 Vall-E를 교육하기 위해 7,000명 이상의 사람들이 말하는 60,000시간의 영어가 포함된 라이브러리를 사용합니다. 이 라이브러리는 시간이 지남에 따라 더 많은 언어로 추가될 예정입니다.
Microsoft는 Vall-E가 고품질 텍스트 음성 변환 소프트웨어에 적용되기를 희망합니다.
그러나 Vall-E는 악의적인 목적으로 사용될 수 있다는 우려를 낳고 있다. 이 AI는 악당이 사기 및 강탈을 목적으로 목소리를 가장하는 데 사용될 수 있습니다. 이 AI가 딥페이크 영상과 결합하면 위험 수준이 몇 배로 늘어날 수 있다.