페이스북은 영어를 먼저 통하지 않고도 100가지 언어를 번역할 수 있는 AI를 만들었습니다.

페이스북은 오늘날의 인공 지능을 기반으로 한 번역 도구에서 흔히 볼 수 있는 중간 단계로 먼저 영어로 번역할 필요 없이 최대 100개 언어로 인상적인 번역 기능을 갖춘 AI 모델을 오픈소스화했습니다.

이 AI 모델은 M2M-100이라고 불리며 현재는 연구 프로젝트 수준에 불과하다. 그러나 가까운 시일 내에 개발 단계가 완료되면 Facebook 사용자의 게시물과 댓글을 전 세계 다양한 언어로 번역하는 작업을 완전히 해결하는 데 사용할 수 있습니다. 최신 통계에 따르면 현재 Facebook 사용자의 2/3 이상이 이 소셜 네트워킹 플랫폼에서 영어로 의사소통을 하지 않습니다.

“우리 AI 연구진은 다양한 상황과 작업에서 다양한 언어를 이해할 수 있는 단일 일반 모델을 구축하고 개발하기 위해 수년 동안 열심히 노력해 왔습니다. . 모든 언어, 방언, 지속적으로 업데이트되고 최적화된 번역을 지원하는 단일 모델은 수십억 명의 Facebook 사용자에게 더 나은 경험을 제공하는 데 도움이 될 것입니다 .” AI Facebook Angela Fan 연구원은 blogpost.al에 게시된 게시물에서 말했습니다.

새로운 AI 모델은 Facebook에서 다양한 유형의 번역을 지원할 수 있습니다.

M2M-100은 모두 인터넷에서 수집된 100개 언어의 75억 개의 공통 문장 쌍으로 구성된 데이터 세트를 통해 훈련되었습니다. Facebook은 리소스가 모두 오픈 소스이며 공개 데이터를 사용한다고 말합니다.

이러한 대규모 훈련 데이터베이스를 관리하기 위해 페이스북 AI 연구진은 가장 일반적으로 요청되는 언어 번역에 중점을 두는 동시에 희귀한 문장과 언어를 제한합니다. 그런 다음 언어적, 지리적, 문화적 유사성을 기준으로 이러한 언어를 14개의 다른 그룹으로 그룹화합니다. 위의 공통 특성을 공유하는 국가의 사람들은 특정 언어 그룹에서 최적화된 번역을 통해 더 많은 이점을 얻을 수 있기 때문에 이 접근 방식이 더 최적이라고 간주됩니다.

서로 다른 그룹에 속한 언어는 소수의 브리지 언어를 통해 연결됩니다. 인도어 그룹의 예에서는 힌디어, 벵골어, 타밀어가 인도-아리아어의 가교 언어 역할을 합니다. 연구진은 전체 수집 및 선택 과정을 통해 2,200개의 번역 방향에 해당하는 75억 개의 병렬 문장으로 구성된 데이터 세트를 획득했습니다.

양질의 번역 데이터가 부족한 언어의 경우 연구자들은 역번역(back-translation)이라는 방법을 사용해 채굴된 데이터를 보완할 수 있는 합성 번역을 만들어왔습니다.

전체적으로 이러한 기술의 결합으로 데이터에 의존하지 않고 100개 언어 중 무엇이든 번역할 수 있는 세계 최초의 다국어 기계 번역(MMT) 모델이 탄생했으며, 페이스북의 성명에 따르면 영어가 표준이라고 합니다.

"예를 들어 일반적으로 중국어에서 프랑스어로 번역할 때 대부분의 최신 다국어 번역 모델은 영어 중심이며 중국어를 영어로, 영어에서 프랑스어로 번역합니다. 왜냐하면 영어 학습 데이터가 가장 유용하고 인기가 있기 때문입니다. 대신 이 모티브를 따르면서 우리 모델은 중국어 데이터를 프랑스어로 직접 번역하여 번역 의미를 최대한 유지합니다."

현재 M2M-100은 아직 어떤 제품에도 통합되지 않았지만 테스트 결과 사람들은 여전히 ​​매시간 160개 이상의 언어로 콘텐츠를 게시하는 Facebook에서 다양한 유형의 번역을 지원할 수 있는 것으로 나타났습니다.