Facebook 創造了可以翻譯 100 種不同語言的人工智慧，而無需先了解英語

Facebook 剛剛開源了一個AI 模型，該模型具有令人印象深刻的翻譯能力，支援多達100 種語言，而無需先將其翻譯成英語作為中間步驟，這在當今基於人工智慧的翻譯工具中很常見。

這個AI模型被稱為M2M-100，目前僅處於研究項目層級。然而，一旦開發階段完成（在不久的將來），它就可以用來完全解決翻譯 Facebook 用戶的貼文和評論的任務 - 來自各種語言，世界各地的不同語言。根據最新統計，目前超過2/3的Facebook用戶不使用英語在這個社群網路平台上進行交流。

“我們的人工智慧研究人員多年來一直努力建立和開發一個單一的通用模型，該模型可以在各種情況和任務中理解多種語言。” 研究人員表示：「支援所有語言、方言以及不斷更新和優化翻譯的單一模型將幫助我們為數十億 Facebook 用戶提供更好的體驗。」AI Facebook Angela Fan 在blogpost.al 上發表的一篇文章中表示。

新的AI模型可以支援Facebook上多種不同類型的翻譯

M2M-100 在包含 100 種不同語言的 75 億個常用句子對的資料集上進行訓練，所有這些資料集均從網路收集。Facebook 表示，這些資源都是開源的，並且使用公共資料。

為了管理如此大規模的訓練資料庫，Facebook AI研究人員主要關注最常要求的語言翻譯，同時限制罕見的句子和語言。然後，他們將根據語言、地理和文化的相似性將這些語言分成 14 個不同的組別。這種方法被認為是更優化的，因為具有上述共同特徵的國家/地區的人們將從給定語言組的最佳化翻譯中受益更多。

屬於不同族群的語言會透過少量的橋樑語言連結起來。以印度語族為例，印地語、孟加拉語和泰米爾語則充當印度雅利安語系的橋樑語言。透過整個收集和選擇過程，研究人員獲得了由75億個平行句子組成的資料集，對應2200個翻譯方向。

對於缺乏高品質翻譯資料的語言，研究人員使用了一種稱為反向翻譯的方法來創建可以補充挖掘資料的合成翻譯。

總的來說，這些技術的結合產生了世界上第一個多語言機器翻譯（MMT）模型，可以在不依賴數據的情況下在100 種語言中的任何一種之間進行翻譯，根據Facebook 的聲明，英語是標準。

「例如，通常情況下，當從中文翻譯成法語時，目前大多數多語言翻譯模型都會以英語為中心，它們會將中文翻譯成英語，將英語翻譯成法語，因為英語的訓練資料是最可用和流行的。遵循這一主題，我們的模型直接將中文數據翻譯成法語，以確保最大限度地保留翻譯含義」。

目前M2M-100尚未整合到任何產品中，但測試顯示它可以支援Facebook上許多不同類型的翻譯，人們仍然每小時在Facebook上發布160多種語言的內容。