Facebook สร้าง AI ที่สามารถแปลภาษาต่างๆ ได้ 100 ภาษา โดยไม่ต้องแปลภาษาอังกฤษก่อน

Facebook เพิ่งสร้างโมเดล AI แบบโอเพ่นซอร์สที่มีความสามารถในการแปลที่น่าประทับใจถึง 100 ภาษา โดยไม่จำเป็นต้องแปลเป็นภาษาอังกฤษก่อนเป็นขั้นตอนกลาง ซึ่งมักพบในเครื่องมือแปลที่ใช้ปัญญาประดิษฐ์ในปัจจุบัน

โมเดล AI นี้ เรียกว่า M2M-100 และปัจจุบันอยู่ในระดับโครงการวิจัยเท่านั้น อย่างไรก็ตาม เมื่อขั้นตอนการพัฒนาเสร็จสมบูรณ์ (ในอนาคตอันใกล้) ก็สามารถใช้เพื่อแก้ปัญหาการแปลโพสต์และความคิดเห็นของผู้ใช้ Facebook ได้อย่างสมบูรณ์ - จากหลากหลายภาษา ภาษาต่างๆ ทั่วโลก จากสถิติล่าสุด ปัจจุบันผู้ใช้ Facebook มากกว่า 2/3 ไม่ได้ใช้ภาษาอังกฤษในการสื่อสารบนแพลตฟอร์มโซเชียลเน็ตเวิร์กนี้

“นักวิจัย AI ของเราทำงานอย่างหนักมาหลายปีเพื่อสร้างและพัฒนาแบบจำลองทั่วไปเพียงตัวเดียวที่สามารถเข้าใจภาษาที่หลากหลายในสถานการณ์และงานที่หลากหลาย . โมเดลเดียวที่รองรับทุกภาษา ภาษาถิ่น และการอัปเดตและปรับปรุงการแปลอย่างต่อเนื่องจะช่วยให้เรามอบประสบการณ์ที่ดีขึ้นสำหรับผู้ใช้ Facebook นับพันล้านคน ” นักวิจัย AI Facebook Angela Fan กล่าวในโพสต์ที่วางไว้บน blogpost.al

โมเดล AI ใหม่สามารถรองรับการแปลได้หลายประเภทบน Facebook

M2M-100 ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลคู่ประโยคทั่วไป 7.5 พันล้านคู่จาก 100 ภาษา ทั้งหมดนี้รวบรวมจากอินเทอร์เน็ต Facebook กล่าวว่าทรัพยากรทั้งหมดเป็นโอเพ่นซอร์สและใช้ข้อมูลสาธารณะ

ในการจัดการฐานข้อมูลการฝึกอบรมขนาดใหญ่ดังกล่าว นักวิจัย AI ของ Facebook มุ่งเน้นไปที่การแปลภาษาที่มีการร้องขอมากที่สุดเป็นหลัก ขณะเดียวกันก็จำกัดประโยคและภาษาที่หายาก จากนั้นพวกเขาจะจัดกลุ่มภาษาเหล่านี้ออกเป็น 14 กลุ่มที่แตกต่างกัน โดยพิจารณาจากความคล้ายคลึงกันทางภาษา ภูมิศาสตร์ และวัฒนธรรม แนวทางนี้ถือว่าเหมาะสมกว่า เนื่องจากผู้คนในประเทศที่มีลักษณะเหมือนกันข้างต้นจะได้รับประโยชน์มากขึ้นจากการแปลที่ได้รับการปรับปรุงในกลุ่มภาษาที่กำหนด

ภาษาที่เป็นของกลุ่มต่าง ๆ จะเชื่อมต่อกันผ่านภาษาบริดจ์จำนวนเล็กน้อย ในตัวอย่างของกลุ่มภาษาอินเดีย ฮินดี เบงกาลี และทมิฬทำหน้าที่เป็นสะพานเชื่อมสำหรับภาษาอินโด-อารยัน ตลอดกระบวนการรวบรวมและคัดเลือกทั้งหมด นักวิจัยได้รับชุดข้อมูลที่ประกอบด้วยประโยคคู่ขนาน 7.5 พันล้านประโยค ซึ่งสอดคล้องกับทิศทางการแปล 2,200 ทิศทาง

สำหรับภาษาที่ขาดข้อมูลการแปลที่มีคุณภาพ นักวิจัยได้ใช้วิธีการที่เรียกว่า back-translation เพื่อสร้างการแปลสังเคราะห์ที่สามารถเสริมข้อมูลที่ขุดได้

โดยรวมแล้วการผสมผสานเทคนิคเหล่านี้ทำให้เกิดโมเดลการแปลด้วยเครื่องหลายภาษา (MMT) ตัวแรกของโลกที่สามารถแปลระหว่างภาษาใดก็ได้จาก 100 ภาษาโดยไม่ต้องอาศัยข้อมูล ตามคำแถลงของ Facebook ระบุว่าภาษาอังกฤษเป็นมาตรฐาน

"ตัวอย่างเช่น โดยปกติแล้ว เมื่อแปลจากภาษาจีนเป็นภาษาฝรั่งเศส โมเดลการแปลหลายภาษาในปัจจุบันส่วนใหญ่จะเน้นภาษาอังกฤษเป็นหลัก พวกเขาจะแปลภาษาจีนเป็นภาษาอังกฤษ และจากภาษาอังกฤษเป็นภาษาฝรั่งเศส เนื่องจากข้อมูลการฝึกอบรมภาษาอังกฤษมีมากที่สุดและได้รับความนิยมด้วย แทน แบบจำลองของเราจะแปลข้อมูลภาษาจีนเป็นภาษาฝรั่งเศสโดยตรงเพื่อให้มั่นใจว่าการแปลมีความหมายสูงสุด"

ปัจจุบัน M2M-100 ยังไม่ได้รวมเข้ากับผลิตภัณฑ์ใดๆ แต่การทดสอบแสดงให้เห็นว่าสามารถรองรับการแปลหลายประเภทบน Facebook ซึ่งผู้คนยังคงโพสต์เนื้อหาทุกชั่วโมงในกว่า 160 ภาษา