Facebook mencipta AI yang boleh menterjemah 100 bahasa berbeza, tanpa perlu melalui bahasa Inggeris terlebih dahulu

Facebook baru sahaja membuka model AI dengan keupayaan terjemahan yang mengagumkan dalam sehingga 100 bahasa tanpa perlu menterjemahkannya ke dalam bahasa Inggeris terlebih dahulu sebagai langkah perantaraan, yang sering ditemui pada alat terjemahan berdasarkan kecerdasan buatan hari ini.

Model AI ini dipanggil M2M-100, dan pada masa ini hanya di peringkat projek penyelidikan. Bagaimanapun, sebaik sahaja peringkat pembangunan selesai (dalam masa terdekat), ia boleh digunakan untuk menyelesaikan sepenuhnya tugas menterjemah siaran dan komen pengguna Facebook - daripada pelbagai bahasa. bahasa yang berbeza di seluruh dunia. Mengikut statistik terkini, pada masa ini lebih 2/3 pengguna Facebook tidak menggunakan bahasa Inggeris untuk berkomunikasi di platform rangkaian sosial ini.

“Penyelidik AI kami telah bekerja keras selama bertahun-tahun untuk membina dan membangunkan model umum tunggal yang boleh memahami pelbagai bahasa dalam pelbagai situasi dan tugas. . Satu model yang menyokong semua bahasa, dialek dan terjemahan yang dikemas kini dan dioptimumkan secara berterusan akan membantu kami menyampaikan pengalaman yang lebih baik untuk berbilion-bilion pengguna Facebook ," kata penyelidik AI Facebook Angela Fan berkata dalam catatan yang diletakkan di blogpost.al.

Model AI baharu boleh menyokong pelbagai jenis terjemahan di Facebook

M2M-100 dilatih pada set data sebanyak 7.5 bilion pasangan ayat biasa daripada 100 bahasa berbeza, semuanya dikumpulkan daripada internet. Facebook mengatakan semua sumber adalah sumber terbuka dan mereka menggunakan data awam.

Untuk mengurus pangkalan data latihan berskala besar sedemikian, penyelidik AI Facebook memberi tumpuan terutamanya pada terjemahan bahasa yang paling kerap diminta, sambil mengehadkan ayat dan bahasa yang jarang ditemui. meet. Mereka kemudiannya akan mengumpulkan bahasa-bahasa ini kepada 14 kumpulan yang berbeza, berdasarkan persamaan linguistik, geografi dan budaya. Pendekatan ini dianggap lebih optimum kerana orang di negara yang berkongsi ciri umum di atas akan mendapat lebih banyak manfaat daripada terjemahan yang dioptimumkan dalam kumpulan bahasa tertentu.

Bahasa milik kumpulan yang berbeza akan dihubungkan melalui sebilangan kecil bahasa jambatan. Dalam contoh kumpulan bahasa India, Hindi, Bengali dan Tamil bertindak sebagai bahasa jambatan untuk bahasa Indo-Arya. Melalui keseluruhan proses pengumpulan dan pemilihan, para penyelidik telah mencapai set data yang terdiri daripada 7.5 bilion ayat selari, bersamaan dengan 2,200 arahan terjemahan.

Untuk bahasa yang kekurangan data terjemahan berkualiti, penyelidik telah menggunakan kaedah yang dipanggil back-terjemahan untuk mencipta terjemahan sintetik yang boleh menambah data yang dilombong.

Secara keseluruhan, gabungan teknik ini menghasilkan model terjemahan mesin (MMT) berbilang bahasa pertama di dunia yang boleh menterjemah antara mana-mana 100 bahasa tanpa bergantung pada data. Bahasa Inggeris adalah standard, menurut kenyataan Facebook.

"Sebagai contoh, biasanya, apabila menterjemah daripada bahasa Cina ke bahasa Perancis, kebanyakan model terjemahan berbilang bahasa semasa akan berpusatkan bahasa Inggeris, mereka akan menterjemah bahasa Cina ke bahasa Inggeris dan daripada bahasa Inggeris ke bahasa Perancis , kerana data latihan bahasa Inggeris adalah yang paling tersedia serta popular. Sebaliknya daripada mengikuti motif ini, model kami secara langsung menterjemah data Cina ke dalam bahasa Perancis untuk memastikan makna terjemahan pengekalan maksimum".

Pada masa ini M2M-100 belum lagi disepadukan ke dalam mana-mana produk, tetapi ujian menunjukkan bahawa ia boleh menyokong pelbagai jenis terjemahan di Facebook, di mana orang ramai masih menyiarkan kandungan setiap jam dalam lebih daripada 160 bahasa.