Facebook, önce İngilizceye gerek kalmadan 100 farklı dili çevirebilen yapay zeka yarattı

Facebook, günümüzün yapay zekasını temel alan çeviri araçlarında sıklıkla bulunan bir ara adım olarak öncelikle İngilizce'ye çevirmeye gerek kalmadan, 100'e kadar dilde etkileyici çeviri yeteneklerine sahip bir yapay zeka modelini açık kaynaklı hale getirdi.

Bu yapay zeka modeline M2M-100 adı veriliyor ve şu anda yalnızca araştırma projesi düzeyinde. Bununla birlikte, geliştirme aşamaları tamamlandıktan sonra (yakın gelecekte), Facebook kullanıcılarının gönderilerini ve yorumlarını dünya çapındaki çeşitli dillerden farklı dillere çevirme görevini tamamen çözmek için kullanılabilir. En son istatistiklere göre şu anda Facebook kullanıcılarının 2/3'ünden fazlası bu sosyal ağ platformunda iletişim kurmak için İngilizce kullanmıyor.

"Yapay zeka araştırmacılarımız, çeşitli durumlarda ve görevlerde çeşitli dilleri anlayabilen tek bir genel model oluşturmak ve geliştirmek için uzun yıllar boyunca çok çalıştı. . Tüm dilleri, lehçeleri ve sürekli güncellenen ve optimize edilen çevirileri destekleyen tek bir model, milyarlarca Facebook kullanıcısına daha iyi bir deneyim sunmamıza yardımcı olacak " dedi araştırmacı. AI Facebook Angela Fan, blogpost.al'de yayınlanan bir gönderide şunları söyledi.

Yeni AI modeli, Facebook'ta birçok farklı çeviri türünü destekleyebilir

M2M-100, tamamı internetten toplanan, 100 farklı dilden 7,5 milyar ortak cümle çiftinden oluşan bir veri seti üzerinde eğitilmektedir. Facebook, kaynakların tamamının açık kaynak olduğunu ve herkese açık verileri kullandıklarını söylüyor.

Bu kadar büyük ölçekli bir eğitim veri tabanını yönetmek için Facebook AI araştırmacıları, nadir cümleleri ve dilleri sınırlandırırken çoğunlukla en sık talep edilen dil çevirilerine odaklanıyor. Daha sonra bu dilleri dilsel, coğrafi ve kültürel benzerliklere göre 14 farklı gruba ayıracaklar. Bu yaklaşımın daha uygun olduğu düşünülmektedir çünkü yukarıdaki ortak özellikleri paylaşan ülkelerdeki insanlar belirli bir dil grubundaki optimize edilmiş çevirilerden daha fazla yararlanacaktır.

Farklı gruplara ait diller, az sayıda köprü dil aracılığıyla birbirine bağlanacaktır. Hint dil grubu örneğinde Hintçe, Bengalce ve Tamilce Hint-Aryan dilleri için köprü dil görevi görmektedir. Tüm toplama ve seçme süreci boyunca araştırmacılar, 2.200 çeviri yönüne karşılık gelen 7,5 milyar paralel cümleden oluşan bir veri seti elde etti.

Kaliteli çeviri verilerine sahip olmayan diller için araştırmacılar, çıkarılmış verileri tamamlayabilecek sentetik çeviriler oluşturmak amacıyla geri çeviri adı verilen bir yöntem kullandılar.

Genel olarak, bu tekniklerin birleşimi, verilere dayanmadan 100 dilden herhangi biri arasında çeviri yapabilen dünyanın ilk çok dilli makine çevirisi (MMT) modeliyle sonuçlandı.Facebook'tan yapılan açıklamaya göre standart İngilizcedir.

"Örneğin, normalde Çince'den Fransızca'ya çeviri yaparken, mevcut çok dilli çeviri modellerinin çoğu İngilizce merkezli olacak, Çince'yi İngilizce'ye ve İngilizce'den Fransızca'ya çevirecekler çünkü İngilizce eğitim verileri en uygun ve popüler olanıdır. Bunun yerine Bu motifi takip eden modelimiz, çeviri anlamının maksimum düzeyde tutulmasını sağlamak için Çince verileri doğrudan Fransızcaya çevirir".

Şu anda M2M-100 henüz herhangi bir ürüne entegre edilmedi ancak testler, insanların hâlâ her saat başı içerik yayınladığı Facebook'ta 160'tan fazla dilde birçok farklı çeviri türünü destekleyebildiğini gösteriyor.