Googleın yeni yapay zeka modeli bir kitabın tamamını okuyabilir ve anlayabilir

Günümüzde dil işlemede yapay zeka (AI) modellerinin en büyük zorluklarından biri , her bir bölümün bağlamını ve bağlamını anlamak, böylece tüm paragrafın içeriğini, metnini veya daha geniş anlamda tüm çalışmanın tam anlamını anlamaktır. - bugünkü gibi her bir kelimenin anlamını basitçe anlamak yerine.

Google, bu sorunu çözmek için, bir romana eşdeğer olan 1 milyon satırlık bir çalışmanın içeriğini ve bağlamını anlayabilen ve yalnızca yaklaşık 16 GB depolama alanı kullanan Reformer adlı yeni bir makine öğrenimi modelini tanıttı. Reformer, bir paragraftaki kelimeleri birbirleriyle karşılaştırarak aralarındaki ilişkiyi anlama prensibiyle çalışan eski moda bir sinir ağı olan Transformer'ın eksikliklerini gidermek için geliştirildi.

Ancak Transformer, kombinasyon-eşleme yöntemiyle çalıştığı için birkaç bin kelimeden fazla metinleri işlemek zorunda kalması durumunda çok fazla veri alanı kaplayacaktır. Bu zayıflık, uzun makaleleri veya bir kitabı işlemek için Transformer'ı kullanmayı son derece olanaksız hale getiriyor.

Google, Reformer'ı yukarıda belirtilen her iki ana sorunu da çözmek için geliştirdi: uzun belgeleri işleme yeteneği ve eski modelin bellek tüketimi.

İlk sorunu çözmek için Google'ın yeni modeli, yerelliğe duyarlı karma (LSH) adı verilen bir yöntem kullanıyor. Yani, yeni model, daha önce olduğu gibi tüm kelimeleri bir arada karşılaştırmak yerine, benzer kelimeleri bir grupta birleştirmek, ardından aynı gruptaki veya gruplar içindeki kelimeleri karşılaştırmak için bir karma işlevi kullanacak. aynı zamanda daha büyük miktarlarda metni işleme yeteneği sağlar.

Bellek tüketimi sorununu çözmek için araştırmacılar, Tersinir Artık Ağ (RevNet) adı verilen bir teknik kullanıyor. RevNet, ağlar derinleştikçe ve genişledikçe performansı artırarak çalışan bir teknoloji olan Deep Residual Networks'ten (ResNets) geliştirilmiştir. RevNet'in kendi katmanları vardır; burada her katmanın çıktı verileri yeniden yapılandırılabilir ve başka bir katmanda kullanılabilir. Bu nedenle çoğu katmanın çıktı verilerinin geri yayılım sırasında bellekte saklanmasına gerek yoktur.

Bu modelin etkinliğini test etmek için Google, Reformer'a birkaç küçük kırpılmış resim sağladı ve oradan tam çerçeve bir fotoğraf oluşturdu.

Google mühendisleri, yeni modelin bir kitabın tamamını yüksek doğrulukla kolayca işleyebildiğini ve büyük ölçekli metin işleme potansiyelinin önünü açtığını söylüyor.