Google araştırmacıları yapay zekanın pekiştirmeli öğrenmeyi geliştirmek için oyun oynamasına izin veriyor

Makine öğreniminin bir alt alanı olan takviye öğrenimi, yazılım politikasını özellikle hedeflenen hedeflere yönlendirmek için "ödülleri" kullanan yapay zeka eğitim tekniklerini içerir. Başka bir deyişle bu, yapay zekanın farklı eylemleri deneyeceği, her yanıttan o eylemin daha iyi sonuçlar getirip getirmediğini öğreneceği ve ardından işe yarayan eylemleri güçlendireceği bir süreçtir. en iyi sonuçları verir. Son zamanlarda, sosyal kuralların etkisini modellemek, son derece iyi oyun yeteneklerine sahip yapay zeka modelleri veya kendi kendini iyileştirebilen programlanabilir robotlar oluşturmak için takviyeli öğrenmeden yararlanılıyor.

• Winnow, gıda işlemede israfın azaltılmasına yardımcı olmak için bilgisayar görüşünü kullanıyor

Pek çok farklı model ve amaçta uygulanabilen, yüksek esnekliğe sahip olmasına rağmen pekiştirmeli öğrenme tekniğinin talihsiz bir eksikliği vardır: Etkisizdir. Takviyeli öğrenme tekniklerini kullanarak bir yapay zeka modelini eğitmek, simüle edilmiş veya gerçek dünya ortamında birçok farklı etkileşim gerektirir; bu, bir insanın belirli bir görevi öğrenmesi gerektiğinden çok daha fazladır. Özellikle video oyunları alanında bu sorunun kısmen üstesinden gelmek için, Google'daki yapay zeka araştırmacıları yakın zamanda, eylem seçiminde kalite politikalarını öğrenmek ve geliştirmek için basit video oyunu modellerini kullanan Simulated Policy Learning (SimPLe olarak kısaltılır) adı verilen yeni bir algoritmanın kullanılmasını önerdi. takviyeli öğrenme teknikleri.

Araştırmacılar algoritmayı, "Atari için Model Tabanlı Güçlendirme Öğrenme" başlıklı yeni yayınlanan bir makalede ve ayrıca açık kaynak koduna eşlik eden bir belgede açıkladılar.

“Yüksek düzeyde, SimPLe algoritmasını geliştirirken araştırmacıların fikri, oyunun özelliklerine ilişkin bir model oluşturmak ve bu modeli, bir oyun simülasyonu ortamında bir politikayı optimize etmek (modelsiz takviyeli öğrenme teknikleriyle) için kullanmak arasında geçiş yapmaktı. Bu algoritmanın arkasındaki temel prensipler iyi kurulmuş ve birçok yeni model tabanlı takviyeli öğrenme yönteminde kullanılıyor," diye paylaştı Google AI ekibi bilim adamları Łukasz Kaiser ve Dumitru Erhan.

• Nvidia'nın yeni AI uygulamasına hayran kalın: MS Paint tarzı karalamaları sanatsal "başyapıtlara" dönüştürün

İki araştırmacının açıkladığı gibi, bir oyun oynamak için bir yapay zeka sistemini eğitmek, hedef oyunun bir dizi kare ve komut kombinasyonu (örneğin “sol”, “iç”, “sağ”, “) tarafından verilen bir sonraki kare dokularını tahmin etmeyi gerektirir. ileri”, “geriye”). Buna ek olarak araştırmacılar, başarılı bir modelin, oyun aracısı program politikalarının eğitiminde kullanılabilecek "yörüngeler" oluşturabileceğini ve bunun da oyundaki karmaşık hesaplama dizilerine güvenme ihtiyacını azaltacağını gösterdi.

SimPLe algoritması tam olarak bunu yapar. Ödüllü bir sonraki kareyi tahmin etmek için girdi olarak 4 kare gerekir ve bir kez tamamen eğitildikten sonra algoritma, politikayı geliştirmek için kullanılan "kullanıma sunumlar" (örnek eylem dizileri, gözlemler ve sonuçlar) üretir (Kaiser ve Erhan, SimPLe algoritmasının tahmin hatasını en aza indirmek için yalnızca ortalama uzunluktaki sunumları kullanır).

2 saatlik oyuna (100.000 etkileşim) eşdeğer süren testlerde, SimPLe'nin ayarlanmış politikalarına sahip temsilciler iki test oyununda (Pong ve Freeway) maksimum puanlara ulaşırken aynı zamanda geleceğe yönelik 50 adıma kadar mükemmele yakın tahminler ürettiler.

• Teknoloji yöneticilerinin %91'i yapay zekanın bir sonraki teknoloji devriminin kalbinde yer alacağına inanıyor

Bazen iki araştırmacı da oyunlarda küçük ama oldukça alakalı ayrıntıları toplamaya çalıştı ve bu da başarısızlıkla sonuçlandı. Kaiser ve Erhan, bu algoritmanın hala standart takviyeli öğrenme yöntemlerinin performansına tam olarak uymadığını itiraf ediyor. Ancak SimPLe, eğitim açısından iki kattan fazla etkili olabilir ve ekip, gelecekteki çalışmaların algoritmanın performansını önemli ölçüde artırmaya yardımcı olacağını umuyor.

"Model tabanlı takviyeli öğrenme yöntemlerinin ana hedefi, örneğin birçok robotik görevde olduğu gibi etkileşimlerin karmaşık, yavaş olduğu veya insan etiketlemesi gerektirdiği ortamlardır. Böyle bir ortamda, bir simülatör aracı programların ortamını daha iyi anlamamıza olanak tanıyacak ve bunun sonucunda işleri yapmanın yeni, daha iyi ve daha hızlı yollarına yol açabilecektir. Çok görevli takviyeli öğrenme”.