Cercetătorii Google au permis inteligenței artificiale să joace jocuri pentru a îmbunătăți învățarea prin consolidare

Învățarea prin consolidare - un subdomeniu al învățării automate - implică tehnici de antrenament AI care folosesc „recompense” pentru a conduce politica software către obiectivele vizate în mod specific. Cu alte cuvinte, acesta este procesul prin care IA va încerca diferite acțiuni, va învăța din fiecare răspuns dacă acțiunea aduce rezultate mai bune sau nu, și apoi va consolida acțiunile care au funcționat, adică reelaborarea și modificarea automată a algoritmilor pe mai multe iterații. dă cele mai bune rezultate. În ultima vreme, învățarea prin întărire a fost exploatată pentru a modela impactul regulilor sociale, pentru a crea modele AI cu capacități de joc extrem de bune sau roboți programabili care se pot auto-vindeca.Recuperare după probleme de software enervante.

• Winnow folosește viziunea computerizată pentru a ajuta la reducerea deșeurilor în procesarea alimentelor

Deși posedă o flexibilitate ridicată și poate fi aplicată în multe modele și scopuri diferite, tehnica de învățare prin întărire conține un neajuns nefericit: este ineficientă. Pentru a antrena un model AI folosind tehnici de învățare prin întărire necesită o mulțime de interacțiuni diferite într-un mediu simulat sau real, ceea ce este mult mai mult decât atunci când un om trebuie să învețe o anumită sarcină. Pentru a depăși parțial această problemă, în special în domeniul jocurilor video, cercetătorii de inteligență artificială de la Google au propus recent utilizarea unui nou algoritm numit Simulated Policy Learning (abreviat ca SimPLe), care utilizează modele simple de jocuri video pentru a învăța și îmbunătăți politicile de calitate în selecția acțiunii. a tehnicilor de învățare prin întărire.

Cercetătorii au descris algoritmul într-o lucrare recent publicată intitulată „Învățare prin consolidare bazată pe modele pentru Atari” și, de asemenea, într-un document care însoțește codul open source.

„La un nivel înalt, ideea cercetătorilor în dezvoltarea algoritmului SimPLe a fost aceea de a alterna între stabilirea unui model al caracteristicilor jocului și utilizarea modelului respectiv pentru a optimiza Optimize a policy (cu tehnici de învățare prin întărire fără model) într-un mediu de simulare a jocului. Principiile de bază din spatele acestui algoritm sunt bine stabilite și utilizate în multe metode recente de învățare prin consolidare bazate pe modele”, au spus oamenii de știință din echipa Google AI, Łukasz Kaiser și Dumitru Erhan.

• Admirați noua aplicație AI a Nvidia: Transformați doodle-urile în stil MS Paint în „capodopere” artistice

După cum au explicat cei doi cercetători, antrenarea unui sistem AI pentru a juca un joc necesită prezicerea următoarelor texturi de cadre ale jocului țintă, care sunt date de o secvență de cadre și combinații de comenzi (de exemplu, „stânga”, „înăuntru”, „dreapta”, „ înainte”, „înapoi”). În plus, cercetătorii au arătat, de asemenea, că un model de succes poate genera „traiectorii” care pot fi utilizate în antrenarea politicilor programului de agenți de joc, ceea ce va reduce nevoia de a se baza pe secvențe complexe de calcul în joc.

Algoritmul SimPLe face exact acest lucru. Este nevoie de 4 cadre ca intrare pentru a prezice următorul cadru cu o recompensă, iar odată ce este complet antrenat, algoritmul generează „lansări” - secvențe mostre de secvențe de acțiuni, observații și rezultate - utilizate pentru a îmbunătăți politica (Kaiser și Erhan notează că algoritmul SimPLe folosește numai lansări de lungime medie pentru a minimiza eroarea de predicție).

În teste care au durat echivalentul a 2 ore de joc (100.000 de interacțiuni), agenții cu politicile ajustate ale SimPLe au obținut scoruri maxime în două jocuri de testare (Pong și Freeway), generând în același timp predicții aproape perfecte până la 50 de pași în viitor.

• 91% dintre managerii de tehnologie cred că AI va fi în centrul următoarei revoluții tehnologice

Uneori, cei doi cercetători au încercat să colecteze detalii mici, dar extrem de relevante în jocuri, ducând la eșec. Kaiser și Erhan admit că acest algoritm încă nu se potrivește cu performanța metodelor standard de învățare prin întărire. Cu toate acestea, SimPLe poate fi de peste două ori mai eficient în ceea ce privește antrenamentul, iar echipa speră că studiile viitoare vor ajuta la îmbunătățirea semnificativă a performanței algoritmului.

„Ținta principală a metodelor de învățare prin întărire bazate pe model este în mediile în care interacțiunile se dovedesc complexe, lente sau necesită etichetare umană, cum ar fi multe sarcini robotizate, de exemplu. Într-un astfel de mediu, un simulator ne-ar permite să înțelegem mai bine mediul programelor de agenți și, la rândul său, ar putea duce la moduri noi, mai bune și mai rapide de a face lucrurile. Învățare prin consolidare cu sarcini multiple”.