Noua IA a lui DeepMind poate stăpâni jocuri complexe fără antrenament prealabil de joc

Platformele de inteligență artificială de la DeepMind au devenit celebre în întreaga lume în ultimii câțiva ani datorită stăpânirii excelente a jocurilor complexe, „intensive pentru creier”, precum șah și shogi și Go. De-a lungul timpului, ei au „evoluat” treptat, învingându-i pe jucătorii noștri în carne și oase cu tehnici avansate de învățare automată.

În 2016, DeepMind a introdus AlphaGo, un sistem AI cu capabilități excelente de joc. Un an mai târziu, compania a continuat să lanseze AlphaGo Zero. Acesta este succesorul perfect al AlphaGo, având capacitatea de a învăța să joace Go pur și simplu prin observarea meciurilor umane, apoi stăpânește jocul jucând împotriva ta. Apoi există AlphaZero, un sistem AI și mai superior, cu capacitatea de a juca Go, șah și shogi simultan cu un singur algoritm.

Cu toate acestea, punctul comun al algoritmilor AI de mai sus este că toți trebuie să se supună unui antrenament aprofundat privind jocul, precum și regulile de joc pentru a putea stăpâni un anumit joc. Acesta este un proces complicat și care necesită relativ timp.

Pentru a rezolva problema, DeepMind tocmai a lansat un nou sistem AI extrem de superior numit MuZero. Acest AI este capabil să joace fluent Go, șah, shogi și un set de jocuri Atari, fără a fi nevoie să fie antrenat în prealabil cu privire la seturile de reguli ale jocurilor de mai sus. Va învăța totul de la sine și apoi poate juca aceste jocuri la fel de bine sau chiar mai bine decât oricare dintre algoritmii anteriori ai DeepMind.

MuZero este capabil să joace fluent multe jocuri complexe

Crearea unui algoritm care să se adapteze fiecărei situații din joc fără antrenament prealabil, în timp ce poți să-ți dai seama cum să planifici să stăpânești acel joc este cu adevărat o mare provocare pe care dezvoltatorii cercetătorii AI au căutat-o ​​de mult timp o soluție. DeepMind a încercat să facă acest lucru folosind o metodă numită „Lookahead Search”. Cu această tehnică, algoritmul AI va lua în considerare situațiile și stările așteptate pentru a crea un plan de acțiune.

Pentru a fi mai ușor de înțeles, gândiți-vă la un joc strategic precum șahul. Înainte de a lua o decizie sau o mișcare, va trebui să luați în considerare modul în care va reacționa adversarul și să planificați în consecință. În mod similar, AI folosește și metoda Lookahead Search pentru a încerca să planifice unele mișcări în avans. Apoi selectați și prioritizați mișcările care au cea mai mare probabilitate de a duce la victorie.

Problema acestei abordări este că majoritatea situațiilor din lumea reală (și chiar unele jocuri) nu conțin un set simplu de reguli care să guverneze modul în care funcționează. Deci, cercetătorii au rezolvat problema punând AI să încerce să modeleze modul în care un anumit joc sau un anumit mediu de scenariu ar afecta rezultatul. Apoi, utilizați cunoștințele și informațiile obținute pentru a face un plan. Limitarea acestei metode este că modelarea fiecărui aspect este aproape imposibilă.

Prin urmare, în loc să modeleze totul, MuZero va încerca doar să ia în considerare factori importanți pentru a lua decizii, similare oamenilor. De exemplu, când ne uităm pe fereastră și vedem nori întunecați formându-se în depărtare, cei mai mulți dintre noi vor fi atrași de gânduri despre ploaie, furtuni sau cum ar trebui să ne îmbrăcăm pentru a nu fi prinși umezi dacă ieși afară... În loc să ne gândim despre probleme precum condensul și presiunea aerului. Este o formă de gândire selectivă instinctivă. Modul în care MuZero „gândește” este același.

Când vine vorba de a lua o decizie, MuZero trebuie să țină cont de trei factori diferiți. Acesta va lua în considerare rezultatele deciziei anterioare, situația actuală și, în final, cel mai bun curs de acțiune pentru a lua următoarea decizie. Această abordare aparent simplă face din MuZero cel mai eficient algoritm creat de DeepMind până în prezent.

MuZero este unul dintre cei mai eficienți algoritmi

În testele interne, rezultatele au arătat că MuZero a avut rezultate similare cu AlphaZero la șah, Go și shogi. Și este mai bun decât toți algoritmii lansati anterior, inclusiv Agent57, în jocurile Atari. În plus, cu cât MuZero acordă mai mult timp pentru a lua în considerare o acțiune, cu atât algoritmul va fi mai eficient.

Capacitățile puternice de învățare automatizată ale MuZero ar putea ajuta într-o zi la rezolvarea problemelor complexe din multe dintre domeniile „fierbinte” de astăzi, cum ar fi robotica - unde nu există loc pentru reguli.