I ricercatori di Google consentono all’intelligenza artificiale di giocare per migliorare l’apprendimento per rinforzo

L’apprendimento per rinforzo – un sottocampo dell’apprendimento automatico – prevede tecniche di formazione sull’intelligenza artificiale che utilizzano “ricompense” per guidare la politica del software verso obiettivi mirati specifici. In altre parole, questo è il processo attraverso il quale l'IA proverà diverse azioni, apprenderà da ciascuna risposta se quell'azione porta risultati migliori o meno, e quindi rafforzerà le azioni che hanno funzionato, ovvero rielaborando e modificando automaticamente i suoi algoritmi su più iterazioni. dà i migliori risultati. Negli ultimi tempi, l’apprendimento per rinforzo è stato sfruttato per modellare l’impatto delle regole sociali, per creare modelli di intelligenza artificiale con ottime capacità di gioco, o robot programmabili in grado di autoripararsi e recuperare dopo fastidiosi problemi software.

• Winnow utilizza la visione artificiale per contribuire a ridurre gli sprechi nella lavorazione degli alimenti

Sebbene possieda un’elevata flessibilità e possa essere applicata a molti modelli e scopi diversi, la tecnica dell’apprendimento per rinforzo presenta uno sfortunato difetto: è inefficace. Addestrare un modello di intelligenza artificiale utilizzando tecniche di apprendimento per rinforzo richiede molte interazioni diverse in un ambiente simulato o reale, che è molto di più rispetto a quando un essere umano ha bisogno di apprendere un determinato compito. Per superare in parte questo problema, soprattutto nel campo dei videogiochi, i ricercatori di intelligenza artificiale di Google hanno recentemente proposto l'utilizzo di un nuovo algoritmo chiamato Simulated Policy Learning (abbreviato in SimPLe), che utilizza semplici modelli di videogiochi per apprendere e migliorare le politiche di qualità nella selezione delle azioni. delle tecniche di apprendimento per rinforzo.

I ricercatori hanno descritto l’algoritmo in un articolo appena pubblicato intitolato “Model-Based Reinforcement Learning for Atari” e anche in un documento che accompagna il codice open source.

“Ad alto livello, l’idea dei ricercatori nello sviluppo dell’algoritmo SimPLe era quella di alternare tra la creazione di un modello delle caratteristiche del gioco e l’utilizzo di quel modello per ottimizzare una politica (con tecniche di apprendimento di rinforzo senza modello) in un ambiente di simulazione del gioco. I principi di base alla base di questo algoritmo sono ben consolidati e utilizzati in molti recenti metodi di apprendimento per rinforzo basati su modelli”, hanno condiviso gli scienziati del team Google AI Łukasz Kaiser e Dumitru Erhan.

• Ammira la nuova applicazione AI di Nvidia: trasforma i doodle in stile MS Paint in "capolavori" artistici

Come hanno spiegato i due ricercatori, addestrare un sistema di intelligenza artificiale a giocare a un gioco richiede di prevedere le texture dei fotogrammi successivi del gioco target, che sono date da una sequenza di fotogrammi e combinazioni di comandi (ad esempio “sinistra”, “interno”, “destra”, “ avanti”, “indietro”). Inoltre, i ricercatori hanno anche dimostrato che un modello di successo può generare “traiettorie” che possono essere utilizzate nell’addestramento delle politiche dei programmi degli agenti di gioco, riducendo così la necessità di fare affidamento su complesse sequenze computazionali nel gioco.

L'algoritmo SimPLe fa esattamente questo. Sono necessari 4 fotogrammi come input per prevedere il fotogramma successivo con una ricompensa e, una volta completamente addestrato, l'algoritmo genera "laminazioni" - sequenze campione di sequenze di azioni, osservazioni e risultati - utilizzate per migliorare la politica (Kaiser ed Erhan notano che l'algoritmo SimPLe utilizza solo implementazioni di durata media per ridurre al minimo l'errore di previsione).

Nei test della durata equivalente di 2 ore di gioco (100.000 interazioni), gli agenti con le politiche adattate di SimPLe hanno ottenuto il punteggio massimo in due giochi di prova (Pong e Freeway), generando anche previsioni quasi perfette fino a 50 passaggi nel futuro.

• Il 91% dei manager tecnologici ritiene che l’intelligenza artificiale sarà al centro della prossima rivoluzione tecnologica

A volte i due ricercatori hanno provato anche a raccogliere dettagli piccoli ma molto rilevanti nei giochi, con esito negativo. Kaiser ed Erhan ammettono che questo algoritmo non raggiunge ancora le prestazioni dei metodi di apprendimento per rinforzo standard. Tuttavia, SimPLe può essere due volte più efficace in termini di formazione e il team spera che gli studi futuri contribuiscano a migliorare significativamente le prestazioni dell'algoritmo.

“L’obiettivo principale dei metodi di apprendimento per rinforzo basati su modelli è in ambienti in cui le interazioni si rivelano complesse, lente o richiedono l’etichettatura umana, come ad esempio in molti compiti robotici. In un ambiente del genere, un simulatore ci consentirebbe di comprendere meglio l’ambiente dei programmi agente e, a sua volta, potrebbe portare a modi nuovi, migliori e più veloci di fare le cose. Apprendimento per rinforzo multi-task”.