Pesquisadores do Google permitem que a IA jogue para melhorar o aprendizado por reforço

O aprendizado por reforço – um subcampo do aprendizado de máquina – envolve técnicas de treinamento de IA que usam “recompensas” para direcionar a política de software especificamente para objetivos específicos. Em outras palavras, este é o processo pelo qual a IA tentará ações diferentes, aprenderá com cada resposta se essa ação traz melhores resultados ou não e, então, reforçará as ações que funcionaram, ou seja, retrabalhar e modificar seus algoritmos automaticamente ao longo de múltiplas iterações. produz os melhores resultados. Nos últimos tempos, a aprendizagem por reforço tem sido explorada para modelar o impacto das regras sociais, para criar modelos de IA com capacidades de jogo extremamente boas ou robôs programáveis ​​que podem se auto-curar.Recuperação após problemas de software irritantes.

• Winnow usa visão computacional para ajudar a reduzir o desperdício no processamento de alimentos

Embora possua alta flexibilidade e possa ser aplicada em diversos modelos e propósitos, a técnica de aprendizagem por reforço contém uma falha infeliz: é ineficaz. Treinar um modelo de IA usando técnicas de aprendizagem por reforço requer muitas interações diferentes em um ambiente simulado ou do mundo real, o que é muito mais do que quando um humano precisa aprender uma determinada tarefa. Para superar parcialmente esse problema, especialmente no campo dos videogames, pesquisadores de inteligência artificial do Google propuseram recentemente o uso de um novo algoritmo chamado Simulated Policy Learning (abreviado como SimPLe), que usa modelos simples de videogame para aprender e melhorar políticas de qualidade na seleção de ações. de técnicas de aprendizagem por reforço.

Os pesquisadores descreveram o algoritmo em um artigo recém-publicado intitulado “Model-Based Reinforcement Learning for Atari” e também em um documento que acompanha o código-fonte aberto.

“Em alto nível, a ideia dos pesquisadores ao desenvolver o algoritmo SimPLe era alternar entre estabelecer um modelo das características do jogo e usar esse modelo para otimizar uma política (com técnicas de aprendizagem por reforço sem modelo) em um ambiente de simulação de jogo. Os princípios básicos por trás deste algoritmo estão bem estabelecidos e são usados ​​em muitos métodos recentes de aprendizagem por reforço baseados em modelos”, compartilharam os cientistas da equipe de IA do Google, Łukasz Kaiser e Dumitru Erhan.

• Admire o novo aplicativo de IA da Nvidia: transforme rabiscos no estilo MS Paint em "obras-primas" artísticas

Como explicaram os dois pesquisadores, treinar um sistema de IA para jogar um jogo requer prever as próximas texturas de quadro do jogo alvo, que são dadas por uma sequência de quadros e combinações de comandos (por exemplo, “esquerda”, “dentro”, “direita”, “ para frente”, “para trás”). Além disso, os pesquisadores também mostraram que um modelo bem-sucedido pode gerar “trajetórias” que podem ser usadas no treinamento de políticas de programas de agentes de jogos, o que reduzirá a necessidade de depender de sequências computacionais complexas no jogo.

O algoritmo SimPLe faz exatamente isso. São necessários 4 quadros como entrada para prever o próximo quadro com uma recompensa e, uma vez totalmente treinado, o algoritmo gera “lançamentos” – sequências de amostra de sequências de ação, observações e resultados – usados ​​para melhorar a política (Kaiser e Erhan observam que o algoritmo SimPLe usa apenas implementações de comprimento médio para minimizar erros de previsão).

Em testes com duração equivalente a 2 horas de jogo (100.000 interações), os agentes com as políticas ajustadas do SimPLe alcançaram pontuações máximas em dois jogos de teste (Pong e Freeway), ao mesmo tempo que geraram previsões quase perfeitas até 50 passos no futuro.

• 91% dos gestores de tecnologia acreditam que a IA estará no centro da próxima revolução tecnológica

Às vezes, os dois pesquisadores também tentavam coletar detalhes pequenos, mas altamente relevantes, nos jogos, resultando em fracasso. Kaiser e Erhan admitem que esse algoritmo ainda não corresponde ao desempenho dos métodos padrão de aprendizagem por reforço. No entanto, o SimPLe pode ser duas vezes mais eficaz em termos de treinamento, e a equipe espera que estudos futuros ajudem a melhorar significativamente o desempenho do algoritmo.

“O principal alvo dos métodos de aprendizagem por reforço baseados em modelos é em ambientes onde as interações se mostram complexas, lentas ou exigem rotulagem humana, como em muitas tarefas robóticas, por exemplo. Num tal ambiente, um simulador permitir-nos-ia compreender melhor o ambiente dos programas de agentes e, por sua vez, poderia levar a formas novas, melhores e mais rápidas de fazer as coisas.