A nova IA da DeepMind pode dominar jogos complexos sem treinamento prévio de jogo

As plataformas de inteligência artificial da DeepMind tornaram-se famosas em todo o mundo nos últimos anos graças ao seu excelente domínio de jogos complexos e que exigem muito do cérebro, como xadrez, shogi e Go. Com o tempo, eles gradualmente “evoluíram”, derrotando nossos jogadores de carne e osso com técnicas avançadas de aprendizado de máquina.

Em 2016, a DeepMind lançou o AlphaGo, um sistema de IA com excelentes capacidades de jogo. Um ano depois, a empresa continuou a lançar o AlphaGo Zero. Este é o sucessor perfeito do AlphaGo, possuindo a capacidade de aprender a jogar Go simplesmente observando partidas humanas e, em seguida, dominar o jogo jogando contra você mesmo. Depois, há o AlphaZero, um sistema de IA ainda mais superior, com a capacidade de jogar Go, xadrez e shogi simultaneamente com apenas um único algoritmo.

No entanto, o ponto comum dos algoritmos de IA acima é que todos eles precisam passar por um treinamento aprofundado sobre a jogabilidade, bem como sobre as regras do jogo, para serem capazes de dominar um determinado jogo. Este é um processo complicado e relativamente demorado.

Para resolver o problema, a DeepMind acaba de lançar um novo sistema de IA extremamente superior chamado MuZero. Esta IA é capaz de jogar Go, xadrez, shogi e um conjunto de jogos Atari com fluência, sem a necessidade de ser previamente treinado nos conjuntos de regras dos jogos acima. Ele aprenderá tudo sozinho e poderá jogar esses jogos tão bem ou até melhor do que qualquer um dos algoritmos anteriores do DeepMind.

MuZero é capaz de jogar muitos jogos complexos com fluência

Criar um algoritmo que possa se adaptar a cada situação do jogo sem treinamento prévio, e ao mesmo tempo ser capaz de descobrir como planejar para dominar aquele jogo é realmente um grande desafio que os desenvolvedores de pesquisadores de IA vêm procurando uma solução há muito tempo. DeepMind tentou fazer isso usando um método chamado “Lookahead Search”. Com esta técnica, o algoritmo de IA considerará situações e estados esperados para criar um plano de ação.

Para facilitar o entendimento, pense em um jogo estratégico como o xadrez. Antes de tomar uma decisão ou movimento, você precisará considerar como seu oponente reagirá e planejará adequadamente. Da mesma forma, a IA também utiliza o método Lookahead Search para tentar planejar alguns movimentos com antecedência. Em seguida, selecione e priorize os movimentos que têm maior probabilidade de levar à vitória.

O problema com esta abordagem é que a maioria das situações do mundo real (e até mesmo alguns jogos) não contém um conjunto simples de regras para governar o seu funcionamento. Assim, os pesquisadores resolveram o problema fazendo com que a IA tentasse modelar como um determinado jogo ou ambiente de cenário afetaria o resultado. Em seguida, use o conhecimento e as informações obtidas para fazer um plano. A limitação deste método é que modelar todos os aspectos é quase impossível.

Portanto, ao invés de modelar tudo, o MuZero tentará apenas considerar fatores importantes para a tomada de decisões, semelhantes aos humanos. Por exemplo, quando olhamos pela janela e vemos nuvens escuras se formando ao longe, a maioria de nós será atraída por pensamentos sobre chuva, trovoadas ou como devemos nos vestir para evitar sermos pegos molhados se sairmos de casa… Em vez de pensar sobre questões como condensação e pressão do ar. É uma forma de pensamento seletivo instintivo. A forma como o MuZero “pensa” é a mesma.

Na hora de tomar uma decisão, o MuZero deve levar em consideração três fatores diferentes. Considerará os resultados da decisão anterior, a situação atual e, finalmente, o melhor curso de ação para tomar a próxima decisão. Esta abordagem aparentemente simples torna o MuZero o algoritmo mais eficaz que a DeepMind criou até hoje.

MuZero é um dos algoritmos mais eficientes

Em testes internos, os resultados mostraram que o MuZero teve um desempenho semelhante ao AlphaZero no xadrez, Go e shogi. E é melhor do que todos os algoritmos lançados anteriormente, incluindo Agent57, em jogos Atari. Além disso, quanto mais tempo o MuZero der para considerar uma ação, mais eficiente será o algoritmo.

Os poderosos recursos de aprendizado automatizado do MuZero poderão um dia ajudar a resolver problemas complexos em muitos dos campos “quentes” de hoje, como a robótica – onde não há lugar para regras.