Google 연구진은 강화 학습을 개선하기 위해 AI가 게임을 할 수 있도록 허용했습니다.

기계 학습의 하위 분야인 강화 학습에는 "보상"을 사용하여 구체적으로 목표 목표를 향해 소프트웨어 정책을 추진하는 AI 훈련 기술이 포함됩니다. 즉, 이는 AI가 다양한 작업을 시도하고 각 응답에서 해당 작업이 더 나은 결과를 가져오는지 여부를 학습한 다음 효과가 있었던 작업을 강화하는 프로세스입니다. 즉, 여러 반복을 통해 알고리즘을 자동으로 재작업하고 수정합니다. 최고의 결과를 가져옵니다. 최근에는 사회 규칙의 영향을 모델링하고, 매우 뛰어난 게임 기능을 갖춘 AI 모델이나 자가 치유가 가능한 프로그래밍 가능한 로봇을 만들기 위해 강화 학습이 활용되었습니다.성가신 소프트웨어 문제 후 복구.

• Winnow는 컴퓨터 비전을 사용하여 식품 가공 시 폐기물을 줄이는 데 도움을 줍니다.

높은 유연성을 갖고 있으며 다양한 모델과 목적에 적용할 수 있지만 강화 학습 기술에는 불행한 단점이 있습니다. 즉, 효과적이지 않습니다. 강화 학습 기술을 사용하여 AI 모델을 훈련하려면 시뮬레이션 또는 실제 환경에서 인간이 특정 작업을 학습해야 하는 경우보다 훨씬 더 많은 다양한 상호 작용이 필요합니다. 특히 비디오 게임 분야에서 이 문제를 부분적으로 극복하기 위해 Google의 인공 지능 연구원은 최근 간단한 비디오 게임 모델을 사용하여 행동 선택에서 품질 정책을 학습하고 개선하는 Simulated Policy Learning(SimPLe로 약칭)이라는 새로운 알고리즘을 사용할 것을 제안했습니다. 강화 학습 기술의.

연구원들은 새로 발표된 논문인 "Model-Based Reinforcement Learning for Atari"와 오픈 소스 코드와 함께 제공되는 문서에서 이 알고리즘을 설명했습니다.

“SimPLe 알고리즘을 개발할 때 연구원들의 높은 수준의 아이디어는 게임 특성의 모델을 설정하는 것과 해당 모델을 사용하여 게임 시뮬레이션 환경에서 정책 최적화(모델 없는 강화 학습 기술 사용)를 번갈아 수행하는 것이었습니다. 이 알고리즘의 기본 원칙은 잘 확립되어 있으며 최근의 많은 모델 기반 강화 학습 방법에서 사용됩니다.”라고 Google AI 팀 과학자인 Łukasz Kaiser와 Dumitru Erhan이 공유했습니다.

• Nvidia의 새로운 AI 애플리케이션을 감상해 보세요. MS Paint 스타일의 낙서를 예술적인 "걸작"으로 바꿔보세요.

두 연구원이 설명했듯이 게임을 플레이하기 위해 AI 시스템을 훈련하려면 일련의 프레임과 명령 조합(예: "왼쪽", "내부", "오른쪽", ")으로 제공되는 대상 게임의 다음 프레임 텍스처를 예측해야 합니다. 앞으로”, “뒤로”). 또한 연구원들은 성공적인 모델이 게임 에이전트 프로그램 정책을 훈련하는 데 사용할 수 있는 "궤적"을 생성할 수 있으며, 이를 통해 게임에서 복잡한 계산 시퀀스에 의존할 필요성을 줄일 수 있음을 보여주었습니다.

SimPLe 알고리즘이 바로 이 작업을 수행합니다. 보상이 포함된 다음 프레임을 예측하려면 입력으로 4개의 프레임이 필요하며, 완전히 학습되면 알고리즘은 정책을 개선하는 데 사용되는 "롤아웃"(작업 시퀀스, 관찰 및 결과의 샘플 시퀀스)을 생성합니다(Kaiser 및 Erhan은 SimPLe 알고리즘이 예측 오류를 최소화하기 위해 평균 길이 롤아웃만 사용합니다.

2시간의 게임 플레이(100,000회 상호 작용)에 해당하는 테스트에서 SimPLe의 조정된 정책을 적용한 에이전트는 두 가지 테스트 게임(Pong 및 Freeway)에서 최대 점수를 달성하는 동시에 최대 50단계까지 거의 완벽한 예측을 생성했습니다.

• 기술 관리자의 91%는 AI가 차세대 기술 혁명의 중심이 될 것이라고 믿습니다.

때로는 두 연구원이 게임 내에서 작지만 관련성이 높은 세부 정보를 수집하려고 시도하여 실패하기도 했습니다. Kaiser와 Erhan은 이 알고리즘이 여전히 표준 강화 학습 방법의 성능과 실제로 일치하지 않는다는 점을 인정합니다. 그러나 SimPLe은 훈련 측면에서 두 배 이상 효과적일 수 있으며 팀은 향후 연구가 알고리즘 성능을 크게 향상시키는 데 도움이 되기를 바라고 있습니다.

“모델 기반 강화 학습 방법의 주요 목표는 상호 작용이 복잡하고 느리거나 많은 로봇 작업과 같이 사람의 라벨링이 필요한 환경에 있습니다. 이러한 환경에서 시뮬레이터를 사용하면 에이전트 프로그램의 환경을 더 잘 이해할 수 있으며 결과적으로 새롭고 더 좋고 더 빠른 작업 방식으로 이어질 수 있습니다. 다중 작업 강화 학습”