Penyelidik Google membenarkan AI bermain permainan untuk meningkatkan pembelajaran pengukuhan

Pembelajaran pengukuhan - subbidang pembelajaran mesin - melibatkan teknik latihan AI yang menggunakan "ganjaran" untuk memacu dasar perisian ke arah matlamat yang disasarkan secara khusus. Dalam erti kata lain, ini ialah proses di mana AI akan mencuba tindakan yang berbeza, belajar daripada setiap tindak balas sama ada tindakan itu membawa hasil yang lebih baik atau tidak, dan kemudian mengukuhkan tindakan yang berjaya, iaitu mengolah semula dan mengubah suai algoritmanya secara automatik melalui berbilang lelaran membuahkan hasil yang terbaik. Sejak kebelakangan ini, pembelajaran pengukuhan telah dieksploitasi untuk memodelkan kesan peraturan sosial, untuk mencipta model AI dengan keupayaan permainan yang sangat baik, atau robot boleh atur cara yang boleh sembuh sendiri. Pemulihan selepas masalah perisian yang menjengkelkan.

• Winnow menggunakan penglihatan komputer untuk membantu mengurangkan sisa dalam pemprosesan makanan

Walaupun ia mempunyai fleksibiliti yang tinggi dan boleh digunakan dalam pelbagai model dan tujuan yang berbeza, teknik pembelajaran pengukuhan mengandungi kelemahan yang malang: Ia tidak berkesan. Untuk melatih model AI menggunakan teknik pembelajaran pengukuhan memerlukan banyak interaksi yang berbeza dalam persekitaran simulasi atau dunia sebenar, yang lebih banyak daripada ketika manusia perlu mempelajari tugas tertentu. Untuk sebahagiannya mengatasi masalah ini, terutamanya dalam bidang permainan video, penyelidik kecerdasan buatan di Google baru-baru ini mencadangkan menggunakan algoritma baharu yang dipanggil Pembelajaran Dasar Simulasi (disingkatkan sebagai SimPLe), yang menggunakan model permainan video mudah untuk mempelajari dan meningkatkan dasar kualiti dalam pemilihan tindakan daripada teknik pembelajaran pengukuhan.

Para penyelidik menerangkan algoritma dalam kertas yang baru diterbitkan bertajuk "Pembelajaran Pengukuhan Berasaskan Model untuk Atari," dan juga dalam dokumen yang mengiringi kod sumber terbuka.

“Pada tahap yang tinggi, idea penyelidik dalam membangunkan algoritma SimPLe adalah untuk berselang-seli antara mewujudkan model ciri permainan dan menggunakan model itu untuk mengoptimumkan dasar Optimize (dengan teknik pembelajaran tetulang tanpa model) dalam persekitaran simulasi permainan. Prinsip asas di sebalik algoritma ini mantap dan digunakan dalam banyak kaedah pembelajaran tetulang berasaskan model baru-baru ini,” kongsi saintis pasukan Google AI Łukasz Kaiser dan Dumitru Erhan.

• Kagumi aplikasi AI baharu Nvidia: Ubah coretan gaya MS Paint menjadi "karya agung" artistik

Seperti yang dijelaskan oleh kedua-dua penyelidik itu, melatih sistem AI untuk bermain permainan memerlukan meramalkan tekstur bingkai seterusnya permainan sasaran, yang diberikan oleh jujukan bingkai dan arahan. gabungan (cth. “kiri”, “dalam”, “kanan”, “ hadapan”, “belakang”). Di samping itu, penyelidik juga menunjukkan bahawa model yang berjaya boleh menjana "trajektori" yang boleh digunakan dalam melatih dasar program ejen permainan, yang akan mengurangkan keperluan untuk bergantung pada urutan pengiraan yang kompleks dalam permainan.

Algoritma SimPLe melakukan ini dengan tepat. Ia memerlukan 4 bingkai sebagai input untuk meramalkan bingkai seterusnya dengan ganjaran, dan setelah dilatih sepenuhnya, algoritma menjana "pelancaran" - urutan sampel urutan tindakan, pemerhatian dan keputusan - digunakan untuk menambah baik dasar (Kaiser dan Erhan ambil perhatian bahawa algoritma SimPLe hanya menggunakan pelancaran purata panjang untuk meminimumkan ralat ramalan).

Dalam ujian yang berlangsung setara dengan 2 jam permainan (100,000 interaksi), ejen dengan dasar terlaras SimPLe mencapai markah maksimum dalam dua permainan ujian (Pong dan Freeway), sambil turut menjana ramalan hampir sempurna sehingga 50 langkah ke hadapan.

• 91% pengurus teknologi percaya AI akan menjadi nadi kepada revolusi teknologi seterusnya

Kadang-kadang kedua-dua penyelidik juga cuba mengumpul butiran kecil tetapi sangat relevan dalam permainan, mengakibatkan kegagalan. Kaiser dan Erhan mengakui bahawa algoritma ini masih tidak benar-benar sepadan dengan prestasi kaedah pembelajaran peneguhan standard. Walau bagaimanapun, SimPLe boleh menjadi lebih daripada dua kali lebih berkesan dari segi latihan, dan pasukan berharap kajian masa depan akan membantu meningkatkan prestasi algoritma dengan ketara.

“Sasaran utama kaedah pembelajaran pengukuhan berasaskan model adalah dalam persekitaran di mana interaksi terbukti kompleks, perlahan atau memerlukan pelabelan manusia, seperti dalam banyak tugas robotik, contohnya. Dalam persekitaran sedemikian, simulator akan membolehkan kami memahami dengan lebih baik persekitaran program ejen, dan seterusnya boleh membawa kepada cara baharu, lebih baik dan lebih pantas untuk melakukan sesuatu. Pembelajaran pengukuhan pelbagai tugas”.