يسمح باحثو Google للذكاء الاصطناعي بممارسة الألعاب لتحسين التعلم المعزز

يتضمن التعلم المعزز - وهو مجال فرعي من التعلم الآلي - تقنيات تدريب الذكاء الاصطناعي التي تستخدم "المكافآت" لدفع سياسة البرمجيات نحو الأهداف المستهدفة على وجه التحديد. بمعنى آخر، هذه هي العملية التي من خلالها سيجرب الذكاء الاصطناعي إجراءات مختلفة، ويتعلم من كل استجابة ما إذا كان هذا الإجراء يحقق نتائج أفضل أم لا، ثم يعزز الإجراءات التي نجحت، أي إعادة صياغة وتعديل خوارزمياته تلقائيًا عبر تكرارات متعددة. يعطي أفضل النتائج. في الآونة الأخيرة، تم استغلال التعلم المعزز لنمذجة تأثير القواعد الاجتماعية، لإنشاء نماذج ذكاء اصطناعي تتمتع بقدرات ألعاب جيدة للغاية، أو روبوتات قابلة للبرمجة يمكنها التعافي ذاتيًا بعد مشاكل برمجية مزعجة.

• تستخدم Winnow رؤية الكمبيوتر للمساعدة في تقليل الهدر في معالجة الأغذية

على الرغم من أنها تتمتع بمرونة عالية ويمكن تطبيقها في العديد من النماذج والأغراض المختلفة، إلا أن أسلوب التعلم المعزز يحتوي على عيب مؤسف: فهو غير فعال. يتطلب تدريب نموذج الذكاء الاصطناعي باستخدام تقنيات التعلم المعزز الكثير من التفاعلات المختلفة في بيئة محاكاة أو بيئة حقيقية، وهو ما يزيد بكثير عما يحتاجه الإنسان لتعلم مهمة معينة. للتغلب على هذه المشكلة جزئيًا، خاصة في مجال ألعاب الفيديو، اقترح باحثو الذكاء الاصطناعي في Google مؤخرًا استخدام خوارزمية جديدة تسمى Simulated Policy Learning (المختصرة باسم SimPLe)، والتي تستخدم نماذج ألعاب فيديو بسيطة لتعلم وتحسين سياسات الجودة في اختيار الإجراء. من تقنيات التعلم المعزز.

وصف الباحثون الخوارزمية في ورقة بحثية منشورة حديثًا بعنوان "التعلم المعزز القائم على النماذج لـ Atari"، وأيضًا في مستند مصاحب للكود مفتوح المصدر.

"على مستوى عالٍ، كانت فكرة الباحثين في تطوير خوارزمية SimPLe هي التناوب بين إنشاء نموذج لخصائص اللعبة واستخدام هذا النموذج لتحسين سياسة التحسين (مع تقنيات التعلم المعزز الخالية من النماذج) في بيئة محاكاة اللعبة. إن المبادئ الأساسية وراء هذه الخوارزمية راسخة وتستخدم في العديد من أساليب التعلم المعزز القائمة على النماذج الحديثة.

• استمتع بتطبيق الذكاء الاصطناعي الجديد من Nvidia: حوّل رسومات الشعار المبتكرة بأسلوب MS Paint إلى "روائع" فنية

وكما أوضح الباحثان، فإن تدريب نظام الذكاء الاصطناعي على ممارسة لعبة ما يتطلب التنبؤ بنسيج الإطار التالي للعبة المستهدفة، والذي يتم الحصول عليه من خلال سلسلة من الإطارات والأوامر المركبة (على سبيل المثال، "يسار"، "داخل"، "يمين"، "" "إلى الأمام"، "إلى الخلف"). بالإضافة إلى ذلك، أظهر الباحثون أيضًا أن النموذج الناجح يمكنه إنشاء "مسارات" يمكن استخدامها في تدريب سياسات برنامج وكيل اللعبة، مما سيقلل الحاجة إلى الاعتماد على تسلسلات حسابية معقدة في اللعبة.

تقوم خوارزمية SimPLe بهذا بالضبط. يستغرق الأمر 4 إطارات كمدخل للتنبؤ بالإطار التالي مع المكافأة، وبمجرد التدريب الكامل، تولد الخوارزمية "عمليات إطلاق" - تسلسلات عينة لتسلسلات العمل والملاحظات والنتائج - تُستخدم لتحسين السياسة (لاحظ كايزر وإرهان أن خوارزمية SimPLe يستخدم فقط عمليات الطرح متوسطة الطول لتقليل خطأ التنبؤ).

في الاختبارات التي استمرت ما يعادل ساعتين من اللعب (100000 تفاعل)، حقق الوكلاء الذين اتبعوا سياسات SimPle المعدلة أقصى درجات في لعبتين اختباريتين (Pong وFreeway)، بينما قاموا أيضًا بتوليد تنبؤات شبه مثالية تصل إلى 50 خطوة في المستقبل.

• يعتقد 91% من مديري التكنولوجيا أن الذكاء الاصطناعي سيكون في قلب الثورة التكنولوجية القادمة

وفي بعض الأحيان، حاول الباحثان أيضًا جمع تفاصيل صغيرة ولكن ذات صلة كبيرة بالألعاب، مما أدى إلى الفشل. يعترف كايزر وإرهان بأن هذه الخوارزمية لا تزال غير متوافقة مع أداء أساليب التعلم المعزز القياسية. ومع ذلك، يمكن أن يكون SimPLe أكثر فعالية من حيث التدريب، ويأمل الفريق أن تساعد الدراسات المستقبلية في تحسين أداء الخوارزمية بشكل كبير.

"إن الهدف الرئيسي لأساليب التعلم المعزز القائمة على النماذج هو في البيئات التي تكون فيها التفاعلات معقدة أو بطيئة أو تتطلب وضع علامات بشرية، كما هو الحال في العديد من المهام الروبوتية، على سبيل المثال. في مثل هذه البيئة، سيسمح لنا جهاز المحاكاة بفهم بيئة برامج الوكلاء بشكل أفضل، ويمكن أن يؤدي بدوره إلى طرق جديدة وأفضل وأسرع للقيام بالأشياء. التعلم المعزز متعدد المهام.