يمكن لنموذج الذكاء الاصطناعي الجديد من Google قراءة وفهم كتاب كامل

أحد أكبر التحديات التي تواجه نماذج الذكاء الاصطناعي (AI) في معالجة اللغة اليوم هو فهم سياق وسياق كل جزء محدد، وبالتالي فهم محتوى الفقرة بأكملها، أو على نطاق أوسع، المعنى الدقيق للعمل بأكمله - بدلاً من مجرد فهم معنى كل كلمة على حدة مثل اليوم.

لحل هذه المشكلة، قدمت جوجل نموذجًا جديدًا للتعلم الآلي يسمى Reformer، والذي يمكنه فهم محتوى وسياق عمل مكون من مليون سطر - أي ما يعادل رواية، في حين لا يضطر إلا إلى استخدام حوالي 16 جيجابايت من مساحة التخزين. تم تطوير Reformer للتغلب على عيوب Transformer - وهي شبكة عصبية قديمة الطراز تعمل على مبدأ مقارنة الكلمات في فقرة مع بعضها البعض لفهم العلاقة بينها.

ومع ذلك، نظرًا لأنه يعمل بطريقة الجمع بين الاقتران، فسوف يشغل Transformer مساحة كبيرة من البيانات في حالة اضطراره إلى معالجة نصوص تزيد عن بضعة آلاف من الكلمات. هذا الضعف يجعل استخدام Transformer للتعامل مع المقالات الطويلة أو الكتاب غير ممكن على الإطلاق.

قامت Google بتطوير Reformer لحل المشكلتين الرئيسيتين المذكورتين أعلاه: القدرة على معالجة المستندات الطويلة واستهلاك الذاكرة للنموذج القديم.

لحل المشكلة الأولى، يستخدم نموذج جوجل الجديد طريقة تسمى التجزئة الحساسة للمكان (LSH). أي أنه بدلاً من مقارنة جميع الكلمات معًا كما كان من قبل، سيستخدم النموذج الجديد وظيفة التجزئة لضم الكلمات المتشابهة معًا في مجموعة، ثم مقارنة الكلمات داخل نفس المجموعة أو داخل مجموعات قريبة، مما يساعد على الحد من التحميل الزائد للمعالجة وعلى في نفس الوقت توفير القدرة على التعامل مع كميات أكبر من النص.

ولحل مشكلة استهلاك الذاكرة، يستخدم الباحثون تقنية تسمى الشبكة المتبقية العكسية (RevNet). تم تطوير RevNet من الشبكات العميقة المتبقية (ResNets) - وهي تقنية تعمل عن طريق زيادة الأداء مع نمو الشبكات بشكل أعمق وأوسع. تمتلك RevNets طبقات، حيث يمكن إعادة بناء بيانات الإخراج لكل طبقة واستخدامها في طبقة أخرى. لذلك، لا يلزم تخزين بيانات الإخراج لمعظم الطبقات في الذاكرة أثناء الانتشار العكسي.

ولاختبار فعالية هذا النموذج، زودت Google Reformer ببعض الصور الصغيرة التي تم اقتصاصها وأنشأت صورة بإطار كامل من هناك.

ويقول مهندسو جوجل إن النموذج الجديد يمكنه بسهولة معالجة كتاب كامل بدقة عالية، مما يفتح إمكانية معالجة النصوص على نطاق واسع.