أعلنت شركة مايكروسوفت عن DeepSpeed، وهي مكتبة جديدة للتعلم العميق يمكنها دعم تدريب نماذج الذكاء الاصطناعي واسعة النطاق

أحدثت شركة Microsoft Research مؤخرًا ضجة في عالم أبحاث الذكاء الاصطناعي (AI) عندما أعلنت عن التطوير الناجح لـ DeepSpeed، وهي مكتبة لتحسين التعلم العميق يمكن استخدامها لتدريب نماذج الذكاء الاصطناعي العملاقة بمقياس يصل إلى 100 مليار معلمة.

في تدريب الذكاء الاصطناعي، كلما كانت نماذج اللغة الطبيعية لديك أكبر، زادت الدقة. ومع ذلك، فإن تدريب نماذج كبيرة من اللغات الطبيعية يستهلك الكثير من الوقت، والتكاليف المترتبة عليه ليست صغيرة. تم إنشاء DeepSpeed ​​للتغلب على جميع الصعوبات المذكورة أعلاه: تحسين السرعة والتكلفة وحجم التدريب وسهولة الاستخدام.

بالإضافة إلى ذلك، ذكرت Microsoft أيضًا أن DeepSpeed ​​يشتمل أيضًا على ZeRO (Zero Redundancy Optimizer)، وهي تقنية تحسين متوازية تساعد على تقليل كمية الموارد اللازمة للنماذج، مع الاستمرار في المساعدة على زيادة عدد المعلمات والأرقام التي يمكن تدريبها. باستخدام مزيج من DeepSpeed ​​وZeRO، تمكن باحثو مايكروسوفت من تطوير نموذج جديد لتوليد لغة تورينج الطبيعية (Turing-NLG) بنجاح - وهو أكبر نموذج لغة اليوم مع 17 مليار معلمة.

بعض النقاط البارزة في DeepSpeed:

• النطاق: نماذج الذكاء الاصطناعي الكبيرة والمتقدمة الحالية مثل OpenAI GPT-2 وNVIDIA Megatron-LM وGoogle T5 لها مقياس يبلغ 1.5 مليار و8.3 مليار و11 مليار معلمة على التوالي. يمكن للمرحلة الأولى من Zero في DeepSpeed ​​توفير دعم النظام لتشغيل النماذج بما يصل إلى 100 مليار معلمة، وهو أكبر بعشر مرات من أكبر نموذج من Google.
• السرعة: ستختلف الزيادات في الإنتاجية المسجلة وفقًا لتكوين الأجهزة. في مجموعات NVIDIA GPU ذات اتصالات النطاق الترددي المنخفض (بدون NVIDIA NVLink أو Infiniband)، يحقق DeepSpeed ​​تحسينًا في الإنتاجية بمقدار 3.75 مرة مقارنة باستخدام Megatron-LM وحده لنموذج GPT-2 القياسي مع 1.5 مليار معلمة. في مجموعات NVIDIA DGX-2 ذات اتصالات النطاق الترددي العالي، للنماذج التي تحتوي على 20 إلى 80 مليار معلمة، يكون DeepSpeed ​​أسرع من 3 إلى 5 مرات.
• التكلفة: من خلال التحسينات في السرعة، تم أيضًا تحسين تكاليف التدريب بشكل كبير. على سبيل المثال، لتدريب نموذج يحتوي على 20 مليار معلمة، يتطلب DeepSpeed ​​موارد أقل بثلاث مرات من المعتاد.
• سهولة الاستخدام: لا يلزم سوى بعض التغييرات الطفيفة في التعليمات البرمجية حتى تتمكن النماذج الحالية من التبديل إلى استخدام DeepSpeed ​​​​وZeRO. لا يتطلب DeepSpeed ​​​​إعادة تصميم التعليمات البرمجية أو إعادة هيكلة النموذج.

Microsoft مفتوحة المصدر لكل من DeepSpeed ​​​​وZeRO على GitHub ، يرجى الرجوع.