Microsoft Research yakın zamanda 100 milyar parametreye kadar ölçeğe sahip dev yapay zeka modellerini eğitmek için kullanılabilecek bir derin öğrenme optimizasyon kütüphanesi olan DeepSpeed'in başarılı bir şekilde geliştirildiğini duyurarak yapay zeka (AI) araştırma dünyasında heyecan yarattı.
Yapay zeka eğitiminde, sahip olduğunuz doğal dil modelleri ne kadar büyük olursa doğruluk da o kadar yüksek olur. Ancak büyük doğal dil modellerinin eğitimi çok fazla zaman alır ve ilgili maliyetler de az değildir. DeepSpeed, yukarıda belirtilen tüm zorlukların üstesinden gelmek için doğdu: Hızı, maliyeti, eğitim ölçeğini ve kullanılabilirliği iyileştirin.
Ayrıca Microsoft, DeepSpeed'in modeller için ihtiyaç duyulan kaynak miktarını en aza indirmeye yardımcı olurken yine de parametre sayısını artırmaya yardımcı olan paralel bir optimizasyon tekniği olan ZeRO'yu (Sıfır Artıklık Optimize Edici) de içerdiğini belirtti. Microsoft araştırmacıları, DeepSpeed ve ZeRO'nun bir kombinasyonunu kullanarak, 17 milyar parametreyle günümüzün en büyük dil modeli olan yeni bir Turing Doğal Dil Üretimi (Turing-NLG) modelini başarıyla geliştirmeyi başardılar.

DeepSpeed'in bazı önemli noktaları:
- Ölçek: OpenAI GPT-2, NVIDIA Megatron-LM ve Google T5 gibi mevcut büyük, gelişmiş yapay zeka modelleri sırasıyla 1,5 milyar, 8,3 milyar ve 11 milyar parametrelik bir ölçeğe sahiptir. DeepSpeed'deki ZeRO stage 1, Google'ın en büyük modelinden 10 kat daha büyük olan 100 milyara kadar parametreye sahip modelleri çalıştırmak için sistem desteği sağlayabilir.
- Hız: Kaydedilen üretim artışları, donanım yapılandırmasına bağlı olarak değişiklik gösterir. Düşük bant genişliği bağlantılarına sahip NVIDIA GPU kümelerinde (NVIDIA NVLink veya Infiniband olmadan), DeepSpeed, 1,5 milyar parametreli standart GPT-2 modeli için tek başına Megatron-LM kullanımına kıyasla 3,75 kat verim artışı elde eder. Yüksek bant genişliğine sahip bağlantılara sahip NVIDIA DGX-2 kümelerinde, 20 ila 80 milyar parametreye sahip modeller için DeepSpeed 3 ila 5 kat daha hızlıdır.
- Maliyet: Hızdaki iyileştirmelerden dolayı eğitim maliyetleri de önemli ölçüde optimize edilmiştir. Örneğin DeepSpeed, 20 milyar parametreli bir modeli eğitmek için normalden 3 kat daha az kaynak gerektirir.
- Kullanılabilirlik: Mevcut modellerin DeepSpeed ve ZeRO kullanımına geçebilmesi için yalnızca birkaç küçük kod değişikliğine ihtiyaç vardır. DeepSpeed, kodun yeniden tasarlanmasını veya modelin yeniden düzenlenmesini gerektirmez.
Microsoft, GitHub'da hem DeepSpeed hem de ZeRO'yu açık kaynak olarak kullanmaktadır , lütfen bakın.