Microsoft hat DeepSpeed ​​angekündigt, eine neue Deep-Learning-Bibliothek, die das Training sehr großer KI-Modelle unterstützen kann

Microsoft Research sorgte kürzlich für Aufsehen in der Forschungswelt der künstlichen Intelligenz (KI), als es die erfolgreiche Entwicklung von DeepSpeed ​​ankündigte, einer Deep-Learning-Optimierungsbibliothek, mit der riesige KI-Modelle mit einer Skalierung von bis zu 100 Milliarden Parametern trainiert werden können.

Beim KI-Training ist die Genauigkeit umso höher, je größer die natürlichen Sprachmodelle sind. Allerdings nimmt das Training großer natürlichsprachlicher Modelle viel Zeit in Anspruch und die damit verbundenen Kosten sind nicht gering. DeepSpeed ​​​​wurde geboren, um alle oben genannten Schwierigkeiten zu überwinden: Geschwindigkeit, Kosten, Trainingsumfang und Benutzerfreundlichkeit verbessern.

Darüber hinaus erwähnte Microsoft auch, dass DeepSpeed ​​​​auch ZeRO (Zero Redundancy Optimizer) enthält, eine parallele Optimierungstechnik, die dazu beiträgt, den Ressourcenbedarf für Modelle zu minimieren und gleichzeitig die Anzahl der Parameter zu erhöhen. Zahlen können trainiert werden. Mit einer Kombination aus DeepSpeed ​​​​und ZeRO konnten Microsoft-Forscher erfolgreich ein neues Turing Natural Language Generation (Turing-NLG)-Modell entwickeln – das derzeit größte Sprachmodell mit 17 Milliarden Parametern.

Einige Highlights von DeepSpeed:

• Maßstab: Aktuelle große, fortschrittliche KI-Modelle wie OpenAI GPT-2, NVIDIA Megatron-LM und Google T5 haben einen Maßstab von 1,5 Milliarden, 8,3 Milliarden bzw. 11 Milliarden Parametern. ZeRO Stufe 1 in DeepSpeed ​​​​kann Systemunterstützung für die Ausführung von Modellen mit bis zu 100 Milliarden Parametern bieten, was zehnmal größer ist als das größte Modell von Google.
• Geschwindigkeit: Die aufgezeichneten Durchsatzsteigerungen variieren je nach Hardwarekonfiguration. Auf NVIDIA-GPU-Clustern mit Verbindungen mit geringer Bandbreite (ohne NVIDIA NVLink oder Infiniband) erreicht DeepSpeed ​​eine 3,75-fache Durchsatzverbesserung im Vergleich zur alleinigen Verwendung von Megatron-LM für das Standard-GPT-2-Modell mit 1,5 Milliarden Parametern. Auf NVIDIA DGX-2-Clustern mit Verbindungen mit hoher Bandbreite ist DeepSpeed ​​bei Modellen mit 20 bis 80 Milliarden Parametern drei- bis fünfmal schneller.
• Kosten: Durch Geschwindigkeitsverbesserungen werden auch die Schulungskosten deutlich optimiert. Um beispielsweise ein Modell mit 20 Milliarden Parametern zu trainieren, benötigt DeepSpeed ​​dreimal weniger Ressourcen als üblich.
• Benutzerfreundlichkeit: Es sind nur wenige geringfügige Codeänderungen erforderlich, damit aktuelle Modelle auf die Verwendung von DeepSpeed ​​​​und ZeRO umsteigen können. DeepSpeed ​​erfordert kein Code-Redesign oder Modell-Refactoring.

Microsoft stellt sowohl DeepSpeed ​​​​als auch ZeRO auf GitHub als Open-Sourcing zur Verfügung , siehe.