微軟發布全新深度學習庫DeepSpeed，可支援超大規模AI模型訓練

微軟研究院最近宣布成功開發深度學習優化庫 DeepSpeed，引起人工智慧研究界的轟動，該程式庫可用於訓練規模高達 1000 億個參數的巨型 AI 模型。

在人工智慧訓練中，自然語言模型越大，準確率就越高。然而，訓練大型自然語言模型需要消耗大量時間，所涉及的成本也不小。DeepSpeed的誕生就是為了克服上述所有困難：提高速度、成本、訓練規模和可用性。

此外，微軟也提到，DeepSpeed還包括ZeRO（零冗餘優化器），這是一種平行優化技術，有助於最大限度地減少模型所需的資源量，同時仍有助於增加參數數量，從而可以訓練數量。利用 DeepSpeed 和 ZeRO 的結合，微軟研究人員能夠成功開發出新的圖靈自然語言生成（Turing-NLG）模型——當今最大的語言模型，擁有 170 億個參數。

DeepSpeed 的一些亮點：

• 規模：目前大型、先進的人工智慧模型，如OpenAI GPT-2、NVIDIA Megatron-LM 和 Google T5，規模分別為 15 億、83 億和 110 億個參數。DeepSpeed中的ZeRO stage 1可以提供系統支援運行多達1000億個參數的模型，比Google最大模型大10倍。
• 速度：記錄的吞吐量增加將根據硬體配置而有所不同。在具有低頻寬連接（沒有 NVIDIA NVLink 或 Infiniband）的 NVIDIA GPU 叢集上，與單獨使用 Megatron-LM 處理具有 15 億個參數的標準 GPT-2 模型相比，DeepSpeed 實現了 3.75 倍的吞吐量提升。在具有高頻寬連接的 NVIDIA DGX-2 叢集上，對於具有 20 至 800 億個參數的模型，DeepSpeed 速度提高了 3 至 5 倍。
• 成本：由於速度的提高，培訓成本也得到了顯著優化。例如，要訓練一個具有 200 億個參數的模型，DeepSpeed 所需的資源比平常少 3 倍。
• 可用性：目前模型只需要進行一些小的程式碼變更就可以切換到使用 DeepSpeed 和 ZeRO。DeepSpeed不需要重新設計程式碼或重構模型。

微軟在GitHub上開源了 DeepSpeed 和 ZeRO ，請參考。