마이크로소프트(MS)가 초대형 AI 모델 학습을 지원하는 새로운 딥러닝 라이브러리 딥스피드(DeepSpeed)를 발표했다.

Microsoft Research는 최근 최대 1,000억 개의 매개변수를 갖춘 거대한 AI 모델을 훈련하는 데 사용할 수 있는 딥 러닝 최적화 라이브러리인 DeepSpeed의 성공적인 개발을 발표하면서 인공 지능(AI) 연구 세계에 큰 파장을 일으켰습니다.

AI 훈련에서는 자연어 모델이 클수록 정확도가 높아집니다. 그러나 대규모 자연어 모델을 훈련하는 데는 많은 시간이 소요되고 관련 비용도 적지 않습니다. DeepSpeed는 위의 모든 어려움을 극복하기 위해 탄생했습니다: 속도, 비용, 훈련 규모 및 유용성을 향상시킵니다.

또한 Microsoft는 DeepSpeed에 모델에 필요한 리소스 양을 최소화하는 동시에 매개변수 수를 늘리는 데 도움이 되는 병렬 최적화 기술인 ZeRO(Zero Redundancy Optimizer)도 포함되어 있다고 언급했습니다. Microsoft 연구원들은 DeepSpeed와 ZeRO의 조합을 사용하여 170억 개의 매개변수를 갖춘 현재 최대 언어 모델인 새로운 Turing-NLG(Turing Natural Language Generation) 모델을 성공적으로 개발할 수 있었습니다.

DeepSpeed의 주요 특징:

• 규모: OpenAI GPT-2, NVIDIA Megatron-LM 및 Google T5와 같은 현재 대규모 고급 AI 모델의 규모는 각각 15억, 83억, 110억 개의 매개변수입니다. DeepSpeed의 ZeRO 1단계는 Google 최대 모델보다 10배 더 큰 최대 1,000억 개의 매개변수로 모델을 실행할 수 있는 시스템 지원을 제공할 수 있습니다.
• 속도: 기록된 처리량 증가는 하드웨어 구성에 따라 달라집니다. 낮은 대역폭 연결(NVIDIA NVLink 또는 Infiniband 제외)을 갖춘 NVIDIA GPU 클러스터에서 DeepSpeed는 15억 매개변수가 있는 표준 GPT-2 모델에 Megatron-LM을 단독으로 사용할 때보다 3.75배 향상된 처리량을 달성합니다. 고대역폭 연결을 갖춘 NVIDIA DGX-2 클러스터에서 200억~800억 개의 매개변수가 있는 모델의 경우 DeepSpeed는 3~5배 더 빠릅니다.
• 비용: 속도 향상으로 인해 교육 비용도 크게 최적화됩니다. 예를 들어 DeepSpeed는 200억 개의 매개변수로 모델을 훈련하는 데 평소보다 3배 적은 리소스가 필요합니다.
• 유용성: 현재 모델이 DeepSpeed ​​및 ZeRO를 사용하도록 전환하려면 몇 가지 사소한 코드 변경만 필요합니다. DeepSpeed는 코드 재설계나 모델 리팩토링이 필요하지 않습니다.

Microsoft는 GitHub 에서 DeepSpeed와 ZeRO를 모두 오픈소스화하고 있습니다 . 참고하세요.