Firma Microsoft ogłosiła DeepSpeed, nową bibliotekę do głębokiego uczenia się, która może wspierać szkolenie modeli sztucznej inteligencji na bardzo dużą skalę

Dział badawczy firmy Microsoft wywołał niedawno poruszenie w świecie badań nad sztuczną inteligencją (AI), ogłaszając pomyślny rozwój DeepSpeed ​​– biblioteki optymalizacji głębokiego uczenia się, której można używać do uczenia gigantycznych modeli sztucznej inteligencji o skali do 100 miliardów parametrów.

W szkoleniu AI im większe masz modele języka naturalnego, tym wyższa będzie dokładność. Jednak uczenie dużych modeli języka naturalnego zajmuje dużo czasu, a koszty z tym związane nie są małe. DeepSpeed ​​powstał, aby przezwyciężyć wszystkie powyższe trudności: poprawić prędkość, koszty, skalę treningu i użyteczność.

Ponadto Microsoft wspomniał również, że DeepSpeed ​​zawiera również ZeRO (Zero Redundancy Optimizer), technikę optymalizacji równoległej, która pomaga zminimalizować ilość zasobów potrzebnych do modeli, jednocześnie pomagając zwiększyć liczbę parametrów. Liczby można trenować. Korzystając z kombinacji DeepSpeed ​​i ZeRO, badaczom firmy Microsoft udało się z powodzeniem opracować nowy model generacji języka naturalnego Turing (Turing-NLG) – największy obecnie model języka z 17 miliardami parametrów.

Kilka najważniejszych cech DeepSpeed:

• Skala: Obecne duże, zaawansowane modele sztucznej inteligencji, takie jak OpenAI GPT-2, NVIDIA Megatron-LM i Google T5, mają skalę odpowiednio 1,5 miliarda, 8,3 miliarda i 11 miliardów parametrów. ZeRO stage 1 w DeepSpeed ​​może zapewnić obsługę systemową do uruchamiania modeli o nawet 100 miliardach parametrów, czyli 10 razy więcej niż największy model Google.
• Szybkość: zarejestrowany wzrost przepustowości będzie się różnić w zależności od konfiguracji sprzętowej. W klastrach GPU NVIDIA z połączeniami o niskiej przepustowości (bez NVIDIA NVLink lub Infiniband) DeepSpeed ​​osiąga 3,75-krotną poprawę przepustowości w porównaniu do użycia samego Megatron-LM dla standardowego modelu GPT-2 z 1,5 miliardem parametrów. W klastrach NVIDIA DGX-2 z połączeniami o dużej przepustowości, w przypadku modeli z 20 do 80 miliardami parametrów, DeepSpeed ​​jest od 3 do 5 razy szybszy.
• Koszt: Dzięki poprawie szybkości znacznie zoptymalizowano również koszty szkolenia. Przykładowo, aby wytrenować model z 20 miliardami parametrów, DeepSpeed ​​wymaga 3 razy mniej zasobów niż zwykle.
• Użyteczność: wystarczy kilka drobnych zmian w kodzie, aby obecne modele mogły przejść na korzystanie z DeepSpeed ​​i ZeRO. DeepSpeed ​​nie wymaga przeprojektowania kodu ani refaktoryzacji modelu.

Microsoft udostępnia otwarte źródła zarówno DeepSpeed, jak i ZeRO w GitHub , zapoznaj się z tym.