Dział badawczy firmy Microsoft wywołał niedawno poruszenie w świecie badań nad sztuczną inteligencją (AI), ogłaszając pomyślny rozwój DeepSpeed – biblioteki optymalizacji głębokiego uczenia się, której można używać do uczenia gigantycznych modeli sztucznej inteligencji o skali do 100 miliardów parametrów.
W szkoleniu AI im większe masz modele języka naturalnego, tym wyższa będzie dokładność. Jednak uczenie dużych modeli języka naturalnego zajmuje dużo czasu, a koszty z tym związane nie są małe. DeepSpeed powstał, aby przezwyciężyć wszystkie powyższe trudności: poprawić prędkość, koszty, skalę treningu i użyteczność.
Ponadto Microsoft wspomniał również, że DeepSpeed zawiera również ZeRO (Zero Redundancy Optimizer), technikę optymalizacji równoległej, która pomaga zminimalizować ilość zasobów potrzebnych do modeli, jednocześnie pomagając zwiększyć liczbę parametrów. Liczby można trenować. Korzystając z kombinacji DeepSpeed i ZeRO, badaczom firmy Microsoft udało się z powodzeniem opracować nowy model generacji języka naturalnego Turing (Turing-NLG) – największy obecnie model języka z 17 miliardami parametrów.

Kilka najważniejszych cech DeepSpeed:
- Skala: Obecne duże, zaawansowane modele sztucznej inteligencji, takie jak OpenAI GPT-2, NVIDIA Megatron-LM i Google T5, mają skalę odpowiednio 1,5 miliarda, 8,3 miliarda i 11 miliardów parametrów. ZeRO stage 1 w DeepSpeed może zapewnić obsługę systemową do uruchamiania modeli o nawet 100 miliardach parametrów, czyli 10 razy więcej niż największy model Google.
- Szybkość: zarejestrowany wzrost przepustowości będzie się różnić w zależności od konfiguracji sprzętowej. W klastrach GPU NVIDIA z połączeniami o niskiej przepustowości (bez NVIDIA NVLink lub Infiniband) DeepSpeed osiąga 3,75-krotną poprawę przepustowości w porównaniu do użycia samego Megatron-LM dla standardowego modelu GPT-2 z 1,5 miliardem parametrów. W klastrach NVIDIA DGX-2 z połączeniami o dużej przepustowości, w przypadku modeli z 20 do 80 miliardami parametrów, DeepSpeed jest od 3 do 5 razy szybszy.
- Koszt: Dzięki poprawie szybkości znacznie zoptymalizowano również koszty szkolenia. Przykładowo, aby wytrenować model z 20 miliardami parametrów, DeepSpeed wymaga 3 razy mniej zasobów niż zwykle.
- Użyteczność: wystarczy kilka drobnych zmian w kodzie, aby obecne modele mogły przejść na korzystanie z DeepSpeed i ZeRO. DeepSpeed nie wymaga przeprojektowania kodu ani refaktoryzacji modelu.
Microsoft udostępnia otwarte źródła zarówno DeepSpeed, jak i ZeRO w GitHub , zapoznaj się z tym.