Microsoft анонсировала DeepSpeed, новую библиотеку глубокого обучения, которая может поддерживать обучение сверхкрупномасштабных моделей искусственного интеллекта.

Microsoft Research недавно вызвала переполох в мире исследований искусственного интеллекта (ИИ), когда объявила об успешной разработке DeepSpeed, библиотеки оптимизации глубокого обучения, которую можно использовать для обучения гигантских моделей ИИ с масштабом до 100 миллиардов параметров.

При обучении ИИ чем больше у вас моделей естественного языка, тем выше будет точность. Однако обучение больших моделей естественного языка требует много времени, а затраты немалые. DeepSpeed ​​был создан для преодоления всех вышеперечисленных трудностей: повышения скорости, стоимости, масштаба обучения и удобства использования.

Кроме того, Microsoft также упомянула, что DeepSpeed ​​также включает ZeRO (Zero Redundancy Optimizer), метод параллельной оптимизации, который помогает минимизировать количество ресурсов, необходимых для моделей, и в то же время помогает увеличить количество параметров, которые можно обучать. Используя комбинацию DeepSpeed ​​и ZeRO, исследователи Microsoft смогли успешно разработать новую модель Turing Natural Language Generation (Turing-NLG) — крупнейшую на сегодняшний день языковую модель с 17 миллиардами параметров.

Некоторые основные моменты DeepSpeed:

• Масштаб. Современные крупные продвинутые модели искусственного интеллекта, такие как OpenAI GPT-2, NVIDIA Megatron-LM и Google T5, имеют масштаб 1,5 миллиарда, 8,3 миллиарда и 11 миллиардов параметров соответственно. ZeRO stage 1 в DeepSpeed ​​может обеспечить поддержку системы для запуска моделей с числом до 100 миллиардов параметров, что в 10 раз больше, чем у самой крупной модели Google.
• Скорость: зарегистрированное увеличение пропускной способности будет зависеть от конфигурации оборудования. На кластерах NVIDIA GPU с соединениями с низкой пропускной способностью (без NVIDIA NVLink или Infiniband) DeepSpeed ​​обеспечивает повышение пропускной способности в 3,75 раза по сравнению с использованием только Megatron-LM для стандартной модели GPT-2 с 1,5 миллиардами параметров. На кластерах NVIDIA DGX-2 с высокоскоростными соединениями для моделей с 20–80 миллиардами параметров DeepSpeed ​​работает в 3–5 раз быстрее.
• Стоимость: благодаря повышению скорости затраты на обучение также значительно оптимизируются. Например, для обучения модели с 20 миллиардами параметров DeepSpeed ​​требует в 3 раза меньше ресурсов, чем обычно.
• Удобство использования: Чтобы текущие модели могли переключиться на использование DeepSpeed ​​и ZeRO, необходимо лишь несколько незначительных изменений кода. DeepSpeed ​​не требует редизайна кода или рефакторинга модели.

Microsoft выкладывает исходный код DeepSpeed ​​и ZeRO в открытый доступ на GitHub , см.