เมื่อเร็วๆ นี้ Microsoft Research ได้ก่อให้เกิดความปั่นป่วนในโลกการวิจัยปัญญาประดิษฐ์ (AI) เมื่อได้ประกาศความสำเร็จในการพัฒนา DeepSpeed ซึ่งเป็นไลบรารีการเพิ่มประสิทธิภาพการเรียนรู้เชิงลึกที่สามารถใช้เพื่อฝึกโมเดล AI ขนาดยักษ์ที่มีขนาดพารามิเตอร์ได้ถึง 100 พันล้านพารามิเตอร์
ในการฝึกอบรม AI ยิ่งคุณมีโมเดลภาษาธรรมชาติมากเท่าใด ความแม่นยำก็จะยิ่งสูงขึ้นเท่านั้น อย่างไรก็ตาม การฝึกอบรมโมเดลภาษาธรรมชาติขนาดใหญ่ใช้เวลานาน และค่าใช้จ่ายที่เกี่ยวข้องก็ไม่น้อย DeepSpeed เกิดมาเพื่อเอาชนะความยากลำบากข้างต้นทั้งหมด: ปรับปรุงความเร็ว ต้นทุน ขนาดการฝึกอบรม และการใช้งาน
นอกจากนี้ Microsoft ยังกล่าวอีกว่า DeepSpeed ยังรวม ZeRO (Zero Redundancy Optimizer) ซึ่งเป็นเทคนิคการเพิ่มประสิทธิภาพแบบขนานที่ช่วยลดปริมาณทรัพยากรที่จำเป็นสำหรับโมเดลในขณะที่ยังคงช่วยเพิ่มจำนวนพารามิเตอร์สามารถฝึกตัวเลขได้ การใช้การผสมผสานระหว่าง DeepSpeed และ ZeRO ทำให้นักวิจัยของ Microsoft สามารถพัฒนาโมเดล Turing Natural Language Generation (Turing-NLG) ใหม่ได้สำเร็จ ซึ่งเป็นโมเดลภาษาที่ใหญ่ที่สุดในปัจจุบันด้วยพารามิเตอร์ 17 พันล้านพารามิเตอร์ .

ไฮไลท์บางส่วนของ DeepSpeed:
- ขนาด:โมเดล AI ขั้นสูงขนาดใหญ่ในปัจจุบัน เช่นOpenAI GPT-2, NVIDIA Megatron-LM และ Google T5 มีสเกลพารามิเตอร์ 1.5 พันล้าน, 8.3 พันล้าน และ 11 พันล้านตามลำดับ ZeRO สเตจ 1 ใน DeepSpeed สามารถให้การสนับสนุนระบบเพื่อรันโมเดลที่มีพารามิเตอร์สูงถึง 100 พันล้านพารามิเตอร์ ซึ่งใหญ่กว่าโมเดลที่ใหญ่ที่สุดของ Google ถึง 10 เท่า
- ความเร็ว:ปริมาณงานที่เพิ่มขึ้นที่บันทึกไว้จะแตกต่างกันไปขึ้นอยู่กับการกำหนดค่าฮาร์ดแวร์ บนคลัสเตอร์ NVIDIA GPU ที่มีการเชื่อมต่อแบนด์วิธต่ำ (โดยไม่มี NVIDIA NVLink หรือ Infiniband) DeepSpeed ได้รับการปรับปรุงปริมาณงาน 3.75 เท่า เมื่อเทียบกับการใช้ Megatron-LM เพียงอย่างเดียวสำหรับรุ่น GPT-2 มาตรฐานที่มีพารามิเตอร์ 1.5 พันล้าน บนคลัสเตอร์ NVIDIA DGX-2 ที่มีการเชื่อมต่อแบนด์วิธสูง สำหรับรุ่นที่มีพารามิเตอร์ 20 ถึง 80 พันล้านพารามิเตอร์ DeepSpeed จะเร็วขึ้น 3 ถึง 5 เท่า
- ต้นทุน:จากการปรับปรุงความเร็ว ค่าใช้จ่ายในการฝึกอบรมก็ได้รับการปรับให้เหมาะสมอย่างมากเช่นกัน ตัวอย่างเช่น ในการฝึกโมเดลที่มีพารามิเตอร์ 2 หมื่นล้านพารามิเตอร์ DeepSpeed ต้องใช้ทรัพยากรน้อยกว่าปกติถึง 3 เท่า
- การใช้งาน:จำเป็นต้องเปลี่ยนแปลงโค้ดเพียงเล็กน้อยเท่านั้นสำหรับรุ่นปัจจุบันเพื่อให้สามารถสลับไปใช้ DeepSpeed และ ZeRO ได้ DeepSpeed ไม่จำเป็นต้องออกแบบโค้ดใหม่หรือปรับโครงสร้างโมเดลใหม่
Microsoft กำลังเปิดซอร์สทั้ง DeepSpeed และ ZeRO บนGitHubโปรดดูที่