Microsoft ประกาศ DeepSpeed ​​ซึ่งเป็นไลบรารีการเรียนรู้เชิงลึกใหม่ที่สามารถรองรับการฝึกอบรมโมเดล AI ขนาดใหญ่พิเศษ

เมื่อเร็วๆ นี้ Microsoft Research ได้ก่อให้เกิดความปั่นป่วนในโลกการวิจัยปัญญาประดิษฐ์ (AI) เมื่อได้ประกาศความสำเร็จในการพัฒนา DeepSpeed ​​ซึ่งเป็นไลบรารีการเพิ่มประสิทธิภาพการเรียนรู้เชิงลึกที่สามารถใช้เพื่อฝึกโมเดล AI ขนาดยักษ์ที่มีขนาดพารามิเตอร์ได้ถึง 100 พันล้านพารามิเตอร์

ในการฝึกอบรม AI ยิ่งคุณมีโมเดลภาษาธรรมชาติมากเท่าใด ความแม่นยำก็จะยิ่งสูงขึ้นเท่านั้น อย่างไรก็ตาม การฝึกอบรมโมเดลภาษาธรรมชาติขนาดใหญ่ใช้เวลานาน และค่าใช้จ่ายที่เกี่ยวข้องก็ไม่น้อย DeepSpeed ​​​​เกิดมาเพื่อเอาชนะความยากลำบากข้างต้นทั้งหมด: ปรับปรุงความเร็ว ต้นทุน ขนาดการฝึกอบรม และการใช้งาน

นอกจากนี้ Microsoft ยังกล่าวอีกว่า DeepSpeed ​​​​ยังรวม ZeRO (Zero Redundancy Optimizer) ซึ่งเป็นเทคนิคการเพิ่มประสิทธิภาพแบบขนานที่ช่วยลดปริมาณทรัพยากรที่จำเป็นสำหรับโมเดลในขณะที่ยังคงช่วยเพิ่มจำนวนพารามิเตอร์สามารถฝึกตัวเลขได้ การใช้การผสมผสานระหว่าง DeepSpeed ​​​​และ ZeRO ทำให้นักวิจัยของ Microsoft สามารถพัฒนาโมเดล Turing Natural Language Generation (Turing-NLG) ใหม่ได้สำเร็จ ซึ่งเป็นโมเดลภาษาที่ใหญ่ที่สุดในปัจจุบันด้วยพารามิเตอร์ 17 พันล้านพารามิเตอร์ .

ไฮไลท์บางส่วนของ DeepSpeed:

• ขนาด:โมเดล AI ขั้นสูงขนาดใหญ่ในปัจจุบัน เช่นOpenAI GPT-2, NVIDIA Megatron-LM และ Google T5 มีสเกลพารามิเตอร์ 1.5 พันล้าน, 8.3 พันล้าน และ 11 พันล้านตามลำดับ ZeRO สเตจ 1 ใน DeepSpeed ​​​​สามารถให้การสนับสนุนระบบเพื่อรันโมเดลที่มีพารามิเตอร์สูงถึง 100 พันล้านพารามิเตอร์ ซึ่งใหญ่กว่าโมเดลที่ใหญ่ที่สุดของ Google ถึง 10 เท่า
• ความเร็ว:ปริมาณงานที่เพิ่มขึ้นที่บันทึกไว้จะแตกต่างกันไปขึ้นอยู่กับการกำหนดค่าฮาร์ดแวร์ บนคลัสเตอร์ NVIDIA GPU ที่มีการเชื่อมต่อแบนด์วิธต่ำ (โดยไม่มี NVIDIA NVLink หรือ Infiniband) DeepSpeed ​​​​ได้รับการปรับปรุงปริมาณงาน 3.75 เท่า เมื่อเทียบกับการใช้ Megatron-LM เพียงอย่างเดียวสำหรับรุ่น GPT-2 มาตรฐานที่มีพารามิเตอร์ 1.5 พันล้าน บนคลัสเตอร์ NVIDIA DGX-2 ที่มีการเชื่อมต่อแบนด์วิธสูง สำหรับรุ่นที่มีพารามิเตอร์ 20 ถึง 80 พันล้านพารามิเตอร์ DeepSpeed ​​​​จะเร็วขึ้น 3 ถึง 5 เท่า
• ต้นทุน:จากการปรับปรุงความเร็ว ค่าใช้จ่ายในการฝึกอบรมก็ได้รับการปรับให้เหมาะสมอย่างมากเช่นกัน ตัวอย่างเช่น ในการฝึกโมเดลที่มีพารามิเตอร์ 2 หมื่นล้านพารามิเตอร์ DeepSpeed ​​​​ต้องใช้ทรัพยากรน้อยกว่าปกติถึง 3 เท่า
• การใช้งาน:จำเป็นต้องเปลี่ยนแปลงโค้ดเพียงเล็กน้อยเท่านั้นสำหรับรุ่นปัจจุบันเพื่อให้สามารถสลับไปใช้ DeepSpeed ​​​​และ ZeRO ได้ DeepSpeed ​​​​ไม่จำเป็นต้องออกแบบโค้ดใหม่หรือปรับโครงสร้างโมเดลใหม่

Microsoft กำลังเปิดซอร์สทั้ง DeepSpeed ​​​​และ ZeRO บนGitHubโปรดดูที่