Microsoft ฝึกอบรมโมเดล AI ใหม่ขนาดใหญ่พอที่จะแข่งขันกับ LLM หลัก

Microsoft กำลังพัฒนาโมเดลภาษาขนาดใหญ่ใหม่ (LLM) ที่มีชื่อรหัสว่า MAI-1 ซึ่งมีศักยภาพในการแข่งขันกับ AI LLM ที่พัฒนาโดย Google และ OpenAI

นี่เป็นครั้งแรกที่ Microsoft พัฒนา LLM ขนาดใหญ่นับตั้งแต่การลงทุนหลายพันล้านดอลลาร์ใน OpenAI เพื่อรับสิทธิ์ในการใช้เทคโนโลยีในชุดซอฟต์แวร์การทำงานของตน

การพัฒนา MAI-1 ถูกดูแลโดย Google DeepMind และผู้ร่วมก่อตั้ง Inflection Mustafa Suleyman ตามรายงานของ The Information ในเดือนมีนาคม 2024 Microsoft ได้ซื้อ พนักงานบางคนของ Inflection ในข้อตกลงมูลค่า 650 ล้านดอลลาร์

ตามรายงานที่เผยแพร่เมื่อวันที่ 6 พฤษภาคม MAI-1 จะมีพารามิเตอร์ประมาณ 500 พันล้านพารามิเตอร์ ซึ่งทำให้มันอยู่ระหว่างพารามิเตอร์หนึ่งล้านล้านที่รายงานของ GPT-4 ของ OpenAI และพารามิเตอร์ 70 พันล้านของโมเดล Meta Llama 3 AI นอกจากนี้ยังคาดว่าจะ “ใหญ่กว่ามาก” และแพงกว่ารุ่น AI ขนาดเล็กแบบเปิดก่อนหน้านี้ของ Microsoft (Phi-3 และ WizardLM-2) เนื่องจากต้องการพลังการประมวลผลและข้อมูลการฝึกอบรมมากขึ้น

ในขณะที่ MAI-1 อาจใช้ประโยชน์จากเทคนิคและข้อมูลการฝึกอบรมจาก Inflection แต่ก็ยังคงแตกต่างจากโมเดลหรือเทคโนโลยีที่ผลิตโดย OpenAI หรือ Inflection ตามข้อมูลจากพนักงานของ Microsoft ที่คุ้นเคยกับโครงการนี้ MAI-1 เป็น LLM ใหม่ทั้งหมดที่พัฒนาโดย Microsoft ภายใน

Microsoft ยังไม่ได้ประกาศวัตถุประสงค์ที่แน่นอนของ MAI-1 และการใช้งานที่แน่นอนจะขึ้นอยู่กับประสิทธิภาพของมัน ในขณะเดียวกัน บริษัทได้จัดสรรกลุ่มเซิร์ฟเวอร์ขนาดใหญ่ที่มี GPU ของ Nvidia และใช้ข้อมูลจำนวนมากจากแหล่งต่าง ๆ เพื่อปรับปรุงโมเดล

รายงานระบุว่าบริษัทอาจนำเสนอ MAI-1 ที่การประชุมนักพัฒนา Build ในปลายเดือนนี้ แต่ยังไม่ได้รับการยืนยัน ทั้งนี้ขึ้นอยู่กับความคืบหน้า