LegoGPT: AI แปลงข้อความเรื่องราวให้กลายเป็นผลงาน Lego

นักวิจัยที่มหาวิทยาลัยคาร์เนกี เมลลอนได้เปิดตัว LegoGPT, ระบบ AI ใหม่ที่สร้างสรรค์ Lego ในโลกจริงจากคำอธิบายที่เขียนไว้

นี่เป็น AI แรกที่ไม่เพียงแค่ตามคำสั่งของข้อความเช่น “เรือที่มีการออกแบบให้เรียบร้อยและยาว” แต่ยังทำให้แน่ใจว่าโครงสร้างที่ได้จากการสร้างนั้นมีความเสถียรทางกายภาพและสามารถสร้างขึ้นจริงทีละก้อนอิฐได้

“เพื่อที่จะบรรลุเป้าหมายนี้ เราสร้างชุดข้อมูลขนาดใหญ่ที่มีความเสถียรทางฟิสิกส์ของออกแบบ LEGO พร้อมกับคำบรรยายที่เกี่ยวข้อง” ทีมงานอธิบายในบทความวิจัย ของพวกเขา

LegoGPT ถูกฝึกสอนโดยใช้มากกว่า 47,000 แบบแผน LEGO ที่มีความเสถียร โดยที่แต่ละแบบแผนมีคำบรรยายที่ละเอียดอ่อนถูกสร้างขึ้นด้วย GPT-4o พวกเขาสร้างมันจากรูปทรง 3 มิติ ทำให้เป็นโครงสร้าง LEGO แล้วทดสอบความเสถียรในโลกจริงโดยใช้การจำลองฟิสิกส์

แต่ละโครงสร้างได้รับการอธิบายจากมุมมอง 24 มุม เพื่อให้ AI เข้าใจว่าการออกแบบหลากหลายประเภทควรจะดูเป็นอย่างไรในคำพูด

ทีมงานใช้เทคนิคพิเศษที่เรียกว่า “การย้อนกลับที่ระลึกถึงกฎของฟิสิกส์” จุดที่ไม่เสถียรของการออกแบบจะถูกนำออกและสร้างขึ้นใหม่จนกระทั่งโครงสร้างทั้งหมดสามารถยืนได้ ซึ่งได้ช่วยให้เรทของความสำเร็จในการสร้างเพิ่มขึ้นจาก 24% เป็น 98.8%.

โมเดล AI นี้ที่มาจาก Meta’s LLaMA-3.2-Instruct สามารถทำนายว่าจะต้องวางบล็อก Lego ตัวไหนต่อไป—ลักษณะคล้ายกับวิธีการทำนายคำถัดไปของ ChatGPT ทุกบล็อกที่ถูกเสนอนั้นจะถูกตรวจสอบว่าต้องวางลงในตำแหน่งใด ขนาดเท่าไหร่ และมีโอกาสที่จะทำให้เกิดการชนกันหรือไม่ ก่อนที่จะถูกเพิ่มเข้าไปในโมเดล

ผลงานของ LegoGPT สามารถสร้างขึ้นได้ทั้งโดยมนุษย์และหุ่นยนต์ “ผลการทดลองของเราแสดงว่า LegoGPT สามารถสร้างออกมาเป็นการออกแบบ Lego ที่มั่นคง หลากหลาย และน่าสนใจทางด้านความงาม ซึ่งประสานกันอย่างใกล้ชิดกับข้อความที่ได้รับในการสั่งการ” ทีมนักวิจัยเขียนไว้

ในขณะนี้ LegoGPT ใช้เพียงแปดชนิดพื้นฐานของก้อนสิ่งประดิษฐ์และทำงานภายในพื้นที่ 20×20×20 แต่ทีมงานหวังว่าจะขยายขอบเขตให้กว้างขึ้น

ชุดข้อมูลทั้งหมด, รหัส, และโมเดลของพวกเขาสามารถเข้าถึงได้ฟรี ดังนั้นคนอื่นๆ สามารถทำการสร้างต่อยอดจากงานวิจัยนี้ หรืออีกทางเลือกหนึ่งคุณสามารถลองเล่นด้วยตัวอย่างของพวกเขา.