SAM 3D: เปลี่ยนภาพใดๆ ให้เป็นสินทรัพย์ที่พร้อมสำหรับ 3 มิติ—คู่มือเชิงปฏิบัติสำหรับครีเอเตอร์ยุคใหม่

SAM 3D คืออะไร และทำไมครีเอเตอร์ถึงควรสนใจ#

SAM 3D คือก้าวล่าสุดของ Meta AI ในตระกูล Segment Anything โดยเพิ่มความเข้าใจ 3 มิติให้กับภาพถ่ายทั่วไป แทนที่จะต้องใช้ภาพถ่ายหลายมุมมองหรือการสแกนแบบละเอียด SAM 3D สามารถสร้างวัตถุ 3 มิติและรูปร่างมนุษย์ที่สมจริงจากภาพ 2 มิติเพียงภาพเดียว สำหรับครีเอเตอร์ที่ต้องทำงานแข่งกับเวลา เช่น นักตัดต่อวิดีโอ นักออกแบบ 3 มิติ นักสร้างสรรค์โมชั่นกราฟิก โปรดิวเซอร์ AR นักพัฒนาเกมอินดี้ หรือแม้แต่นักเขียนที่ต้องสร้างภาพประกอบการนำเสนอ SAM 3D จะช่วยลดเวลาในการเปลี่ยนแนวคิดให้เป็นชิ้นงานจริงจากหลายวันเหลือเพียงไม่กี่นาที

โดยหลักแล้ว SAM 3D ประกอบด้วยโมเดลเฉพาะทางสองแบบ:

• SAM 3D Objects: สร้างโมเดล 3 มิติของวัตถุทั่วไปและทำนายตำแหน่งของวัตถุเหล่านั้นในฉาก
• SAM 3D Body: ประเมินรูปร่างและท่าทางของมนุษย์ โดยใช้โครงกระดูกโอเพนซอร์สใหม่ที่เรียกว่า MHR (Meta Momentum Human Rig)

SAM 3D สามารถทำงานกับภาพถ่ายทั่วไป จัดการกับส่วนที่มองไม่เห็นและส่วนที่ถูกบดบัง และทำงานได้ใกล้เคียงเรียลไทม์ ปัจจุบัน SAM 3D ถูกนำไปใช้ในฟีเจอร์ "View in Room" ของ Facebook Marketplace ซึ่งเปลี่ยนภาพผลิตภัณฑ์เพียงภาพเดียวให้กลายเป็นวัตถุ 3 มิติที่สามารถวางในห้องได้ สำหรับครีเอเตอร์ ความสามารถเดียวกันนี้จะช่วยปลดล็อกการสร้างต้นแบบอย่างรวดเร็ว การสร้างภาพจำลอง การทดสอบฉาก AR และการส่งงานให้ลูกค้าได้อย่างรวดเร็ว

เสาหลักสองประการของ SAM 3D#

SAM 3D Objects: สร้าง 3 มิติจากภาพเดียวสำหรับสิ่งของและฉาก#

SAM 3D Objects รับภาพถ่ายมาตรฐาน ระบุวัตถุที่สนใจ และสร้างโมเดล 3 มิติพร้อมตำแหน่งที่สมเหตุสมผล โมเดลนี้ได้รับการฝึกฝนให้ยึดโยงกับโลกทางกายภาพ ไม่ใช่แค่ชุดข้อมูลสังเคราะห์ และมุ่งเน้นที่จะให้ดูสมจริงในสายตาของมนุษย์ จากการทดสอบความพึงพอใจของมนุษย์ SAM 3D Objects ชนะอย่างน้อย 5:1 เมื่อเทียบกับเกณฑ์มาตรฐานชั้นนำอื่นๆ ซึ่งแสดงให้เห็นว่าการสร้างใหม่นั้นแข็งแกร่งเพียงใดสำหรับการใช้งานสร้างสรรค์จริง

จุดแข็งที่สำคัญของ SAM 3D Objects:

• สร้างโมเดล 3 มิติจากภาพเดียวของผลิตภัณฑ์ อุปกรณ์ประกอบฉาก ของตกแต่ง เครื่องมือ และอื่นๆ
• ประเมินตำแหน่งของวัตถุที่ทำให้สิ่งของดูสมจริงในฉากที่ถ่ายภาพ
• โมเดลได้รับการออกแบบมาให้ดีพอสำหรับงานปลายน้ำ เช่น การลอง AR การแสดงตัวอย่างผลิตภัณฑ์ และบอร์ดแนวคิด
• ทนทานต่อการบดบังและความรกที่พบได้ทั่วไปในภาพถ่ายทั่วไป

ข้อจำกัดที่ควรทราบ:

• ความละเอียดเอาต์พุตปานกลาง: รายละเอียดพื้นผิวที่ละเอียดบนวัตถุที่ซับซ้อนมากอาจต้องมีการปรับแต่งด้วยตนเอง
• ทีละหนึ่งวัตถุ: SAM 3D Objects ไม่ได้พิจารณาถึงปฏิสัมพันธ์ทางกายภาพระหว่างหลายรายการพร้อมกัน
• ความเที่ยงตรงทางกายภาพ: แม้ว่าจะดูสมจริง แต่ก็ไม่ใช่โปรแกรมจำลองฟิสิกส์และจะไม่อนุมานรูปทรงเรขาคณิตที่ซ่อนอยู่เกินกว่าค่าประมาณที่สมเหตุสมผล

SAM 3D Body: ท่าทาง รูปร่าง และโครงกระดูกที่คุณสามารถสร้างแอนิเมชันได้#

SAM 3D Body ประมวลผลภาพถ่ายบุคคลและประเมินรูปร่างและท่าทางของร่างกาย โดยส่งคืนโมเดลที่สามารถสร้างแอนิเมชันได้ สร้างขึ้นจาก MHR (Meta Momentum Human Rig) ซึ่งเป็นรูปแบบโมเดลโอเพนซอร์สที่แยกโครงสร้างกระดูกออกจากรูปร่างเนื้อเยื่ออ่อนเพื่อให้ได้ผลลัพธ์ที่ตีความและนำกลับมาใช้ใหม่ได้ง่ายขึ้น สำหรับครีเอเตอร์ นั่นหมายถึงการทดสอบการเคลื่อนไหวที่เร็วขึ้น ความสมจริงที่สวยงาม หรือตัวประกอบฉากโดยไม่ต้องเสียค่าใช้จ่ายในการจับการเคลื่อนไหวเต็มรูปแบบ

จุดแข็งที่สำคัญของ SAM 3D Body:

• ประเมินรูปร่างและท่าทางของร่างกายมนุษย์จากภาพเดียว
• ทำงานกับภาพถ่ายทั่วไปที่มีการบดบังบางส่วน แสงที่ไม่ใช่สตูดิโอ และเสื้อผ้าที่หลากหลาย
• MHR โอเพนซอร์สช่วยปรับปรุงความสอดคล้องของโครงกระดูกและทำงานได้ดีกับไปป์ไลน์ที่ต้องการการกำหนดเป้าหมายใหม่และการสร้างแอนิเมชัน

ข้อจำกัด:

• ประมวลผลแต่ละคนแยกกัน ไม่ได้จำลองปฏิสัมพันธ์ระหว่างหลายคนหรือการให้เหตุผลเกี่ยวกับการสัมผัสระหว่างมนุษย์กับวัตถุ
• ความแม่นยำของท่าทางมืออยู่ในระดับที่มั่นคง แต่จะไม่เกินวิธีการเฉพาะทางที่เน้นเฉพาะมือ
• เช่นเดียวกับตัวประมาณค่าภาพเดียวทั้งหมด จะอนุมานรูปทรงเรขาคณิตที่ซ่อนอยู่ ใช้ดุลยพินิจทางศิลปะของคุณสำหรับการถ่ายภาพระยะใกล้

SAM 3D ทำงานอย่างไร: ข้อได้เปรียบของ Data Engine#

สิ่งที่ทำให้ SAM 3D โดดเด่นไม่ใช่แค่โมเดล แต่เป็น Data Engine ที่อยู่เบื้องหลัง แทนที่จะพึ่งพาการสร้างโมเดลด้วยตนเองอย่างพิถีพิถัน Meta ได้สร้างระบบคำอธิบายประกอบที่ปรับขนาดได้ ซึ่งเน้นที่การตรวจสอบและจัดอันดับโมเดลที่เป็นไปได้ที่สร้างขึ้นในวงจร วิธีการนี้ช่วยเร่งการเติบโตของชุดข้อมูลอย่างมาก ในขณะที่ยังคงสอดคล้องกับความพึงพอใจของมนุษย์

สิ่งที่ครีเอเตอร์ควรรู้:

• SA-3DAO (SAM 3D Artist Objects) คือเกณฑ์มาตรฐานและชุดข้อมูลที่คัดสรรมาเพื่อให้สะท้อนถึงการกระจายภาพถ่ายทั่วไป ซึ่งเป็นประเภทที่คุณถ่ายจริง
• สำหรับ SAM 3D Objects Meta ได้ใส่คำอธิบายประกอบในภาพที่แตกต่างกันเกือบหนึ่งล้านภาพ และสร้างโมเดลในวงจรประมาณ 3.14 ล้านโมเดล โดยคัดสรรโมเดลที่ดีที่สุดตามคุณภาพที่มนุษย์ตรวจสอบแล้ว
• สำหรับ SAM 3D Body การฝึกอบรมใช้ภาพประมาณ 8 ล้านภาพ ซึ่งช่วยให้โมเดลสามารถสรุปรูปร่างร่างกาย เสื้อผ้า และการตั้งค่าในโลกแห่งความเป็นจริงที่หลากหลายได้

การเชื่อมโยงอย่างใกล้ชิดระหว่างการสร้างข้อมูล การตรวจสอบโดยมนุษย์ และการ "ชี้นำ" หลังการฝึกอบรมนี้ ทำให้ SAM 3D มุ่งเน้นไปที่ 3 มิติประเภทที่ดูและให้ความรู้สึกที่ถูกต้องในฉากจริง ซึ่งเป็นสิ่งที่ครีเอเตอร์ให้ความสำคัญ

ทำไม SAM 3D ถึงมีความสำคัญสำหรับ AR, วิดีโอ และการออกแบบ#

SAM 3D เหมาะกับวิธีการทำงานสร้างสรรค์ที่เกิดขึ้นจริง: เพิ่มขึ้นทีละน้อย ทำซ้ำ และมักถูกจำกัดด้วยเวลา โดยเฉพาะอย่างยิ่งสำหรับ AR การสร้าง 3 มิติจากภาพเดียวถือเป็นความก้าวหน้า:

• เนื้อหา AR จากภาพผลิตภัณฑ์ที่มีอยู่: แปลงภาพถ่ายแคตตาล็อกเป็นตัวอย่างที่พร้อมสำหรับ AR
• ความเข้าใจเชิงพื้นที่ที่ใช้ร่วมกัน: SAM 3D รองรับการจัดวางและการหมุนที่น่าเชื่อถือ ทำให้เกิดปฏิสัมพันธ์เสมือนจริงกับกายภาพที่สมจริงยิ่งขึ้น
• การทำซ้ำที่เร็วขึ้น: อัปเดตอุปกรณ์ประกอบฉากและฉากได้ทันทีระหว่างการผลิตล่วงหน้าหรือการตรวจสอบของลูกค้า

จากการวิเคราะห์ของอุตสาหกรรม ตลาด AR คาดว่าจะเติบโตอย่างมากในทศวรรษนี้ เครื่องมืออย่าง SAM 3D เป็นตัวเร่งปฏิกิริยาเนื่องจากช่วยลดอุปสรรคในการสร้างเนื้อหา 3 มิติและปรับปรุงความสมจริงโดยไม่ต้องสแกนราคาแพง สำหรับผู้สร้างวิดีโอ SAM 3D หมายถึงการสร้างภาพจำลองที่เร็วขึ้น สตอรี่บอร์ดที่โดดเด่น และองค์ประกอบพื้นหลังที่รวดเร็ว สำหรับนักออกแบบ หมายถึงการสร้างภาพผลิตภัณฑ์อย่างรวดเร็ว สำหรับศิลปินเกม หมายถึงแบบร่างสินทรัพย์ในช่วงต้นที่คุณสามารถปรับแต่งได้ แม้แต่นักเขียนและนักพากย์ก็ได้รับประโยชน์: สไลด์นำเสนอพร้อมฉาก 3 มิติ การจัดวางตัวละคร และตัวแทนอวตารอย่างง่ายที่ช่วยขายเรื่องราวหรือการแสดง

SAM 3D ในระบบนิเวศ: ความเชื่อมโยงกับ SAM 3 และ Segment Anything Playground#

SAM 3 นำเสนอแนวทางที่เป็นหนึ่งเดียวในการตรวจจับ การแบ่งส่วน และการติดตาม และแจ้งให้ SAM 3D รับรู้โครงสร้างในฉาก SAM 3D ขยายรากฐานนั้นไปสู่มิติที่สาม โดยนำความฉลาดในการแบ่งส่วนมาสู่การสร้างโมเดลและการประเมินท่าทาง สำหรับครีเอเตอร์ Segment Anything Playground เป็นสถานที่ที่เร็วที่สุดในการลองใช้ SAM 3D ไม่ต้องติดตั้งในเครื่อง เพียงอัปโหลดภาพและทดลอง Meta ยังแชร์จุดตรวจสอบโมเดลและโค้ดอนุมาน รวมถึง MHR โอเพนซอร์ส เพื่อช่วยให้นักพัฒนาสามารถรวม SAM 3D เข้ากับเครื่องมือและไปป์ไลน์ได้

เริ่มต้นใช้งาน: วิธีใช้ SAM 3D ในไม่กี่นาที#

นี่คือคำแนะนำเชิงปฏิบัติที่เหมาะสำหรับครีเอเตอร์โดยใช้ Segment Anything Playground UI ที่แน่นอนอาจมีการพัฒนา แต่ขั้นตอนการทำงานหลักยังคงสอดคล้องกัน

1. เตรียมภาพของคุณ

• เลือกภาพที่คมชัดโดยให้วัตถุของคุณอยู่ตรงกลางอย่างสมเหตุสมผล SAM 3D จัดการกับความรกและการบดบัง แต่หลีกเลี่ยงภาพเบลอมากเกินไปหรือเส้นริ้วจากการเคลื่อนไหวที่รุนแรง
• สำหรับ SAM 3D Objects ตรวจสอบให้แน่ใจว่าวัตถุไม่ได้ถูกครอบตัดอย่างรุนแรงเกินไป เว้นที่ว่างไว้เล็กน้อยสำหรับบริบทสำหรับการประเมินท่าทาง
• สำหรับ SAM 3D Body มุมมองเต็มตัวหรือสามในสี่ส่วนจะดีที่สุด มุมมองด้านข้างสามารถใช้งานได้ แต่ด้านหน้าหรือสามในสี่ส่วนให้รายละเอียดมากกว่า

2. เลือกโหมดของคุณ: Objects หรือ Body

• หากคุณกำลังสร้างผลิตภัณฑ์ อุปกรณ์ประกอบฉาก หรือรายการฉาก ให้เลือก SAM 3D Objects
• หากคุณกำลังจับภาพท่าทางและรูปร่างของบุคคล ให้เลือก SAM 3D Body

3. เลือกวัตถุ

• ใช้บ่วงบาศ คลิกเพื่อเลือก หรือมาสก์การแบ่งส่วนเพื่อกำหนดวัตถุ ความสามารถ Segment Anything ที่อยู่เบื้องหลังช่วยแยกแยะภูมิภาคที่แม่นยำ
• หากมีหลายรายการ ให้เรียกใช้ SAM 3D Objects ทีละรายการ

4. สร้าง 3 มิติ

• คลิกสร้าง ในอีกไม่กี่วินาที SAM 3D จะส่งคืนโมเดลและท่าทางที่สมจริงพร้อมพื้นผิวที่ได้จากภาพของคุณ
• สำหรับ SAM 3D Body คุณจะได้รับโมเดลที่ขับเคลื่อนด้วย MHR พร้อมโครงกระดูกที่คุณสามารถสร้างแอนิเมชันได้

5. ตรวจสอบและปรับ

• หมุนโมเดลเพื่อตรวจสอบปัญหาที่เห็นได้ชัดเจน โมเดลที่มีความละเอียดปานกลางอาจต้องมีการปรับให้เรียบหรือแก้ไขค่าปกติในเครื่องมือ DCC ของคุณ
• สำหรับวัตถุ ให้ตรวจสอบท่าทาง หากผิดเพี้ยนเล็กน้อย ให้ปรับภายในแอป 3 มิติของคุณหรือเรียกใช้อีกครั้งด้วยการครอบตัดที่สะอาดกว่า
• สำหรับร่างกาย ให้แสดงตัวอย่างโครงกระดูก การแก้ไขเล็กน้อยเป็นเรื่องปกติหากเสื้อผ้าสร้างรูปทรงที่ไม่ชัดเจน

6. ส่งออกสำหรับไปป์ไลน์ของคุณ

• ส่งออกไปยังรูปแบบมาตรฐานที่เครื่องมือของคุณรองรับ (OBJ/GLB/FBX ขึ้นอยู่กับความพร้อมใช้งานใน Playground)
• นำโมเดลเข้าสู่ Blender, Unity, Unreal Engine หรือแอปที่คุณต้องการสำหรับการแรเงา การจัดแสง และแอนิเมชัน

7. ทำซ้ำ

• SAM 3D รวดเร็วและมีแรงเสียดทานต่ำ ลองใช้มุมอื่น การครอบตัดที่แตกต่างกัน หรือการรีทัชเล็กน้อยเพื่อปรับปรุงพื้นผิวที่ยุ่งยาก
• สำหรับการใช้งาน AR ให้ทดสอบในแสงสภาพแวดล้อมที่สมจริงเพื่อตรวจสอบรูปลักษณ์และขนาด

สูตรการทำงานสำหรับครีเอเตอร์ที่แตกต่างกัน#

นี่คือสูตรที่พร้อมสำหรับการผลิตสองสามสูตรที่เน้น SAM 3D สำหรับบทบาทสร้างสรรค์ทั่วไป

1. ผู้สร้างวิดีโอ: อุปกรณ์ประกอบฉากและฉากที่ตั้งไว้ล่วงหน้า

• จับภาพ: ถ่ายภาพอุปกรณ์ประกอบฉากหรือใช้ภาพผลิตภัณฑ์ของลูกค้า
• สร้างใหม่: ใช้ SAM 3D Objects เพื่อสร้างโมเดล
• นำเข้า: นำเข้าสู่โปรแกรมแก้ไขหรือเครื่องมือ 3 มิติของคุณ บล็อกมุมกล้อง
• แสง: เพิ่มแสง HDR อย่างง่ายเพื่อประมาณอารมณ์สุดท้าย
• ทำซ้ำ: หากพื้นผิวดูเรียบเกินไป ให้เรียกใช้ SAM 3D อีกครั้งด้วยการครอบตัดที่แน่นขึ้น หรือเพิ่มรายละเอียดตามขั้นตอนในโพสต์

2. นักออกแบบ AR: ต้นแบบการลองสวมหรือวางในห้อง

• จับภาพ: ใช้ภาพผลิตภัณฑ์ที่มีคอนทราสต์สูงหรือจัดฉากภาพพื้นหลังที่เป็นกลาง
• สร้างใหม่: เรียกใช้ SAM 3D Objects และส่งออก GLB หากรองรับ
• บูรณาการ: โหลดโมเดลลงในเฟรมเวิร์ก AR บนมือถือหรือแอปสร้างต้นแบบ
• ตรวจสอบ: ตรวจสอบขนาดและท่าทาง ปรับจุดหมุนเพื่อการจัดวางที่เป็นธรรมชาติ
• นำเสนอ: แสดงให้ลูกค้าเห็นการสาธิต AR ที่ใช้งานได้ในวันเดียวกัน

3. ศิลปินเกม: แนวคิดสินทรัพย์ในช่วงต้น

• อ้างอิง: รวบรวมบอร์ดอารมณ์ จากนั้นถ่ายภาพอ้างอิงอย่างรวดเร็วของอะนาล็อกในโลกแห่งความเป็นจริง
• สร้างใหม่: สร้างโมเดลด้วย SAM 3D Objects เป็นฐาน
• ปรับแต่ง: Retopologize และอบค่าปกติใน DCC ของคุณ แทนที่พื้นผิวตามต้องการ
• จัดรูปแบบ: ใช้เฉดสีและจานสีของเกมของคุณ ใช้ SAM 3D เฉพาะเพื่อความเร็ว ไม่ใช่รูปลักษณ์สุดท้าย

4. ศิลปินโมชั่น/ตัวละคร: ค้นคว้าท่าทางโดยไม่ต้องใช้ mocap

• จับภาพ: ภาพเดียวของนักแสดงในท่าทางสำคัญ
• สร้างใหม่: ใช้ SAM 3D Body เพื่อรับโมเดลที่ติดตั้งผ่าน MHR
• สร้างแอนิเมชัน: กำหนดเป้าหมายใหม่ไปยังโครงกระดูกควบคุมของคุณหรือคีย์เฟรมโดยตรงสำหรับการบล็อกอย่างรวดเร็ว
• ปรับแต่ง: สำหรับมือและรายละเอียดใบหน้า ให้เพิ่มการส่งผ่านเฉพาะทางหรือการปรับด้วยตนเอง

5. นักเขียนและนักพากย์: ภาพที่พร้อมสำหรับการนำเสนอ

• อารมณ์: ใช้ SAM 3D เพื่อแสดงภาพฉากหรือท่าทางตัวละครจากภาพแนวคิด
• รวม: วางโมเดลลงในฉาก Unreal อย่างรวดเร็วเพื่อสร้างบรรยากาศ
• นำเสนอ: ใช้การเรนเดอร์ที่สร้างใหม่ในสไลด์หรือภาพเคลื่อนไหวเพื่อขายโทนและการแสดง

แนวทางปฏิบัติที่ดีที่สุดและเคล็ดลับสำหรับมืออาชีพ#

• ถ่ายภาพด้วยความตั้งใจ: แม้ว่า SAM 3D จะจัดการกับความรกได้ แต่องค์ประกอบที่ดีจะให้ผลลัพธ์ที่ดีกว่า สำหรับวัตถุ ให้เล็งไปที่แสงแบบกระจาย สำหรับร่างกาย ให้หลีกเลี่ยงการย่อส่วนที่รุนแรง
• ใช้มาสก์อย่างจริงจัง: รากฐาน Segment Anything ช่วยให้คุณแยกวัตถุได้ มาสก์ที่สะอาดช่วยลดความคลุมเครือของภาพเงาที่ส่งผลต่อคุณภาพของโมเดล
• ยอมรับการทำซ้ำ: ความเร็วของ SAM 3D สนับสนุนให้ลองใช้ตัวแปรต่างๆ การครอบตัดที่แตกต่างกัน การแก้ไขเล็กน้อย หรือภาพถ่ายอื่นของวัตถุเดียวกัน
• ผสมผสานกับรายละเอียดตามขั้นตอน: สำหรับฉากระดับไฮเอนด์ ให้เริ่มต้นด้วย SAM 3D สำหรับรูปร่างและท่าทาง จากนั้นเพิ่มพื้นผิว การกระจัด หรือชุดอุปกรณ์ตามขั้นตอนสำหรับรายละเอียด
• ตรวจสอบขนาดใน AR: ใช้วัตถุมาตรฐาน (เช่น เก้าอี้หรือหนังสือ) ในภาพถ่ายเพื่อช่วยให้มีความสมจริงทางสายตา จากนั้นปรับขนาดในเครื่องมือ AR ของคุณ
• ประมวลผลค่าปกติภายหลัง: สิ่งประดิษฐ์ขนาดเล็กจะหายไปเมื่อมีการคำนวณค่าปกติใหม่หรือการปรับโมเดลให้เรียบใน Blender หรือ Maya
• แยกโครงกระดูกและโมเดล: ด้วย MHR ให้แยกการแก้ไขโครงกระดูกออกจากการแกะสลักโมเดลเพื่อรักษาเส้นทางการกำหนดเป้าหมายใหม่ที่สะอาด

ข้อจำกัดและวิธีแก้ไข#

ทุกเครื่องมือมีขอบเขต การรู้ขอบเขตเหล่านั้นจะช่วยให้คุณส่งมอบผลลัพธ์ที่ดีขึ้นด้วย SAM 3D:

• ความละเอียดของโมเดลปานกลาง: สำหรับสินทรัพย์หลัก ให้พิจารณา SAM 3D เป็นฐาน เพิ่มส่วนย่อย แกะสลักรายละเอียด หรือแผนที่การกระจัด
• การให้เหตุผลวัตถุเดียว: หากฉากของคุณมีหลายรายการที่โต้ตอบกัน ให้เรียกใช้ SAM 3D Objects ต่อรายการและจัดองค์ประกอบในฉาก 3 มิติสำหรับเค้าโครง
• การสัมผัสระหว่างมนุษย์กับวัตถุ: SAM 3D Body ไม่ได้จำลองการสัมผัสทางกายภาพ การตัดกันของท่าทางอาจเกิดขึ้นได้ แก้ไขด้วยการปรับด้วยตนเองหรือฟิสิกส์ในแอป 3 มิติของคุณ
• มือและอุปกรณ์เสริม: สำหรับท่าทางมือที่แม่นยำหรืออุปกรณ์เสริมขนาดเล็ก ให้เสริม SAM 3D Body ด้วยเครื่องมือมือ/ใบหน้าที่เชี่ยวชาญ หรือสร้างโมเดลองค์ประกอบเหล่านี้แยกกัน
• การคาดเดารูปทรงเรขาคณิตที่ซ่อนอยู่: เนื่องจาก SAM 3D เป็นมุมมองเดียว ด้านที่ถูกบดบังจึงถูกอนุมาน หากความถูกต้องเป็นสิ่งสำคัญ ให้จับภาพอ้างอิงเพิ่มเติมหรือแก้ไขด้วยตนเอง

SAM 3D เทียบกับแนวทางดั้งเดิม#

• Photogrammetry: การจับภาพหลายมุมมองแบบดั้งเดิมให้ความเที่ยงตรงสูง แต่ต้องใช้ภาพจำนวนมาก การหมุนที่ควบคุม และการจัดตำแหน่งที่ใช้เวลานาน SAM 3D แลกเปลี่ยนความแม่นยำที่สมบูรณ์แบบเพื่อความเร็วและความสะดวกสบาย ภาพเดียว โมเดลทันที
• การสร้างโมเดลด้วยตนเอง: การสร้างโมเดลด้วยมือมีความแม่นยำ แต่ช้า SAM 3D มอบจุดเริ่มต้นที่แก้ไขได้ ซึ่งจะทำให้คุณไปถึงเป้าหมายได้ 70–80% ในไม่กี่นาที
• Neural radiance fields (NeRFs): เหมาะสำหรับการสังเคราะห์มุมมองจากหลายภาพ แต่ไม่ง่ายเสมอไปที่จะแยกโมเดลที่สะอาดและพร้อมสำหรับเกม SAM 3D ส่งออกโมเดลโดยตรง ทำให้เป็นมิตรกับไปป์ไลน์ที่ต้องการสินทรัพย์ OBJ/FBX/GLB

กล่าวโดยสรุป: SAM 3D เป็นตัวเร่งแนวคิด ใช้เพื่อเคลื่อนที่เร็ว จากนั้นปรับแต่ง

ประสิทธิภาพ ข้อมูล และความเปิดกว้าง#

• ประสิทธิภาพ: SAM 3D ทำงานใกล้เคียงเรียลไทม์ในกรณีการใช้งานจริง เหมาะสำหรับการทำซ้ำแบบโต้ตอบและเซสชันสดของลูกค้า
• ข้อมูล: การฝึกอบรม SAM 3D Objects เกี่ยวข้องกับภาพที่มีคำอธิบายประกอบเกือบหนึ่งล้านภาพ และโมเดลที่เป็นไปได้ ~3.14 ล้านโมเดลที่คัดสรรผ่านกระบวนการ human-in-the-loop SAM 3D Body ได้รับการฝึกอบรมจากภาพประมาณ 8 ล้านภาพ
• เกณฑ์มาตรฐาน: การทดสอบความพึงพอใจของมนุษย์แสดงให้เห็นว่า SAM 3D Objects ชนะอย่างน้อยห้าต่อหนึ่งเมื่อเทียบกับวิธีการชั้นนำในประเภทที่หลากหลาย
• ความเปิดกว้าง: Meta กำลังแชร์จุดตรวจสอบโมเดลและโค้ดอนุมานสำหรับการทดลอง โครงกระดูกมนุษย์ MHR เป็นโอเพนซอร์ส ทำให้สามารถใช้โครงกระดูกที่สอดคล้องกันและกำหนดเป้าหมายใหม่ได้ง่ายขึ้นในเครื่องมือต่างๆ

แอปพลิเคชันในโลกแห่งความเป็นจริงที่เกิดขึ้นแล้ว#

• ตัวอย่าง Marketplace: SAM 3D ขับเคลื่อน "View in Room" ช่วยให้ผู้ซื้อเห็นภาพรายการได้ทันที
• AR และการประมวลผลเชิงพื้นที่: การสร้าง 3 มิติในทันทีช่วยกระตุ้นการลอง การวางแผนภายใน และประสบการณ์ AR บนมือถือโดยไม่ต้องจับภาพระดับสตูดิโอ
• ภาพยนตร์และทีวี: Previz และการผลิตเสมือนจริงได้รับประโยชน์จากอุปกรณ์ประกอบฉากและตัวแทนตัวละครอย่างรวดเร็วเพื่อทดสอบการบล็อกและการจัดแสง
• หุ่นยนต์และการวิจัย: ความเข้าใจวัตถุอย่างรวดเร็วช่วยในการจำลองและการทดลองการรับรู้
• กีฬาและสุขภาพ: การประเมินท่าทางและมนุษย์ที่ติดตั้งจะปลดล็อกเครื่องมือฝึกสอนและต้นแบบการวิเคราะห์การเคลื่อนไหว พร้อมการกำกับดูแลที่เหมาะสม

สัญญาณแผนงานและแรงผลักดันของระบบนิเวศ#

จาก SAM ไปจนถึง SAM 3 ไปจนถึง SAM 3D เส้นทางที่ต่อเนื่องคือการรับรู้ทั่วไปที่ถ่ายทอดข้ามงานต่างๆ เมื่อจับคู่กับ Data Engine ที่ปรับขนาดได้และสินทรัพย์แบบเปิด เช่น MHR SAM 3D ดูเหมือนจะปรับปรุงอย่างต่อเนื่อง ความละเอียดที่ดีขึ้น การให้เหตุผลหลายวัตถุ ปฏิสัมพันธ์ระหว่างมนุษย์กับวัตถุที่สมบูรณ์ยิ่งขึ้น และการส่งออกที่สอดคล้องกันและเป็นมิตรกับเครื่องมือมากขึ้น การตอบสนองของอุตสาหกรรม ตั้งแต่ประกาศ LinkedIn ไปจนถึงบล็อกของนักพัฒนา แสดงให้เห็นถึงความสนใจอย่างมากในการรวม SAM 3D เข้ากับแอป เครื่องมือออกแบบ และไปป์ไลน์สร้างสรรค์

คำถามที่พบบ่อยเกี่ยวกับ SAM 3D#

• SAM 3D คืออะไร SAM 3D คือโมเดลคู่จาก Meta AI ที่สร้างวัตถุ 3 มิติและรูปร่างมนุษย์จากภาพ 2 มิติเดียว ออกแบบมาให้ยึดโยงกับภาพถ่ายทั่วไป

• SAM 3D แตกต่างจาก SAM และ SAM 2 อย่างไร SAM และ SAM 2 มุ่งเน้นไปที่การแบ่งส่วนและการติดตาม SAM 3 นำเสนอสแต็กการรับรู้ที่เป็นหนึ่งเดียว SAM 3D ขยายสิ่งนี้เพื่อสร้างโมเดลและโครงกระดูกจากภาพ

• SAM 3D สามารถแทนที่ photogrammetry ได้หรือไม่ ไม่ใช่สำหรับการสแกนที่มีความเที่ยงตรงสูงสุด SAM 3D เหมาะอย่างยิ่งสำหรับความเร็ว การทำซ้ำ และการสร้างแนวคิด สำหรับสินทรัพย์หลัก ให้เริ่มต้นด้วย SAM 3D และปรับแต่ง หรือรวมกับวิธีการดั้งเดิม

• SAM 3D ทำงานกับการบดบังและความรกได้หรือไม่ ใช่ SAM 3D ได้รับการฝึกฝนสำหรับภาพถ่ายทั่วไป รวมถึงการมองเห็นบางส่วนและฉากที่วุ่นวาย

• ฉันสามารถส่งออกจาก SAM 3D ในรูปแบบใดได้บ้าง คาดหวังรูปแบบ 3 มิติทั่วไปที่เหมาะสำหรับเครื่องมือและเอ็นจิ้น DCC ตรวจสอบ Playground และ repo สำหรับตัวเลือกปัจจุบัน

• SAM 3D เป็นโอเพนซอร์สหรือไม่ Meta กำลังแชร์จุดตรวจสอบโมเดลและโค้ดอนุมาน โครงกระดูกมนุษย์ MHR เป็นโอเพนซอร์ส ตรวจสอบที่เก็บอย่างเป็นทางการสำหรับใบอนุญาตและการใช้งาน

• ฉันจะลองใช้ SAM 3D ได้ที่ไหน Segment Anything Playground นำเสนอการทดลองภาคปฏิบัติกับ SAM 3D Objects และ SAM 3D Body

รายการตรวจสอบเริ่มต้นอย่างรวดเร็วสำหรับครีเอเตอร์#

• ตัดสินใจ: Objects หรือ Body เลือกโหมด SAM 3D ที่เหมาะกับงานของคุณ
• เตรียม: ใช้ภาพที่คมชัด มาสก์อย่างหมดจด
• สร้าง: สร้างโมเดลใน Playground
• ส่งออก: นำผลลัพธ์เข้าสู่ Blender, Unreal หรือ Unity
• ปรับแต่ง: ปรับค่าปกติให้เรียบ เพิ่มรายละเอียด และกำหนดเป้าหมายใหม่ตามต้องการ
• ส่งมอบ: แสดงตัวอย่างใน AR หรือเรนเดอร์เพื่อขออนุมัติจากลูกค้า

แหล่งที่มาและการอ่านเพิ่มเติม#

• ประกาศและภาพรวมทางเทคนิคของ Meta AI เกี่ยวกับ SAM 3D และระบบนิเวศ Segment Anything
• การวิเคราะห์ Ultralytics เกี่ยวกับแนวทางการรับรู้ที่เป็นหนึ่งเดียวของ SAM 3 และ SAM 3D
• มุมมองของอุตสาหกรรม AR เกี่ยวกับวิธีที่ SAM 3D เร่งเนื้อหา AR และประสบการณ์อีคอมเมิร์ซ
• การรายงานข่าวของ AI ที่สรุปความสามารถและประสิทธิภาพ
• การสนทนาและการประกาศของชุมชนที่บ่งบอกถึงความสนใจอย่างมากในอุตสาหกรรมสร้างสรรค์

SAM 3D เปลี่ยนภาพถ่ายทั่วไปให้เป็นสินทรัพย์ 3 มิติที่ใช้งานได้จริง ไม่ว่าคุณจะเป็นผู้สร้างเดี่ยวหรือเป็นส่วนหนึ่งของไปป์ไลน์สตูดิโอ ก็เป็นตัวคูณแรง: การสร้างแนวคิดที่เร็วขึ้น การสื่อสารกับลูกค้าที่ดีขึ้น และเส้นทางที่ราบรื่นยิ่งขึ้นจากแนวคิดไปสู่ภาพที่น่าดึงดูดใจ