Trellis
เฟรมเวิร์กการสร้างชิ้นงาน 3D แบบครบวงจร ความละเอียดสูง และหลากหลายรูปแบบ ขับเคลื่อนโดย Trellis
Trellis แสดงถึงก้าวกระโดดครั้งสำคัญในด้านการสร้างเนื้อหา 3D พัฒนาโดยนักวิจัยจาก Microsoft Research (MSRA) และ HKU โมเดล Trellis นำเสนอแนวทางปฏิวัติในการสร้างชิ้นงาน 3D คุณภาพสูงจากภาพเดียวหรือข้อความแจ้งเตือน ต่างจากวิธีการสร้างก่อนหน้านี้ที่ต้องดิ้นรนกับโทโพโลยีหรือความเร็ว Trellis ใช้สถาปัตยกรรม Structured Latent Diffusion (SLAT) เพื่อให้มั่นใจว่าทุกชิ้นงานที่สร้างโดย Trellis จะรักษาเรขาคณิตและพื้นผิวระดับมืออาชีพ ในฐานะที่เป็นรากฐานสำคัญของไลบรารีโมเดล Story321 Trellis ช่วยให้ผู้สร้างสามารถหลีกเลี่ยงปัญหาคอขวดในการสร้างโมเดลแบบเดิมๆ ไม่ว่าคุณจะสร้างสภาพแวดล้อมเกมที่ใช้ Trellis หรือประสบการณ์ VR ที่ขับเคลื่อนด้วย Trellis เฟรมเวิร์ก Trellis มอบความแม่นยำและความอเนกประสงค์ที่จำเป็นสำหรับการผลิตดิจิทัลสมัยใหม่ ระบบนิเวศ Trellis ได้รับการออกแบบมาให้เป็นโซลูชันที่ชัดเจนสำหรับการสังเคราะห์ 3D ความละเอียดสูงในยุค AI
โมเดล Trellis คืออะไร
Trellis เป็นโมเดลสร้าง 3D ที่ล้ำสมัย ซึ่งใช้ประโยชน์จากการฝึกอบรมล่วงหน้าขนาดใหญ่บนชุดข้อมูลขนาดใหญ่ที่มีวัตถุ 3D มากกว่า 500,000 รายการ หัวใจสำคัญของ Trellis สร้างขึ้นบนสถาปัตยกรรม Rectified Flow Transformer ซึ่งปรับขนาดได้ถึง 2 พันล้านและ 4 พันล้านพารามิเตอร์ใน Trellis.2 iteration นวัตกรรมหลักของ Trellis อยู่ที่ความสามารถในการแมปคุณสมบัติทางภาพลงในพื้นที่แฝงที่มีโครงสร้าง (SLAT) ซึ่ง Trellis ใช้ในการถอดรหัสเป็นตัวแทน 3D หลายรายการพร้อมกัน Trellis ไม่ได้ส่งออกเพียงแค่ตาข่ายธรรมดาๆ เท่านั้น แต่ยังสามารถสร้าง 3D Gaussian Splatting (3DGS), Radiance Fields และ Meshes ความละเอียดสูง ทั้งหมดนี้มาจากรหัสแฝง Trellis เดียวกัน แนวทางที่เป็นเอกภาพนี้ทำให้ Trellis มีความสามารถเฉพาะตัวในการจัดการกับโทโพโลยีที่ซับซ้อนและเรขาคณิตที่ไม่ใช่แมนิโฟลด์ที่โมเดลอื่นๆ มักไม่สามารถแสดงได้ ด้วยการรวมการแสดง O-Voxel ขั้นสูง Trellis ช่วยให้มั่นใจได้ว่าแม้แต่รายละเอียดที่ซับซ้อนที่สุดของโมเดล Trellis จะได้รับการเก็บรักษาไว้ด้วยความแม่นยำระดับศัลยกรรม
Trellis นำเสนอการสร้าง 3D Gaussians, Meshes และ Radiance Fields แบบครบวงจร
Trellis ใช้ Rectified Flow Transformer พารามิเตอร์ 2B-4B เพื่อการให้เหตุผลที่เหนือกว่า
Trellis บรรลุการอนุมานแบบป้อนไปข้างหน้าที่รวดเร็วปานสายฟ้าโดยไม่ต้องมีการเพิ่มประสิทธิภาพต่ออินสแตนซ์
Computer Vision3D SynthesisNeural Rendering
คุณสมบัติทางเทคนิคหลักของ Trellis
ภายในเอ็นจิน Trellis: นวัตกรรมในระดับสเกล
SLAT: พื้นที่แฝงที่มีโครงสร้าง
สถาปัตยกรรม Trellis SLAT คือเคล็ดลับสู่ความสำเร็จ Trellis จัดระเบียบข้อมูล 3D ลงในตารางที่มีโครงสร้างซึ่งสร้างสมดุลระหว่างโครงสร้างส่วนกลางกับรายละเอียดในท้องถิ่น ทำให้ Trellis รักษาความสอดคล้องในมุมมองต่างๆ ได้
การถอดรหัส Trellis แบบครบวงจร
การรันการอนุมาน Trellis ครั้งเดียวสามารถถอดรหัสเป็นรูปแบบต่างๆ ได้ ซึ่งหมายความว่าผู้ใช้ Trellis สามารถสลับระหว่าง Mesh และ 3DGS ได้โดยไม่ต้องรันกระบวนการแพร่กระจาย Trellis ที่หนักหน่วงอีกครั้ง ซึ่งช่วยประหยัดทรัพยากรการคำนวณจำนวนมาก
การฝึกอบรมล่วงหน้าขนาดใหญ่ของ Trellis
Trellis ได้รับการฝึกฝนบนคลังข้อมูล 3D ที่หลากหลาย ทำให้ Trellis เข้าใจหมวดหมู่ที่หลากหลาย ตั้งแต่ตัวละครออร์แกนิกไปจนถึงชิ้นส่วนเครื่องจักรกลพื้นผิวแข็ง ฐานความรู้ของ Trellis เป็นระดับโลกอย่างแท้จริง
การแก้ไข Trellis แบบโต้ตอบ
Trellis อนุญาตให้มีการจัดการพื้นที่แฝง ซึ่งหมายความว่าคุณสามารถทำการแก้ไขในพื้นที่ที่ใช้ Trellis หรือสร้างรูปแบบต่างๆ ของโมเดล Trellis ได้โดยเพียงแค่ปรับพารามิเตอร์อินพุตหรือ Trellis latent seed
ไปป์ไลน์ Trellis ทำงานอย่างไร
จากภาพสู่ Trellis 3D: การแบ่งย่อยทีละขั้นตอน
1
การเข้ารหัสคุณสมบัติ Trellis
Trellis เริ่มต้นด้วยการนำภาพอินพุตและส่งผ่านตัวเข้ารหัสภาพ (เช่น DINOv2) จากนั้น Trellis จะฉายคุณสมบัติเหล่านี้ลงในตารางกระจัดกระจาย 3D ซึ่งเริ่มต้นพื้นที่แฝงที่มีโครงสร้าง Trellis
2
การจับคู่โฟลว์ Trellis
Trellis Rectified Flow Transformer ทำการลดสัญญาณรบกวนภายในพื้นที่แฝง ผ่านชุดขั้นตอนการอนุมาน Trellis โมเดลจะปรับโครงสร้าง 3D ให้เหมาะสม ทำให้มั่นใจได้ว่าเอาต์พุต Trellis สอดคล้องกับข้อความแจ้งอินพุตอย่างสมบูรณ์แบบ
3
การทำให้เป็นจริงของชิ้นงาน Trellis
เมื่อ Trellis latent เสร็จสิ้น ตัวถอดรหัส Trellis เฉพาะจะแปลงข้อมูลเป็นรูปแบบ 3D ที่ใช้งานได้ ไม่ว่าจะเป็น Trellis Mesh หรือ Trellis Gaussian Splat เอาต์พุตสุดท้ายก็พร้อมสำหรับการใช้งานทันที
แอปพลิเคชันในโลกแห่งความเป็นจริงของ Trellis
เสริมศักยภาพให้อุตสาหกรรมด้วยเทคโนโลยี Trellis 3D
Trellis ในการพัฒนาเกม
สตูดิโอเกมใช้ Trellis เพื่อทำให้การสร้างชิ้นงานพื้นหลังและอุปกรณ์ประกอบฉากเป็นไปโดยอัตโนมัติ Trellis ช่วยลดต้นทุนต่อชิ้นงานได้อย่างมาก ทำให้ไปป์ไลน์ที่ขับเคลื่อนด้วย Trellis สามารถปรับขนาดการผลิตเนื้อหาได้อย่างทวีคูณ
Trellis สำหรับ E-Commerce
ผู้ค้าปลีกใช้ Trellis เพื่อเปลี่ยนรูปภาพผลิตภัณฑ์ให้เป็นโมเดล 3D แบบโต้ตอบ Trellis มอบมุมมองผลิตภัณฑ์ 360 องศาแก่ลูกค้า ปรับปรุงประสบการณ์การช็อปปิ้งที่ขับเคลื่อนด้วย Trellis และลดอัตราการคืนสินค้า
Trellis ใน Metaverse
Trellis เป็นเครื่องมือที่สมบูรณ์แบบสำหรับการสร้างโลกเสมือนจริง ด้วยการใช้ Trellis เพื่อสร้างสภาพแวดล้อมและอวตาร ผู้สร้างสามารถเติมพื้นที่ดิจิทัลที่ใช้ Trellis ด้วยเนื้อหา 3D ที่หลากหลายและมีคุณภาพสูงได้ในไม่กี่นาที
คำถามที่พบบ่อยเกี่ยวกับ Trellis
ทำความเข้าใจระบบนิเวศ Trellis ของคุณให้ลึกซึ้งยิ่งขึ้น
ข้อกำหนดด้านฮาร์ดแวร์สำหรับ Trellis คืออะไร
Trellis เป็นโมเดลขนาดใหญ่ ในขณะที่การอนุมาน Trellis ขั้นพื้นฐานสามารถทำงานบน GPU VRAM 16GB (เช่น RTX 3090) ได้ โมเดล Trellis-X-Large หรือ Trellis.2 แบบเต็มจะทำงานได้ดีที่สุดบนฮาร์ดแวร์ VRAM 24GB+ เพื่อจัดการกับการประมวลผล Trellis latent ที่ลึกซึ้ง
Trellis เปรียบเทียบกับโมเดล AI 3D อื่นๆ เช่น Tripo หรือ Rodin ได้อย่างไร
Trellis โดดเด่นเนื่องจากสถาปัตยกรรม SLAT และเอาต์พุตหลายรูปแบบ ต่างจากโมเดลที่เน้นเฉพาะตาข่าย Trellis มอบเฟรมเวิร์ก Trellis ที่ยืดหยุ่นกว่า ซึ่งรวมถึง 3D Gaussians และ Radiance Fields ที่มีความแม่นยำทางโทโพโลยีสูงกว่า
Trellis สามารถสร้างโมเดล 3D จากข้อความได้หรือไม่
ได้ Trellis รองรับ text-to-3D ผ่านระบบฝัง Trellis แบบหลายรูปแบบ คุณสามารถอธิบายวัตถุ และ Trellis จะสังเคราะห์ชิ้นงาน Trellis 3D ที่สอดคล้องกันซึ่งเป็นไปตามคำแนะนำที่เป็นข้อความของคุณอย่างแม่นยำ
โมเดล Trellis เป็นโอเพนซอร์สหรือไม่
Microsoft ได้เปิดตัวการวิจัยและโค้ด Trellis เพื่อวัตถุประสงค์ทางวิชาการ ชุมชน Trellis กำลังสร้างปลั๊กอินอย่างแข็งขันเพื่อนำความสามารถของ Trellis มาสู่ซอฟต์แวร์ เช่น Blender และ Unreal Engine
สัมผัสพลังของ Trellis วันนี้
เข้าร่วมการปฏิวัติ 3D ด้วยโมเดล Trellis บน Story321 เริ่มสร้างชิ้นงาน Trellis ความละเอียดสูงและเปลี่ยนวิสัยทัศน์สร้างสรรค์ของคุณให้เป็นความเป็นจริงของ Trellis 3D ได้ด้วยคลิกเดียว