Dalam bidang pembuatan konten 3D, model generatif berkualitas tinggi dan efisien selalu menjadi tujuan utama bagi para peneliti. Model TRELLIS.2 yang baru saja dibuka sumbernya oleh Microsoft membawa kemajuan inovatif pada generasi 3D dengan arsitektur teknisnya yang inovatif dan kinerja yang luar biasa.
Apa itu TRELLIS.2?#
TRELLIS.2 adalah model generatif 3D skala besar dengan 4 miliar parameter, yang dirancang khusus untuk generasi gambar-ke-3D dengan fidelitas tinggi. Terobosan inti dari model ini terletak pada pengenalan representasi voxel jarang baru yang disebut "O-Voxel," yang secara fundamental mengubah alur kerja generasi 3D tradisional.
Fitur Teknis Utama#
🚀 Efisiensi dan Kualitas Generasi yang Luar Biasa#
TRELLIS.2 mencapai keseimbangan sempurna antara kecepatan dan kualitas generasi:
| Resolusi | Total Waktu | Pembuatan Bentuk | Pembuatan Material |
|---|---|---|---|
| 512³ | ~3 detik | 2 detik | 1 detik |
| 1024³ | ~17 detik | 10 detik | 7 detik |
| 1536³ | ~60 detik | 35 detik | 25 detik |
Diuji pada NVIDIA H100 GPU
🔄 Representasi O-Voxel Revolusioner#
Representasi bidang iso-permukaan tradisional memiliki keterbatasan saat menangani struktur kompleks, tetapi teknologi O-Voxel menembus batasan ini:
- Penanganan Permukaan Terbuka: Memproses struktur non-tertutup seperti pakaian dan daun dengan sempurna
- Dukungan Geometri Non-Manifold: Menangani topologi kompleks tanpa konversi yang rumit
- Preservasi Struktur Internal: Mempertahankan detail struktur tertutup internal sepenuhnya
🎨 Dukungan Material PBR Penuh#
Tidak seperti model yang hanya menghasilkan warna dasar, TRELLIS.2 mendukung material Physically-Based Rendering (PBR) lengkap:
- Warna Dasar
- Kekasaran
- Metalik
- Opasitas
⚡ Alur Pemrosesan Minimalis#
TRELLIS.2 mengoptimalkan alur pemrosesan data untuk konversi yang hampir instan:
- Mesh Bertekstur → O-Voxel: <10 detik (CPU tunggal)
- O-Voxel → Mesh Bertekstur: <100 milidetik (CUDA)
Inovasi Arsitektur Teknis#
Pengkodean VAE 3D Jarang#
Model ini menggunakan Variational Autoencoder 3D jarang dengan downsampling spasial 16× untuk menyandikan aset 3D ke dalam ruang laten yang ringkas, meletakkan dasar untuk generasi berikutnya.
Arsitektur Generasi Berbasis DiT#
Model ini menggunakan Diffusion Transformers (DiT) standar untuk generasi yang efisien, menunjukkan potensi kuat arsitektur tradisional dengan representasi baru.
Prospek Aplikasi#
Terobosan teknis TRELLIS.2 membuka kemungkinan baru untuk berbagai bidang:
- Pengembangan Game: Generasi cepat aset 3D berkualitas tinggi
- Realitas Virtual: Pembuatan lingkungan imersif secara real-time
- Desain Industri: Pembuatan prototipe dan visualisasi yang cepat
- Produksi Film: Generasi aset efek khusus yang efisien
Ekosistem Sumber Terbuka#
Proyek ini dibangun di atas beberapa pustaka khusus berperforma tinggi:
- O-Voxel: Pustaka pemrosesan representasi inti
- FlexGEMM: Konvolusi jarang yang efisien berdasarkan Triton
- CuMesh: Utilitas pemrosesan mesh yang dipercepat CUDA
Kesimpulan#
TRELLIS.2 mewakili tonggak penting dalam teknologi generasi 3D. Representasi O-Voxel yang inovatif dan arsitektur generasi yang efisien menetapkan standar baru untuk industri. Dengan pembukaan sumber kode dan model pra-pelatihan yang lengkap, teknologi ini siap untuk mempercepat pengembangan di seluruh bidang pembuatan konten 3D.
Bagi pengembang dan peneliti, sekarang adalah waktu yang tepat untuk menjelajahi dan memanfaatkan alat yang ampuh ini. Baik untuk aplikasi komersial atau penelitian akademis, TRELLIS.2 membuka pintu baru untuk generasi konten 3D berkualitas tinggi otomatis.
Alamat Proyek: https://github.com/microsoft/TRELLIS.2 Model Pra-pelatihan: https://huggingface.co/microsoft/TRELLIS.2-4B
