Im Bereich der 3D-Content-Erstellung waren hochwertige und effiziente generative Modelle schon immer ein Hauptziel für Forscher. Das von Microsoft neu als Open-Source veröffentlichte TRELLIS.2-Modell bringt mit seiner innovativen technischen Architektur und außergewöhnlichen Leistung bahnbrechende Fortschritte in der 3D-Generierung.
Was ist TRELLIS.2?#
TRELLIS.2 ist ein groß angelegtes generatives 3D-Modell mit 4 Milliarden Parametern, das speziell für die hochauflösende Bild-zu-3D-Generierung entwickelt wurde. Der zentrale Durchbruch dieses Modells liegt in der Einführung einer neuartigen spärlichen Voxel-Darstellung namens "O-Voxel", die den traditionellen 3D-Generierungs-Workflow grundlegend verändert.
Wichtige technische Merkmale#
🚀 Außergewöhnliche Generierungseffizienz und -qualität#
TRELLIS.2 erreicht ein perfektes Gleichgewicht zwischen Generierungsgeschwindigkeit und -qualität:
| Auflösung | Gesamtzeit | Formerzeugung | Materialerzeugung |
|---|---|---|---|
| 512³ | ~3 Sekunden | 2 Sekunden | 1 Sekunde |
| 1024³ | ~17 Sekunden | 10 Sekunden | 7 Sekunden |
| 1536³ | ~60 Sekunden | 35 Sekunden | 25 Sekunden |
Getestet auf NVIDIA H100 GPU
🔄 Revolutionäre O-Voxel-Darstellung#
Traditionelle Iso-Oberflächenfeld-Darstellungen haben Einschränkungen bei der Handhabung komplexer Strukturen, aber die O-Voxel-Technologie durchbricht diese Einschränkungen:
- Offene Oberflächenverarbeitung: Verarbeitet perfekt nicht-geschlossene Strukturen wie Kleidung und Blätter
- Unterstützung nicht-mannigfaltiger Geometrie: Verarbeitet komplexe Topologien ohne umständliche Konvertierungen
- Erhaltung der internen Struktur: Behält Details von internen, eingeschlossenen Strukturen vollständig bei
🎨 Volle PBR-Materialunterstützung#
Im Gegensatz zu Modellen, die nur Grundfarben generieren, unterstützt TRELLIS.2 vollständige Physically-Based Rendering (PBR)-Materialien:
- Grundfarbe
- Rauheit
- Metallisch
- Deckkraft
⚡ Minimalistische Verarbeitungspipeline#
TRELLIS.2 optimiert die Datenverarbeitungspipeline für nahezu sofortige Konvertierungen:
- Texturiertes Mesh → O-Voxel: <10 Sekunden (einzelne CPU)
- O-Voxel → Texturiertes Mesh: <100 Millisekunden (CUDA)
Technische Architekturinnovationen#
Sparse 3D VAE-Kodierung#
Das Modell verwendet einen spärlichen 3D Variational Autoencoder mit 16-fachem räumlichem Downsampling, um 3D-Assets in einen kompakten latenten Raum zu kodieren und so die Grundlage für die anschließende Generierung zu legen.
DiT-basierte Generierungsarchitektur#
Es verwendet Standard-Diffusionstransformatoren (DiT) für eine effiziente Generierung und demonstriert das große Potenzial traditioneller Architekturen mit neuen Darstellungen.
Anwendungsperspektiven#
Die technischen Durchbrüche von TRELLIS.2 eröffnen neue Möglichkeiten für verschiedene Bereiche:
- Spieleentwicklung: Schnelle Generierung hochwertiger 3D-Assets
- Virtuelle Realität: Echtzeit-Erstellung immersiver Umgebungen
- Industriedesign: Schnelles Prototyping und Visualisierung
- Filmproduktion: Effiziente Generierung von Spezialeffekt-Assets
Open-Source-Ökosystem#
Das Projekt basiert auf mehreren hochleistungsfähigen, spezialisierten Bibliotheken:
- O-Voxel: Kernbibliothek für die Verarbeitung von Darstellungen
- FlexGEMM: Effiziente spärliche Faltung basierend auf Triton
- CuMesh: CUDA-beschleunigte Mesh-Verarbeitungswerkzeuge
Fazit#
TRELLIS.2 stellt einen bedeutenden Meilenstein in der 3D-Generierungstechnologie dar. Seine innovative O-Voxel-Darstellung und effiziente Generierungsarchitektur setzen neue Maßstäbe für die Branche. Mit der vollständigen Open-Source-Veröffentlichung von Code und vortrainierten Modellen ist diese Technologie bereit, die Entwicklung im gesamten Bereich der 3D-Content-Erstellung zu beschleunigen.
Für Entwickler und Forscher ist jetzt der perfekte Zeitpunkt, dieses leistungsstarke Tool zu erkunden und zu nutzen. Ob für kommerzielle Anwendungen oder akademische Forschung, TRELLIS.2 öffnet eine neue Tür zur automatisierten, hochwertigen 3D-Content-Generierung.
Projektadresse: https://github.com/microsoft/TRELLIS.2
Vortrainiertes Modell: https://huggingface.co/microsoft/TRELLIS.2-4B
