En el campo de la creación de contenido 3D, los modelos generativos eficientes y de alta calidad siempre han sido un objetivo clave para los investigadores. El modelo TRELLIS.2 de Microsoft, recientemente liberado como código abierto, aporta un progreso innovador a la generación 3D con su arquitectura técnica innovadora y su rendimiento excepcional.
¿Qué es TRELLIS.2?#
TRELLIS.2 es un modelo generativo 3D a gran escala con 4 mil millones de parámetros, diseñado específicamente para la generación de alta fidelidad de imagen a 3D. El avance central de este modelo radica en la introducción de una nueva representación de vóxeles dispersos llamada "O-Voxel", que transforma fundamentalmente el flujo de trabajo tradicional de generación 3D.
Características Técnicas Clave#
🚀 Eficiencia y Calidad de Generación Excepcionales#
TRELLIS.2 logra un equilibrio perfecto entre la velocidad de generación y la calidad:
| Resolución | Tiempo Total | Generación de Forma | Generación de Material |
|---|---|---|---|
| 512³ | ~3 segundos | 2 segundos | 1 segundo |
| 1024³ | ~17 segundos | 10 segundos | 7 segundos |
| 1536³ | ~60 segundos | 35 segundos | 25 segundos |
Probado en GPU NVIDIA H100
🔄 Representación O-Voxel Revolucionaria#
Las representaciones de campo de iso-superficie tradicionales tienen limitaciones al manejar estructuras complejas, pero la tecnología O-Voxel rompe estas restricciones:
- Manejo de Superficies Abiertas: Procesa perfectamente estructuras no cerradas como ropa y hojas
- Soporte de Geometría No-Manifold: Maneja topologías complejas sin conversiones engorrosas
- Preservación de la Estructura Interna: Mantiene completamente los detalles de las estructuras internas encerradas
🎨 Soporte Completo de Materiales PBR#
A diferencia de los modelos que solo generan colores básicos, TRELLIS.2 admite materiales completos de Renderizado Basado Físicamente (PBR):
- Color Base
- Rugosidad
- Metálico
- Opacidad
⚡ Pipeline de Procesamiento Minimalista#
TRELLIS.2 optimiza el pipeline de procesamiento de datos para conversiones casi instantáneas:
- Malla Texturizada → O-Voxel: <10 segundos (CPU único)
- O-Voxel → Malla Texturizada: <100 milisegundos (CUDA)
Innovaciones en la Arquitectura Técnica#
Codificación VAE 3D Dispersa#
El modelo utiliza un Autoencoder Variacional 3D disperso con submuestreo espacial de 16× para codificar activos 3D en un espacio latente compacto, sentando las bases para la generación posterior.
Arquitectura de Generación Basada en DiT#
Emplea Transformadores de Difusión (DiT) estándar para una generación eficiente, lo que demuestra el poderoso potencial de las arquitecturas tradicionales con nuevas representaciones.
Posibles Aplicaciones#
Los avances técnicos de TRELLIS.2 abren nuevas posibilidades para múltiples campos:
- Desarrollo de Juegos: Generación rápida de activos 3D de alta calidad
- Realidad Virtual: Creación en tiempo real de entornos inmersivos
- Diseño Industrial: Prototipado y visualización rápidos
- Producción Cinematográfica: Generación eficiente de activos de efectos especiales
Ecosistema de Código Abierto#
El proyecto está construido sobre varias bibliotecas especializadas de alto rendimiento:
- O-Voxel: Biblioteca central de procesamiento de representación
- FlexGEMM: Convolución dispersa eficiente basada en Triton
- CuMesh: Utilidades de procesamiento de mallas aceleradas por CUDA
Conclusión#
TRELLIS.2 representa un hito significativo en la tecnología de generación 3D. Su innovadora representación O-Voxel y su eficiente arquitectura de generación establecen nuevos estándares para la industria. Con la completa liberación del código y los modelos pre-entrenados, esta tecnología está preparada para acelerar el desarrollo en todo el campo de la creación de contenido 3D.
Para desarrolladores e investigadores, ahora es el momento perfecto para explorar y aprovechar esta poderosa herramienta. Ya sea para aplicaciones comerciales o investigación académica, TRELLIS.2 abre una nueva puerta a la generación automatizada de contenido 3D de alta calidad.
Dirección del Proyecto: https://github.com/microsoft/TRELLIS.2 Modelo Pre-entrenado: https://huggingface.co/microsoft/TRELLIS.2-4B
