Noticias IA

Rompiendo los Límites de la Generación 3D: Una Mirada Profunda a TRELLIS.2 de Microsoft

Autor: Equipo de Story3213 min de lectura
Rompiendo los Límites de la Generación 3D: Una Mirada Profunda a TRELLIS.2 de Microsoft
Tabla de Contenidos

En el campo de la creación de contenido 3D, los modelos generativos eficientes y de alta calidad siempre han sido un objetivo clave para los investigadores. El modelo TRELLIS.2 de Microsoft, recientemente liberado como código abierto, aporta un progreso innovador a la generación 3D con su arquitectura técnica innovadora y su rendimiento excepcional.

Pruébalo

¿Qué es TRELLIS.2?

TRELLIS.2 es un modelo generativo 3D a gran escala con 4 mil millones de parámetros, diseñado específicamente para la generación de alta fidelidad de imagen a 3D. El avance central de este modelo radica en la introducción de una nueva representación de vóxeles dispersos llamada "O-Voxel", que transforma fundamentalmente el flujo de trabajo tradicional de generación 3D.

Características Técnicas Clave

🚀 Eficiencia y Calidad de Generación Excepcionales

TRELLIS.2 logra un equilibrio perfecto entre la velocidad de generación y la calidad:

ResoluciónTiempo TotalGeneración de FormaGeneración de Material
512³~3 segundos2 segundos1 segundo
1024³~17 segundos10 segundos7 segundos
1536³~60 segundos35 segundos25 segundos

Probado en GPU NVIDIA H100

🔄 Representación O-Voxel Revolucionaria

Las representaciones de campo de iso-superficie tradicionales tienen limitaciones al manejar estructuras complejas, pero la tecnología O-Voxel rompe estas restricciones:

  • Manejo de Superficies Abiertas: Procesa perfectamente estructuras no cerradas como ropa y hojas
  • Soporte de Geometría No-Manifold: Maneja topologías complejas sin conversiones engorrosas
  • Preservación de la Estructura Interna: Mantiene completamente los detalles de las estructuras internas encerradas

🎨 Soporte Completo de Materiales PBR

A diferencia de los modelos que solo generan colores básicos, TRELLIS.2 admite materiales completos de Renderizado Basado Físicamente (PBR):

  • Color Base
  • Rugosidad
  • Metálico
  • Opacidad

⚡ Pipeline de Procesamiento Minimalista

TRELLIS.2 optimiza el pipeline de procesamiento de datos para conversiones casi instantáneas:

  • Malla Texturizada → O-Voxel: <10 segundos (CPU único)
  • O-Voxel → Malla Texturizada: <100 milisegundos (CUDA)

Innovaciones en la Arquitectura Técnica

Codificación VAE 3D Dispersa

El modelo utiliza un Autoencoder Variacional 3D disperso con submuestreo espacial de 16× para codificar activos 3D en un espacio latente compacto, sentando las bases para la generación posterior.

Arquitectura de Generación Basada en DiT

Emplea Transformadores de Difusión (DiT) estándar para una generación eficiente, lo que demuestra el poderoso potencial de las arquitecturas tradicionales con nuevas representaciones.

Posibles Aplicaciones

Los avances técnicos de TRELLIS.2 abren nuevas posibilidades para múltiples campos:

  1. Desarrollo de Juegos: Generación rápida de activos 3D de alta calidad
  2. Realidad Virtual: Creación en tiempo real de entornos inmersivos
  3. Diseño Industrial: Prototipado y visualización rápidos
  4. Producción Cinematográfica: Generación eficiente de activos de efectos especiales

Ecosistema de Código Abierto

El proyecto está construido sobre varias bibliotecas especializadas de alto rendimiento:

  • O-Voxel: Biblioteca central de procesamiento de representación
  • FlexGEMM: Convolución dispersa eficiente basada en Triton
  • CuMesh: Utilidades de procesamiento de mallas aceleradas por CUDA

Conclusión

TRELLIS.2 representa un hito significativo en la tecnología de generación 3D. Su innovadora representación O-Voxel y su eficiente arquitectura de generación establecen nuevos estándares para la industria. Con la completa liberación del código y los modelos pre-entrenados, esta tecnología está preparada para acelerar el desarrollo en todo el campo de la creación de contenido 3D.

Para desarrolladores e investigadores, ahora es el momento perfecto para explorar y aprovechar esta poderosa herramienta. Ya sea para aplicaciones comerciales o investigación académica, TRELLIS.2 abre una nueva puerta a la generación automatizada de contenido 3D de alta calidad.

Dirección del Proyecto: https://github.com/microsoft/TRELLIS.2 Modelo Pre-entrenado: https://huggingface.co/microsoft/TRELLIS.2-4B

Empieza tu próxima creación

Da vida a tus ideas con Story321.

Try Trellis 2

Artículos relacionados