Trellis
Un Marco Unificado, de Alta Fidelidad y Multi-Formato para la Generación de Activos 3D impulsado por Trellis
Trellis representa un salto monumental en el campo de la creación de contenido 3D. Desarrollado por investigadores de Microsoft Research (MSRA) y HKU, el modelo Trellis introduce un enfoque revolucionario para generar activos 3D de alta calidad a partir de imágenes individuales o indicaciones textuales. A diferencia de los métodos de generación anteriores que tienen problemas con la topología o la velocidad, Trellis utiliza una arquitectura de Difusión Latente Estructurada (SLAT) para garantizar que cada activo generado por Trellis mantenga una geometría y textura de calidad profesional. Como piedra angular de la biblioteca de modelos Story321, Trellis permite a los creadores evitar los cuellos de botella del modelado tradicional. Ya sea que esté construyendo un entorno de juego basado en Trellis o una experiencia de realidad virtual impulsada por Trellis, el marco Trellis proporciona la precisión y la versatilidad necesarias para la producción digital moderna. El ecosistema Trellis está diseñado para ser la solución definitiva para la síntesis 3D de alta fidelidad en la era de la IA.
¿Qué es el Modelo Trellis?
Trellis es un modelo generativo 3D de última generación que aprovecha el pre-entrenamiento a gran escala en un conjunto de datos masivo de más de 500,000 objetos 3D. En esencia, Trellis se basa en una arquitectura Rectified Flow Transformer, que se escala hasta 2 mil millones e incluso 4 mil millones de parámetros en su iteración Trellis.2. La innovación central de Trellis radica en su capacidad para mapear características visuales en un espacio latente estructurado (SLAT), que Trellis luego usa para decodificar en múltiples representaciones 3D simultáneamente. Trellis no solo genera una malla simple; puede generar Gaussian Splatting 3D (3DGS), Campos de Radiancia y Mallas de alta resolución, todo desde el mismo código latente de Trellis. Este enfoque unificado hace que Trellis sea excepcionalmente capaz de manejar topologías complejas y geometrías no múltiples que otros modelos a menudo no pueden representar. Al integrar representaciones avanzadas de O-Voxel, Trellis asegura que incluso los detalles más intrincados de un modelo Trellis se conserven con precisión quirúrgica.
Trellis ofrece generación unificada de Gaussianas 3D, Mallas y Campos de Radiancia.
Trellis emplea un Rectified Flow Transformer de parámetros 2B-4B para un razonamiento superior.
Trellis logra una inferencia feed-forward ultrarrápida sin optimización por instancia.
Visión ArtificialSíntesis 3DRenderizado Neuronal
Características Técnicas Centrales de Trellis
Dentro del Motor Trellis: Innovación a Escala
SLAT: Espacio Latente Estructurado
La arquitectura SLAT de Trellis es el secreto de su éxito. Trellis organiza los datos 3D en una cuadrícula estructurada que equilibra la estructura global con el detalle local, lo que permite a Trellis mantener la coherencia en diferentes vistas.
Decodificación Unificada de Trellis
Una sola ejecución de inferencia de Trellis se puede decodificar en diferentes formatos. Esto significa que los usuarios de Trellis pueden cambiar entre Malla y 3DGS sin volver a ejecutar el pesado proceso de difusión de Trellis, lo que ahorra enormes recursos computacionales.
Pre-entrenamiento a Gran Escala de Trellis
Trellis está entrenado en un corpus diverso de datos 3D, lo que permite a Trellis comprender una amplia gama de categorías, desde personajes orgánicos hasta piezas mecánicas de superficie dura. La base de conocimiento de Trellis es verdaderamente de clase mundial.
Edición Interactiva de Trellis
Trellis permite manipulaciones en el espacio latente, lo que significa que puede realizar ediciones locales basadas en Trellis o generar variaciones de un modelo Trellis simplemente ajustando los parámetros de entrada o la semilla latente de Trellis.
Cómo Opera la Canalización de Trellis
De Imagen a Trellis 3D: Un Desglose Paso a Paso
1
Codificación de Características de Trellis
Trellis comienza tomando una imagen de entrada y pasándola a través de un codificador visual (como DINOv2). Trellis luego proyecta estas características en una cuadrícula dispersa 3D, inicializando el espacio latente estructurado de Trellis.
2
Coincidencia de Flujo de Trellis
El Rectified Flow Transformer de Trellis realiza la eliminación de ruido dentro del espacio latente. A través de una serie de pasos de inferencia de Trellis, el modelo refina la estructura 3D, asegurando que la salida de Trellis se alinee perfectamente con la indicación de entrada.
3
Realización de Activos de Trellis
Una vez que el latente de Trellis está finalizado, los decodificadores especializados de Trellis transforman los datos en un formato 3D utilizable. Ya sea una Malla de Trellis o un Gaussian Splat de Trellis, la salida final está lista para su implementación inmediata.
Aplicaciones del Mundo Real de Trellis
Empoderando Industrias con la Tecnología 3D de Trellis
Trellis en el Desarrollo de Juegos
Los estudios de juegos utilizan Trellis para automatizar la creación de activos y accesorios de fondo. Trellis reduce significativamente el costo por activo, lo que permite que las canalizaciones impulsadas por Trellis escalen la producción de contenido exponencialmente.
Trellis para el Comercio Electrónico
Los minoristas utilizan Trellis para convertir fotos de productos en modelos 3D interactivos. Trellis proporciona a los clientes una vista de 360 grados de los productos, mejorando la experiencia de compra impulsada por Trellis y reduciendo las tasas de devolución.
Trellis en el Metaverso
Trellis es la herramienta perfecta para construir mundos virtuales. Al usar Trellis para generar entornos y avatares, los creadores pueden poblar espacios digitales basados en Trellis con contenido 3D diverso y de alta calidad en minutos.
Preguntas Frecuentes sobre Trellis
Profundizando su Comprensión del Ecosistema Trellis
¿Cuáles son los requisitos de hardware para Trellis?
Trellis es un modelo a gran escala. Si bien la inferencia básica de Trellis puede ejecutarse en una GPU de 16 GB de VRAM (como una RTX 3090), los modelos Trellis-X-Large o Trellis.2 completos funcionan mejor en hardware de 24 GB+ de VRAM para manejar el procesamiento latente profundo de Trellis.
¿Cómo se compara Trellis con otros modelos de IA 3D como Tripo o Rodin?
Trellis destaca debido a su arquitectura SLAT y su salida multi-formato. A diferencia de los modelos que se centran solo en mallas, Trellis proporciona un marco Trellis más flexible que incluye Gaussianas 3D y Campos de Radiancia con mayor precisión topológica.
¿Puede Trellis generar modelos 3D a partir de texto?
Sí, Trellis admite texto a 3D a través de su sistema de incrustación Trellis multi-modal. Puede describir un objeto, y Trellis sintetizará un activo Trellis 3D correspondiente que siga sus instrucciones textuales con precisión.
¿Es el modelo Trellis de código abierto?
Microsoft ha publicado la investigación y el código de Trellis para fines académicos. La comunidad de Trellis está construyendo activamente complementos para llevar las capacidades de Trellis a software como Blender y Unreal Engine.
Experimente el Poder de Trellis Hoy
Únase a la revolución 3D con el modelo Trellis en Story321. Comience a generar activos Trellis de alta fidelidad y transforme su visión creativa en una realidad Trellis 3D con solo un clic.