Trellis
Uma Estrutura Unificada, de Alta Fidelidade e Multi-Formato para Geração de Ativos 3D, impulsionada por Trellis
Trellis representa um salto monumental no campo da criação de conteúdo 3D. Desenvolvido por pesquisadores da Microsoft Research (MSRA) e HKU, o modelo Trellis introduz uma abordagem revolucionária para gerar ativos 3D de alta qualidade a partir de imagens únicas ou prompts textuais. Ao contrário dos métodos de geração anteriores que lutam com topologia ou velocidade, Trellis utiliza uma arquitetura de Difusão Latente Estruturada (SLAT) para garantir que cada ativo gerado por Trellis mantenha geometria e textura de nível profissional. Como pedra angular da biblioteca de modelos Story321, Trellis capacita os criadores a contornar os gargalos de modelagem tradicionais. Seja você construindo um ambiente de jogo baseado em Trellis ou uma experiência de VR orientada por Trellis, a estrutura Trellis fornece a precisão e a versatilidade necessárias para a produção digital moderna. O ecossistema Trellis foi projetado para ser a solução definitiva para a síntese 3D de alta fidelidade na era da IA.
O que é o Modelo Trellis?
Trellis é um modelo generativo 3D de última geração que aproveita o pré-treinamento em larga escala em um conjunto de dados massivo de mais de 500.000 objetos 3D. Em sua essência, Trellis é construído sobre uma arquitetura Rectified Flow Transformer, escalando até 2 bilhões e até 4 bilhões de parâmetros em sua iteração Trellis.2. A principal inovação do Trellis reside em sua capacidade de mapear recursos visuais em um espaço latente estruturado (SLAT), que Trellis então usa para decodificar em múltiplas representações 3D simultaneamente. Trellis não apenas produz uma malha simples; ele pode gerar Gaussian Splatting 3D (3DGS), Campos de Radiação e Malhas de alta resolução, tudo a partir do mesmo código latente Trellis. Essa abordagem unificada torna o Trellis excepcionalmente capaz de lidar com topologias complexas e geometrias não manifold que outros modelos geralmente não conseguem representar. Ao integrar representações O-Voxel avançadas, Trellis garante que até os detalhes mais intrincados de um modelo Trellis sejam preservados com precisão cirúrgica.
Trellis oferece geração unificada de Gaussianas 3D, Malhas e Campos de Radiação.
Trellis emprega um Rectified Flow Transformer de parâmetro 2B-4B para um raciocínio superior.
Trellis alcança inferência feed-forward incrivelmente rápida sem otimização por instância.
Visão ComputacionalSíntese 3DRenderização Neural
Recursos Técnicos Essenciais do Trellis
Dentro do Motor Trellis: Inovação em Escala
SLAT: Espaço Latente Estruturado
A arquitetura Trellis SLAT é o segredo do seu sucesso. Trellis organiza dados 3D em uma grade estruturada que equilibra a estrutura global com detalhes locais, permitindo que Trellis mantenha a consistência entre diferentes visualizações.
Decodificação Trellis Unificada
Uma única execução de inferência Trellis pode ser decodificada em diferentes formatos. Isso significa que os usuários do Trellis podem alternar entre Mesh e 3DGS sem executar novamente o pesado processo de difusão Trellis, economizando enormes recursos computacionais.
Pré-treinamento Trellis em Larga Escala
Trellis é treinado em um corpus diversificado de dados 3D, permitindo que Trellis entenda uma ampla gama de categorias, de personagens orgânicos a peças mecânicas de superfície dura. A base de conhecimento de Trellis é verdadeiramente de classe mundial.
Edição Trellis Interativa
Trellis permite manipulações de espaço latente, o que significa que você pode realizar edições locais baseadas em Trellis ou gerar variações de um modelo Trellis simplesmente ajustando os parâmetros de entrada ou a semente latente Trellis.
Como o Pipeline Trellis Opera
Da Imagem ao Trellis 3D: Uma Análise Passo a Passo
1
Codificação de Recursos Trellis
Trellis começa pegando uma imagem de entrada e passando-a por um codificador visual (como DINOv2). Trellis então projeta esses recursos em uma grade esparsa 3D, inicializando o espaço latente estruturado Trellis.
2
Correspondência de Fluxo Trellis
O Trellis Rectified Flow Transformer realiza a remoção de ruído dentro do espaço latente. Através de uma série de etapas de inferência Trellis, o modelo refina a estrutura 3D, garantindo que a saída Trellis se alinhe perfeitamente com o prompt de entrada.
3
Realização de Ativos Trellis
Uma vez que o latente Trellis é finalizado, decodificadores Trellis especializados transformam os dados em um formato 3D utilizável. Seja uma Malha Trellis ou um Gaussian Splat Trellis, a saída final está pronta para implantação imediata.
Aplicações do Trellis no Mundo Real
Capacitando Indústrias com a Tecnologia Trellis 3D
Trellis no Desenvolvimento de Jogos
Estúdios de jogos usam Trellis para automatizar a criação de ativos de fundo e adereços. Trellis reduz significativamente o custo por ativo, permitindo que pipelines alimentados por Trellis escalem a produção de conteúdo exponencialmente.
Trellis para E-Commerce
Os varejistas usam Trellis para transformar fotos de produtos em modelos 3D interativos. Trellis fornece aos clientes uma visão de 360 graus dos produtos, aprimorando a experiência de compra orientada por Trellis e reduzindo as taxas de devolução.
Trellis no Metaverso
Trellis é a ferramenta perfeita para construir mundos virtuais. Ao usar Trellis para gerar ambientes e avatares, os criadores podem popular espaços digitais baseados em Trellis com conteúdo 3D diversificado e de alta qualidade em minutos.
Perguntas Frequentes sobre Trellis
Aprofundando Sua Compreensão do Ecossistema Trellis
Quais são os requisitos de hardware para Trellis?
Trellis é um modelo de grande escala. Embora a inferência básica de Trellis possa ser executada em uma GPU de 16 GB de VRAM (como uma RTX 3090), os modelos Trellis-X-Large ou Trellis.2 completos têm melhor desempenho em hardware de 24 GB+ de VRAM para lidar com o processamento latente profundo de Trellis.
Como Trellis se compara a outros modelos de IA 3D como Tripo ou Rodin?
Trellis se destaca devido à sua arquitetura SLAT e saída multi-formato. Ao contrário dos modelos que se concentram apenas em malhas, Trellis fornece uma estrutura Trellis mais flexível que inclui Gaussianas 3D e Campos de Radiação com maior precisão topológica.
Trellis pode gerar modelos 3D a partir de texto?
Sim, Trellis suporta texto para 3D através de seu sistema de incorporação Trellis multi-modal. Você pode descrever um objeto, e Trellis sintetizará um ativo Trellis 3D correspondente que segue suas instruções textuais precisamente.
O modelo Trellis é de código aberto?
A Microsoft lançou a pesquisa e o código Trellis para fins acadêmicos. A comunidade Trellis está ativamente construindo plugins para trazer as capacidades Trellis para softwares como Blender e Unreal Engine.
Experimente o Poder do Trellis Hoje
Junte-se à revolução 3D com o modelo Trellis no Story321. Comece a gerar ativos Trellis de alta fidelidade e transforme sua visão criativa em uma realidade Trellis 3D com apenas um clique.