Trellis
Un framework unifié, haute fidélité et multi-format pour la génération d'actifs 3D, propulsé par Trellis
Trellis représente un bond en avant monumental dans le domaine de la création de contenu 3D. Développé par des chercheurs de Microsoft Research (MSRA) et HKU, le modèle Trellis introduit une approche révolutionnaire pour générer des actifs 3D de haute qualité à partir d'images uniques ou d'invites textuelles. Contrairement aux méthodes de génération précédentes qui luttent avec la topologie ou la vitesse, Trellis utilise une architecture de Diffusion Latente Structurée (SLAT) pour garantir que chaque actif généré par Trellis maintient une géométrie et une texture de qualité professionnelle. En tant que pierre angulaire de la bibliothèque de modèles Story321, Trellis permet aux créateurs de contourner les goulots d'étranglement de la modélisation traditionnelle. Que vous construisiez un environnement de jeu basé sur Trellis ou une expérience VR pilotée par Trellis, le framework Trellis offre la précision et la polyvalence requises pour la production numérique moderne. L'écosystème Trellis est conçu pour être la solution définitive pour la synthèse 3D haute fidélité à l'ère de l'IA.
Qu'est-ce que le modèle Trellis ?
Trellis est un modèle génératif 3D de pointe qui exploite le pré-entraînement à grande échelle sur un ensemble de données massif de plus de 500 000 objets 3D. Au cœur de son fonctionnement, Trellis est basé sur une architecture Rectified Flow Transformer, évoluant jusqu'à 2 milliards, voire 4 milliards de paramètres dans son itération Trellis.2. L'innovation principale de Trellis réside dans sa capacité à mapper les caractéristiques visuelles dans un espace latent structuré (SLAT), que Trellis utilise ensuite pour décoder en plusieurs représentations 3D simultanément. Trellis ne se contente pas de produire un simple maillage ; il peut générer des Gaussian Splatting 3D (3DGS), des Champs de Radiance et des Maillages haute résolution, le tout à partir du même code latent Trellis. Cette approche unifiée rend Trellis particulièrement capable de gérer des topologies complexes et des géométries non-manifold que d'autres modèles ne parviennent souvent pas à représenter. En intégrant des représentations O-Voxel avancées, Trellis garantit que même les détails les plus complexes d'un modèle Trellis sont préservés avec une précision chirurgicale.
Trellis offre une génération unifiée de Gaussiennes 3D, de Maillages et de Champs de Radiance.
Trellis utilise un Rectified Flow Transformer avec 2 à 4 milliards de paramètres pour un raisonnement supérieur.
Trellis réalise une inférence feed-forward ultra-rapide sans optimisation par instance.
Vision par ordinateurSynthèse 3DRendu neuronal
Fonctionnalités techniques clés de Trellis
À l'intérieur du moteur Trellis : L'innovation à grande échelle
SLAT : Espace Latent Structuré
L'architecture SLAT de Trellis est le secret de son succès. Trellis organise les données 3D dans une grille structurée qui équilibre la structure globale avec les détails locaux, permettant à Trellis de maintenir la cohérence entre les différentes vues.
Décodage Trellis Unifié
Une seule exécution d'inférence Trellis peut être décodée dans différents formats. Cela signifie que les utilisateurs de Trellis peuvent basculer entre Mesh et 3DGS sans relancer le processus de diffusion Trellis lourd, ce qui permet d'économiser d'énormes ressources de calcul.
Pré-entraînement Trellis à Grande Échelle
Trellis est entraîné sur un corpus diversifié de données 3D, ce qui lui permet de comprendre un large éventail de catégories, des personnages organiques aux pièces mécaniques à surface dure. La base de connaissances de Trellis est véritablement de classe mondiale.
Édition Trellis Interactive
Trellis permet des manipulations de l'espace latent, ce qui signifie que vous pouvez effectuer des modifications locales basées sur Trellis ou générer des variations d'un modèle Trellis en ajustant simplement les paramètres d'entrée ou la graine latente Trellis.
Comment fonctionne le pipeline Trellis
De l'image à Trellis 3D : Une décomposition étape par étape
1
Encodage des Caractéristiques Trellis
Trellis commence par prendre une image d'entrée et la faire passer par un encodeur visuel (comme DINOv2). Trellis projette ensuite ces caractéristiques dans une grille clairsemée 3D, initialisant l'espace latent structuré Trellis.
2
Correspondance de Flux Trellis
Le Rectified Flow Transformer Trellis effectue un débruitage dans l'espace latent. Grâce à une série d'étapes d'inférence Trellis, le modèle affine la structure 3D, garantissant que la sortie Trellis s'aligne parfaitement avec l'invite d'entrée.
3
Réalisation d'Actifs Trellis
Une fois que le latent Trellis est finalisé, des décodeurs Trellis spécialisés transforment les données en un format 3D utilisable. Qu'il s'agisse d'un Mesh Trellis ou d'un Gaussian Splat Trellis, la sortie finale est prête pour un déploiement immédiat.
Applications concrètes de Trellis
Donner aux industries les moyens d'utiliser la technologie Trellis 3D
Trellis dans le développement de jeux
Les studios de jeux utilisent Trellis pour automatiser la création d'actifs d'arrière-plan et d'accessoires. Trellis réduit considérablement le coût par actif, permettant aux pipelines alimentés par Trellis d'étendre la production de contenu de façon exponentielle.
Trellis pour le commerce électronique
Les détaillants utilisent Trellis pour transformer les photos de produits en modèles 3D interactifs. Trellis offre aux clients une vue à 360 degrés des produits, améliorant l'expérience d'achat pilotée par Trellis et réduisant les taux de retour.
Trellis dans le métavers
Trellis est l'outil idéal pour construire des mondes virtuels. En utilisant Trellis pour générer des environnements et des avatars, les créateurs peuvent peupler les espaces numériques basés sur Trellis avec un contenu 3D diversifié et de haute qualité en quelques minutes.
Foire aux questions sur Trellis
Approfondir votre compréhension de l'écosystème Trellis
Quelles sont les exigences matérielles pour Trellis ?
Trellis est un modèle à grande échelle. Bien que l'inférence Trellis de base puisse s'exécuter sur un GPU avec 16 Go de VRAM (comme une RTX 3090), les modèles Trellis-X-Large ou Trellis.2 complets fonctionnent mieux sur du matériel avec 24 Go+ de VRAM pour gérer le traitement latent Trellis profond.
Comment Trellis se compare-t-il à d'autres modèles d'IA 3D comme Tripo ou Rodin ?
Trellis se distingue par son architecture SLAT et sa sortie multi-format. Contrairement aux modèles qui se concentrent uniquement sur les maillages, Trellis fournit un framework Trellis plus flexible qui inclut des Gaussiennes 3D et des Champs de Radiance avec une plus grande précision topologique.
Trellis peut-il générer des modèles 3D à partir de texte ?
Oui, Trellis prend en charge le texte-vers-3D grâce à son système d'intégration Trellis multi-modal. Vous pouvez décrire un objet, et Trellis synthétisera un actif Trellis 3D correspondant qui suit précisément vos instructions textuelles.
Le modèle Trellis est-il open source ?
Microsoft a publié la recherche et le code Trellis à des fins académiques. La communauté Trellis construit activement des plugins pour intégrer les capacités de Trellis dans des logiciels comme Blender et Unreal Engine.
Découvrez la puissance de Trellis dès aujourd'hui
Rejoignez la révolution 3D avec le modèle Trellis sur Story321. Commencez à générer des actifs Trellis haute fidélité et transformez votre vision créative en une réalité Trellis 3D en un seul clic.