Trellis
Un framework unificato, ad alta fedeltà e multiformato per la generazione di asset 3D, potenziato da Trellis
Trellis rappresenta un salto epocale nel campo della creazione di contenuti 3D. Sviluppato dai ricercatori di Microsoft Research (MSRA) e HKU, il modello Trellis introduce un approccio rivoluzionario alla generazione di asset 3D di alta qualità a partire da singole immagini o prompt testuali. A differenza dei precedenti metodi di generazione che faticano con la topologia o la velocità, Trellis utilizza un'architettura Structured Latent Diffusion (SLAT) per garantire che ogni asset generato da Trellis mantenga una geometria e una texture di livello professionale. Come pietra angolare della libreria di modelli Story321, Trellis consente ai creatori di aggirare i tradizionali colli di bottiglia della modellazione. Che tu stia costruendo un ambiente di gioco basato su Trellis o un'esperienza VR guidata da Trellis, il framework Trellis fornisce la precisione e la versatilità necessarie per la moderna produzione digitale. L'ecosistema Trellis è progettato per essere la soluzione definitiva per la sintesi 3D ad alta fedeltà nell'era dell'IA.
Cos'è il modello Trellis?
Trellis è un modello generativo 3D all'avanguardia che sfrutta il pre-addestramento su larga scala su un enorme set di dati di oltre 500.000 oggetti 3D. Nel suo cuore, Trellis è costruito su un'architettura Rectified Flow Transformer, scalando fino a 2 miliardi e persino 4 miliardi di parametri nella sua iterazione Trellis.2. L'innovazione principale di Trellis risiede nella sua capacità di mappare le caratteristiche visive in uno spazio latente strutturato (SLAT), che Trellis utilizza poi per decodificare in più rappresentazioni 3D simultaneamente. Trellis non si limita a produrre una semplice mesh; può generare Gaussian Splatting 3D (3DGS), Campi di Radianza e Mesh ad alta risoluzione, tutto dallo stesso codice latente di Trellis. Questo approccio unificato rende Trellis unicamente capace di gestire topologie complesse e geometrie non-manifold che altri modelli spesso non riescono a rappresentare. Integrando rappresentazioni O-Voxel avanzate, Trellis garantisce che anche i dettagli più intricati di un modello Trellis siano preservati con precisione chirurgica.
Trellis offre la generazione unificata di Gaussiane 3D, Mesh e Campi di Radianza.
Trellis impiega un Rectified Flow Transformer con 2B-4B parametri per un ragionamento superiore.
Trellis raggiunge un'inferenza feed-forward velocissima senza ottimizzazione per singola istanza.
Visione ArtificialeSintesi 3DRendering Neurale
Caratteristiche tecniche principali di Trellis
All'interno del motore Trellis: innovazione su vasta scala
SLAT: Spazio Latente Strutturato
L'architettura SLAT di Trellis è il segreto del suo successo. Trellis organizza i dati 3D in una griglia strutturata che bilancia la struttura globale con i dettagli locali, consentendo a Trellis di mantenere la coerenza tra diverse viste.
Decodifica unificata di Trellis
Una singola esecuzione di inferenza di Trellis può essere decodificata in diversi formati. Ciò significa che gli utenti di Trellis possono passare da Mesh a 3DGS senza rieseguire il pesante processo di diffusione di Trellis, risparmiando enormi risorse computazionali.
Pre-addestramento su larga scala di Trellis
Trellis è addestrato su un corpus diversificato di dati 3D, consentendo a Trellis di comprendere un'ampia gamma di categorie, dai personaggi organici alle parti meccaniche a superficie dura. La base di conoscenza di Trellis è davvero di livello mondiale.
Modifica interattiva di Trellis
Trellis consente manipolazioni nello spazio latente, il che significa che puoi eseguire modifiche locali basate su Trellis o generare variazioni di un modello Trellis semplicemente regolando i parametri di input o il seed latente di Trellis.
Come funziona la pipeline Trellis
Dall'immagine al Trellis 3D: una ripartizione passo dopo passo
1
Codifica delle caratteristiche di Trellis
Trellis inizia prendendo un'immagine di input e passandola attraverso un codificatore visivo (come DINOv2). Trellis proietta quindi queste caratteristiche in una griglia sparsa 3D, inizializzando lo spazio latente strutturato di Trellis.
2
Corrispondenza del flusso di Trellis
Il Rectified Flow Transformer di Trellis esegue il denoising all'interno dello spazio latente. Attraverso una serie di passaggi di inferenza di Trellis, il modello perfeziona la struttura 3D, garantendo che l'output di Trellis si allinei perfettamente con il prompt di input.
3
Realizzazione dell'asset Trellis
Una volta che il latente di Trellis è finalizzato, i decodificatori specializzati di Trellis trasformano i dati in un formato 3D utilizzabile. Che si tratti di una Mesh Trellis o di uno Splat Gaussiano Trellis, l'output finale è pronto per l'implementazione immediata.
Applicazioni reali di Trellis
Potenziare le industrie con la tecnologia Trellis 3D
Trellis nello sviluppo di giochi
Gli studi di gioco utilizzano Trellis per automatizzare la creazione di asset di sfondo e oggetti di scena. Trellis riduce significativamente il costo per asset, consentendo alle pipeline potenziate da Trellis di scalare la produzione di contenuti in modo esponenziale.
Trellis per l'e-commerce
I rivenditori utilizzano Trellis per trasformare le foto dei prodotti in modelli 3D interattivi. Trellis offre ai clienti una visione a 360 gradi dei prodotti, migliorando l'esperienza di acquisto guidata da Trellis e riducendo i tassi di reso.
Trellis nel Metaverso
Trellis è lo strumento perfetto per costruire mondi virtuali. Utilizzando Trellis per generare ambienti e avatar, i creatori possono popolare spazi digitali basati su Trellis con contenuti 3D diversi e di alta qualità in pochi minuti.
Domande frequenti su Trellis
Approfondire la tua comprensione dell'ecosistema Trellis
Quali sono i requisiti hardware per Trellis?
Trellis è un modello su larga scala. Mentre l'inferenza di base di Trellis può essere eseguita su una GPU con 16 GB di VRAM (come una RTX 3090), i modelli Trellis-X-Large o Trellis.2 completi funzionano meglio su hardware con 24 GB+ di VRAM per gestire l'elaborazione latente profonda di Trellis.
Come si confronta Trellis con altri modelli di IA 3D come Tripo o Rodin?
Trellis si distingue per la sua architettura SLAT e l'output multiformato. A differenza dei modelli che si concentrano solo sulle mesh, Trellis fornisce un framework Trellis più flessibile che include Gaussiane 3D e Campi di Radianza con una maggiore accuratezza topologica.
Trellis può generare modelli 3D dal testo?
Sì, Trellis supporta il text-to-3D attraverso il suo sistema di embedding Trellis multimodale. Puoi descrivere un oggetto e Trellis sintetizzerà un asset Trellis 3D corrispondente che segue precisamente le tue istruzioni testuali.
Il modello Trellis è open source?
Microsoft ha rilasciato la ricerca e il codice di Trellis per scopi accademici. La comunità Trellis sta attivamente costruendo plugin per portare le capacità di Trellis in software come Blender e Unreal Engine.
Sperimenta oggi stesso la potenza di Trellis
Unisciti alla rivoluzione 3D con il modello Trellis su Story321. Inizia a generare asset Trellis ad alta fedeltà e trasforma la tua visione creativa in una realtà Trellis 3D con un solo clic.