Trellis
Ujednolicona, wysokiej jakości i wieloformatowa platforma do generowania zasobów 3D oparta na Trellis
Trellis stanowi monumentalny krok naprzód w dziedzinie tworzenia treści 3D. Opracowany przez naukowców z Microsoft Research (MSRA) i HKU, model Trellis wprowadza rewolucyjne podejście do generowania wysokiej jakości zasobów 3D z pojedynczych obrazów lub podpowiedzi tekstowych. W przeciwieństwie do poprzednich metod generowania, które borykają się z topologią lub szybkością, Trellis wykorzystuje architekturę Structured Latent Diffusion (SLAT), aby zapewnić, że każdy zasób wygenerowany przez Trellis zachowuje geometrię i teksturę na poziomie profesjonalnym. Jako kamień węgielny biblioteki modeli Story321, Trellis umożliwia twórcom ominięcie tradycyjnych wąskich gardeł modelowania. Niezależnie od tego, czy budujesz środowisko gry oparte na Trellis, czy doświadczenie VR oparte na Trellis, platforma Trellis zapewnia precyzję i wszechstronność wymaganą do nowoczesnej produkcji cyfrowej. Ekosystem Trellis został zaprojektowany jako ostateczne rozwiązanie do syntezy 3D o wysokiej wierności w erze AI.
Czym jest model Trellis?
Trellis to najnowocześniejszy model generatywny 3D, który wykorzystuje uczenie wstępne na dużą skalę na ogromnym zbiorze danych zawierającym ponad 500 000 obiektów 3D. U podstaw Trellis leży architektura Rectified Flow Transformer, skalująca się do 2 miliardów, a nawet 4 miliardów parametrów w swojej iteracji Trellis.2. Kluczowa innowacja Trellis polega na jego zdolności do mapowania cech wizualnych w uporządkowaną przestrzeń utajoną (SLAT), którą Trellis następnie wykorzystuje do dekodowania do wielu reprezentacji 3D jednocześnie. Trellis nie tylko generuje prostą siatkę; może generować 3D Gaussian Splatting (3DGS), pola radiacyjne i siatki o wysokiej rozdzielczości, a wszystko to z tego samego utajonego kodu Trellis. To ujednolicone podejście sprawia, że Trellis jest wyjątkowo zdolny do obsługi złożonych topologii i geometrii niejednorodnych, których inne modele często nie potrafią reprezentować. Dzięki integracji zaawansowanych reprezentacji O-Voxel, Trellis zapewnia, że nawet najbardziej skomplikowane szczegóły modelu Trellis są zachowywane z chirurgiczną precyzją.
Trellis oferuje ujednolicone generowanie 3D Gaussa, siatek i pól radiacyjnych.
Trellis wykorzystuje 2B-4B parametr Rectified Flow Transformer dla lepszego rozumowania.
Trellis osiąga błyskawiczną inferencję typu feed-forward bez optymalizacji dla każdego przypadku.
Widzenie komputeroweSynteza 3DRenderowanie neuronowe
Podstawowe cechy techniczne Trellis
Wewnątrz silnika Trellis: innowacja na dużą skalę
SLAT: Ustrukturyzowana przestrzeń utajona
Architektura Trellis SLAT jest sekretem jego sukcesu. Trellis organizuje dane 3D w uporządkowaną siatkę, która równoważy globalną strukturę z lokalnymi szczegółami, umożliwiając Trellis zachowanie spójności w różnych widokach.
Ujednolicone dekodowanie Trellis
Pojedyncze uruchomienie wnioskowania Trellis można zdekodować do różnych formatów. Oznacza to, że użytkownicy Trellis mogą przełączać się między siatką a 3DGS bez ponownego uruchamiania ciężkiego procesu dyfuzji Trellis, oszczędzając ogromne zasoby obliczeniowe.
Uczenie wstępne Trellis na dużą skalę
Trellis jest szkolony na zróżnicowanym korpusie danych 3D, co umożliwia Trellis zrozumienie szerokiej gamy kategorii, od organicznych postaci po mechaniczne części o twardej powierzchni. Baza wiedzy Trellis jest naprawdę światowej klasy.
Interaktywna edycja Trellis
Trellis umożliwia manipulacje w przestrzeni utajonej, co oznacza, że możesz wykonywać lokalne edycje oparte na Trellis lub generować wariacje modelu Trellis, po prostu dostosowując parametry wejściowe lub utajone ziarno Trellis.
Jak działa potok Trellis
Od obrazu do Trellis 3D: szczegółowy rozkład krok po kroku
1
Kodowanie cech Trellis
Trellis zaczyna od pobrania obrazu wejściowego i przekazania go przez koder wizualny (taki jak DINOv2). Trellis następnie rzutuje te cechy na rzadką siatkę 3D, inicjując ustrukturyzowaną przestrzeń utajoną Trellis.
2
Dopasowywanie przepływu Trellis
Trellis Rectified Flow Transformer wykonuje odszumianie w przestrzeni utajonej. Poprzez serię kroków wnioskowania Trellis, model udoskonala strukturę 3D, zapewniając, że wyjście Trellis idealnie pasuje do podpowiedzi wejściowej.
3
Realizacja zasobów Trellis
Po sfinalizowaniu utajonego Trellis, wyspecjalizowane dekodery Trellis przekształcają dane w użyteczny format 3D. Niezależnie od tego, czy jest to siatka Trellis, czy Trellis Gaussian Splat, ostateczne wyjście jest gotowe do natychmiastowego wdrożenia.
Zastosowania Trellis w świecie rzeczywistym
Wspieranie branż technologią Trellis 3D
Trellis w tworzeniu gier
Studia gier używają Trellis do automatyzacji tworzenia zasobów tła i rekwizytów. Trellis znacznie obniża koszt jednego zasobu, umożliwiając potokom opartym na Trellis wykładnicze skalowanie produkcji treści.
Trellis dla e-commerce
Sprzedawcy detaliczni używają Trellis do przekształcania zdjęć produktów w interaktywne modele 3D. Trellis zapewnia klientom widok produktów w zakresie 360 stopni, poprawiając wrażenia zakupowe oparte na Trellis i zmniejszając współczynniki zwrotów.
Trellis w Metaverse
Trellis to idealne narzędzie do budowania wirtualnych światów. Używając Trellis do generowania środowisk i awatarów, twórcy mogą wypełniać cyfrowe przestrzenie oparte na Trellis różnorodnymi i wysokiej jakości treściami 3D w ciągu kilku minut.
Często zadawane pytania dotyczące Trellis
Pogłębianie wiedzy na temat ekosystemu Trellis
Jakie są wymagania sprzętowe dla Trellis?
Trellis to model na dużą skalę. Chociaż podstawowe wnioskowanie Trellis może działać na GPU z 16 GB VRAM (takim jak RTX 3090), pełne modele Trellis-X-Large lub Trellis.2 działają najlepiej na sprzęcie z 24 GB+ VRAM, aby obsłużyć głębokie przetwarzanie utajone Trellis.
Jak Trellis wypada w porównaniu z innymi modelami 3D AI, takimi jak Tripo lub Rodin?
Trellis wyróżnia się architekturą SLAT i wieloformatowym wyjściem. W przeciwieństwie do modeli, które koncentrują się tylko na siatkach, Trellis zapewnia bardziej elastyczną platformę Trellis, która obejmuje 3D Gaussa i pola radiacyjne z większą dokładnością topologiczną.
Czy Trellis może generować modele 3D z tekstu?
Tak, Trellis obsługuje tekst do 3D poprzez swój multimodalny system osadzania Trellis. Możesz opisać obiekt, a Trellis zsyntetyzuje odpowiedni zasób Trellis 3D, który będzie dokładnie odpowiadał Twoim instrukcjom tekstowym.
Czy model Trellis jest open source?
Microsoft udostępnił badania i kod Trellis do celów akademickich. Społeczność Trellis aktywnie buduje wtyczki, aby wprowadzić możliwości Trellis do oprogramowania takiego jak Blender i Unreal Engine.
Doświadcz mocy Trellis już dziś
Dołącz do rewolucji 3D z modelem Trellis na Story321. Zacznij generować zasoby Trellis o wysokiej wierności i przekształć swoją kreatywną wizję w rzeczywistość Trellis 3D za pomocą jednego kliknięcia.