Trellis
由 Trellis 驅動的統一、高保真、多格式 3D 資產生成框架
Trellis 代表了 3D 內容創作領域的巨大飛躍。Trellis 模型由微軟研究院 (MSRA) 和香港大學的研究人員開發，引入了一種革命性的方法，可以從單張圖像或文字提示生成高品質的 3D 資產。與先前在拓撲或速度方面遇到困難的生成方法不同，Trellis 利用結構化潛在擴散 (SLAT) 架構，以確保每個 Trellis 生成的資產都保持專業級的幾何形狀和紋理。作為 Story321 模型庫的基石，Trellis 使創作者能夠繞過傳統的建模瓶頸。無論您是構建基於 Trellis 的遊戲環境還是 Trellis 驅動的 VR 體驗，Trellis 框架都能提供現代數位生產所需的精確性和多功能性。Trellis 生態系統旨在成為人工智慧時代高保真 3D 合成的最終解決方案。
什麼是 Trellis 模型？
Trellis 是一種最先進的 3D 生成模型，它利用在超過 500,000 個 3D 物體的大規模資料集上進行的大規模預訓練。Trellis 的核心是建立在整流流變壓器架構之上，在其 Trellis.2 迭代中擴展到 20 億甚至 40 億個參數。Trellis 的核心創新在於它能夠將視覺特徵映射到結構化的潛在空間 (SLAT) 中，然後 Trellis 使用該空間同時解碼為多個 3D 表示。Trellis 不僅僅輸出一個簡單的網格；它可以從同一個 Trellis 潛在程式碼生成 3D 高斯潑濺 (3DGS)、輻射場和高解析度網格。這種統一的方法使 Trellis 具有獨特的能力來處理其他模型通常無法表示的複雜拓撲和非流形幾何體。透過整合先進的 O-Voxel 表示，Trellis 確保即使是 Trellis 模型最複雜的細節也能以手術般的精確度保留。
Trellis 提供 3D 高斯、網格和輻射場的統一生成。
Trellis 採用 2B-4B 參數整流流變壓器，以實現卓越的推理能力。
Trellis 實現了閃電般的快速前饋推理，無需每次實例進行最佳化。
電腦視覺3D 合成神經渲染
Trellis 的核心技術特點
Trellis 引擎內部：大規模創新
SLAT：結構化潛在空間
Trellis SLAT 架構是其成功的秘訣。Trellis 將 3D 資料組織成一個結構化的網格，該網格平衡了全域結構和局部細節，使 Trellis 能夠在不同的視圖中保持一致性。
統一的 Trellis 解碼
單個 Trellis 推理運行可以解碼為不同的格式。這意味著 Trellis 使用者可以在網格和 3DGS 之間切換，而無需重新運行繁重的 Trellis 擴散過程，從而節省大量的計算資源。
Trellis 大規模預訓練
Trellis 在各種 3D 資料語料庫上進行訓練，使 Trellis 能夠理解從有機角色到硬表面機械零件的各種類別。Trellis 的知識庫確實是世界一流的。
互動式 Trellis 編輯
Trellis 允許潛在空間操作，這意味著您可以執行基於 Trellis 的本地編輯，或僅透過調整輸入參數或 Trellis 潛在種子來生成 Trellis 模型的變體。
Trellis 管道如何運作
從圖像到 Trellis 3D：逐步分解
1
Trellis 特徵編碼
Trellis 首先獲取輸入圖像並將其傳遞到視覺編碼器（如 DINOv2）。然後，Trellis 將這些特徵投影到 3D 稀疏網格中，從而初始化 Trellis 結構化的潛在空間。
2
Trellis 流匹配
Trellis 整流流變壓器在潛在空間內執行去噪。透過一系列 Trellis 推理步驟，該模型完善了 3D 結構，確保 Trellis 輸出與輸入提示完美對齊。
3
Trellis 資產實現
一旦 Trellis 潛在空間完成，專用的 Trellis 解碼器會將資料轉換為可用的 3D 格式。無論是 Trellis 網格還是 Trellis 高斯潑濺，最終輸出都可以立即部署。
Trellis 真實世界應用
利用 Trellis 3D 技術為各行業賦能
遊戲開發中的 Trellis
遊戲工作室使用 Trellis 來自動創建背景資產和道具。Trellis 顯著降低了每個資產的成本，使 Trellis 驅動的管道能夠以指數級擴展內容生產。
Trellis 用於電子商務
零售商使用 Trellis 將產品照片轉換為互動式 3D 模型。Trellis 為客戶提供產品的 360 度視圖，從而增強 Trellis 驅動的購物體驗並降低退貨率。
Trellis 在元宇宙中
Trellis 是構建虛擬世界的完美工具。透過使用 Trellis 生成環境和頭像，創作者可以在幾分鐘內使用多樣化且高品質的 3D 內容填充基於 Trellis 的數位空間。
關於 Trellis 的常見問題解答
加深您對 Trellis 生態系統的理解
Trellis 的硬體要求是什麼？
Trellis 是一個大規模模型。雖然基本的 Trellis 推理可以在 16GB VRAM GPU（如 RTX 3090）上運行，但完整的 Trellis-X-Large 或 Trellis.2 模型在 24GB+ VRAM 硬體上表現最佳，以處理深度 Trellis 潛在處理。
Trellis 與其他 3D AI 模型（如 Tripo 或 Rodin）相比如何？
Trellis 因其 SLAT 架構和多格式輸出而脫穎而出。與僅關注網格的模型不同，Trellis 提供了一個更靈活的 Trellis 框架，其中包括具有更高拓撲精度的 3D 高斯和輻射場。
Trellis 可以從文字生成 3D 模型嗎？
是的，Trellis 透過其多模式 Trellis 嵌入系統支援文字到 3D。您可以描述一個物體，Trellis 將合成一個相應的 Trellis 3D 資產，該資產會精確地遵循您的文字指示。
Trellis 模型是開源的嗎？
微軟已發布 Trellis 研究和程式碼，供學術用途。Trellis 社群正在積極構建外掛程式，以將 Trellis 功能引入 Blender 和 Unreal Engine 等軟體中。
立即體驗 Trellis 的強大功能
透過 Story321 上的 Trellis 模型加入 3D 革命。開始生成高保真 Trellis 資產，並只需點擊一下即可將您的創意願景轉變為 Trellis 3D 現實。