Trellis
一个由 Trellis 驱动的统一、高保真、多格式 3D 资产生成框架
Trellis 代表了 3D 内容创作领域的巨大飞跃。Trellis 模型由微软研究院 (MSRA) 和香港大学的研究人员开发，引入了一种革命性的方法，可以从单张图像或文本提示生成高质量的 3D 资产。与之前在拓扑或速度方面存在困难的生成方法不同，Trellis 利用结构化潜在扩散 (SLAT) 架构来确保每个 Trellis 生成的资产都保持专业级的几何形状和纹理。作为 Story321 模型库的基石，Trellis 使创作者能够绕过传统的建模瓶颈。无论您是构建基于 Trellis 的游戏环境还是 Trellis 驱动的 VR 体验，Trellis 框架都能提供现代数字制作所需的精度和多功能性。Trellis 生态系统旨在成为人工智能时代高保真 3D 合成的最终解决方案。
什么是 Trellis 模型？
Trellis 是一种最先进的 3D 生成模型，它利用在超过 500,000 个 3D 对象的大规模数据集上进行的大规模预训练。Trellis 的核心是建立在 Rectified Flow Transformer 架构之上，在其 Trellis.2 迭代中扩展到 20 亿甚至 40 亿个参数。Trellis 的核心创新在于它能够将视觉特征映射到结构化潜在空间 (SLAT) 中，然后 Trellis 使用该空间同时解码为多个 3D 表示。Trellis 不仅仅输出一个简单的网格；它可以从同一个 Trellis 潜在代码生成 3D 高斯溅射 (3DGS)、辐射场和高分辨率网格。这种统一的方法使 Trellis 能够独特地处理其他模型通常无法表示的复杂拓扑和非流形几何体。通过集成先进的 O-Voxel 表示，Trellis 确保即使是 Trellis 模型最复杂的细节也能以手术般的精度得到保留。
Trellis 提供 3D 高斯、网格和辐射场的统一生成。
Trellis 采用 2B-4B 参数 Rectified Flow Transformer 以实现卓越的推理能力。
Trellis 实现闪电般的快速前馈推理，无需每次都进行优化。
计算机视觉3D 合成神经渲染
Trellis 的核心技术特性
Trellis 引擎内部：大规模创新
SLAT：结构化潜在空间
Trellis SLAT 架构是其成功的秘诀。Trellis 将 3D 数据组织成一个结构化网格，该网格平衡了全局结构和局部细节，从而使 Trellis 能够在不同的视图中保持一致性。
统一的 Trellis 解码
单个 Trellis 推理运行可以解码为不同的格式。这意味着 Trellis 用户可以在网格和 3DGS 之间切换，而无需重新运行繁重的 Trellis 扩散过程，从而节省大量的计算资源。
Trellis 大规模预训练
Trellis 在各种 3D 数据语料库上进行训练，使 Trellis 能够理解各种类别，从有机角色到硬表面机械零件。Trellis 的知识库是真正的世界一流。
交互式 Trellis 编辑
Trellis 允许潜在空间操作，这意味着您可以通过简单地调整输入参数或 Trellis 潜在种子来执行基于 Trellis 的本地编辑或生成 Trellis 模型的变体。
Trellis 管道如何运作
从图像到 Trellis 3D：一步一步的分解
1
Trellis 特征编码
Trellis 首先获取输入图像并通过视觉编码器（如 DINOv2）传递它。然后，Trellis 将这些特征投影到 3D 稀疏网格中，从而初始化 Trellis 结构化潜在空间。
2
Trellis 流匹配
Trellis Rectified Flow Transformer 在潜在空间内执行去噪。通过一系列 Trellis 推理步骤，该模型细化 3D 结构，确保 Trellis 输出与输入提示完美对齐。
3
Trellis 资产实现
一旦 Trellis 潜在空间完成，专门的 Trellis 解码器会将数据转换为可用的 3D 格式。无论是 Trellis 网格还是 Trellis 高斯溅射，最终输出都可以立即部署。
Trellis 现实世界的应用
利用 Trellis 3D 技术赋能各行各业
Trellis 在游戏开发中的应用
游戏工作室使用 Trellis 来自动化背景资产和道具的创建。Trellis 显着降低了每个资产的成本，从而使 Trellis 驱动的管道能够以指数方式扩展内容制作。
Trellis 用于电子商务
零售商使用 Trellis 将产品照片转换为交互式 3D 模型。Trellis 为客户提供 360 度产品视图，从而增强 Trellis 驱动的购物体验并降低退货率。
Trellis 在元宇宙中的应用
Trellis 是构建虚拟世界的完美工具。通过使用 Trellis 生成环境和头像，创作者可以在几分钟内使用多样化且高质量的 3D 内容填充基于 Trellis 的数字空间。
关于 Trellis 的常见问题解答
加深您对 Trellis 生态系统的理解
Trellis 的硬件要求是什么？
Trellis 是一个大规模模型。虽然基本的 Trellis 推理可以在 16GB VRAM GPU（如 RTX 3090）上运行，但完整的 Trellis-X-Large 或 Trellis.2 模型在 24GB+ VRAM 硬件上表现最佳，以处理深度 Trellis 潜在处理。
Trellis 与其他 3D AI 模型（如 Tripo 或 Rodin）相比如何？
Trellis 因其 SLAT 架构和多格式输出而脱颖而出。与仅关注网格的模型不同，Trellis 提供了一个更灵活的 Trellis 框架，其中包括具有更高拓扑精度的 3D 高斯和辐射场。
Trellis 可以从文本生成 3D 模型吗？
是的，Trellis 通过其多模态 Trellis 嵌入系统支持文本到 3D。您可以描述一个对象，Trellis 将合成一个相应的 Trellis 3D 资产，该资产会精确地遵循您的文本指令。
Trellis 模型是开源的吗？
微软已经发布了用于学术目的的 Trellis 研究和代码。Trellis 社区正在积极构建插件，以将 Trellis 功能引入 Blender 和 Unreal Engine 等软件中。
立即体验 Trellis 的强大功能
加入 Story321 上 Trellis 模型的 3D 革命。开始生成高保真 Trellis 资产，只需单击一下即可将您的创意愿景转化为 Trellis 3D 现实。