Trellis
Унифицированный, высокоточный и мультиформатный фреймворк для генерации 3D-активов на базе Trellis
Trellis представляет собой монументальный скачок в области создания 3D-контента. Разработанная исследователями из Microsoft Research (MSRA) и HKU, модель Trellis представляет собой революционный подход к созданию высококачественных 3D-активов из отдельных изображений или текстовых запросов. В отличие от предыдущих методов генерации, которые испытывают трудности с топологией или скоростью, Trellis использует архитектуру Structured Latent Diffusion (SLAT), чтобы гарантировать, что каждый актив, сгенерированный Trellis, поддерживает геометрию и текстуру профессионального уровня. Являясь краеугольным камнем библиотеки моделей Story321, Trellis позволяет создателям обходить традиционные узкие места моделирования. Независимо от того, строите ли вы игровую среду на основе Trellis или VR-опыт, управляемый Trellis, фреймворк Trellis обеспечивает точность и универсальность, необходимые для современного цифрового производства. Экосистема Trellis разработана как окончательное решение для высокоточной 3D-синтеза в эпоху ИИ.
Что такое модель Trellis?
Trellis — это современная 3D-генеративная модель, которая использует масштабное предварительное обучение на огромном наборе данных, содержащем более 500 000 3D-объектов. В своей основе Trellis построена на архитектуре Rectified Flow Transformer, масштабируясь до 2 миллиардов и даже 4 миллиардов параметров в своей итерации Trellis.2. Основное новшество Trellis заключается в ее способности отображать визуальные признаки в структурированное латентное пространство (SLAT), которое Trellis затем использует для декодирования в несколько 3D-представлений одновременно. Trellis не просто выводит простую сетку; она может генерировать 3D Gaussian Splatting (3DGS), Radiance Fields и сетки высокого разрешения, и все это из одного и того же латентного кода Trellis. Этот унифицированный подход делает Trellis уникально способной обрабатывать сложные топологии и не-многообразные геометрии, которые другие модели часто не могут представить. Благодаря интеграции передовых представлений O-Voxel, Trellis гарантирует, что даже самые сложные детали модели Trellis сохраняются с хирургической точностью.
Trellis предлагает унифицированную генерацию 3D Gaussians, Meshes и Radiance Fields.
Trellis использует Rectified Flow Transformer с 2B-4B параметрами для превосходного рассуждения.
Trellis обеспечивает молниеносный прямой вывод без оптимизации для каждого экземпляра.
Компьютерное зрение3D-синтезНейронный рендеринг
Основные технические характеристики Trellis
Внутри движка Trellis: инновации в масштабе
SLAT: Структурированное латентное пространство
Архитектура Trellis SLAT — секрет ее успеха. Trellis организует 3D-данные в структурированную сетку, которая уравновешивает глобальную структуру с локальными деталями, позволяя Trellis поддерживать согласованность между различными видами.
Унифицированное декодирование Trellis
Один запуск вывода Trellis можно декодировать в разные форматы. Это означает, что пользователи Trellis могут переключаться между Mesh и 3DGS без повторного запуска тяжелого процесса диффузии Trellis, экономя огромные вычислительные ресурсы.
Масштабное предварительное обучение Trellis
Trellis обучена на разнообразном корпусе 3D-данных, что позволяет Trellis понимать широкий спектр категорий, от органических персонажей до механических деталей с твердой поверхностью. База знаний Trellis действительно мирового класса.
Интерактивное редактирование Trellis
Trellis позволяет манипулировать латентным пространством, что означает, что вы можете выполнять локальные правки на основе Trellis или генерировать вариации модели Trellis, просто регулируя входные параметры или латентный seed Trellis.
Как работает конвейер Trellis
От изображения к Trellis 3D: пошаговая разбивка
1
Кодирование признаков Trellis
Trellis начинает с того, что берет входное изображение и пропускает его через визуальный кодировщик (например, DINOv2). Затем Trellis проецирует эти признаки в 3D-разреженную сетку, инициализируя структурированное латентное пространство Trellis.
2
Сопоставление потоков Trellis
Rectified Flow Transformer Trellis выполняет шумоподавление в латентном пространстве. Посредством серии шагов вывода Trellis модель уточняет 3D-структуру, гарантируя, что выходные данные Trellis идеально соответствуют входному запросу.
3
Реализация актива Trellis
После того как латентность Trellis будет завершена, специализированные декодеры Trellis преобразуют данные в используемый 3D-формат. Будь то Trellis Mesh или Trellis Gaussian Splat, окончательный результат готов к немедленному развертыванию.
Реальные приложения Trellis
Расширение возможностей отраслей с помощью технологии Trellis 3D
Trellis в разработке игр
Игровые студии используют Trellis для автоматизации создания фоновых активов и реквизита. Trellis значительно снижает стоимость одного актива, позволяя конвейерам на базе Trellis экспоненциально масштабировать производство контента.
Trellis для электронной коммерции
Ритейлеры используют Trellis для превращения фотографий продуктов в интерактивные 3D-модели. Trellis предоставляет клиентам 360-градусный обзор продуктов, улучшая опыт покупок на базе Trellis и снижая процент возвратов.
Trellis в метавселенной
Trellis — идеальный инструмент для создания виртуальных миров. Используя Trellis для создания сред и аватаров, создатели могут заполнять цифровые пространства на базе Trellis разнообразным и высококачественным 3D-контентом за считанные минуты.
Часто задаваемые вопросы о Trellis
Углубление вашего понимания экосистемы Trellis
Каковы аппаратные требования для Trellis?
Trellis — это масштабная модель. В то время как базовый вывод Trellis может выполняться на графическом процессоре с 16 ГБ VRAM (например, RTX 3090), модели Trellis-X-Large или Trellis.2 работают лучше всего на оборудовании с 24 ГБ+ VRAM для обработки глубокой латентной обработки Trellis.
Как Trellis соотносится с другими 3D-моделями AI, такими как Tripo или Rodin?
Trellis выделяется благодаря своей архитектуре SLAT и мультиформатному выводу. В отличие от моделей, которые фокусируются только на сетках, Trellis предоставляет более гибкий фреймворк Trellis, который включает 3D Gaussians и Radiance Fields с более высокой топологической точностью.
Может ли Trellis генерировать 3D-модели из текста?
Да, Trellis поддерживает преобразование текста в 3D с помощью своей мультимодальной системы встраивания Trellis. Вы можете описать объект, и Trellis синтезирует соответствующий 3D-актив Trellis, который точно соответствует вашим текстовым инструкциям.
Является ли модель Trellis открытым исходным кодом?
Microsoft выпустила исследование и код Trellis для академических целей. Сообщество Trellis активно создает плагины для переноса возможностей Trellis в такое программное обеспечение, как Blender и Unreal Engine.
Ощутите мощь Trellis сегодня
Присоединяйтесь к 3D-революции с моделью Trellis на Story321. Начните генерировать высокоточные активы Trellis и превратите свое творческое видение в 3D-реальность Trellis одним щелчком мыши.