ByteDance представила компактную ИИ-модель, которая превратит любое фото в качественную 3D-модель

ByteDance, материнская компания TikTok, представила ИИ-инструмент для создания 3D-контента Seed3D 1.0, с помощью которого на основе одного 2D-изображения можно создать полноценную 3D-модель уровня симуляции, с детальной геометрией, фотореалистичными текстурами и физически корректными материалами для рендеринга (PBR), в которых учтены реальные свойства отражения, преломления и рассеивания света.

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Пять причин полюбить HONOR Magic7 Pro

Почему ИИ никак не сесть на безматричную диету

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Фитнес-браслет HUAWEI Band 10: настоящий металл

Пять причин полюбить HONOR Pad V9

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Пять причин полюбить HONOR X8c

Источник изображений: seed.bytedance.com

По словам компании, основанный на архитектуре диффузионного преобразователя (Diffusion Transformer, DiT), сочетающей свойства диффузионных моделей и трансформеров, Seed3D 1.0 превосходит конкурентов как с открытым, так и с закрытым исходным кодом по качеству текстур и геометрической точности. Используя всего лишь 1,5 млрд параметров, Seed3D 1.0 превосходит даже более крупные модели, такие как Hunyuan3D 2.1 с 3 млрд параметров.

Главная особенного нового ИИ-инструмента заключается в сочетании мультимодального диффузионного преобразователя (Multimodal Diffusion Transformer, MMDiT) и пошаговой стратегии генерации. Сначала система анализирует изображение с помощью визуально-языковой модели (Vision-Language Model, VLM) для извлечения объектных и пространственных параметров. Затем для каждого локализованного объекта Seed3D 1.0 синтезирует соответствующие геометрию и материалы. Финальная сцена собирается путём позиционирования каждого сгенерированного объекта в соответствии с пространственной конфигурацией, предсказанной VLM. Эта структура позволяет генерировать сцены в различных масштабах, от помещений, таких как офисы, до крупномасштабных городских сцен.

Сообщается, что Seed3D 1.0 обеспечивает согласованность текстур при различных ракурсах. Вместо применения стандартных текстур ИИ-инструмент создаёт материалы, согласованные по виду, причём со всех ракурсов, обеспечивая как реализм, так и структурную точность для использования на уровне симуляции.

Компания отметила, что модели, созданные с помощью Seed3D, можно напрямую интегрировать в платформы моделирования, такие как Isaac Sim, для обучения ИИ.

Источник