跳到正文

TRELLIS.2 3D 鞋类生成微调指南

Hugging Face Blog当事人·· 1 天前精选The Definitive Fine-Tuning Guide for 3D Generation Models
打开原文
原文
图片来自 Hugging Face Blog
谁
Hugging Face
引文
In this blog, we provide fine-tuning scripts and containers to fine-tune TRELLIS.2, a popular 3D model on your 3D assets, that can run both locally and on Hugging Face Jobs.

发生了什么

Hugging Face 提供脚本和 Docker 容器,可在本地或使用 Hugging Face Jobs 对 TRELLIS.2 进行微调,以适配自定义 3D 资产。在一项实验中,作者使用了来自 Google Scanned Objects 的 188 个鞋类物体,在冻结纹理 DiT 的同时,为稀疏结构和形状 DiT 添加了 LoRA 适配器。在九个留出物体上,这些适配器将平均 F-score 从 0.276 提高到 0.803,并将 Chamfer 距离从 0.174 降至 0.033。

推荐理由

本指南展示了如何针对几何阶段进行适配,同时冻结纹理阶段,并结合数据集说明这些选择,同时报告九个留出物体上的结果。

接下来读什么

查看这件事的完整进展Hugging Face 发布 TRELLIS.2 3D 鞋类微调指南

这件事到目前为止

Hugging Face 发布了脚本、Docker 容器和操作指南,介绍如何使用自定义 3D 资产对 TRELLIS.2 进行微调,可在本地操作,也可使用 Hugging Face Jobs。在一项针对 Google Scanned Objects 中 188 个鞋类物体的实验中,作者为稀疏结构和形状扩散 Transformer 添加了 LoRA 适配器,同时冻结纹理 Transformer。在 9 个留出物体上,这些适配器将平均 F-score 从 0.276 提高到 0.803,并将 Chamfer 距离从 0.174 降至 0.033。 该指南要求用户拥有 Hugging Face 账户,并获得对 DINOv3 这一受限模型的访问权限。使用自有数据集的用户必须先将网格上传到 Hub,然后才能开始。

这条收录于 11月13日 AI 日报看这一期日报的全部内容