英偉達推AI 3D建模系統(tǒng)，將2D圖像分割成可編輯3D模型

南極熊導(dǎo)讀：AI在3D打印領(lǐng)域的應(yīng)用已經(jīng)悄然而至，特別是以Tripo、Meshy、騰訊混元3D等為帶來的AI 3D大模型，已經(jīng)在深刻變革3D打印模型的創(chuàng)作模式，極大降低建模門檻。但我們不能忽視GPU廠商英偉達，也一直在發(fā)力3D模型相關(guān)的技術(shù)，一旦成熟，則可能更具顛覆性。

△零件級別的 3D 對象。圖片來自 NVIDIA

2025年7月2日，南極熊獲悉，GPU 制造商NVIDIA推出了 PartPacker，這是一款基于 AI 的系統(tǒng)，旨在從單個 2D 圖像生成可編輯的 3D 模型。與生成統(tǒng)一網(wǎng)格的傳統(tǒng)方法不同，PartPacker 創(chuàng)建基于零件的模型，允許單獨編輯或制作各個組件的動畫，從而提高靈活性。

PartPacker系統(tǒng)旨在通過促進資產(chǎn)創(chuàng)建和實現(xiàn)更詳細的定制，支持 3D 打印、動畫、游戲和學(xué)術(shù)研究等各個領(lǐng)域的工作流程。PartPacker 背后的研究是與北京大學(xué)和斯坦福大學(xué)合作開發(fā)的。

PartPacker 概述和功能

PartPacker 利用擴散變換器 (Diffusion Transformer) 架構(gòu)中的雙體積打包技術(shù)，從單個 2DRGB 圖像生成高度精細的 3D 對象。這種方法將部件排列成相互連接的體積，每個體積都可以獨立編輯或動畫，從而提高靈活性。系統(tǒng)的網(wǎng)絡(luò)集成了 VAE 和整流流模型，模型可根據(jù)輸入圖像優(yōu)化潛碼。與傳統(tǒng)方法不同，PartPacker同時生成兩個潛碼，而非僅生成一個，從而提升了細節(jié)和控制力。

△雙卷包裝。圖片來自 NVIDIA。

PartPacker 以 GLB格式輸出 3D 三角形網(wǎng)格，分辨率高達 512³，并針對 NVIDIA GPU 加速進行了優(yōu)化。此功能有助于創(chuàng)建適用于游戲、電影和交互式媒體的高質(zhì)量 3D 資產(chǎn)。此外，它還支持導(dǎo)出為 STL 和 3MF 等流行的 3D 打印格式，從而實現(xiàn)多材料打印工作流程。

優(yōu)勢和可用性

傳統(tǒng)的 3D 生成方法通常會生成單片網(wǎng)格，從而限制對單個部件的修改。PartPacker 通過生成模塊化、可編輯的組件解決了這一限制，提供了一種靈活的替代方案，使需要可定制 3D 資產(chǎn)的行業(yè)受益。這項技術(shù)使創(chuàng)作者和研究人員能夠從單個圖像生成可編輯的基于部件的3D 模型，從而實現(xiàn)了以前具有挑戰(zhàn)性或無法實現(xiàn)的工作流程。

研究人員和開發(fā)人員可以通過 GitHub 代碼庫訪問 PartPacker，代碼庫提供了網(wǎng)格轉(zhuǎn)換所需的源代碼和數(shù)據(jù)處理腳本。此外，HuggingFace 上托管的現(xiàn)場演示允許用戶上傳圖像并立即生成可編輯的 3D 模型。此外，預(yù)先訓(xùn)練的 VAE 和 Flow 模型也可供下載，以支持從圖像進行網(wǎng)格重建和 3D 生成。

△零件級 3D 對象比較表。圖片來自 NVIDIA。

人工智能驅(qū)動的 3D 模型工具

2024年，總部位于深圳的3D打印機制造商Bambu Lab發(fā)布了全新的AI驅(qū)動3D模型生成器PrintMon Maker。這款平臺可通過MakerWorld獲取，用戶可以使用文本或圖像提示創(chuàng)建可3D打印的角色。生成的設(shè)計可以直接導(dǎo)入Bambu Lab的切片軟件，并在3D打印機上打印，無需手動調(diào)整。此外，平臺還支持為眼睛和底座等組件創(chuàng)建單獨的文件，從而為3D打印工作流程提供更大的靈活性和定制化。

去年，為了響應(yīng)谷歌的DreamFusion產(chǎn)品以及Physna Inc.的 3D 模型和場景生成式 AI 原型，Nvidia 創(chuàng)建了Magic3D文本轉(zhuǎn) 3D 模型工具。一篇研究論文概述了Nvidia 的 AI 平臺采用兩階段方法，首先創(chuàng)建一個粗略的低分辨率模型，然后將其優(yōu)化到更高分辨率。Magic3D 還可以進行基于提示的 3D 網(wǎng)格編輯。上傳基本提示和低分辨率 3D 模型后，即可修改文本以更改生成的模型。