英偉達(dá)AI技術(shù)讓2D視頻快速轉(zhuǎn)成3D模型

2023年6月10日，南極熊獲悉，美國GPU制造商英偉達(dá)（Nvidia）發(fā)表了一篇研究論文，概述了一種能夠?qū)?D視頻快速轉(zhuǎn)換為詳細(xì)3D模型的新型人工智能（AI）模型Neuralangelo。

△利用AI技術(shù)可將視頻快速創(chuàng)建為3D模型演示視頻（傳送門）

https://www.bilibili.com/video/BV1VV4y1m7HP/
最新研究發(fā)現(xiàn)，現(xiàn)有的生成式AI模型難以逼真地捕捉物體的精細(xì)細(xì)節(jié)，例如復(fù)雜紋理、均勻的顏色和強(qiáng)烈的顏色變化。然而，英偉達(dá)的新一代人工智能技術(shù)Neuralangelo，據(jù)說可以解決這些問題。該技術(shù)不僅提供高保真度模型，還可以準(zhǔn)確將2D視頻轉(zhuǎn)換成3D模型，展現(xiàn)材質(zhì)紋理的細(xì)微之處。這為3D打印行業(yè)帶來了更大的可能性。

△Neuralangelo：高保真神經(jīng)表面重建論文（傳送門）

作為3D打印工具的英偉達(dá)AI將如何發(fā)展？

英偉達(dá)特別強(qiáng)調(diào)了Neuralangelo技術(shù)在創(chuàng)意專業(yè)人士中的潛在好處，他們可以利用智能手機(jī)的鏡頭快速輕松地創(chuàng)建虛擬對(duì)象，并展現(xiàn)出在藝術(shù)、虛擬現(xiàn)實(shí)、視頻游戲開發(fā)、機(jī)器人技術(shù)以及工業(yè)數(shù)字雙胞胎生產(chǎn)中的廣泛應(yīng)用前景。

此外，該公司已經(jīng)成功展示了Neuralangelo新技術(shù)的廣泛功能，通過重新制作米開朗基羅的大衛(wèi)雕塑和重建平板卡車，展現(xiàn)模型的精細(xì)程度。該技術(shù)還可以重建大規(guī)模環(huán)境, 例如利用無人機(jī)拍攝的鳥瞰視頻片段，成功創(chuàng)建了公園的3D模型。

Nvidia高級(jí)研究總監(jiān)，也是該研究論文的共同作者M(jìn)ing-Yu Liu解釋道：“Neuralangelo提供的3D重建功能將為創(chuàng)作者帶來巨大的好處，幫助他們?cè)跀?shù)字世界中重建真實(shí)世界。該工具最終將使開發(fā)人員能夠?qū)⒃敿?xì)的對(duì)象，無論是小型雕像還是大型建筑物導(dǎo)入到視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中?！?br />
他補(bǔ)充說道：“除此之外，Neuralangelo的性能和精度也將為制造業(yè)和建筑業(yè)提供極大的幫助，以更快速和準(zhǔn)確地創(chuàng)建模型和設(shè)計(jì)。”

盡管Neuralangelo項(xiàng)目尚未與3D打印應(yīng)用相結(jié)合，但英偉達(dá)公司表示，該技術(shù)未來很有可能是增才制造的發(fā)展發(fā)展方向之一。目前，該項(xiàng)目的模型尚不支持3D打印。

那個(gè)未來會(huì)比預(yù)期來得更早嗎？英偉達(dá)宣布了一款名為Magic3D的AI 3D模型生成工具。該公司表示，Magic3D在40分鐘內(nèi)生成3D對(duì)象，速度是DreamFusion的兩倍。

使用AI將2D視頻轉(zhuǎn)換為3D模型

Neuralangelo結(jié)合使用即時(shí)神經(jīng)圖形基元 (NGP) 和信號(hào)距離函數(shù) (SDF) 來實(shí)現(xiàn)高質(zhì)量的視頻轉(zhuǎn)換。 NGP提供了具有多分辨率哈希編碼的混合3D網(wǎng)格結(jié)構(gòu)，從而大大提高了神經(jīng)域的表示能力，同時(shí)可以捕捉更細(xì)微的細(xì)節(jié)。這種方法非常適合三維打印行業(yè)。

具體來說，Neuralangelo首先拍攝一個(gè)物體或環(huán)境的2D視頻，并選擇幾個(gè)突出顯示不同視點(diǎn)的幀。然后確定每一幀的相機(jī)位置，進(jìn)而創(chuàng)建一個(gè)初步的3D模型。之后，通過精細(xì)的渲染和銳化細(xì)節(jié)來優(yōu)化該模型，生產(chǎn)出具有高質(zhì)量表面和精度的成品。

使用數(shù)值梯度計(jì)算高階導(dǎo)數(shù)是這種方法的一個(gè)關(guān)鍵因素，能夠穩(wěn)定優(yōu)化過程。此外，漸進(jìn)式優(yōu)化計(jì)劃對(duì)于恢復(fù)不同細(xì)節(jié)級(jí)別的結(jié)構(gòu)至關(guān)重要，這使得全面和準(zhǔn)確的 3D模型重建成為可能。

據(jù)悉，英偉達(dá)的Neuralangelo項(xiàng)目將于6月18日至22日在加拿大溫哥華舉行的計(jì)算機(jī)視覺和模式識(shí)別（CVPR）會(huì)議上展示。此次展示會(huì)將與近30個(gè)其他項(xiàng)目一起展示，主題涵蓋姿勢(shì)估計(jì)、3D重建和視頻生成等領(lǐng)域。

△英偉達(dá)的總部公園視頻使用Neuralangelo快速換為3D模型

南極熊認(rèn)為，未來，將AI工具與3D打印技術(shù)結(jié)合起來可以幫助制造商更輕松地進(jìn)行生產(chǎn)，快速生產(chǎn)復(fù)雜性高的部件，并且可以隨著時(shí)間的推移持續(xù)優(yōu)化其生產(chǎn)流程。因此將3D打印技術(shù)的靈活性和快速制造能力與AI快速生成高質(zhì)量的3D模型相結(jié)合，將帶來巨大的優(yōu)勢(shì)。這是一個(gè)非常有前景的應(yīng)用領(lǐng)域，值得我們關(guān)注。