2023成都積分入學(xué)什么時(shí)候開始申請(qǐng)
2023-01-31
英偉達(dá)用AI將2D照片制成3D模型，可讓用戶即興創(chuàng)作，并能適配任何傳統(tǒng)圖形引擎
更新時(shí)間：2022-07-03 14:20:28作者：未知
NVIDIA 正在利用 AI 讓設(shè)計(jì)師、游戲開發(fā)等人員在短時(shí)間內(nèi)用 3D 對(duì)象進(jìn)行創(chuàng)作。創(chuàng)作者們能夠使用其提出的 NVIDIA 3D MoMa 方法對(duì)內(nèi)容進(jìn)行快速導(dǎo)入、修改和更改材質(zhì)等工作。
圖 | 由靜態(tài)圖片制作的虛擬樂隊(duì)（來源：NVIDIA）
“逆渲染是一種將一系列靜態(tài)照片重建為物體或場(chǎng)景 3D 模型的技術(shù)。該技術(shù)長(zhǎng)期以來對(duì)統(tǒng)一計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)至關(guān)重要?！盢VIDIA 圖形研究副總裁大衛(wèi)·呂布克（David Luebke）說，“通過將逆渲染問題的每一部分表述為 GPU 加速的可微分組件，NVIDIA 3D MoMa 渲染管道使用現(xiàn)代 AI 的機(jī)制和 NVIDIA GPU 的原始計(jì)算能力來快速生成 3D 對(duì)象，創(chuàng)作者可以在現(xiàn)有工具中不受限制地導(dǎo)入、編輯和擴(kuò)展?！?/p>
傳統(tǒng)上，人們創(chuàng)建 3D 對(duì)象會(huì)使用攝影測(cè)量技術(shù)，這涉及的是一個(gè)多階段、相當(dāng)耗時(shí)的過程。創(chuàng)作者需要通過大量的軟件工具和手動(dòng)調(diào)整來達(dá)到最終期望的 3D 模型效果。
目前的神經(jīng)輻射場(chǎng)（Neural Radiance Fields，NeRF）等技術(shù)在生成對(duì)象或場(chǎng)景的 3D 表示方面取得一定優(yōu)勢(shì)，并提供了高質(zhì)量的新視圖合成。
然而，這些方法通常會(huì)產(chǎn)生將幾何圖形、材料和照明糾纏到神經(jīng)網(wǎng)絡(luò)中的表示形式，不能以三角形網(wǎng)格格式生成，因此很難支持場(chǎng)景編輯操作?！叭切尉W(wǎng)格是用于在 3D 圖形和建模中定義形狀的基礎(chǔ)框架，是此類 3D 工具使用的通用語言。”研究者在 NVIDIA 官網(wǎng)博文中寫到。
另外，為了更為實(shí)用，3D 對(duì)象應(yīng)該適配眾多常用工具，比如，游戲引擎、3D 建模器和電影渲染器等。而要在傳統(tǒng)的圖形引擎中使用它們，需要使用諸如標(biāo)記立方體等方法從網(wǎng)絡(luò)中提取幾何圖形，這可能會(huì)導(dǎo)致較差的表面質(zhì)量，特別是在低三角形計(jì)數(shù)時(shí)。神經(jīng)網(wǎng)絡(luò)編碼的材料不能輕易地編輯或提取與傳統(tǒng)游戲引擎兼容的形式。
相比之下，本次研究重建了與傳統(tǒng)圖形引擎兼容的 3D 內(nèi)容，支持重啟和場(chǎng)景編輯。由此產(chǎn)生的 3D 模型不需要轉(zhuǎn)換就可以在任何支持三角形渲染的設(shè)備上進(jìn)行部署，手機(jī)和網(wǎng)頁瀏覽器同樣適用。它可以在標(biāo)準(zhǔn)的游戲引擎中不經(jīng)修改地使用，并對(duì)所有階段進(jìn)行基于梯度的優(yōu)化。
圖 | 從一組多視圖圖像中重建具有未知拓?fù)浣Y(jié)構(gòu)、空間變化材料和照明的三角形網(wǎng)格（來源：arxiv ）
該三維重建方法 NVIDIA 3D MoMa 的相關(guān)論文，近日在 2022 年計(jì)算機(jī)視覺和模式識(shí)別會(huì)議（CVPR，Conference on Computer Vision and Pattern Recognition）上發(fā)表，并以《從圖像中提取三角形三維模型、材質(zhì)和照明》（）為題提交在 arxiv 上。
圖 | 研究方法概述（來源：arxiv ）
研究人員針對(duì)各種應(yīng)用程序來評(píng)估他們的系統(tǒng)，對(duì)已有對(duì)象進(jìn)行重新編輯和模擬，以展示他們的方法顯式分解為三角形網(wǎng)格和材料，并與 NeRF、神經(jīng)反射分解（NeRD，Neural Reflectance Decomposition）等方法做了比較。
圖 | 與 NeRF、NeRD 的對(duì)比（來源：arxiv）
值得一提的是，研究人員還做了一個(gè)虛擬樂隊(duì)視頻演示，以體現(xiàn) NVIDIA 3D MoMa 的強(qiáng)大功能。
首先，他們從不同角度拍攝了約 100 張樂器圖像，并用新提出的研究方法將這些靜態(tài)圖像分別重建為 3D 表示和三角形網(wǎng)格。
然后，將對(duì)象從原始場(chǎng)景中分離出，再導(dǎo)入 NVIDIA Omniverse 3D 平臺(tái)編輯。在廣泛使用的圖形引擎中，可輕易地將產(chǎn)生的形狀材料替換為黃金、木材等不同材質(zhì)，就好像把網(wǎng)格裝扮成不同的裝飾一樣，也能將其放在任意虛擬場(chǎng)景（比如康奈爾盒，一種經(jīng)典圖形測(cè)試）中。
最后證明，不同的虛擬樂器對(duì)光有不同反應(yīng)，跟在現(xiàn)實(shí)中幾乎相同。新生成的對(duì)象能夠用作復(fù)雜畫場(chǎng)景的構(gòu)建塊。
（來源：NVIDIA 官網(wǎng)）
值得注意的是，研究人員在論文中還表示：“為了加速優(yōu)化，選擇了簡(jiǎn)化的著色模型，也沒有考慮全局照明或陰影。這種選擇是材料提取和回收的限制因素。在未來的工作中，隨著目前在可微路徑跟蹤方面的進(jìn)展，這一限制有望得到解除?！?/p>
總的來說，本研究展示了一種與最先進(jìn)的視圖合成等技術(shù)相媲美的方法，同時(shí)還有著優(yōu)化的三角形網(wǎng)格、兼容傳統(tǒng)圖形引擎和建模工具等優(yōu)勢(shì)，并由渲染模型的外觀驅(qū)動(dòng)來執(zhí)行端到端優(yōu)化。
這簡(jiǎn)化了進(jìn)行 3D 內(nèi)容創(chuàng)作人員的大量工作流程，極大節(jié)省他們的時(shí)間和提升效率。該研究方法還可以作為外觀感知轉(zhuǎn)換器，補(bǔ)充了許多最近的技術(shù)。
-End-
參考：
https://arxiv.org/abs/2111.12503
https://blogs.nvidia.com/blog/2022/06/21/inverse-rendering-3d-research-cvpr/