2023成都積分入學(xué)什么時候開始申請
2023-01-31
AI想象力恐怖如斯：看一眼人體局部，就能腦補5種全身姿勢
更新時間：2022-06-23 16:27:02作者：佚名
當(dāng)AI擁有“想象力”是一種什么樣的體驗？
像左上角這樣，只給出一個凳子的椅座部分，AI就很快就腦補出了一張完整的三維椅子模型：
類似的，當(dāng)面對經(jīng)典的“用PS讓大象轉(zhuǎn)身”的甲方需求，我們拿到了這樣一張汽車屁股的照片：
AI也可以根據(jù)已有的局部信息，迅速推斷出缺失部分，并最終建模得到一個3D汽車模型。
這項研究成果來自深圳大學(xué)黃慧教授帶領(lǐng)的研究團(tuán)隊，其論文最近剛剛被計算機(jī)視覺領(lǐng)域的頂級會議CVPR 2022接收，論文的第一作者為深圳大學(xué)視覺計算中心的研究助理閆星光。
接下來，就來一起看看一張局部照片是如何一步一步變?yōu)檎w建模的。
一個完整的三維建模的形狀通常是通過相機(jī)探測和表面取樣獲得的，而局部照片就意味著只能從物體的可見部分獲得信息，導(dǎo)致了不同的采樣密度和缺失。
那么這時，就要通過觀察已有數(shù)據(jù)中的非局部的提示，使用各種形式的先驗知識推斷出缺失部分。
于是，作者首先提出了一種矢量量化（Vector Quantization）的深度隱式函數(shù)（Deep Implicit Function），VQDIF。
這是一種三維表示方法，可以將表面形狀洗漱地編碼為離散的二元組序列，每個序列代表一個局部特征的位置和內(nèi)容，也就是這樣一個過程：
其次，作者提出了一個基于Transformer的自回歸模型，ShapeFormer，基于上一步中生成的二元組序列，順序地預(yù)測出完整序列的分布。
這里的Transformer是2014年的一個模型，能夠利用注意力機(jī)制（Attention）來提高模型訓(xùn)練速度，最初一經(jīng)推出就在自然語言理解領(lǐng)域（NLP）取得了突破性進(jìn)展，近幾年也有不少將其應(yīng)用在計算機(jī)視覺領(lǐng)域（CV）的跨界研究。
而通過對上一步所預(yù)測出的分布進(jìn)行抽樣，可以得到不同的預(yù)測結(jié)果。
除了像桌椅這種平面形狀，AI也在訓(xùn)練中學(xué)會了對稱性、空心、填充等不少技能，因此也可以生成像是茶壺或水壺這樣的三維模型。
作者也在論文中表示，比起已有的許多三維圖像生成方法，ShapeFormer產(chǎn)生的結(jié)果可以保留更多的原圖細(xì)節(jié)。
同時，這種AI的“想象力”也極為豐富，比如面對人類這樣一個姿勢具有極大不確定性的生成目標(biāo)，作者從完整的模型中隨機(jī)選擇一小部分，而AI在保持觀察到身體部位的姿勢的前提下，還生成了多種可能的姿勢。
采寫：南都見習(xí)記者楊博雯