王栿棟

（寧波職業(yè)技術(shù)學(xué)院 機(jī)電工程學(xué)院,浙江 寧波 315800）

在三維機(jī)器視覺中,首要任務(wù)是通過視覺傳感器（相機(jī)、雷達(dá)等）來獲取外界的真實(shí)信息,然后再通過信息處理技術(shù)或者投影模型得到物體的空間三維坐標(biāo)[1]。通過一般意義上的三維重建,得到結(jié)果是三維點(diǎn)云信息。這是最原始的三維信息。很多場合還要從這些原始點(diǎn)云信息中提取并識別我們需要那部分三維點(diǎn)云,這是三維機(jī)器視覺中目標(biāo)識別的研究課題。

1 目標(biāo)三維重建技術(shù)研究現(xiàn)狀

從數(shù)據(jù)獲取方式區(qū)分,三維重建技術(shù)分接觸式和非接觸式兩種。前者利用儀器觸頭直接碰觸待測目標(biāo),如機(jī)械式的三坐標(biāo)測量儀就是此類三維重建技術(shù)。而非接觸式通常被分為主動視覺和被動視覺兩個類型,以下分別介紹。

1.1 主動視覺

主動視覺就是利用特殊的光學(xué)儀器向視覺場景中投射特殊的結(jié)構(gòu)光,然后通過檢測這些投射光在目標(biāo)表面的圖像,或者計(jì)算回收反射信號的時間來進(jìn)行深度信息獲取的三維重建技術(shù)。當(dāng)前常用主動視覺三維重建有以下幾種。

1.1.1 結(jié)構(gòu)光法

基于結(jié)構(gòu)光三維重建研究始于上世紀(jì)80年代。結(jié)構(gòu)光源把某種特殊的光投射到測量物體表面上,形成了一幅特殊規(guī)律的結(jié)構(gòu)光圖。通過視覺傳感器（相機(jī)）獲取這些結(jié)構(gòu)光圖,然后結(jié)合測量算法,計(jì)算出對應(yīng)圖像對應(yīng)點(diǎn)的深度信息。結(jié)構(gòu)光根據(jù)不同情況可選用點(diǎn)結(jié)構(gòu)光、線結(jié)構(gòu)光、面結(jié)構(gòu)光等[2]。結(jié)構(gòu)光三維重建簡單方便,精度高。但對使用場景有較高要求,不適合在室外場景使用。

1.1.2 激光掃描法

20世紀(jì)60年代,一些歐美國家開始對激光掃描技術(shù)進(jìn)行研究。激光掃描法利用激光測距儀發(fā)射光束到物體表面,然后接受從物體表面反射回來的信號。它通過計(jì)算激光發(fā)射和回收之間的時間差,可以直接計(jì)算出目標(biāo)物體表面的深度信息,結(jié)合傳感器參數(shù)便可以計(jì)算出目標(biāo)的三維點(diǎn)云。通過不同角度的連續(xù)激光掃描結(jié)合配準(zhǔn)技術(shù),可以重建出復(fù)雜的三維結(jié)構(gòu)。它精度高,但巨量的點(diǎn)云配準(zhǔn)會消耗大量時間,同時所需設(shè)備復(fù)雜昂貴。

1.1.3 TOF法

TOF（Time of flight）法即時間飛行法,它利用光學(xué)儀器（如激光雷達(dá)）向目標(biāo)物體發(fā)射一定頻率的脈沖光,直到接收器回收到返回光停止,然后通過計(jì)數(shù)脈沖個數(shù)并結(jié)合光速計(jì)算出目標(biāo)的距離信息。TOF技術(shù)原理簡單,垂直視場大。但因光速很快,所以對脈沖發(fā)生器和接受器都有苛刻的要求。測得的三維點(diǎn)云誤差相對較大。

1.1.4 雷達(dá)技術(shù)法

基于雷達(dá)技術(shù)三維重建通過發(fā)射和接收的光束之間的時間差來計(jì)算物體的距離。雷達(dá)法的測量視場大,距離遠(yuǎn)。但受環(huán)境影響較大,重建三維數(shù)據(jù)精度一般。

1.2 被動視覺

被動視覺不需要額外的裝置往視場發(fā)射可見光、電磁波等形式的能量,而是直接利用視覺傳感器從客觀外界獲取相關(guān)信息。然后在相關(guān)約束條件下,通過信息處理算法計(jì)算出目標(biāo)的三維坐標(biāo)信息。它要比主動視覺系統(tǒng)更輕巧,成本更低。當(dāng)前常用被動視覺三維重建有以下幾種。

1.2.1 單目立體視覺

單目立體視覺顧名思義就是只需要使用一臺相機(jī)就可以實(shí)現(xiàn)三維重建任務(wù)。如果僅憑單個相機(jī)獲取目標(biāo)物體圖像而言,單個圖像本身是沒有深度信息的。所以單目相機(jī)三維視覺方法需要建立在一定的模型假設(shè)之上。如SFS法,光度立體視覺法,紋理法,還有基于單個相機(jī)移動的輪廓法。單目相機(jī)三維視覺設(shè)備簡單,應(yīng)用靈活,成本低。但其三維重建數(shù)據(jù)精度較差。

1.2.2 雙目立體視覺

雙目視覺原理來源于人類自身雙目視覺系統(tǒng)。兩個相機(jī)從不同的視角獲取同一目標(biāo)的兩個圖像。通過極線幾何原理可以恢復(fù)目標(biāo)物體的三維坐標(biāo)信息。但要獲得精確的三維坐標(biāo)信息,高精度的雙目匹配技術(shù)是其中的難點(diǎn)和研究熱點(diǎn)[3]。

1.2.3 多目立體視覺

多目立體視覺就是用多于二個的相機(jī)從不同視角獲取同一目標(biāo)的多副圖像。是雙目立體視覺的延伸。多目視覺通過多角度的圖像信息獲取,可以減少測量中的視覺盲區(qū),獲得更大的視野范圍。但多臺相機(jī)會使得整個系統(tǒng)更復(fù)雜。匹配運(yùn)算量大大增加。

無論是基于主動視覺還是被動視覺的三維重建,有時為了獲得更完整的目標(biāo)表面三維點(diǎn),還要從不同的視角對同一測量目標(biāo)進(jìn)行多次三維重建。然后通過配準(zhǔn)把各部分三維點(diǎn)重新拼接成更完整的三維點(diǎn)云數(shù)據(jù)。

2 三維目標(biāo)識別技術(shù)研究現(xiàn)狀

通過上述一般意義上的三維重建,得到結(jié)果是三維點(diǎn)云信息。這是最原始的三維信息。很多場合還要從這些原始點(diǎn)云信息中識別、提取我們需要的那部分三維點(diǎn)云,這是三維機(jī)器視覺中目標(biāo)識別的研究課題。它是一個有關(guān)模式識別領(lǐng)域的問題。三維目標(biāo)識別方法目前主要有以下兩大類。

2.1 基于三維點(diǎn)云的三維視覺識別方法

基于三維點(diǎn)云的三維視覺識別方法,它是直接以三維點(diǎn)云數(shù)據(jù)為處理對象。但如今許多成熟的二維視覺識別算法[4]并不能簡單地移植到三維視覺來。因?yàn)槿S點(diǎn)云信息要比二維圖像信息多了一個維度,其信息量和復(fù)雜度都要大得多,而且各領(lǐng)域已有的三維圖像數(shù)據(jù)也遠(yuǎn)沒二維圖像豐富。所以基于三維點(diǎn)云的三維視覺識別方法還有許多待研究的問題,是當(dāng)前較為熱門的研究課題。

康胤禎等[5]采用3D相機(jī)獲取零件的三維點(diǎn)云,然后對三維點(diǎn)豎直方向坐標(biāo)值設(shè)定一個閥值,分割出零件的凹陷區(qū)域。這樣的提取目標(biāo)方便簡單,但精確度較低。袁天文[6]利用改進(jìn)后的ISS3D、SHOT等三維特征提取,并通過與模型庫的三維模型匹配[7]的方法,實(shí)現(xiàn)了復(fù)雜三維場景中的目標(biāo)識別任務(wù)。此方法必須事先準(zhǔn)備包含大量精確合適的三維樣本的模型庫。深度學(xué)習(xí)本質(zhì)是一個多隱層的人工神經(jīng)網(wǎng)絡(luò)。要是能提供大量的數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí),便可以得到一個足夠優(yōu)秀的分類決策神經(jīng)網(wǎng)絡(luò)。但必須要設(shè)計(jì)一個合適的訓(xùn)練模型。同時需要準(zhǔn)備大量的3D數(shù)據(jù)樣本提供訓(xùn)練,這在目前很難做到。深度學(xué)習(xí)對硬件的運(yùn)算速度要求也很高,所以目前深度學(xué)習(xí)在三維點(diǎn)云識別中還沒有大規(guī)模普及。2017年南加州大學(xué)的Donghyun等[8]實(shí)現(xiàn)了一個基于深度卷積神經(jīng)網(wǎng)絡(luò)的3D人臉識別。其實(shí)是通過把三維點(diǎn)云轉(zhuǎn)化為偽深度圖（像素值表示目標(biāo)點(diǎn)與相機(jī)距離）來進(jìn)行處理,實(shí)質(zhì)還是一個關(guān)于二維圖像的深度學(xué)習(xí)。

2.2 基于二維圖像的三維目標(biāo)識別方法

該方法主要是根據(jù)二維圖（包括深度圖）的豐富特征并通過各種約束理論來進(jìn)行三維目標(biāo)的識別提取。這是一種比較傳統(tǒng)的三維目標(biāo)識別方法,很多二維圖像識別算法在此都可以得到應(yīng)用。該方法數(shù)據(jù)處理復(fù)雜度低,算法效率高。所以現(xiàn)有很多三維識別方法中都直接或間接地使用了基于二維圖像的識別方法。一般可分為基于幾何模型,基于視圖,基于深度圖這幾類方法。

2.2.1 基于幾何模型的方法

這種方法利用被測量三維物體顯著的幾何特性（如直線輪廓、圓弧輪廓、骨架）投影到二維圖像后仍保持明顯的可識別特征。Wang Songwei等[9]利用飛機(jī)二維圖像骨架所反映的目標(biāo)拓?fù)浣Y(jié)構(gòu),建立了不同目標(biāo)局部結(jié)構(gòu)之間的對應(yīng)關(guān)系。以此實(shí)現(xiàn)對空中飛機(jī)的識別。張躍強(qiáng)[10]利用對二維圖像中直線段幾何特征提取與匹配,實(shí)現(xiàn)了三維目標(biāo)識別。于加其[11]通過激光雷達(dá)獲得地面場景的三維點(diǎn)云,然后在擬合和識別出地面的基礎(chǔ)上,讓地面的目標(biāo)（如車輛）向地面方向投影得到二維圖。最后從這個二維圖像中車輛的長寬線框特征來識別車輛類型。王一江[12]在利用雙目視覺對空間網(wǎng)架結(jié)構(gòu)中球節(jié)點(diǎn)位移的測量中,利用球體投影到相機(jī)的二維圖像為圓的幾何特征識別球形關(guān)節(jié)點(diǎn)。由于這個球關(guān)節(jié)投影到相機(jī)呈現(xiàn)的不是完整的圓形,故再對二維圖像中的非完整圓形使用深度進(jìn)行學(xué)習(xí)來實(shí)現(xiàn)對空間球關(guān)鍵的識別。

2.2.2 基于視圖的方法

該方法是提取一個或多個來自空間三維目標(biāo)的二維視圖,然后從這些二維視圖中提取特征來識別三維目標(biāo)。方雪等[13]通過對三維目標(biāo)的各視點(diǎn)二維圖像提取基于網(wǎng)格的統(tǒng)計(jì)模型特征,不但實(shí)現(xiàn)了對三維目標(biāo)的識別。同時還結(jié)合模型庫,實(shí)現(xiàn)了對三維目標(biāo)位姿的估計(jì)。李長軍等[14]針對戰(zhàn)場環(huán)境中目標(biāo)識別,提出將目標(biāo)的三維模型投影到二維平面,并采用余弦傅里葉矩和瑞利分布的CFAR檢測方法分別對其矩特征和峰值特征進(jìn)行提取,利用級聯(lián)組合分類器對目標(biāo)識別。肖大鵬[15]將無人車獲得的激光點(diǎn)云從三維空間投影到二維空間,通過圖像膨脹、輪廓檢測等對點(diǎn)云做二值化處理,然后利用HOG和LBP等描述子進(jìn)行二維特征提取。最后結(jié)合支持向量機(jī)實(shí)現(xiàn)對汽車、行人的識別。

2.2.3 基于深度圖的方法

此處的深度圖指偽深度圖,即每個圖像的像素值代表對應(yīng)空間點(diǎn)到相機(jī)的距離。Donghyun等[8]把人臉的三維點(diǎn)云轉(zhuǎn)化為深度圖來進(jìn)行處理,并通過關(guān)于二維圖像的深度學(xué)習(xí)來實(shí)現(xiàn)人臉識別。所以此種方法也被稱為是基于2.5D圖像的方法。

3 結(jié)束語

上述的三維重建,三維目標(biāo)識別可以作為單獨(dú)的工作目標(biāo)存在。但在此基礎(chǔ)上,有時還需要對三維對象進(jìn)行定量精密的測量。三維精密測量不僅要設(shè)法重建三維場景的三維點(diǎn)云,或是將感興趣的三維目標(biāo)從三維點(diǎn)云中識別出來,更需要對其尺寸、位置、方向等參數(shù)進(jìn)行精確地測量。三維機(jī)器視覺方興未艾,應(yīng)用潛力巨大。同時還有諸如實(shí)時性、場景適應(yīng)性、可靠性等問題有待進(jìn)一步完善和提高。