陳天凡 高誠輝 何炳蔚

1.福州大學(xué)，福州，350002 2.福州職業(yè)技術(shù)學(xué)院，福州，350108

0 引言

利用視覺傳感器、圖像采集裝置等機(jī)器視覺產(chǎn)品對目標(biāo)物體進(jìn)行非接觸三維測量，獲取物體的三維信息，實現(xiàn)全自動或半自動建模，是物體三維重建技術(shù)的一個重要發(fā)展方向。視點規(guī)劃(view planning)亦稱傳感器規(guī)劃(sensor planning，SP)，它利用給定的環(huán)境信息以及將要完成的任務(wù)信息來自動決定傳感器參數(shù)最佳值的策略［1］，對三維重建效率、采集的圖像信號數(shù)據(jù)質(zhì)量、圖像的后處理和分析都有較大影響。許多學(xué)者開展了視點規(guī)劃的研究［2-5］，研究方法逐漸從基于模型的視點規(guī)劃方法向基于未知模型的視點規(guī)劃方法發(fā)展。

由于機(jī)器視覺系統(tǒng)本身的結(jié)構(gòu)或目標(biāo)物體的形狀特征產(chǎn)生遮擋區(qū)域，故視覺傳感器未能獲取到目標(biāo)物體上的三維信息，在物體的三維表面數(shù)據(jù)中出現(xiàn)點云孔洞。通過網(wǎng)格修補(bǔ)等圖像處理方法解決遮擋問題［6-7］的方法可在解決形狀規(guī)則和較小區(qū)域的點云孔洞時能夠保證一定的精度，但有一定的局限性。

文獻(xiàn)［8］對未知物體三維重建的視點規(guī)劃分為線激光掃描側(cè)面視點規(guī)劃和上表面視點規(guī)劃，側(cè)面視點規(guī)劃預(yù)測出遮擋部分的輪廓模型，結(jié)合可視空間確定消除遮擋的視點位置。針對上表面重建過程中的遮擋問題，以遮擋邊界連線的法矢為依據(jù)，確定規(guī)劃方案。該視點規(guī)劃方法能夠?qū)崿F(xiàn)未知物體的三維重建，但物體三維重建效率和如何保證重建精度有待進(jìn)一步研究。

選擇遮擋孔洞部分的合適視點位置來消除遮擋部分是視點規(guī)劃研究的一個重要內(nèi)容。本文針對遮擋問題提出了通過建立點云孔洞邊界最小包容盒以確定消除遮擋部分視點位姿的新方法，視點規(guī)劃方案為先進(jìn)行側(cè)面激光掃描視點規(guī)劃，再對側(cè)面掃描產(chǎn)生的遮擋部分進(jìn)行視點規(guī)劃，提高了規(guī)劃的自動化程度，并在視點規(guī)劃方案中選擇合適的測量距離以提高表面擬合精度。

1 研究實驗方法

1.1 實驗設(shè)備

本文的實驗設(shè)備為五自由度機(jī)器視覺系統(tǒng)，如圖1所示。OP為工作臺旋轉(zhuǎn)中心，線激光發(fā)生器和CCD攝像機(jī)組成視覺系統(tǒng)，機(jī)器視覺設(shè)備的5個自由度運(yùn)動如下:①X方向平動，行程為－400～400mm;②Z方向平動，行程為 0～400mm，其中，激光發(fā)生器的掃描高度 H為50mm;③Y方向平動，行程為0～300mm;④繞OPZ1軸做0°～360°轉(zhuǎn)動;⑤繞 OPX1軸做 －90°～90°轉(zhuǎn)動。視覺系統(tǒng)對目標(biāo)物體掃描時的運(yùn)動平面與XOZ平面平行。

圖1 機(jī)器視覺系統(tǒng)示意圖

根據(jù)文獻(xiàn)［9］的研究結(jié)果，視覺系統(tǒng)最小測量距離為64mm，最大測量距離為186mm，有效測量深度為122mm。測量距離影響被測物體表面的擬合精度，視覺系統(tǒng)測量精度δ為25～58μm。為滿足系統(tǒng)對任意未知高度物體均能進(jìn)行有效測量的要求，系統(tǒng)最佳可視測量深度 d為94～186mm。機(jī)器視覺系統(tǒng)實驗裝置如圖2所示。

圖2 視覺系統(tǒng)實驗裝置照片

1.2 孔洞邊界點的判斷

點云數(shù)據(jù)預(yù)拼合后，把拼合坐標(biāo)系偏置到以工作臺旋轉(zhuǎn)中心OP為原點的坐標(biāo)系，根據(jù)點云數(shù)據(jù)的Z坐標(biāo)值大小細(xì)分為若干等分層，把每個等分層內(nèi)的點云向X1OPY1平面投影，設(shè)定點云孔洞投影點的距離閾值為a，若X1OPY1平面上相鄰?fù)队包c的距離大于a，則該投影點對應(yīng)的三維空間點即為孔洞邊界點。

如圖3所示，將間隔為ΔZ的分層區(qū)間內(nèi)的點云向X1OPY1平面方向投影，計算坐標(biāo)原點OP和各投影點的連線與X1軸之間的角度γ(OP在點云數(shù)據(jù)輪廓投影點內(nèi)，目標(biāo)物體放置在工作臺中央位置)，按角度γ大小順序計算相鄰?fù)队包c的距離。若相鄰?fù)队包c Q'i、Q'i+1的距離 |Q'iQ'i+1|=Ti＞a，則Qi、Qi+1為孔洞邊界點;若相鄰?fù)队包cQ'j、Q'j+1的距離 |Q'jQ'j+1|=Tj≤ a，則 Qj、Qj+1不是孔洞邊界點。

圖3 點云數(shù)據(jù)向X1OPY1平面投影示意圖

2 目標(biāo)物體表面三維掃描視點規(guī)劃方法

為了有效消除遮擋孔洞問題，本文把視覺系統(tǒng)獲取的目標(biāo)物體表面三維信息的視點規(guī)劃分為側(cè)面信息激光掃描視點規(guī)劃和遮擋孔洞掃描視點規(guī)劃。

2.1 遮擋孔洞掃描視點規(guī)劃方法

2.1.1 孔洞掃描平面方向的確定

線激光掃描中，如果用視覺系統(tǒng)掃描運(yùn)動平面的兩個平行面包容待檢測的輪廓面部分，兩包容平面間的距離越小，輪廓面相對視點位置的角度變化就越小，輪廓面可視性越大，擬合精度的變化量也越小。因此，利用孔洞邊界點，以最小二乘法確定視點掃描方向，對孔洞輪廓面進(jìn)行掃描，采集其點云數(shù)據(jù)，能夠有效地解決遮擋孔洞問題，并可通過選擇合適的測量深度來提高點云采集精度。

孔洞邊界點為 Pi(i=1，2，…，n)，其坐標(biāo)為(xPi，yPi，zPi)。假設(shè)掃描平面方向最小二乘平面M的方程為

則各邊界點到最小二乘平面的距離di為

沿平面法向量方向，邊界點在平面上方時，點到平面的距離di為正值，在平面下方時，點到平面的距離di為負(fù)值(下同)。

設(shè)

根據(jù)孔洞邊界點的坐標(biāo)值，采用最小二乘法，使得S為極小值，并求出最小二乘平面方程的參數(shù) a、b、c值。

視點的掃描運(yùn)動平面與最小二乘平面z=ax+by+c平行，其法向量 n=(－ a，－ b，1)。最小二乘平面M如圖4所示。

圖4 最小二乘平面

2.1.2 孔洞邊界點的最小包容盒

如圖4所示，過工作臺旋轉(zhuǎn)中心(坐標(biāo)原點)OP作垂直于最小二乘平面z=ax+by+c的直線，直線與最小二乘平面相交于點OM，OM在X1OPY1平面上的投影點為O'M，OM在平面Y1OPZ1平面上的投影點為O″M。

直線OPOM的方向向量是最小二乘平面的法向量，OPOM直線方程如下:

從圖 4分析可知，平面 OMOPO'M與平面Y1OPZ1之間的夾角為

直線OPOM繞OPZ1軸旋轉(zhuǎn)γOM角后到平面Y1OPZ1上的直線為 OPOγ，直線 OPOγ與平面X1OPY1的夾角為

平面OMOPO'M的方程為

平面 OMOPO″M的方程為

界點Pi到平面OMOPO'M的距離:

界點Pi到平面OMOPO″M的距離:

dLi為最大值dLmax、最小值dLimin時對應(yīng)的孔洞邊界點分別為PL和PR，dWi為最大值dWimax、最小值dWimin時對應(yīng)的孔洞邊界點分別為PU和PD。

孔洞邊界點的最小包容盒為由前后平面和四周平面組成的六面長方體，如圖5所示。前后平面與孔洞邊界點的最小二乘平面平行，分別為經(jīng)過到最小二乘平面距離最大值和最小值的邊界點的平行面，設(shè)dimax為孔洞邊界點到最小二乘平面的最大距離，dimin為孔洞邊界點到最小二乘平面的最小距離，前后包容面的距離為

圖5 孔洞邊界點的最小包容盒

四周平面中的左右平面與平面OMOPO'M平行，分別為經(jīng)過到邊界點PL和PR的平行面，左右平面的距離為

四周平面中的上下平面與平面OMOPO″M平行，分別為經(jīng)過到邊界點PU和PD的平行面，上下平面的距離為

2.1.3 遮擋孔洞表面掃描視點規(guī)劃

遮擋孔洞的掃描運(yùn)動平面與孔洞邊界點的最小二乘平面z=ax+by+c平行，視點方向垂直于最小二乘平面。利用五自由度機(jī)器視覺系統(tǒng)研究設(shè)備進(jìn)行遮擋孔洞掃描時，放置目標(biāo)物體的工作臺繞OPZ1軸旋轉(zhuǎn)γOM角后再繞OPX1軸翻轉(zhuǎn)φOM角，使工作臺運(yùn)動后孔洞邊界點的最小二乘平面與掃描運(yùn)動平面平行，即最小包容盒的前后平面與掃描運(yùn)動平面XOZ平行。

此時，工作臺旋轉(zhuǎn)中心OP到最小包容盒前后面的距離分別是rOM+dimax和rOM+dimin。根據(jù)點云數(shù)據(jù)預(yù)拼合的輪廓形狀預(yù)估遮擋孔洞輪廓的凸凹情況，判斷可能超出最小包容盒前后面的距離，考慮視覺系統(tǒng)的表面擬合精度與測量距離之間的關(guān)系情況，選擇工作臺沿Y方向平移的位置。視覺系統(tǒng)沿X方向和Z方向的平移運(yùn)動范圍大于最小包容盒的四周平面范圍，對孔洞輪廓表面采集點云數(shù)據(jù)。

2.2 目標(biāo)物體掃描視點規(guī)劃

側(cè)面信息激光掃描視點規(guī)劃參照文獻(xiàn)［10］的方法。使用被動視覺技術(shù)獲取目標(biāo)物體的最大尺寸信息，根據(jù)極限曲線構(gòu)建出相應(yīng)的極限曲面，分析該曲面模型的可視性，最后選取能夠獲得最大可視區(qū)域的視點位置作為下一最優(yōu)視點。目標(biāo)物體掃描視點規(guī)劃流程如圖6所示。

圖6 目標(biāo)物體掃描視點規(guī)劃流程圖

2.3 實例應(yīng)用

2.3.1 實例 1

對模型1進(jìn)行三維數(shù)字化建模，利用五自由度機(jī)器視覺系統(tǒng)獲取其表面三維信息，對側(cè)面信息激光掃描后，三維點云數(shù)據(jù)預(yù)拼合后如圖7所示，遮擋孔洞主要集中在物體上部。

圖7 模型1側(cè)面掃描點云數(shù)據(jù)預(yù)拼合

拼合坐標(biāo)系原點偏置到工作臺旋轉(zhuǎn)中心，遮擋孔洞邊界點如圖8所示，其最小二乘平面M的方程為 z=－0.0328x－0.0031y+119.2538。

工作臺旋轉(zhuǎn)中心到最小二乘平面的距離rOM=119.1891mm，到最小二乘平面的垂足OM點坐標(biāo)為(3.9073，0.3693，119.1245)。

建立孔洞邊界點的最小包容盒，包容盒前后包容面的距離為8.94mm。工作臺繞OPZ1軸旋轉(zhuǎn)84.60°后再繞OPX1軸翻轉(zhuǎn)89.94°，工作臺沿Y方向平移，選取視點到最小二乘平面的距離為125mm。視覺系統(tǒng)沿X方向和Z方向的平移運(yùn)動范圍大于最小包容盒的四周平面范圍，對遮擋孔洞表面進(jìn)行掃描的點云如圖9所示。模型1側(cè)面信息掃描和遮擋孔洞表面掃描的點云拼合結(jié)果如圖10所示。

圖8 模型1遮擋孔洞邊界點

圖9 對遮擋孔洞表面進(jìn)行掃描的點云

圖10 模型1點云拼合結(jié)果

2.3.2 實例 2

對模型2進(jìn)行側(cè)面信息激光掃描，各視點下的掃描結(jié)果如圖11所示。

圖11 模型2側(cè)面信息激光掃描結(jié)果

側(cè)面掃描各視點的點云都出現(xiàn)孔洞，三維點云數(shù)據(jù)預(yù)拼合后如圖12所示，遮擋孔洞只有3處，孔洞1和孔洞2在模型2的上部，孔洞3在模型2的下部。

圖12 模型2側(cè)面掃描點云數(shù)據(jù)預(yù)拼合

遮擋孔洞邊界點如圖13所示，由于上部的孔洞1和孔洞2和下部的孔洞3位置較遠(yuǎn)，分2個視點進(jìn)行掃描。視點6掃描孔洞1和孔洞2，視點7掃描孔洞3?？锥?和孔洞2的最小二乘平面 M1方程為 z=0.1707x－0.0938y+96.7238，孔洞3的最小二乘平面 M2方程為z=0.0826x+0.1105y+37.4491。建立孔洞邊界點的最小包容盒，模型2各孔洞掃描視點的有關(guān)參數(shù)計算結(jié)果如表1所示。

圖13 模型2遮擋孔洞邊界點

表1 模型2孔洞掃描視點的有關(guān)參數(shù)計算結(jié)果

視覺系統(tǒng)沿X方向和Z方向的平移運(yùn)動范圍分別超過最小包容盒的左右平面和上下平面之間的范圍，對遮擋孔洞表面進(jìn)行掃描的點云如圖14所示。模型2側(cè)面信息掃描和遮擋孔洞表面掃描的點云拼合結(jié)果如圖15所示。

圖14 模型2孔洞掃描

圖15 模型2點云拼合結(jié)果

實驗中側(cè)面信息采集時不需對各視點的掃描點云遮擋孔洞進(jìn)行判斷和再掃描，只要在側(cè)面信息采集完成后對三維點云數(shù)據(jù)預(yù)拼合，進(jìn)行點云孔洞的判斷和視點規(guī)劃，提高了規(guī)劃的效率和自動化程度，取得較好的效果。

3 結(jié)語

本文把視覺系統(tǒng)獲取目標(biāo)物體表面三維信息的方法分為側(cè)面信息采集和遮擋孔洞表面信息采集兩個階段，即先進(jìn)行側(cè)面激光掃描視點規(guī)劃，再對側(cè)面掃描產(chǎn)生的遮擋部分進(jìn)行視點規(guī)劃。為消除遮擋孔洞，本文提出了基于點云孔洞邊界點最小包容盒的視點位姿新方法，將孔洞邊界點最小二乘平面的平行面作為遮擋孔洞表面的掃描運(yùn)動平面，在遮擋孔洞表面點云數(shù)據(jù)采集時選擇合適的測量距離以提高表面擬合精度，有效地獲取目標(biāo)物體表面的三維數(shù)據(jù)信息。實驗驗證了所提方法的有效性。本文研究方法對于實現(xiàn)視點規(guī)劃的自動化和提高目標(biāo)物體三維數(shù)字化的準(zhǔn)確度具有積極作用，遮擋孔洞表面掃描視點規(guī)劃需要對側(cè)面掃描得到的點云數(shù)據(jù)進(jìn)行預(yù)拼合，確定消除遮擋孔洞表面的視點位置，適用于對物體表面有一定擬合精度要求的場合。

［1］孫九愛，呂東輝，宋安平，等.計算機(jī)視覺中傳感器規(guī)劃綜述［J］.中國圖象圖形學(xué)報，2001，6(11):1047-1052.

［2］Wang Pengpeng，Gupta K.A Configuration Space View of View Planning［C］//2006 IEEE/RSJ International Conference on Intelligent Robots and Systems.Beijing，2006:1291-1297.

［3］Chen S Y，Li Y F，Zhang J W，et al.Active Sensor Planning for Multiview Vision Tasks［M］.Berlin:Springer－ Verlag，2008.

［4］Maver J，Bajcsy R.Occlusions as a Guide for Planning the Next View［J］.IEEE Transactions on Pattern A-nalysis and Machine Intelligence，1993，17(5):417-433.

［5］Connolly C.TheDetermination of Next Best Views［C］//IEEE International Conference on Robotics＆Automation.San Franscisco，1985:432-435.

［6］Pernot J P，Moraru G，Veron P.Filling Holes in Meshes Using a Mechanical Model to Simulate the Curvature Variation Minimization［J］.Computers ＆ Graphics，2006，30(6):892-902.

［7］陳杰，高誠輝，何炳蔚.三角網(wǎng)格模型孔洞修補(bǔ)算法研究［J］.計算機(jī)集成制造系統(tǒng)，2011，17(8):1821-1826.

［8］何炳蔚，林東藝，陳志鵬，等.三維物體視覺測量重構(gòu)中解決遮擋問題的方法研究［J］.中國激光，2011，38(7):1-10.

［9］何炳蔚，周小龍.面向未知物體自動測量和重建的視點規(guī)劃方法［J］.計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2010，22(8):1374-1381.

［10］Zhou Xiaolong，He Bingwei，Li Y F.Research on

New View Planning Method for Automatic Reconstruction of Unknown 3D Objects［C］//2009 IEEE International Conference on Robotics and Biomimetics.Guilin，2009:965-970.