吳福培，方信佳，陽(yáng)　春，李昇平，葉瑋琳

(汕頭大學(xué) 機(jī)械電子工程系，廣東 汕頭 515063)

?

基于單目視覺(jué)系統(tǒng)的三維重建方法

吳福培，方信佳，陽(yáng)春，李昇平，葉瑋琳

(汕頭大學(xué) 機(jī)械電子工程系，廣東 汕頭 515063)

以單相機(jī)采集的單幅彩色圖像為基礎(chǔ)，提出了基于單目視覺(jué)系統(tǒng)的表面三維形貌重建方法.該方法采用課題組針對(duì)該問(wèn)題設(shè)計(jì)的多色LED環(huán)形結(jié)構(gòu)光源，通過(guò)標(biāo)定光源內(nèi)各色LED的安裝高度、入射角度、分布密度，使采集到的彩色圖像包含入射光的位置信息.基于視覺(jué)系統(tǒng)中提取的入射光信息、圖像色彩信息、相機(jī)成像模型和圖像的灰度信息，建立了三維重建模型，提出了面向微小器件的表面三維重建方法.該方法解決了傳統(tǒng)SFS法反向重建表面形貌的不確定性和慢收斂性問(wèn)題.實(shí)驗(yàn)研究結(jié)果表明：采用本文所提方法重建圓形墊圈和六角棱柱型螺母，其重建相對(duì)誤差分別為-2.2%和-4.43%，證實(shí)了采用單相機(jī)結(jié)合環(huán)形光源重建微小物體的表面三維形貌是有效的.

機(jī)器視覺(jué)；三維重建；單相機(jī)；表面形貌；單幅圖像

通過(guò)重建表面三維形貌可給出產(chǎn)品表面質(zhì)量的量化評(píng)估信息，有助于細(xì)分產(chǎn)品制造過(guò)程的缺陷，有利于分析其缺陷的分布規(guī)律、導(dǎo)致缺陷的原因和預(yù)測(cè)其缺陷發(fā)展趨勢(shì)，便于產(chǎn)生過(guò)程產(chǎn)品質(zhì)量信息的收集與反饋，也有利于優(yōu)化生產(chǎn)工藝參數(shù)，預(yù)防后續(xù)缺陷的發(fā)生，提升全生產(chǎn)過(guò)程產(chǎn)品的品質(zhì)[1-2].隨著自動(dòng)化生產(chǎn)技術(shù)的迅速發(fā)展，亟需發(fā)展高速高可靠性的表面三維形貌重建理論與方法，為生產(chǎn)過(guò)程提供快速可靠的服務(wù).因此，研究物體的表面三維形貌快速重建理論與方法具有重要的意義.

近年來(lái)，研究三維重建的成果主要分為接觸式和非接觸式兩類(lèi).傳統(tǒng)的接觸式測(cè)量方法以三坐標(biāo)測(cè)量?jī)x為代表，這種方法的測(cè)量精度較高，但速度慢，使用成本高，難以實(shí)現(xiàn)高速在線檢測(cè).在非接觸式測(cè)量方面，又分為非光學(xué)測(cè)量法和光學(xué)測(cè)量法.非光學(xué)測(cè)量法有聲學(xué)檢測(cè)法、飛行時(shí)間法等.相比之下，光學(xué)測(cè)量法具有非接觸、無(wú)損傷、高分辨率、速度快等優(yōu)點(diǎn)，目前獲得了越來(lái)越廣泛的應(yīng)用.根據(jù)照明光源的不同類(lèi)型它可分為被動(dòng)式和主動(dòng)式.被動(dòng)式光學(xué)測(cè)量有多目視覺(jué)法和單目視覺(jué)法，多目視覺(jué)法也稱(chēng)為立體視覺(jué)法，目前應(yīng)用較多[3-5].立體視覺(jué)法的難點(diǎn)在于立體匹配，在重建表面三維形貌過(guò)程中需要進(jìn)行大量的匹配運(yùn)算且易受環(huán)境光照條件影響，計(jì)算成本高，測(cè)量精度、速度受限.單目視覺(jué)法[6-7]在自然光照明下采用一個(gè)攝像機(jī)獲取被測(cè)物體的表面三維信息，常用基于明暗重建(Shape From Shading-SFS)方法重建物體表面三維形貌，事實(shí)上，基于Lambertian光照反射模型的SFS問(wèn)題是病態(tài)的，沒(méi)有唯一解[8]；現(xiàn)有算法通常假設(shè)研究對(duì)象為表面光滑的物體，即認(rèn)為物體表面高度函數(shù)的二階偏導(dǎo)數(shù)是連續(xù)的，然后依據(jù)相關(guān)條件建立SFS問(wèn)題的正則化模型進(jìn)行求解，主要有最小化法、傳播法、局部法和線性化法[9]，然而通過(guò)正則化過(guò)程獲得問(wèn)題的解會(huì)帶來(lái)誤差，由此得到的三維形貌易出現(xiàn)不確定現(xiàn)象，并且求解效率需要提高，離在線檢測(cè)要求仍有差距.主動(dòng)式光學(xué)測(cè)量法基于輔助光源照射進(jìn)行三維測(cè)量，主要有干涉法、相位測(cè)量法和三角法等，其中光學(xué)干涉法主要有全息干涉法[10]、莫爾條紋法[11]等，干涉法具有較高的精度，但其測(cè)量范圍小，對(duì)環(huán)境的要求高，因此微制造和組裝過(guò)程中應(yīng)用較少；相位測(cè)量法主要有相移法[12]、傅里葉變換法[13]、光柵投影法[14,15]等，然而受解相精度的影響，相位測(cè)量法對(duì)于復(fù)雜表面形貌的測(cè)量精度、速度和可靠性還有待提高；三角法通過(guò)投射光源、被測(cè)物體和CCD圖像傳感器之間三角幾何關(guān)系來(lái)重建物體三維形貌，主要有激光三角法、光切法、結(jié)構(gòu)光源法等，其中激光三角法[16,17]測(cè)量精度高、適用范圍廣，該方法的測(cè)量穩(wěn)定性易受焦深、散斑、被測(cè)表面等因素影響.光切法[18,19]以其適用范圍廣、測(cè)量范圍大、精度較高、可控性強(qiáng)等特點(diǎn)，在快速成型和三維面形測(cè)量等領(lǐng)域得到了廣泛的應(yīng)用，但是光切法的光條中心位置不易精確提取，難以重建出具有高排列的微器件表面形貌.

從現(xiàn)有參考文獻(xiàn)的結(jié)果分析中可知：研究高速高可靠性的表面三維形貌在線檢測(cè)課題是大勢(shì)所趨，而已有的表面三維形貌重建方法尚難滿足高速制造和組裝過(guò)程產(chǎn)品的表面三維質(zhì)量在線檢測(cè)要求.如果以主動(dòng)式光學(xué)測(cè)量法為基礎(chǔ)，研究高速高可靠性的表面三維形貌在線檢測(cè)課題，就要設(shè)計(jì)一個(gè)合適的光源，即該光源利于將被測(cè)表面三維形貌信息投射到盡可能少幅的圖像中，并使圖像中的目標(biāo)信息與背景信息得到最佳分離，從而降低特征提取過(guò)程圖像處理的算法難度，同時(shí)提高系統(tǒng)的精度和可靠性；在此基礎(chǔ)上，基于單目視覺(jué)系統(tǒng)研究表面三維形貌快速重建，將具有廣闊的工業(yè)應(yīng)用前景.

圖1　單目視覺(jué)系統(tǒng)Fig.1　The monocular vision system

1　單目視覺(jué)系統(tǒng)

如圖1所示，文中所提的單目視覺(jué)系統(tǒng)由一個(gè)3CCD彩色相機(jī)和一個(gè)紅綠藍(lán)3色LED環(huán)形結(jié)構(gòu)光源組成.3色光照射視場(chǎng)內(nèi)同一點(diǎn)時(shí)，在彩色圖像的同一像素位置將產(chǎn)生代表3種顏色光強(qiáng)度的灰度值.由于3色光的入射位置不同，故此可建立3個(gè)成像方程組，進(jìn)而可求解出被測(cè)位置的高度.與基于明暗重建(Shape From Shading-SFS)方法重建物體表面三維形貌所采用的光不同，文中所提方法采用課題組設(shè)計(jì)的多色LED環(huán)形結(jié)構(gòu)光源(見(jiàn)圖1)，并對(duì)光源內(nèi)各色LED的安裝高度、入射角度、分布密度分別進(jìn)行嚴(yán)格標(biāo)定[20]，使采集到的彩色圖像包含入射光的位置信息.并且，工作時(shí)環(huán)形光源各LED同時(shí)點(diǎn)亮.通過(guò)光源均勻性設(shè)計(jì)及標(biāo)定后，可認(rèn)為視場(chǎng)內(nèi)單位面積(可看作單像素所對(duì)應(yīng)面積)內(nèi)接收同色光照的強(qiáng)度是均勻的.

2　基于單目視覺(jué)系統(tǒng)的三維重建方法

為了便于闡述論文提出的三維重建方法，搭建如圖2所示的圖像采集系統(tǒng)，并在圖中所示的剖切面AA中建立如圖3所示的成像坐標(biāo)系統(tǒng).其中坐標(biāo)系的原點(diǎn)建立在視場(chǎng)的中心處，Zw軸指向相機(jī)的方向，Xw軸沿切線AA方向.如前所述，通過(guò)光源均勻性設(shè)計(jì)及標(biāo)定后，可認(rèn)為視場(chǎng)內(nèi)單位面積內(nèi)接收同色光照的強(qiáng)度是均勻的.因此，建立如圖3所示的成像系統(tǒng)對(duì)所有成像點(diǎn)均具有代表性.

圖2　圖像采集系統(tǒng)Fig.2　The image acquired system

圖3　像坐標(biāo)系統(tǒng)Fig.3　The imaging coordinated system

如圖3所示，在Ow-Xw-Zw的二維坐標(biāo)系中，Ow點(diǎn)為世界坐標(biāo)系的原點(diǎn)，坐標(biāo)為Ow(0,0)，Oc點(diǎn)為光心，其在世界坐標(biāo)系的坐標(biāo)為Oc(0,l)，l為物距.設(shè)光源位置處在世界坐標(biāo)系中的坐標(biāo)為e(xl,zl)，被測(cè)物體上某一點(diǎn)在世界坐標(biāo)系中的坐標(biāo)為s(xi,zi)，該點(diǎn)相機(jī)成像后，在圖像坐標(biāo)系中的坐標(biāo)為p(u,v).直線es為入射光線，反射光線為直線sp.入射光線es與反射光線sp的交點(diǎn)s(xi,zi)對(duì)應(yīng)的z坐標(biāo)即為被測(cè)物體在點(diǎn)(xi,zi)處的高度，其對(duì)應(yīng)的Z軸坐標(biāo)為zi.

如圖3所示，定義入射光線es與水平線即Xw軸的夾角為α，反射線sp與水平線即Xw軸的夾角現(xiàn)象為η.

根據(jù)光的反射原理，如圖3所示的反射線sp的方程可表示為

(1)

如圖3所示的反射線與水平線的夾角

(2)

式中：f為相機(jī)的焦距；l為物距；(u0,v0)為成像平面坐標(biāo)系的原點(diǎn)，即相機(jī)的光軸與像平面的交點(diǎn)，以像素為單位；(u,v)為圖像平面上任意點(diǎn)坐標(biāo)，以像素為單位；dx,dy分別為每個(gè)像素在x,y方向上的物理尺寸，以毫米(mm)為單位.在此可推導(dǎo)出，入射線es的方程式為

綜上，聯(lián)立式（1）,式（3）可求得入射線es和反射線sp的交點(diǎn)(xi,zi)

(4)

式中：(xl,zl)為入射光源在世界坐標(biāo)系中的坐標(biāo)；α為入射光線es與水平線即X軸的夾角，單位：(°).

由于入射光線與水平線即Xw軸的夾角α未知，無(wú)法計(jì)算入射線es的方程，即無(wú)法求解任意點(diǎn)的高度.為求解該問(wèn)題，論文提出利用標(biāo)定點(diǎn)的方法來(lái)計(jì)算夾角α值.圖4為標(biāo)定點(diǎn)和任意點(diǎn)的反射圖.

圖4　標(biāo)定點(diǎn)和任意點(diǎn)的反射圖Fig.4　The reflection model of calibration point and arbitrary point

對(duì)于同性質(zhì)材料(非高光材料)的同批次被測(cè)對(duì)象，在同一光源照射下，基于獲取的單張圖像，采用如圖4所表達(dá)方式，可簡(jiǎn)化曲面朝向(即傾角)和圖像亮度之間的關(guān)系表示，實(shí)驗(yàn)結(jié)果表明曲面朝向和圖像亮度之間呈比例關(guān)系，設(shè)比例系數(shù)為k.則有

(5)

式中：θi,θ0分別為微觀表面Owi,Ow0處的傾角，單位：(°)；gl,g0分別為從微觀表面Owi,Ow0處獲得的灰度值.

在圖4中，如已知標(biāo)定點(diǎn)Ow0的參數(shù)(如入射線與水平線的夾角為α0、微觀表面的傾角θ0、灰度值g0值等)，計(jì)算待求點(diǎn)Owi的入射線與水平線的夾角

根據(jù)式（2）計(jì)算出η0和ηi，并代入式（6）中，得入射線與水平線的夾角

(7)

將式(7)代入式(4)，并且令

可求得被測(cè)物體表面任意點(diǎn)的高度值

(8)

該點(diǎn)為剖切線AA截面對(duì)應(yīng)實(shí)測(cè)點(diǎn)的高度值.同理，根據(jù)被測(cè)物體的剖切線AA截面在所獲彩色圖像的像素值，可求出X軸方向各被實(shí)測(cè)點(diǎn)的Z軸坐標(biāo)，將各計(jì)算點(diǎn)連線，即為被測(cè)物體在剖切線AA截面的剖切曲線.結(jié)合本文所提單目視覺(jué)成像系統(tǒng)的極對(duì)稱(chēng)性，以Z軸為旋轉(zhuǎn)中心，將該剖切線AA截面分步長(zhǎng)旋轉(zhuǎn)，分別計(jì)算出各剖截面對(duì)應(yīng)的被測(cè)物體表面高度值，直至旋轉(zhuǎn)角至360°為止，即可求出目標(biāo)物體所有的高度值.

3　實(shí)驗(yàn)結(jié)果與分析

為檢驗(yàn)所提出的三維重建方法是否可行，論文以實(shí)物為例，在所設(shè)計(jì)的環(huán)形光源照射下，拍攝單張圖像，進(jìn)行三維重建實(shí)驗(yàn).實(shí)驗(yàn)前，采用文獻(xiàn)[20]所提的標(biāo)定法對(duì)相機(jī)進(jìn)行標(biāo)定實(shí)驗(yàn)，將標(biāo)定結(jié)果用于后續(xù)實(shí)驗(yàn)中.

實(shí)驗(yàn)中使用的參數(shù)：a) 光源：?jiǎn)螌蛹t色環(huán)形光源，第一顆LED燈在圖3的坐標(biāo)系統(tǒng)中的世界坐標(biāo)系坐標(biāo)為(-26.67，71)，單位：mm.b) 標(biāo)定點(diǎn)：標(biāo)定點(diǎn)設(shè)定為在圖3中的坐標(biāo)系統(tǒng)中的圖像上坐標(biāo)為(512，384)，單位：mm.入射線角度為69.148 8°，灰度值為255.

圖5(a) 的物體是圓形墊片，其測(cè)量高度0.978 mm，計(jì)算高度0.956 mm.相對(duì)誤差-2.2%.圖5(b) 是其重建出的三維效果.圖6(a) 的物體是六角棱柱型螺母，其實(shí)測(cè)高度15.005 mm，計(jì)算高度14.341 mm.相對(duì)誤差-4.43%.圖6(b) 是其重建出的三維效果.實(shí)驗(yàn)結(jié)果表明：采用本文方法，其重建的相對(duì)誤差小于5%，驗(yàn)證了所提方法的可行性.根據(jù)前面的分析可知，上述實(shí)驗(yàn)結(jié)果是基于結(jié)構(gòu)光源均勻地照射視場(chǎng)的假設(shè)條件而得到的，因此，光源均勻地照射視場(chǎng)對(duì)減少三維重建的誤差起重要作用.此外，實(shí)驗(yàn)是對(duì)同性質(zhì)材料的對(duì)象進(jìn)行三維重建，而對(duì)不同性質(zhì)材料組成的物體、特別是含有高光材料物體的三維重建仍有待研究.

圖5　三維重建實(shí)例——圓形墊圈Fig.5　3D reconstruction example of a washer

圖6　三維重建實(shí)例-螺母Fig.6　3D reconstruction example of a nut

4　結(jié)　論

① 針對(duì)微小器件的表面三維形貌重建問(wèn)題，本文采用所設(shè)計(jì)的多色環(huán)形結(jié)構(gòu)光源，建立了三維重建模型，提出了面向微小器件的表面三維重建方法.② 該方法依據(jù)光的反射原理，計(jì)算目標(biāo)物體上某點(diǎn)入射線和反射線的交點(diǎn)，交點(diǎn)縱坐標(biāo)即為該點(diǎn)的高度值，計(jì)算整個(gè)物體的高度值即可重建出目標(biāo)物體.③ 該方法克服了傳統(tǒng)SFS法反向重建表面形貌的不確定性和慢收斂性問(wèn)題.④ 實(shí)驗(yàn)結(jié)果顯示，采用本文所提方法重建圓形墊圈和六角棱柱型螺母，其相對(duì)誤差分別為-2.2%和-4.43%，實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的有效性.

文中所提方法適用于漫反射材料，對(duì)非漫反射材料的適用情況仍需進(jìn)一步研究.

[1]Li Xiaohui,Sun Changku,WANG Peng.The image adaptive method for solder paste 3D measurement system[J].Optics and Lasers in Engineering,2015,66(1)：41-55.

[2]Wu Fupei,Zhang Xianmin.An inspection and classification method for chip solder joints using color grads and Boolean rules[J].Robotics and Computer-Integrated Manufacturing,2014,30(5)：517-526.

[3]Hernandez C,Vogiatzis,Cipolla R.Overcoming shadows in 3-source?photometric stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(2)：419-426.

[4]Park H,Lee H J,Sull S.Efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereo 3D?images[J].IEEE Transactions on Multimedia,2013,16(2)：326-336.

[5]Bai Xiang,Rao Cong,Wang Xianggang.Shape vocabulary-a robust and efficient shape representation for shape matching[J].IEEE Transactions on Image Processing,2014,23(9)：3935-3949.

[6]Randeniya D I B,Sarkar S,Gunaratne M.Vision-IMU integration using a slow-frame-rate monocular?vision system in an actual roadway setting[J].IEEE Transactions on Intelligent Transportation Systems,2010,11(2)：256-266.

[7]Um D.Multiple intensity differentiation-Based 3-D surface reconstruction with photometric stereo compensation[J].IEEE Sensors Journal,2014,14(5)：1453-1458.

[8]Zhang Ruo,Tsai P S,Cryer J E,shah M.Shape from shading：a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(8)：690-706.

[9]Durou J D,Falcone M,Sagona M.Numerical methods for shape-from-shading：A new survey with benchmarks[J].Computer Vision and Image Understanding,2008,109(1)：22-43.

[10]Kakue T,Ito K,Tahara T.Parallel phase-shifting digital holography?capable of simultaneously capturing visible and invisible three-dimensional information[J].Journal of Display Technology,2010,6(10)：472-478.

[11]Tan W,Ume I C,Wu Y H.Effects of warpage on fatigue reliability of solder bumps：experimental and analytical studies[J].IEEE Transactions on Advanced Packaging,2010,33(2)：314-322.

[12]Marcellis A D,Ferri G,Palange E.A novel analog autocalibrating?phase-voltage converter for signal?phase- shifting?detection[J].IEEE Sensors Journal,2011,11(2)：259-266.

[13]陳凡秀,王靜,李宏升.基于傅里葉變換輪廓術(shù)的磨痕形貌測(cè)量[J].機(jī)械工程學(xué)報(bào),2011,47(17)：72-77.

Chen Fanxiu,Wang Jing,Li Hongsheng.Abrasion topography based on Fourier transform profilometry[J].Journal of Mechanical Engineering,2011,47(17)：72-77.(in Chinese)

[14]戴美玲,楊?？?杜曉磊,等.基于單幅彩色正弦光柵投影的三維形貌測(cè)量[J].光學(xué)學(xué)報(bào),2011,31(7)：07120021-07120025.

Dai Meiling,Yang Fujun,Du Xiaolei,et al.Three- dimensional shape measurement based on single-shot color fringe projection of sinusoidal grating[J].Acta Opitca Sinica,2011,31(7)：07120021-07120025.(in Chinese)

[15]Di C L ,Yan W,Hu S,et al.A moire-based four channel focusing and leveling scheme for projection lithography[J].IEEE Phonics Journal,2013,6(4)：1-13.

[16]Molleda J,Usamentiaga R,Garcia D F,et al.Shape measurement of steel strips using a?laser-based three-dimensional reconstruction technique[J].IEEE Transactions on Industry Applications,2011,47(4)：1536-1544.

[17]Liebe C C,Ccste K.Distance measurement utilizing image-based triangulation[J].IEEE Sensors Journal,2013,13(1)：234-244.

[18]趙博華,王伯雄,羅秀芝.光切法形貌測(cè)量系統(tǒng)的圖像照度質(zhì)量評(píng)價(jià)方法[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,51(4)：448-451.

Zhao Bohua,Wang Boxiong,Luo Xiuzhi.Illumination quality evaluation method for images sampled by a 3-D measuring system based on light-sectioning[J].Journal of Tsing hua University (Sci & Tech),2011,51(4)：448-451.(in Chinese)

[19]Kimachi A,Ando S.Real-time phase-stamp range finder using correlation image sensor[J].IEEE Sensors Journal,2009,9(2)：1784-1792.

[20]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11)：1330-1334.

A 3-D Reconstruction Method Based on Monocular Vision System

WU Fupei,FANG Xinjia,YANG Chun,LI Shengping,YE Weilin

(Dept.of Mechatronic Engineering,Shantou University,Shantou 515063,China)

A 3-D reconstruction method was proposed based on the single color image acquired from single camera in this paper.A multi-color LED ring structure illumination developed by authors ,and LEDs' mounted altitude,incidence angles and distribution density of the LED ring structure illumination was calibrated,then,the position information of incidence lights would be obtained by analyzing the acquired color image.A 3-D reconstruction model was built based on the position information of incidence lights,color information,imaging model of camera and the gray information of image,and the 3-D reconstruction method was proposed for micro-devices.The proposed method solves the problem of the uncertainty and the slow convergence arising in the traditional SFS method when reconstructing the 3-D surface topography.Experimental results show that the reconstruction relative errors of circular washers and six-corner prismatic nut is -2.2%,-4.43% respectively by the proposed method,which illustrates the validity of reconstructing the surface 3-D topography based on one camera and a ring illumination.

machine vision; 3-D reconstruction; single camera; surface topography; single image

1671-7449(2016)05-0369-06

2016-02-25

國(guó)家自然科學(xué)基金資助項(xiàng)目(51305247,51175315,61307124)；廣東省自然科學(xué)基金資助項(xiàng)目(S2013010015788,2014A030313616)；廣東省精通高校特色創(chuàng)新類(lèi)項(xiàng)目(2015KTSCX038)

吳福培(1980-)，男，副教授，碩士生導(dǎo)師，博士，主要從事機(jī)器視覺(jué)、三維重建理論與方法等研究.

TH741; TG580.23

Adoi:10.3969/j.issn.1671-7449.2016.05.00