吳福培，方信佳，陽　春，李昇平，葉瑋琳

(汕頭大學(xué) 機械電子工程系，廣東 汕頭 515063)

?

基于單目視覺系統(tǒng)的三維重建方法

吳福培，方信佳，陽春，李昇平，葉瑋琳

(汕頭大學(xué) 機械電子工程系，廣東 汕頭 515063)

以單相機采集的單幅彩色圖像為基礎(chǔ)，提出了基于單目視覺系統(tǒng)的表面三維形貌重建方法.該方法采用課題組針對該問題設(shè)計的多色LED環(huán)形結(jié)構(gòu)光源，通過標(biāo)定光源內(nèi)各色LED的安裝高度、入射角度、分布密度，使采集到的彩色圖像包含入射光的位置信息.基于視覺系統(tǒng)中提取的入射光信息、圖像色彩信息、相機成像模型和圖像的灰度信息，建立了三維重建模型，提出了面向微小器件的表面三維重建方法.該方法解決了傳統(tǒng)SFS法反向重建表面形貌的不確定性和慢收斂性問題.實驗研究結(jié)果表明：采用本文所提方法重建圓形墊圈和六角棱柱型螺母，其重建相對誤差分別為-2.2%和-4.43%，證實了采用單相機結(jié)合環(huán)形光源重建微小物體的表面三維形貌是有效的.

機器視覺；三維重建；單相機；表面形貌；單幅圖像

通過重建表面三維形貌可給出產(chǎn)品表面質(zhì)量的量化評估信息，有助于細分產(chǎn)品制造過程的缺陷，有利于分析其缺陷的分布規(guī)律、導(dǎo)致缺陷的原因和預(yù)測其缺陷發(fā)展趨勢，便于產(chǎn)生過程產(chǎn)品質(zhì)量信息的收集與反饋，也有利于優(yōu)化生產(chǎn)工藝參數(shù)，預(yù)防后續(xù)缺陷的發(fā)生，提升全生產(chǎn)過程產(chǎn)品的品質(zhì)[1-2].隨著自動化生產(chǎn)技術(shù)的迅速發(fā)展，亟需發(fā)展高速高可靠性的表面三維形貌重建理論與方法，為生產(chǎn)過程提供快速可靠的服務(wù).因此，研究物體的表面三維形貌快速重建理論與方法具有重要的意義.

近年來，研究三維重建的成果主要分為接觸式和非接觸式兩類.傳統(tǒng)的接觸式測量方法以三坐標(biāo)測量儀為代表，這種方法的測量精度較高，但速度慢，使用成本高，難以實現(xiàn)高速在線檢測.在非接觸式測量方面，又分為非光學(xué)測量法和光學(xué)測量法.非光學(xué)測量法有聲學(xué)檢測法、飛行時間法等.相比之下，光學(xué)測量法具有非接觸、無損傷、高分辨率、速度快等優(yōu)點，目前獲得了越來越廣泛的應(yīng)用.根據(jù)照明光源的不同類型它可分為被動式和主動式.被動式光學(xué)測量有多目視覺法和單目視覺法，多目視覺法也稱為立體視覺法，目前應(yīng)用較多[3-5].立體視覺法的難點在于立體匹配，在重建表面三維形貌過程中需要進行大量的匹配運算且易受環(huán)境光照條件影響，計算成本高，測量精度、速度受限.單目視覺法[6-7]在自然光照明下采用一個攝像機獲取被測物體的表面三維信息，常用基于明暗重建(Shape From Shading-SFS)方法重建物體表面三維形貌，事實上，基于Lambertian光照反射模型的SFS問題是病態(tài)的，沒有唯一解[8]；現(xiàn)有算法通常假設(shè)研究對象為表面光滑的物體，即認(rèn)為物體表面高度函數(shù)的二階偏導(dǎo)數(shù)是連續(xù)的，然后依據(jù)相關(guān)條件建立SFS問題的正則化模型進行求解，主要有最小化法、傳播法、局部法和線性化法[9]，然而通過正則化過程獲得問題的解會帶來誤差，由此得到的三維形貌易出現(xiàn)不確定現(xiàn)象，并且求解效率需要提高，離在線檢測要求仍有差距.主動式光學(xué)測量法基于輔助光源照射進行三維測量，主要有干涉法、相位測量法和三角法等，其中光學(xué)干涉法主要有全息干涉法[10]、莫爾條紋法[11]等，干涉法具有較高的精度，但其測量范圍小，對環(huán)境的要求高，因此微制造和組裝過程中應(yīng)用較少；相位測量法主要有相移法[12]、傅里葉變換法[13]、光柵投影法[14,15]等，然而受解相精度的影響，相位測量法對于復(fù)雜表面形貌的測量精度、速度和可靠性還有待提高；三角法通過投射光源、被測物體和CCD圖像傳感器之間三角幾何關(guān)系來重建物體三維形貌，主要有激光三角法、光切法、結(jié)構(gòu)光源法等，其中激光三角法[16,17]測量精度高、適用范圍廣，該方法的測量穩(wěn)定性易受焦深、散斑、被測表面等因素影響.光切法[18,19]以其適用范圍廣、測量范圍大、精度較高、可控性強等特點，在快速成型和三維面形測量等領(lǐng)域得到了廣泛的應(yīng)用，但是光切法的光條中心位置不易精確提取，難以重建出具有高排列的微器件表面形貌.

從現(xiàn)有參考文獻的結(jié)果分析中可知：研究高速高可靠性的表面三維形貌在線檢測課題是大勢所趨，而已有的表面三維形貌重建方法尚難滿足高速制造和組裝過程產(chǎn)品的表面三維質(zhì)量在線檢測要求.如果以主動式光學(xué)測量法為基礎(chǔ)，研究高速高可靠性的表面三維形貌在線檢測課題，就要設(shè)計一個合適的光源，即該光源利于將被測表面三維形貌信息投射到盡可能少幅的圖像中，并使圖像中的目標(biāo)信息與背景信息得到最佳分離，從而降低特征提取過程圖像處理的算法難度，同時提高系統(tǒng)的精度和可靠性；在此基礎(chǔ)上，基于單目視覺系統(tǒng)研究表面三維形貌快速重建，將具有廣闊的工業(yè)應(yīng)用前景.

圖1　單目視覺系統(tǒng)Fig.1　The monocular vision system

1　單目視覺系統(tǒng)

如圖1所示，文中所提的單目視覺系統(tǒng)由一個3CCD彩色相機和一個紅綠藍3色LED環(huán)形結(jié)構(gòu)光源組成.3色光照射視場內(nèi)同一點時，在彩色圖像的同一像素位置將產(chǎn)生代表3種顏色光強度的灰度值.由于3色光的入射位置不同，故此可建立3個成像方程組，進而可求解出被測位置的高度.與基于明暗重建(Shape From Shading-SFS)方法重建物體表面三維形貌所采用的光不同，文中所提方法采用課題組設(shè)計的多色LED環(huán)形結(jié)構(gòu)光源(見圖1)，并對光源內(nèi)各色LED的安裝高度、入射角度、分布密度分別進行嚴(yán)格標(biāo)定[20]，使采集到的彩色圖像包含入射光的位置信息.并且，工作時環(huán)形光源各LED同時點亮.通過光源均勻性設(shè)計及標(biāo)定后，可認(rèn)為視場內(nèi)單位面積(可看作單像素所對應(yīng)面積)內(nèi)接收同色光照的強度是均勻的.

2　基于單目視覺系統(tǒng)的三維重建方法

為了便于闡述論文提出的三維重建方法，搭建如圖2所示的圖像采集系統(tǒng)，并在圖中所示的剖切面AA中建立如圖3所示的成像坐標(biāo)系統(tǒng).其中坐標(biāo)系的原點建立在視場的中心處，Zw軸指向相機的方向，Xw軸沿切線AA方向.如前所述，通過光源均勻性設(shè)計及標(biāo)定后，可認(rèn)為視場內(nèi)單位面積內(nèi)接收同色光照的強度是均勻的.因此，建立如圖3所示的成像系統(tǒng)對所有成像點均具有代表性.

圖2　圖像采集系統(tǒng)Fig.2　The image acquired system

圖3　像坐標(biāo)系統(tǒng)Fig.3　The imaging coordinated system

如圖3所示，在Ow-Xw-Zw的二維坐標(biāo)系中，Ow點為世界坐標(biāo)系的原點，坐標(biāo)為Ow(0,0)，Oc點為光心，其在世界坐標(biāo)系的坐標(biāo)為Oc(0,l)，l為物距.設(shè)光源位置處在世界坐標(biāo)系中的坐標(biāo)為e(xl,zl)，被測物體上某一點在世界坐標(biāo)系中的坐標(biāo)為s(xi,zi)，該點相機成像后，在圖像坐標(biāo)系中的坐標(biāo)為p(u,v).直線es為入射光線，反射光線為直線sp.入射光線es與反射光線sp的交點s(xi,zi)對應(yīng)的z坐標(biāo)即為被測物體在點(xi,zi)處的高度，其對應(yīng)的Z軸坐標(biāo)為zi.

如圖3所示，定義入射光線es與水平線即Xw軸的夾角為α，反射線sp與水平線即Xw軸的夾角現(xiàn)象為η.

根據(jù)光的反射原理，如圖3所示的反射線sp的方程可表示為

(1)

如圖3所示的反射線與水平線的夾角

(2)

式中：f為相機的焦距；l為物距；(u0,v0)為成像平面坐標(biāo)系的原點，即相機的光軸與像平面的交點，以像素為單位；(u,v)為圖像平面上任意點坐標(biāo)，以像素為單位；dx,dy分別為每個像素在x,y方向上的物理尺寸，以毫米(mm)為單位.在此可推導(dǎo)出，入射線es的方程式為

綜上，聯(lián)立式（1）,式（3）可求得入射線es和反射線sp的交點(xi,zi)

(4)

式中：(xl,zl)為入射光源在世界坐標(biāo)系中的坐標(biāo)；α為入射光線es與水平線即X軸的夾角，單位：(°).

由于入射光線與水平線即Xw軸的夾角α未知，無法計算入射線es的方程，即無法求解任意點的高度.為求解該問題，論文提出利用標(biāo)定點的方法來計算夾角α值.圖4為標(biāo)定點和任意點的反射圖.

圖4　標(biāo)定點和任意點的反射圖Fig.4　The reflection model of calibration point and arbitrary point

對于同性質(zhì)材料(非高光材料)的同批次被測對象，在同一光源照射下，基于獲取的單張圖像，采用如圖4所表達方式，可簡化曲面朝向(即傾角)和圖像亮度之間的關(guān)系表示，實驗結(jié)果表明曲面朝向和圖像亮度之間呈比例關(guān)系，設(shè)比例系數(shù)為k.則有

(5)

式中：θi,θ0分別為微觀表面Owi,Ow0處的傾角，單位：(°)；gl,g0分別為從微觀表面Owi,Ow0處獲得的灰度值.

在圖4中，如已知標(biāo)定點Ow0的參數(shù)(如入射線與水平線的夾角為α0、微觀表面的傾角θ0、灰度值g0值等)，計算待求點Owi的入射線與水平線的夾角

根據(jù)式（2）計算出η0和ηi，并代入式（6）中，得入射線與水平線的夾角

(7)

將式(7)代入式(4)，并且令

可求得被測物體表面任意點的高度值

(8)

該點為剖切線AA截面對應(yīng)實測點的高度值.同理，根據(jù)被測物體的剖切線AA截面在所獲彩色圖像的像素值，可求出X軸方向各被實測點的Z軸坐標(biāo)，將各計算點連線，即為被測物體在剖切線AA截面的剖切曲線.結(jié)合本文所提單目視覺成像系統(tǒng)的極對稱性，以Z軸為旋轉(zhuǎn)中心，將該剖切線AA截面分步長旋轉(zhuǎn)，分別計算出各剖截面對應(yīng)的被測物體表面高度值，直至旋轉(zhuǎn)角至360°為止，即可求出目標(biāo)物體所有的高度值.

3　實驗結(jié)果與分析

為檢驗所提出的三維重建方法是否可行，論文以實物為例，在所設(shè)計的環(huán)形光源照射下，拍攝單張圖像，進行三維重建實驗.實驗前，采用文獻[20]所提的標(biāo)定法對相機進行標(biāo)定實驗，將標(biāo)定結(jié)果用于后續(xù)實驗中.

實驗中使用的參數(shù)：a) 光源：單層紅色環(huán)形光源，第一顆LED燈在圖3的坐標(biāo)系統(tǒng)中的世界坐標(biāo)系坐標(biāo)為(-26.67，71)，單位：mm.b) 標(biāo)定點：標(biāo)定點設(shè)定為在圖3中的坐標(biāo)系統(tǒng)中的圖像上坐標(biāo)為(512，384)，單位：mm.入射線角度為69.148 8°，灰度值為255.

圖5(a) 的物體是圓形墊片，其測量高度0.978 mm，計算高度0.956 mm.相對誤差-2.2%.圖5(b) 是其重建出的三維效果.圖6(a) 的物體是六角棱柱型螺母，其實測高度15.005 mm，計算高度14.341 mm.相對誤差-4.43%.圖6(b) 是其重建出的三維效果.實驗結(jié)果表明：采用本文方法，其重建的相對誤差小于5%，驗證了所提方法的可行性.根據(jù)前面的分析可知，上述實驗結(jié)果是基于結(jié)構(gòu)光源均勻地照射視場的假設(shè)條件而得到的，因此，光源均勻地照射視場對減少三維重建的誤差起重要作用.此外，實驗是對同性質(zhì)材料的對象進行三維重建，而對不同性質(zhì)材料組成的物體、特別是含有高光材料物體的三維重建仍有待研究.

圖5　三維重建實例——圓形墊圈Fig.5　3D reconstruction example of a washer

圖6　三維重建實例-螺母Fig.6　3D reconstruction example of a nut

4　結(jié)　論

① 針對微小器件的表面三維形貌重建問題，本文采用所設(shè)計的多色環(huán)形結(jié)構(gòu)光源，建立了三維重建模型，提出了面向微小器件的表面三維重建方法.② 該方法依據(jù)光的反射原理，計算目標(biāo)物體上某點入射線和反射線的交點，交點縱坐標(biāo)即為該點的高度值，計算整個物體的高度值即可重建出目標(biāo)物體.③ 該方法克服了傳統(tǒng)SFS法反向重建表面形貌的不確定性和慢收斂性問題.④ 實驗結(jié)果顯示，采用本文所提方法重建圓形墊圈和六角棱柱型螺母，其相對誤差分別為-2.2%和-4.43%，實驗結(jié)果驗證了所提方法的有效性.

文中所提方法適用于漫反射材料，對非漫反射材料的適用情況仍需進一步研究.

[1]Li Xiaohui,Sun Changku,WANG Peng.The image adaptive method for solder paste 3D measurement system[J].Optics and Lasers in Engineering,2015,66(1)：41-55.

[2]Wu Fupei,Zhang Xianmin.An inspection and classification method for chip solder joints using color grads and Boolean rules[J].Robotics and Computer-Integrated Manufacturing,2014,30(5)：517-526.

[3]Hernandez C,Vogiatzis,Cipolla R.Overcoming shadows in 3-source?photometric stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(2)：419-426.

[4]Park H,Lee H J,Sull S.Efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereo 3D?images[J].IEEE Transactions on Multimedia,2013,16(2)：326-336.

[5]Bai Xiang,Rao Cong,Wang Xianggang.Shape vocabulary-a robust and efficient shape representation for shape matching[J].IEEE Transactions on Image Processing,2014,23(9)：3935-3949.

[6]Randeniya D I B,Sarkar S,Gunaratne M.Vision-IMU integration using a slow-frame-rate monocular?vision system in an actual roadway setting[J].IEEE Transactions on Intelligent Transportation Systems,2010,11(2)：256-266.

[7]Um D.Multiple intensity differentiation-Based 3-D surface reconstruction with photometric stereo compensation[J].IEEE Sensors Journal,2014,14(5)：1453-1458.

[8]Zhang Ruo,Tsai P S,Cryer J E,shah M.Shape from shading：a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1999,21(8)：690-706.

[9]Durou J D,Falcone M,Sagona M.Numerical methods for shape-from-shading：A new survey with benchmarks[J].Computer Vision and Image Understanding,2008,109(1)：22-43.

[10]Kakue T,Ito K,Tahara T.Parallel phase-shifting digital holography?capable of simultaneously capturing visible and invisible three-dimensional information[J].Journal of Display Technology,2010,6(10)：472-478.

[11]Tan W,Ume I C,Wu Y H.Effects of warpage on fatigue reliability of solder bumps：experimental and analytical studies[J].IEEE Transactions on Advanced Packaging,2010,33(2)：314-322.

[12]Marcellis A D,Ferri G,Palange E.A novel analog autocalibrating?phase-voltage converter for signal?phase- shifting?detection[J].IEEE Sensors Journal,2011,11(2)：259-266.

[13]陳凡秀,王靜,李宏升.基于傅里葉變換輪廓術(shù)的磨痕形貌測量[J].機械工程學(xué)報,2011,47(17)：72-77.

Chen Fanxiu,Wang Jing,Li Hongsheng.Abrasion topography based on Fourier transform profilometry[J].Journal of Mechanical Engineering,2011,47(17)：72-77.(in Chinese)

[14]戴美玲,楊福俊,杜曉磊,等.基于單幅彩色正弦光柵投影的三維形貌測量[J].光學(xué)學(xué)報,2011,31(7)：07120021-07120025.

Dai Meiling,Yang Fujun,Du Xiaolei,et al.Three- dimensional shape measurement based on single-shot color fringe projection of sinusoidal grating[J].Acta Opitca Sinica,2011,31(7)：07120021-07120025.(in Chinese)

[15]Di C L ,Yan W,Hu S,et al.A moire-based four channel focusing and leveling scheme for projection lithography[J].IEEE Phonics Journal,2013,6(4)：1-13.

[16]Molleda J,Usamentiaga R,Garcia D F,et al.Shape measurement of steel strips using a?laser-based three-dimensional reconstruction technique[J].IEEE Transactions on Industry Applications,2011,47(4)：1536-1544.

[17]Liebe C C,Ccste K.Distance measurement utilizing image-based triangulation[J].IEEE Sensors Journal,2013,13(1)：234-244.

[18]趙博華,王伯雄,羅秀芝.光切法形貌測量系統(tǒng)的圖像照度質(zhì)量評價方法[J].清華大學(xué)學(xué)報(自然科學(xué)版),2011,51(4)：448-451.

Zhao Bohua,Wang Boxiong,Luo Xiuzhi.Illumination quality evaluation method for images sampled by a 3-D measuring system based on light-sectioning[J].Journal of Tsing hua University (Sci & Tech),2011,51(4)：448-451.(in Chinese)

[19]Kimachi A,Ando S.Real-time phase-stamp range finder using correlation image sensor[J].IEEE Sensors Journal,2009,9(2)：1784-1792.

[20]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11)：1330-1334.

A 3-D Reconstruction Method Based on Monocular Vision System

WU Fupei,FANG Xinjia,YANG Chun,LI Shengping,YE Weilin

(Dept.of Mechatronic Engineering,Shantou University,Shantou 515063,China)

A 3-D reconstruction method was proposed based on the single color image acquired from single camera in this paper.A multi-color LED ring structure illumination developed by authors ,and LEDs' mounted altitude,incidence angles and distribution density of the LED ring structure illumination was calibrated,then,the position information of incidence lights would be obtained by analyzing the acquired color image.A 3-D reconstruction model was built based on the position information of incidence lights,color information,imaging model of camera and the gray information of image,and the 3-D reconstruction method was proposed for micro-devices.The proposed method solves the problem of the uncertainty and the slow convergence arising in the traditional SFS method when reconstructing the 3-D surface topography.Experimental results show that the reconstruction relative errors of circular washers and six-corner prismatic nut is -2.2%,-4.43% respectively by the proposed method,which illustrates the validity of reconstructing the surface 3-D topography based on one camera and a ring illumination.

machine vision; 3-D reconstruction; single camera; surface topography; single image

1671-7449(2016)05-0369-06

2016-02-25

國家自然科學(xué)基金資助項目(51305247,51175315,61307124)；廣東省自然科學(xué)基金資助項目(S2013010015788,2014A030313616)；廣東省精通高校特色創(chuàng)新類項目(2015KTSCX038)

吳福培(1980-)，男，副教授，碩士生導(dǎo)師，博士，主要從事機器視覺、三維重建理論與方法等研究.

TH741; TG580.23

Adoi:10.3969/j.issn.1671-7449.2016.05.00