陳波,張英杰,張佳瑞,代愽超

(西安交通大學機械工程學院,710049,西安)

結(jié)構(gòu)光三維測量技術(shù)具有非接觸性、測量系統(tǒng)簡單、測量效率高和易于實現(xiàn)等特點,被廣泛應用于產(chǎn)品快速成型、在線測量、故障缺陷檢測等諸多領域[1-3]?；谌欠ㄔ磉M行結(jié)構(gòu)光測量時,獲取結(jié)構(gòu)光條紋中心的高精度圖像坐標是測量過程中的核心步驟[4]。

線結(jié)構(gòu)光的光強特性表明,條紋的灰度在橫截面上基本服從高斯分布[5],條紋中心位于截面灰度最大值附近。因此,學者們提出了極值法、幾何中心法、曲線擬合法、灰度重心法[6]和Steger法[7]等常用的條紋中心提取方法。極值法和幾何中心法實現(xiàn)簡單但是精度不高;曲線擬合法、灰度重心法和Steger算法均為亞像素中心提取方法,且抗噪效果較好。無論對于哪種中心提取方法,提取精度都依賴于條紋的截面灰度分布特征。實際上,結(jié)構(gòu)光條紋灰度會受到各種因素的影響而不再近似服從高斯分布,特別是當被測物體表面的曲率和反射率變化較大時,條紋的截面灰度分布會發(fā)生嚴重退化[8],引起條紋亮度不均勻、灰度最大值發(fā)生偏移等問題,從而導致條紋中心提取精度降低。針對這一問題,周興敏等提出基于雙三角光路修正投影光束反射光斑重心偏移的方法[9],但該方法需要一個左右對稱設計的雙三角測量頭,測量系統(tǒng)硬件復雜且對標定要求高。Yin等提出一種基于自適應卷積技術(shù)的方法[10]去修正條紋的灰度畸變,但該方法只局限于單根條紋的中心提取,并且需要對整幅圖像進行卷積運算。劉振等提出利用鄰域條紋的相關性建立相關系數(shù)來解決灰度分布退化的問題[11],但對灰度分布發(fā)生突變的條紋提取效果不佳,且相關系數(shù)計算復雜。

本文首先根據(jù)結(jié)構(gòu)光能量傳播原理,建立了高斯結(jié)構(gòu)光的條紋灰度退化模型,分析并推導了條紋灰度退化的過程表達式,然后提出了一種通過消除條紋灰度退化項的灰度調(diào)整方法。

1 測量模型與灰度退化分析

結(jié)構(gòu)光測量系統(tǒng)由投影儀、攝像機和被測物體組成,測量原理如圖1所示。投影儀投射出帶有高斯條紋的圖像,條紋遇到被測物體產(chǎn)生變形,在攝像機端通過CCD圖像傳感器接收條紋信號,對攝像機和投影儀進行三維世界坐標與二維圖像坐標轉(zhuǎn)換關系的標定之后,計算機利用條紋中心的圖像坐標,采用線面求交法得到物體表面的三維信息。

圖1 測量系統(tǒng)圖

理論上可以認為,結(jié)構(gòu)光條紋的灰度在橫截面上服從高斯分布,但在實際情況下,條紋的灰度分布受到各種因素的影響會產(chǎn)生退化,導致條紋中心位置提取不準確。這些因素包括圖像采集系統(tǒng)的隨機噪聲、外界環(huán)境光影響和被測物體的表面特征調(diào)制[12]。其中,隨機噪聲和環(huán)境光的影響可以選用合適的濾波方式與背景相減去除[13],而被測物是整個測量環(huán)節(jié)中最不具確定性的部分,其復雜的表面形狀、反射率系數(shù)等特征是引起條紋灰度退化的主要原因。因此,分析并減小物體表面特征對條紋灰度的影響有利于提高條紋中心提取的精度。

一般測量物體表面均由平面和曲面組成,為了分析物體表面特征對條紋灰度分布的影響,將結(jié)構(gòu)光系統(tǒng)模型簡化為圖2所示的二維模型。圖中將被測物簡化為一個半徑為r的圓,圓心為Oc(x0,y0),假設物體表面為理想漫反射表面,且物體表面由具有不同反射率系數(shù)的曲面組成;圖中的高斯曲線S1表示投射條紋的截面灰度分布,不規(guī)則曲線S2表示拍攝條紋的截面灰度分布。測量系統(tǒng)中,設投影儀投射面平行于X軸,投射方向沿Y軸,θ為投射方向與物體表面法線的夾角,β為拍攝方向與物體表面法線的夾角,α為投射方向與拍攝方向的夾角。

圖2 條紋灰度退化分析模型

已知投射條紋的截面光強分布曲線為高斯曲線,數(shù)學表達式為

(1)

式中:A表示投射條紋灰度的幅值;σ為標準差,表示條紋的跨度;Xc為條紋中心的X坐標,并且滿足Xc=3σ+1。

(2)

(3)

式中:Kd1和Kd2分別表示圖2中被測物體表面上不同顏色區(qū)域的漫反射率系數(shù);Xk為物體表面反射率突變處的X坐標。

式(3)表明,攝像機接收到的條紋光強分布受到物體表面反射率系數(shù)、入射光線角θ和拍攝光線角β的調(diào)制。圖3顯示了圖2模型中被測物體表面上不同反射率系數(shù)分布情形下對拍攝條紋光強的影響,圖3a表明物體反射率均勻,此時得到的條紋灰度符合高斯分布,圖3b表明物體反射率由高向低突變,此時條紋灰度極大值向左偏移,圖3c表明物體反射率由低向高突變,此時條紋灰度極大值向右偏移。此外,式(2)表明,對于固定的測量系統(tǒng),θ和β由物體的曲率半徑r決定。圖4顯示了曲率半徑在X方向?qū)θ肷浣呛团臄z角的余弦比值的影響,圖4表明曲率半徑越小,物體表面法線變化越劇烈,兩夾角的余弦比值曲線變化越明顯,反映到式(3)中,對條紋灰度退化的影響程度越大。

(a)Kd1=Kd2=0.8

(b)Kd1=0.8,Kd2=0.4

(c)Kd1=0.4,Kd2=0.8圖3 反射率對條紋灰度分布的影響

圖4 曲率半徑對θ與β余弦之比的影響

以上分析表明,結(jié)構(gòu)光經(jīng)過物體表面特征調(diào)制后,拍攝條紋的灰度會產(chǎn)生復雜的退化,進而引起條紋斷線、灰度丟失以及重心偏移等問題。若直接采用中心提取算法,對中心坐標會造成較大的測量誤差,所以要提高三維測量精度,必須對退化的條紋進行灰度調(diào)整。

2 條紋灰度調(diào)整與中心提取

圖1表明,結(jié)構(gòu)光三維測量實質(zhì)上是結(jié)構(gòu)光能量的傳遞過程,設P為被測物表面上任意的一點,令該點的表面反射率為KdP,入射光線角為θP,拍攝光線角為βP,由式(3)導出P點的灰度調(diào)制系數(shù)為

(4)

根據(jù)三角測量原理,假設P點對應于投影圖像坐標中的Pp(ξP,ηP)點和拍攝圖像坐標中的Pc(uP,vP)點。設投影圖像上Pp點的灰度值為I(ξP,ηP),拍攝圖像上Pc點的灰度值為I(uP,vP),實際拍攝中,需要考慮環(huán)境光分量的影響,根據(jù)式(3)和式(4),可以推導出

I(uP,vP)=f(KdP,θP,βP)I(ξP,ηP)+Ia

(5)

式中:Ia表示環(huán)境反射光強,由拍攝環(huán)境決定,一般在固定拍攝場景下可以認為Ia為常數(shù)。

式(5)表明,灰度調(diào)制系數(shù)f(KdP,θP,βP)是引起拍攝條紋灰度退化的主要原因,在已知物體表面上各點反射率系數(shù)Kd、入射角θ、拍攝角β的情況下,可以通過式(4)直接計算出各點的調(diào)制信息,再消除環(huán)境光的影響,便能實現(xiàn)退化條紋的灰度調(diào)整。調(diào)整公式為

(6)

式中:I′(uP,vP)表示圖像坐標中Pc點經(jīng)灰度調(diào)整后的灰度值,滿足I′(uP,vP)=I(ξP,ηP),所以對拍攝條紋橫截面上各像素點進行灰度調(diào)整后,條紋的截面灰度分布基本與投射條紋一致。

在實際測量過程中,Kd、θ、β均與被測物體上各點的空間位置有關,并且被測物體相對于結(jié)構(gòu)光測量系統(tǒng)的空間關系是未知的,所以無法直接計算出灰度調(diào)制信息。如果已知I(uP,vP)和I(ξP,ηP),則可以通過式(5)反求對應點的灰度調(diào)制信息,但事實上無法通過單幅拍攝圖像找到Pc點和Pp點的匹配關系。

考慮到在固定測量環(huán)境下多次對被測物體進行拍攝,物體上各點的表面特征參數(shù)不發(fā)生改變。本文采用增加投影單色灰度圖像的方式來間接計算各點的灰度調(diào)制信息,其中單色灰度圖像指圖像中各點的灰度值相等,即I(ξ,η)=C,C為常數(shù)且C∈(0,255),此時拍攝圖像可以表示為

I(ui,vi)=f(Kdi,θi,βi)C+Ia,i=1,2,…,N

(7)

式中:N表示測量點的個數(shù);(ui,vi)表示第i個測量點映射到拍攝圖像中的像素坐標,因此圖像像素點和測量點具有一一對應的關系。式(7)表明,投影單色灰度圖像后,由于環(huán)境光Ia為常數(shù),從而可以通過拍攝圖像的灰度信息反求出與各像素點所對應的灰度調(diào)制信息。

基于上述思路,本文提出一種條紋灰度退化的調(diào)整方法,具體的實現(xiàn)步驟如下。

(1)在固定測量系統(tǒng)與拍攝環(huán)境下,投影儀分別投射兩幅單色灰度圖像和一幅高斯條紋圖像,其中單色灰度圖像的灰度值分別為C1、C2,并且滿足C1≠C2。此時,相機分別拍攝得到兩幅單灰度調(diào)制圖像I1與I2和一幅高斯條紋調(diào)制圖像I3,則有

I1(ui,vi)=f(Kdi,θi,βi)C1+Ia,i=1,2,…,N

(8)

I2(ui,vi)=f(Kdi,θi,βi)C2+Ia,i=1,2,…,N

(9)

I3(ui,vi)=f(Kdi,θi,βi)I(ξi,ηi)+Ia,

i=1,2,…,N

(10)

式中:(ξi,ηi)表示第i個測量點映射到投射的高斯條紋圖像中的像素坐標。

(2)在3次相機拍攝過程中,認為環(huán)境光分量是不變的,由于C1、C2已知,聯(lián)立式(8)、式(9),可以逐點計算出每個像素點對應的灰度調(diào)制信息為

i=1,2,…,N

(11)

得到灰度調(diào)制信息后,將其代入式(8)中,得到環(huán)境光分量為

i=1,2,…,N

(12)

(3)將求得的灰度調(diào)制信息和環(huán)境光分量代入式(6),逐點對高斯條紋調(diào)制圖像I3進行灰度調(diào)整,計算式為

i=1,2,…,N

(13)

經(jīng)過上述灰度調(diào)整之后,基本消除了因物體表面屬性引起的條紋灰度退化問題,即調(diào)整后的條紋截面灰度基本滿足高斯分布,于是本文選擇計算效率較高、可達到亞像素級精度的灰度重心法進行條紋中心提取,其表達式為

(14)

式中:ok,j為圖像上第k行中第j根條紋的中心坐標;(p,q)為該條紋所在的位置區(qū)間;Ii為第i個像素的灰度值。

3 實驗與分析

為檢驗本文方法的有效性,進行了實物實驗,本實驗系統(tǒng)由一個數(shù)字投影儀(Optoma DN322,分辨率為1 024×768像素)、一個工業(yè)相機(Point GX-FW-28S5C/M-C CCD,分辨率為1 600×1 200像素)和一臺計算機(Pentium 3.2 GHz CPU,4 GB內(nèi)存)組成。

為了得到不同反射率條件下的條紋圖像,在白色紙上打印出黑白相間的模板,并平貼在一平板上作為被測物體。在暗室環(huán)境下,調(diào)整曝光參數(shù)以保證相機CCD處于不飽和狀態(tài),然后固定攝像機參數(shù),在同一場景內(nèi)分別由投影儀投射兩幅單色灰度圖像和一幅高斯條紋圖像。圖5為相機拍攝到的部分受調(diào)制的圖像,圖5a對應于投影儀投射高斯條紋圖像,圖5b對應于投影儀投射灰度值為200的單色灰度圖像。圖5a表明物體表面反射率大大影響了拍攝條紋的質(zhì)量,其中橫線標記處依次代表低亮度條紋、反射率突變處條紋以及正常條紋。對其截面灰度分布進行分析,結(jié)合單灰度退化圖像中相同像素位置的灰度分布,利用本文所提方法對條紋灰度進行調(diào)整,得到圖6所示的條紋灰度經(jīng)調(diào)整前后的分布曲線,以及調(diào)整后的條紋圖像。表1給出了橫線標記的截面經(jīng)過灰度調(diào)整前后利用灰度重心法得到的條紋重心位置。

表1 灰度調(diào)整前后的截面條紋重心

(a)高斯條紋退化圖

(b)單灰度退化圖圖5 相機拍攝到的部分受調(diào)制的圖像

圖6a所示低亮度條紋處于反射率較低的黑色區(qū)域,平均灰度低。雖然其灰度分布對稱,重心基本沒有偏移,但是對整幅圖像提取中心時,需要設定一個灰度閾值對條紋進行分割,導致該類條紋因為特征不明顯易被當成背景處理,從而無法提取條紋中心。經(jīng)過灰度調(diào)整之后,條紋亮度增加,便于提取條紋中心。圖6b所示條紋處于黑白交界區(qū)域,該區(qū)域反射率產(chǎn)生突變,灰度值也在交界處突然變大,導致條紋重心向反射率大的一側(cè)偏移,經(jīng)灰度調(diào)整之后,消除了條紋灰度畸變,灰度分布基本符合高斯分布,條紋重心坐標也得到了較大的修正。圖6c所示正常條紋處于反射率較高的白色區(qū)域,條紋質(zhì)量較好,灰度調(diào)整前后灰度值和中心位置變化不大。圖6d所示圖像表明,經(jīng)過灰度調(diào)整后,條紋圖像的整體質(zhì)量得到改善,相比于圖5a中的原圖像,條紋沿其延伸方向灰度分布均勻,基本不會產(chǎn)生突變。

此外,為了進一步驗證該方法的適用性,以表面曲率變化較大的人臉石膏模型進行對比實驗,條紋中心提取結(jié)果如圖7所示。圖7a為拍攝圖像直接經(jīng)過灰度重心法得到的條紋中心提取結(jié)果,在物體表面曲率和法線方向變化較大的區(qū)域,如圖7a中矩形標記處,嚴重影響了結(jié)構(gòu)光的入射角和拍攝角,使得條紋亮度降低。對該區(qū)域放大,如圖7b所示, 可以觀察到條紋中心產(chǎn)生大量斷線的現(xiàn)象,并且在中心線斷裂端(橢圓標記處),伴隨著許多噪聲中心點,嚴重降低了測量精度。圖7c為經(jīng)本文方法調(diào)整后再提取的條紋中心結(jié)果,為了便于分析對比,將其表面曲率變化較大的區(qū)域進行放大,如圖7d所示,結(jié)果表明,調(diào)整后的條紋特征更加明顯,條紋亮度顯著提高,提取的條紋中心沒有產(chǎn)生斷線和噪聲現(xiàn)象,并且與條紋的延伸方向更加吻合。

(a)低亮度條紋

(b)反射率突變處條紋

(c)正常條紋

(d)灰度調(diào)整后的圖像圖6 條紋初始及調(diào)整后的灰度對比

(a)灰度調(diào)整前 (b)局部放大圖

(c)灰度調(diào)整后 (d)局部放大圖圖7 人臉模型條紋中心提取結(jié)果

由上述實驗結(jié)果分析可知,本文提出的灰度調(diào)整方法能有效降低物體表面反射率對條紋質(zhì)量的影響,改善了條紋在其橫截面上的灰度分布,修正了因為條紋灰度突變引起的中心偏移。同時,本方法可以對復雜曲面的變形條紋進行灰度調(diào)整,解決了復雜曲面圖像中因條紋亮度不均勻而引起的中心線局部斷線問題。

4 結(jié) 論

本文對結(jié)構(gòu)光經(jīng)物體表面特征調(diào)制后的灰度分布模型進行分析,提出了一種對條紋灰度退化的調(diào)整方法。所提方法根據(jù)光線能量傳遞模型,通過投影單色灰度圖像間接計算出攝像機采集圖像上各像素點對于物體表面特征的調(diào)制信息,并將其代入實際變形條紋以消除灰度退化項,實現(xiàn)了對退化圖像的灰度調(diào)整,降低了物體表面曲率與反射率對條紋灰度分布的退化影響。實驗結(jié)果表明,本方法能有效地提升條紋質(zhì)量,并消除條紋橫截面上的灰度突變,同時能解決復雜物體圖像中因為亮度太低而引起的條紋中心局部斷線問題,從而保證了測量數(shù)據(jù)的完整性與可靠性。

[1] USAMENTIAGA R, MOLLEAD J, GARCIA D F. Fast and robust laser stripe extraction for 3D reconstruction in industrial environments [J]. Machine Vision and Applications, 2012, 23(1): 179-196.

[2] 李鳳嬌, 李小菁, 劉震. 基于多尺度分析的激光光條中心點坐標提取方法 [J]. 光學學報, 2014, 34(11): 103-108. LI Fengjiao, LI Xiaojing, LIU Zhen. A multi-scale analysis based method for extracting coordinates of laser light stripe centers [J]. Acta Optica Sinica, 2014, 34(11): 103-108.

[3] XUE Q, WANG Z, HUANG J. Improving the measuring accuracy of structured light measurement system [J]. Optical Engineering, 2014, 53(11): 112204.

[4] 江永付, 江開勇, 林俊義. 線結(jié)構(gòu)光光條中心亞像素精確提取方法 [J]. 激光與光電子學進展, 2015, 52(7): 179-185. JIANG Yongfu, JIANG Kaiyong, LIN Junyi. Extrication method for sub-pixel center of linear structured light stripe [J]. Laser & Optoelectronics Progress, 2015, 52(7): 179-185.

[5] 賀俊吉, 張廣軍. 結(jié)構(gòu)光三維視覺檢測中光條圖像處理方法研究 [J]. 北京航空航天大學學報, 2003, 29(7): 593-597. HE Junji, ZHANG Guangjun. Study on method for processing image of strip in structured-light 3D vision measuring technique [J]. Journal of Beijing University of Aeronautics and Astronautics, 2003, 29(7): 593-597.

[6] TRUCCO E, FISHER R B, FITZGIBBON A W, et al. Calibration, data consistency and model acquisition with a 3-D laser striper [J]. International Journal of Computer Integrated Manufacturing, 1998, 11(4): 293-310.

[7] STEGER C. An unbiased detector of curvilinear structures [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.

[8] 王順, 徐靜珠, 張益昕, 等. 結(jié)構(gòu)光光條中心點信度評價方法與應用 [J]. 光學學報, 2011(11): 203-209. WANG Shun, XU Jingzhu, ZHANG Yixin, et al. Reliability evaluation method and application for light stripe center extraction [J]. Acta Optica Sinica, 2011(11): 203-209.

[9] 周興敏, 劉恒彪, 葛劍敏. 激光三角測量中物面反射光斑重心偏移的修正 [J]. 光學學報, 2015, 35(5): 153-157. ZHOU Xingmin, LIU Hengbiao, GE Jianmin. Reflected spot center offset correction in laser triangulation measurement [J]. Acta Optica Sinica, 2015, 35(5): 153-157.

[10]YIN X Q, TAO W, FENG Y Y, et al. Laser stripe extraction method in industrial environments utilizing self-adaptive convolution technique [J]. Applied Optics, 2017, 56(10): 2653-2660.

[11]劉振, 李聲, 馮常. 基于互相關算法的激光條紋中心提取 [J]. 中國激光, 2013, 40(5): 197-202. LIU Zhen, LI Sheng, FENG Chang. Laser stripe center extraction based on cross-correlation algorithm [J]. Chinese J Lasers, 2013, 40(5): 197-202.

[12]李瑩瑩, 張志毅, 袁林. 線結(jié)構(gòu)光光條中心提取綜述 [J]. 激光與光電子學進展, 2013, 50(10): 9-18. LI Yingying, ZHANG Zhiyi, YUAN Lin. Survey on liner structured light stripe center extraction [J]. Laser & Optoelectronics Progress, 2013, 50(10): 9-18.

[13]許寧. 線結(jié)構(gòu)光光條圖像處理方法研究 [D]. 哈爾濱: 哈爾濱工程大學, 2007: 17-21.

[14]陸楓, 何云峰. 計算機圖形學基礎 [M]. 北京: 電子工業(yè)出版社, 2008: 288-292.

[本刊相關文獻鏈接]

劉濤,楊樹明,蔣莊德.超振蕩透鏡的三維全矢量電磁分析方法.2017,51(8):1-5.[doi:10.7652/xjtuxb201708001]

陳冬,王亞寧,劉亞雄,等.雙投影光固化成型方法研究.2017,51(2):149-154.[doi:10.7652/xjtuxb201702023]

何徽,溫偉峰,張登洪,等.條紋相機掃描速度調(diào)節(jié)電路.2013,47(12):66-70.[doi:10.7652/xjtuxb201312012]

趙一博,韓妙飛,閆相國.幾種漫射光學成像圖像重建算法的比較研究.2012,46(4):106-111.[doi:10.7652/xjtuxb201204 018]

秦玉偉,趙宏,莊仲琴.熱光源譜域光學相干層析成像系統(tǒng).2011,45(11):63-67.[doi:10.7652/xjtuxb201111013]