周國平， 陳 聰， 肖可洋， 彭金華， 趙 艷， 祝振敏*

(1.江西省水利水電開發(fā)有限公司，江西 南昌 330029； 2.華東交通大學(xué) 電氣與自動(dòng)化工程學(xué)院，江西 南昌 330013)

大壩形變測(cè)量是衡量大壩是否正常和運(yùn)行安全的重要標(biāo)志,為大壩的安全維護(hù)和運(yùn)行提供了可靠的依據(jù)[1]。結(jié)構(gòu)光測(cè)量能夠高效率、高精度采集大壩形變測(cè)量的數(shù)據(jù)，滿足形變監(jiān)測(cè)，達(dá)到各項(xiàng)指標(biāo)的要求[2]。其通過在目標(biāo)物體上自動(dòng)投影光帶，有利于特征點(diǎn)的提取和匹配。但是光條有一定的寬度，特征點(diǎn)可以用中心線更精確地表示。因此，對(duì)結(jié)構(gòu)光中心條紋的提取是關(guān)鍵的一步。Perona等[3]提出了一種極值法，選擇條紋橫截面上灰度值最大的像素作為中心，這種方法雖然簡單高效，但只能提取像素級(jí)的條紋中心線，對(duì)噪聲敏感。文獻(xiàn)[4]提出的方向模板法和改進(jìn)方向模板法可以有效地抑制噪聲，提取像素級(jí)的中心點(diǎn)，但由于互相關(guān)的存在，該方法的計(jì)算量較大。Sun等[5]提出了一種基于灰度矩陣和光滑樣條算法的魯棒中心提取算法，該算法基于條紋光強(qiáng)均勻分布的假設(shè)，但大多數(shù)激光器遵循高斯分布[6]。Goshtasby等[7]提出了一種基于高斯算子的拉普拉斯曲線擬合方法來檢測(cè)激光條紋中心，該方法假設(shè)條紋截面上的灰度值分布是對(duì)稱的，實(shí)際上，灰度分布通常是非對(duì)稱的。為了獲得更高的精度，亞像素中心提取方法受到越來越多的關(guān)注。最經(jīng)典的方法之一是Steger算法[8]，其最初是為醫(yī)學(xué)成像而設(shè)計(jì)的，但由于其具有高魯棒性和高精度的優(yōu)點(diǎn)，該方法逐漸成為激光條紋提取的常用方法之一[9]。在中心提取過程中，光條圖像中的所有像素都需要進(jìn)行5次高斯卷積運(yùn)算。為了在亞像素級(jí)提取中心點(diǎn)，需要求解Hessian矩陣的特征值和特征向量[10]。這個(gè)過程包含大量的計(jì)算，因此非常耗時(shí)。此外，很難確定條紋的第1點(diǎn)。Liu等[11]提出的圖像處理單元(Graphics Processing Unit,GPU)和江潔等[12]提出的可編程邏輯門序列(Field Programmable Gate Array,FPGA)方法也是以減少計(jì)算時(shí)間為目標(biāo)。然而，由于Steger算法高度依賴于這些算法中參數(shù)的設(shè)置，例如高斯核的標(biāo)準(zhǔn)差和特征值閾值[13]，因此，具有固定值參數(shù)的Steger算法不適用于不同寬度和噪聲幅度的光條。蔡懷宇等[14]提出了一種利用主成分分析估計(jì)條紋法線方向的方法，然后利用二階泰勒展開得到中心點(diǎn)的亞像素位置。這種方法也是基于高斯卷積運(yùn)算，所以計(jì)算成本也比較高。Li等[15]提出了一種改進(jìn)的灰度重心法，用于亞像素級(jí)提取激光條紋中心。針對(duì)上述問題，本文提出了一種三通道特征融合算法來提取條紋中心點(diǎn)。首先分別在Gabor、局部二值模式(Local Binary Patterns,LBP)以及方向梯度直方圖(Histogram of Oriented Gradient,HOG)這3種特征描述因子下得到光條紋的3種特征圖像，并融合這3種特征圖像以得到最終的光條紋特征圖像。最后對(duì)分割出的光條紋中存在的不連續(xù)區(qū)域進(jìn)行灰度膨脹并通過骨架細(xì)化法得到光條紋的中心線，將其映射到原始的結(jié)構(gòu)光條紋圖像上。

1 三通道特征提取圖像融合

Gabor小波可以在不同方向和尺度上提取圖像的紋理信息。HOG特征中包含的邊緣梯度和方向密度可以表示淺色條紋的外觀和形狀。LBP用來描述物體局部紋理特征的算子形象，因具有旋轉(zhuǎn)不變性和灰度不變性，在描述圖像局部紋理特征方面具有一定的優(yōu)勢(shì)。

本文方法提出的三通道融合是指利用Gabor、LBP、HOG得到3幅光條特征圖像，并將這3種特征圖像定義為I_Gabor、I_HOG和I_LBP，融合這3種特征圖像可以得到最終的光條紋特征圖像I_final。最后對(duì)分割出的光條紋中存在的不連續(xù)區(qū)域進(jìn)行灰度膨脹并通過骨架細(xì)化法得到光條紋的中心線，將其映射到原始的結(jié)構(gòu)光條紋圖像上。

1.1 Gabor光條特征提取

本文方法采用二維Gabor濾波器來完成第1通道特征提取。二維Gabor函數(shù)是由具有一定頻率和方向的正弦平面波組成的復(fù)正弦函數(shù)，然后被二維高斯函數(shù)調(diào)制。二維高斯函數(shù)為

(1)

式中:a、b、σx、σy和ρ均為常數(shù)，a、b分別為隨機(jī)變量x和y的均值，σx和σy為兩者的方差，ρ為兩者之間的相關(guān)系數(shù)，并設(shè)a、b和ρ等于零。所以，式(1)可轉(zhuǎn)化為式(2)。因此，二維Gabor函數(shù)的復(fù)數(shù)形式可以表示為式(3)。它的實(shí)部和虛部可以用式(4)表示。在式(4)中，λ為余弦因子的波長；θ為平行條紋的方向Gabor函數(shù)；ψ為相移；γ為空間長寬比，決定橢圓度對(duì)于Gabor函數(shù)的形狀；σ決定了高斯窗口寬度與高斯窗口寬度的比值波矢的長度。Gabor濾波器的半響應(yīng)空間帶寬濾波器與σ/λ之比有關(guān)，可用式(5)來表示。Gabor濾波器的實(shí)部是一個(gè)偶對(duì)稱濾波器，滿足由Rivera等[17]提出的要求，用其來獲取光條紋的特征。對(duì)于不同的帶寬和標(biāo)準(zhǔn)差得到的結(jié)構(gòu)光條紋特征圖像會(huì)有所不同，因此本文方法選取了幾組不同的σ取值和d取值，得到對(duì)應(yīng)的特征提取效果，如圖1所示。

(2)

(3)

(4)

(5)

圖1 基于σ和b的不同的特征提取

圖1(a)為采集到的原始結(jié)構(gòu)光條紋圖像，對(duì)應(yīng)于不同σ和d的組合，分別可得圖1(b)～圖1(f)這5種不同的條紋提取效果。由于d取值通常以1個(gè)倍頻為基礎(chǔ)，因此可簡化處理為1，同時(shí)與σ的比值為0.56。通過Gabor特征提取本文得到了光條紋的第1種特征圖像I_Gabor。

1.2 HOG光條特征提取

HOG特征中包含的邊緣梯度和方向密度可以表示淺色條紋的外觀和形狀。條紋中像素(x,y)的梯度可以用式(6)表示。

(6)

式中：Gx(x,y)和Gy(x,y)為像素在水平和垂直方上的梯度方向；I(x,y)為這些像素的灰度值，其梯度大小和方向如式(7)所示。

(7)

為了減弱光和噪聲的影響，需要對(duì)原始結(jié)構(gòu)光條紋圖像進(jìn)行處理，首先通過式(8)所示的伽馬壓縮進(jìn)行歸一化。在本文方法中，gamma=0.5。

Ig(x,y)=I(x,y)gamma

(8)

式中：Ig(x,y)為壓縮圖像。本文方法拍攝的結(jié)構(gòu)光條紋圖像尺寸為1200像素×1920像素。首先，8像素×8像素被定義為一個(gè)單元。然后將梯度方向劃分為9個(gè)單元。這個(gè)梯度方向只能確定像素所屬的倉，梯度大小可以確定此箱子中此像素的計(jì)數(shù)。通過加權(quán)每個(gè)像素可以得到方向梯度直方圖，如式(9)所示。

(9)

式中：Num為每個(gè)單元格中對(duì)應(yīng)于像素的梯度方向特征的計(jì)數(shù)。將2×2單元定義為塊，并使用8像素作為步驟的滑動(dòng)窗口掃描光條紋圖像。在每個(gè)塊中，都可以得到它的HOG特性。將這些塊連接在一起，解決了整個(gè)圖像的特征。基于HOG的特征提取如圖2所示。

圖2 基于HOG的特征提取

此時(shí)，將結(jié)構(gòu)光的第2通道特征圖像定義為IHOG。

1.3 LBP光條特征提取

LBP用來描述物體局部紋理特征的算子形象，具有灰度不變性和旋轉(zhuǎn)特性。在一個(gè)3像素×3像素的正方形窗口中定義原始LBP算子，并將其灰度值相鄰像素與窗口的中心像素進(jìn)行比較。這個(gè)固定的區(qū)域大小LBP無法適應(yīng)目標(biāo)圖像大小的變化。為此，筆者采用了一種非固定區(qū)域的圓形LBP算子。圖3為3種不同的LBP環(huán)。

圖3 3種不同的LBP環(huán)

圖3中，從左到右是采樣半徑和采樣次數(shù)不同的LBP算子樣品。變半徑LBP算子能較好地滿足紋理特征結(jié)構(gòu)光條紋圖像的不同大小和頻率。對(duì)于給定的中心點(diǎn)(xc，yc)，圓形區(qū)域中第p個(gè)像素的坐標(biāo)為

(10)

式中：R為采樣半徑;p為采樣點(diǎn);P為采樣點(diǎn)總的個(gè)數(shù)。對(duì)于計(jì)算出的非整數(shù)像素值，采用插值的方法計(jì)算整數(shù)插值點(diǎn)來表示?？紤]到最初的LBP特征，利用圓形LBP算子提取結(jié)構(gòu)光條紋。提取效果如圖4所示。

圖4 基于LBP的特征提取

此時(shí)，將第3通道特征圖像定義為ILBP。

1.4 三通道特征融合圖像

三通道特征圖像用于獲得最終的光條紋特征。融合過程為

Ifinal=ω1·IHOG+ω2·IGabor+ω3·ILBP

(11)

式(11)表達(dá)了三通道圖像之間的關(guān)系，其中ω1=ω2=ω3=1，三通道特征融合過程如圖5所示。

圖5 三通道特征融合過程

為了從背景中分割出結(jié)構(gòu)光條紋，首先進(jìn)行像素增強(qiáng)。其次，考慮圖像中的像素強(qiáng)度光條紋面積較大，通過多次實(shí)驗(yàn)，80%的最大灰度值為從背景中分割光條紋的閾值。但是，不連續(xù)區(qū)域?qū)⒊霈F(xiàn)在分段條紋中。為此，應(yīng)用灰度展開算法來填充這些不連續(xù)的區(qū)域；然后采用骨架細(xì)化法，得到目標(biāo)的中心線條紋并將其映射到原始的結(jié)構(gòu)光圖像，如圖6所示。

圖6 光帶中心線提取過程

2 光條紋中心提取

結(jié)構(gòu)光條紋中心的提取技術(shù)分為兩類：基于幾何中心的方法和基于能量中心的方法。因?yàn)閹缀沃行姆▽?duì)噪聲敏感，所以該技術(shù)對(duì)光條紋的質(zhì)量要求高。由于沒有考慮光條的能量分布，因此應(yīng)用范圍有限。本文方法采用了基于Hessian矩陣的Steger算法來提取條紋中心，使得條紋邊緣檢測(cè)精度能夠達(dá)到亞像素級(jí)。Steger算法的實(shí)質(zhì)是求解光條紋區(qū)域中每個(gè)像素的Hessian矩陣。首先，在Hessian矩陣中求解條紋區(qū)域中每個(gè)像素的法線方向，然后在法線方向上的Taylor展開可以表示這些像素的子像素位置坐標(biāo)。任意像素(x,y)的Hessian矩陣可表示為

(12)

式中:H(I(x,y))為條紋區(qū)域中每個(gè)像素的Hessian矩陣；rxx，ryy，rxy分別為二階偏導(dǎo)數(shù)。在Hessian矩陣中，絕對(duì)值最大的特征值代表灰度圖像的二階導(dǎo)數(shù)。其特征向量決定了光條的法線方向(nx,ny)。通過求解Hessian矩陣，結(jié)合光條的基準(zhǔn)點(diǎn)，中心點(diǎn)計(jì)算公式為

(13)

當(dāng)(anx,any)∈[-0.5,0.5]×[-0.5,0.5]時(shí)，可以確定第1個(gè)等于零的導(dǎo)數(shù)處于正在操作的像素內(nèi)。同時(shí)，如果對(duì)應(yīng)于線方向(nx,ny)的二階方向?qū)?shù)大于給定的閾值，可由該閾值推導(dǎo)出中心點(diǎn)的亞像素坐標(biāo)(xc,yc)。

3 實(shí)驗(yàn)設(shè)計(jì)與驗(yàn)證

筆者采取3個(gè)實(shí)驗(yàn)?zāi)K來驗(yàn)證本文方法，分別是提取的光條平滑度分析、工件表面三維重建和工件尺寸測(cè)量。

3.1 實(shí)驗(yàn)設(shè)計(jì)

首先采用雙目視覺系統(tǒng)驗(yàn)證光條中心提取算法。由于左右圖像的特征匹配是完成三維立體重建的必要步驟，其精度直接影響重建和尺寸測(cè)量的結(jié)果，而傳統(tǒng)的特征點(diǎn)匹配技術(shù)應(yīng)用于傳統(tǒng)的立體測(cè)量技術(shù)中，與目標(biāo)物體的表面紋理關(guān)系密切，受環(huán)境光的影響較大。與傳統(tǒng)的立體測(cè)量技術(shù)不同，在結(jié)構(gòu)光視覺測(cè)量系統(tǒng)中，結(jié)構(gòu)光條紋上的中心點(diǎn)是特征點(diǎn)。因此，隨著特征點(diǎn)定位精度的提高，可以更好地完成工件的三維重建和尺寸測(cè)量。本實(shí)驗(yàn)分析了基于SIFT特征匹配算法的三維重建效果和雙目視覺系統(tǒng)中的結(jié)構(gòu)光中心點(diǎn)匹配。利用匹配結(jié)果，可以得到兩幅視差圖，并結(jié)合雙目攝像機(jī)的內(nèi)外參數(shù)重建工件表面。雙目視覺測(cè)量系統(tǒng)如圖7所示。

圖7 雙目視覺測(cè)量系統(tǒng)

一個(gè)激光器和兩個(gè)攝像頭組成了一個(gè)基礎(chǔ)的雙目視覺系統(tǒng)。通過打開和關(guān)閉激光器，左右攝像頭可以捕捉帶有或不帶有結(jié)構(gòu)光條紋的工件圖像。在式(14)中表示了圖像像素坐標(biāo)(u,v)及其空間三維坐標(biāo)(XW,YW,ZW)的映射函數(shù)。

(14)

式中:R3×3為旋轉(zhuǎn)矩陣;T3×1為平移矩陣;bx和by分別為水平和垂直方向上的成像焦距;(u0,v0)為相機(jī)中心坐標(biāo)點(diǎn)。本文方法采用張氏標(biāo)定法計(jì)算攝像機(jī)參數(shù)。在沒有結(jié)構(gòu)光條紋的左右圖像中，使用SIFT算法進(jìn)行立體匹配,得到匹配結(jié)果，如圖8所示。

圖8 基于SIFT的特征點(diǎn)匹配

由圖8可以看出，前景區(qū)域和背景區(qū)域之間出現(xiàn)了特征點(diǎn)不匹配，會(huì)影響三維重建和尺寸測(cè)量。結(jié)構(gòu)光技術(shù)的優(yōu)點(diǎn)是可以準(zhǔn)確定位特征點(diǎn)，從而減少特征點(diǎn)匹配的誤差。與SIFT算法相比，該方法的結(jié)構(gòu)光中心點(diǎn)匹配的準(zhǔn)確率更高，如圖9所示。

圖9 結(jié)構(gòu)光中心點(diǎn)匹配

對(duì)比圖8和圖9，結(jié)果表明結(jié)構(gòu)光中心點(diǎn)的匹配效果更好。根據(jù)匹配的結(jié)果能得到工件圖像的視差圖，可用于工件表面重建?；赟IFT的工件表面的三維重建效果如圖10所示。圖10中，O-xyz為世界坐標(biāo)系。

圖10 基于SIFT的工件表面三維重建效果圖

為了驗(yàn)證結(jié)構(gòu)光技術(shù)的優(yōu)點(diǎn)，進(jìn)行了基于SIFT的工件表面三維重構(gòu)和基于光技術(shù)的工件表面三維重構(gòu)兩個(gè)實(shí)驗(yàn)。在圖10中，小區(qū)域中的3D點(diǎn)相對(duì)稀疏。這是SIFT算法的不匹配和工件表面紋理信息不足造成的。

結(jié)構(gòu)光技術(shù)通過在工件表面主動(dòng)投射激光條紋可以獲得更多的特征點(diǎn)信息，其三維重建效果如圖11所示。與圖10相比，在傳統(tǒng)的雙目視覺系統(tǒng)中引入結(jié)構(gòu)光后，工件表面重建的三維點(diǎn)在同一區(qū)域明顯增加。

圖11 基于結(jié)構(gòu)光技術(shù)的工件表面三維重建效果圖

3.2 實(shí)驗(yàn)分析

在該實(shí)驗(yàn)中，中心線上相鄰像素的列坐標(biāo)之間的差異被用作評(píng)估提取的線結(jié)構(gòu)光的平滑度的基礎(chǔ)。圖12展示了本文算法和傳統(tǒng)Steger算法的結(jié)果及其局部放大圖像的對(duì)比。

圖12 基于兩種方法的光條中心線

由于工件表面光滑，線結(jié)構(gòu)光中心點(diǎn)之間的柱坐標(biāo)差可以作為評(píng)價(jià)提取結(jié)果的標(biāo)準(zhǔn)，如表1所示。

表1 線結(jié)構(gòu)光中心點(diǎn)之間的柱坐標(biāo)差

對(duì)表1的分析表明，相比于Steger算法，本文方法的最大列坐標(biāo)差為2像素，平均列坐標(biāo)差為0.069像素，相較于Steger算法的9像素和0.196像素，具有明顯的提升。為了進(jìn)一步闡述本文方法的優(yōu)勢(shì)，采用以上兩種方法測(cè)量工件尺寸。

3.3 實(shí)驗(yàn)驗(yàn)證

為了比較Steger算法和本文方法提取光條中心的準(zhǔn)確性，將使用這兩種方法來完成工件的尺寸測(cè)量，標(biāo)準(zhǔn)尺寸為35 mm×100 mm。在本實(shí)驗(yàn)中，為了全面評(píng)估測(cè)量精度，圖7中工件的長邊和短邊都將是測(cè)量的目標(biāo)。首先，通過三維重建的結(jié)果得到結(jié)構(gòu)光雙目視覺測(cè)量系統(tǒng)中每條邊上的點(diǎn)。表2和表3展示了工件長邊對(duì)應(yīng)的測(cè)量尺寸。分別計(jì)算左、右邊界上的點(diǎn)到左、右擬合邊的距離。

利用本文方法測(cè)量的長邊尺寸結(jié)果如表2所示。根據(jù)表2，左側(cè)點(diǎn)與擬合的右邊緣之間的平均距離為100.124 mm。類似地，右側(cè)點(diǎn)與擬合的左邊緣之間的平均距離為100.133 mm。根據(jù)兩次測(cè)量結(jié)果，長邊的尺寸為100.127 mm。同理，如表3所示，利用Steger算法測(cè)量的長邊尺寸為100.210 mm。與工件標(biāo)準(zhǔn)尺寸相比，本文方法的測(cè)量精度為0.127 mm，Steger為0.210 mm。

表4和表5展示了工件短邊對(duì)應(yīng)的測(cè)量距離。利用本文方法，上邊緣的點(diǎn)到下邊界的直線距離為34.898 mm，下邊緣的點(diǎn)到上邊界的直線距離為34.899 mm。因此使用本文方法測(cè)量短邊的精度為0.101 mm。同理，使用Steger算法得到短邊的測(cè)量精度為0.185 mm。

兩種方法的測(cè)量精度分析如表6所示。本文方法對(duì)工件尺寸的平均測(cè)量精度為0.114 mm，相較于Steger方法的0.197 mm，有著較為明顯的提升。綜上所述，本文方法不僅能夠更好地重構(gòu)工件表面，而且在尺寸測(cè)量方面也比Steger具有更高的精度。

表2 基于本文方法的長邊尺寸

表3 基于Steger的長邊尺寸

表4 基于本文方法的短邊尺寸

表5 基于Steger的短邊尺寸

表6 兩種方法的測(cè)量精度分析

4 結(jié)束語

壩體形貌測(cè)量常會(huì)遇到圖像噪聲等問題，在視覺測(cè)量過程中，這些問題會(huì)降低光條中心的提取精度。針對(duì)上述問題，首先，引入三通道特征融合方法以提取光條，然后，利用灰度擴(kuò)展算法和細(xì)化骨架方法計(jì)算左右光條圖像的中心線。為了驗(yàn)證該方法在表面三維重建和工件尺寸測(cè)量方面的優(yōu)勢(shì)，進(jìn)行了提取光條平滑度的分析、工件表面三維重建和工件尺寸測(cè)量3個(gè)實(shí)驗(yàn)。首先，在傳統(tǒng)的雙目視覺系統(tǒng)中，引入結(jié)構(gòu)光前后，工件表面重建的三維點(diǎn)明顯增加。然后，在工件表面三維重建和工件尺寸測(cè)量中，列坐標(biāo)首先比較線結(jié)構(gòu)之間的差異，以證明本文方法的優(yōu)點(diǎn)。該方法的最大和平均列坐標(biāo)差分別為2像素和0.069像素，Steger分別為9像素和0.196像素，為了進(jìn)一步驗(yàn)證該方法的優(yōu)勢(shì)，將工件的標(biāo)準(zhǔn)尺寸(35 mm×100 mm)與兩種方法測(cè)量的尺寸進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，長邊和短邊的測(cè)量精度分別為0.127 mm和0.101 mm，Steger測(cè)量的長邊和短邊的精度分別為0.210 mm和0.185 mm，綜合考慮長邊和短邊的測(cè)量精度為0.114 mm,高于Steger的0.197 mm。經(jīng)過上述研究，運(yùn)用本文方法進(jìn)行壩體視覺測(cè)量的魯棒性和精度得到了顯著的提高。