劉天賜，劉桂華，胡 莉，黃會明

（西南科技大學 信息工程學院，四川 綿陽 621010）

引言

近年來，線結構光三維測量技術被廣泛應用于越來越多的領域，比如尺寸測量、逆向工程、缺陷檢測、目標識別以及焊縫跟蹤等領域[1]。在線結構光測量系統(tǒng)中由于目標物表面起伏變化復雜，導致激光器投射條紋發(fā)生形變，再由CCD 拍攝有激光條紋照射的目標圖像，然后根據(jù)提取到的激光線對物體進行三維測量。在此過程中激光中心線的精確提取是測量系統(tǒng)的關鍵步驟之一。

目前常用的方法主要有極值法、幾何中心法、邊緣法等[2-4]，對激光線中心線定位較快且易于提取，但缺點是只能達到像素級，無法在高精度場合下應用，局限性較大，而且易受環(huán)境和噪聲影響。灰度重心法[5]和Steger 算法[6]能夠提取亞像素級的激光條紋中心線，灰度重心法運算速度快且易于實現(xiàn)，但只考慮光條的橫向或者縱向，在條紋曲率變化較大時會產(chǎn)生較大誤差。為了減少噪聲干擾，潘碩等人[7]通過塊匹配尋找結構光圖像中的相似光條結構，求取它們的坐標均值作為最終的光條中心，但運行效率不高，對直線抗噪效果很好；王利等人[8]有效結合條紋的二值寬度與灰度信息，使激光條紋在高噪聲背景下仍能精確提取中心線；胡斌等人 [9]在重心法基礎上引入方向模板法提高了計算效率，但僅能計算出四個法線方向，限制了中心線提取精度。Steger 算法可以精確計算出激光條紋的方向，再進行二次泰勒展開求取極值得到亞像素激光點，其精度較高，但引入了多次高斯卷積，計算效率低下，不適合應用于實時場景。為了提高其計算效率，提出了一種基于主成分分析的中心線提取方法[10]，將中心點的法線方向利用主成分分析的方法進行求取，避免了多次卷積，使其對比Steger 算法速度提高了近3 倍，但對灰度值飽和度較多的強光源圖片提取精度不高。周源等人[11]在具有強光干擾的情況下，提出利用像素點的歐式距離和灰度值能量構建函數(shù)和最短路徑搜索算法，對具有干擾的激光線進行中心提取，提高了運算效率和精度，但此方法提取的精度只能達到像素級，不適合精度較高的場景。由于環(huán)境噪聲、物體表面的復雜性導致存在折線缺陷的問題，金俊等人[12]采用貝塞爾曲線擬合改善了光條中心折線特征，但其擬合的復雜性高。胡楊等人[13]結合主成分分析與灰度重心法提高了速度，但僅靠梯度幅值較大的邊界點參與計算，很大程度上提取的精度取決于邊界像素，因此易受邊界噪聲影響。

在實際三維測量中，針對投射在物體表面上的激光線變化趨勢復雜，中心線提取精度不高、保留細節(jié)差等問題。本文提出了一種基于法線引導的激光中心線提取方法，該方法可以提取有效像素點集，用于灰度重心法提取亞像素級中心位置。此方法利用各種算法的特點，從而得到高精度的光條中心坐標。

1 圖像預處理

1.1 提取感興趣區(qū)域

首先，要找到有利于提取激光中心線的圖像區(qū)域。由于在結構光圖片中，存在大量的背景信息，而結構光條紋區(qū)域小且和圖像背景區(qū)域的灰度值相差較大，為了能將感興趣區(qū)域進行提取，本文采用自動閾值分割的大津閾值法[14]得出分割閾值，根據(jù)閾值將激光條紋區(qū)域提取出來。不但能減少背景參與后續(xù)計算過程的影響，還能提高提取結構光的速度。

1.2 修補斷線

通過上述方法對圖像進行初次預處理，雖能夠自適應地將目標區(qū)域和背景區(qū)域的灰度閾值計算出來，但由于結構光部分區(qū)域位于圖像邊緣，導致對其進行拍攝時入射的能量不足，因此會出現(xiàn)部分中心線灰度值低于分割閾值，經(jīng)圖像分割后出現(xiàn)一些偽斷線的情況。當把處于“斷線”區(qū)域的原激光圖片進行放大時，發(fā)現(xiàn)其灰度分布仍符合高斯分布，說明此位置也是激光線的一部分。在此，本文采取形態(tài)學閉運算的方法對其進行修補，其原理是對二值化后的激光線進行膨脹操作，用于連接圖中斷線情況，此時，激光線整體面積會增加，為了恢復激光線原有的形狀，再使用與膨脹操作相同大小的結構元素進行腐蝕。如果使用的形態(tài)學的核太大，反而會在掃描物體時有些真斷線情況也會對其進行修補，導致最后掃描出來的三維數(shù)據(jù)出現(xiàn)偏差，因此本次使用的核大小為3×3，其效果如圖1 所示。

圖1 修補斷線過程示意圖Fig. 1 Schematic diagram of repairing broken wires

2 法線引導的中心坐標提取

基于法線引導的中心坐標提取步驟是用幾何中心法快速定位中心線，利用主成分分析法求解中心線的法線方向，根據(jù)中心點劃分八鄰域，結合法線角度尋找有效像素點，最后使用灰度重心法求取亞像素級中心線。

2.1 快速定位像素級中心線

為了能初步對激光線進行中心提取，結合邊緣檢測法和幾何中心法對激光條紋進行初步定位，用Canny 算法[15]對目標區(qū)域進行邊緣檢測，得到除邊緣以外其他像素均為零的圖像。利用多條結構光條紋的邊緣像素，通過（1）式計算結構光兩邊邊緣位置的中值，從而得到中心點：

式中：a、b分別表示單根結構光在每一行得到的最左側和最右側的非零像素點對應的列坐標值；c為目標值。幾何中心法原理簡單，運行速度快，并且此方法只對提取的邊緣進行計算，對噪聲點不敏感，可以穩(wěn)定地提取到結構光的幾何中心，從而快速粗略得到結構光像素級中心線，如圖2 所示。

圖2 幾何中心法求取中心線Fig. 2 Center line obtained by geometric center method

2.2 主成分分析法求取法線方向

實際情況中，幾何中心法提取的中心線遠不能滿足工業(yè)要求。為了精確定位結構光的中心位置，需要對初步提取的中心線進行法線求取，再通過法線方向上的有效像素點集進行灰度重心法。目前對結構光法線求取最常用的為Steger 算法。此方法原理是對圖像進行多次高斯卷積，得到圖像的Hessian 矩陣，然后對Hessian 矩陣進行特征值分解，將絕對值最大的特征值對應的特征向量做為當前像素點的法線方向。雖然具有較高的精度和穩(wěn)健性，但需要對圖像進行多次二維高斯卷積，計算量大，難以滿足實時性要求。因此本文選擇PCA方法[9]求取當前點的法線向量，PCA 方法不需要進行多次卷積，可以大大減少計算量，減少了不必要的時間和資源開銷。

在實際拍攝中，得到的結構光圖片中往往會存在噪聲，極大影響結構光條紋提取效果。對此本文使用二維高斯卷積對提取的結構光圖像進行計算，能有效降低噪聲對提取條紋中心的負面影響。其計算公式為

經(jīng)過二維高斯卷積可得到條紋圖像的梯度分布圖，選取幾何中心法得到的像素級中心點作為計算法向的主要點集，可快速求取激光條紋的形變情況。假設(Gx，Gy)表示梯度向量，則梯度向量的協(xié)方差矩陣C為

利用主成分分析法對協(xié)方差矩陣進行特征分解，得到最大特征值對應的特征向量即為法線方向。則特征值和對應的特征向量表達為

式中：特征值λ1、λ2對應的特征向量分別為v1、v2，由表達式可知，λ1＞λ2，因此，對應的特征向量v1為條紋法線方向，再對法線向量進行歸一化處理可得到與法線方向一致的單位向量n=(nx，ny)T，為后續(xù)法線引導提供了條件，圖3 為法線方向示意圖。

圖3 法線方向示意圖Fig. 3 Schematic diagram of normal direction

2.3 基于法線引導的中心線提取

當不考慮激光條紋法線方向時，傳統(tǒng)的灰度重心法對在x方向或者y方向呈高斯分布的激光條紋具有很好的提取效果，其x方向或y方向灰度值特性分布如圖4 曲線a；相反，當結構光條紋出現(xiàn)曲率較大時，此時激光條紋的橫向或者縱向的灰度值并不符合高斯分布，如圖4 曲線b，提取的激光線中心線會有很大偏差，造成重建效果差。

圖4 激光條紋灰度分布特性曲線圖Fig. 4 Curves of gray distribution properties of laser stripes

根據(jù)PCA 求取的法線方向，可得到此時結構光條紋沿法線方向橫截面的二維圖像分布。而傳統(tǒng)的灰度重心法只考慮在橫向或者縱向分布的結構光條紋，在提取曲率較大的激光條紋中心線時并沒有較好的效果[16]，導致提取的激光線出現(xiàn)折線情況較多，并不光滑，與實際及光條紋中心線偏差較大[17]。為了能更充分地利用灰度重心法尋找對提取中心點有貢獻的鄰近激光點，使其提取的中心線更加穩(wěn)定，并且不會造成很大的偏差。因此本文提出基于法線引導的中心線亞像素提取方法，此方法能夠使結構光條紋法線方向分布的像素參與計算，從而更準確地提取結構光中心線。其具體過程如下：

首先是通過幾何中心法得到像素級中心線，初步對中心線進行定位。對提取到的中心點，利用八鄰域方法對當前像素點進行角度劃分，每45°劃分1 個區(qū)域，總共劃分8 個區(qū)域，分別對應其八鄰域，如圖5（a）所示。利用得到的法線角度對其鄰域進行有效像素的提取，提取步驟如下：

圖5 8 角度劃分以及尋找有效點示意圖Fig. 5 Schematic diagram of eight-angle division and searching for effective points

1） 以當前單像素中點為中心，求取與法線方向目標點連線夾角；

2） 根據(jù)求取當前點的角度與區(qū)域劃分的角度進行對比，選擇符合角度區(qū)間的八鄰域之一；

3） 將選擇的八鄰域之一的點作為有效點p進行存儲，并以此為當前點，繼續(xù)進行與法線方向目標點連線求取夾角，返回步驟2）。

提取中心點鄰域的有效點集如圖6 所示，圖6（a）是利用幾何中心法得到中心線獲得的法線方向；圖6（b）則是使用法線引導法對中心點橫截面提取的有效像素。

圖6 有效點集示意圖Fig. 6 Schematic diagram of effective point set

最后利用（10）式、（11）式進行灰度重心法。

式中：Gx(x，y)表示中心點x方向的像素集合；Gy(x，y)表示中心點y方向的像素集合；xi與yi分別表示最終提取的結構光中心點。通過遍歷所有幾何中心法得到的中心點，尋找中心點求取亞像素點的有效像素點集，最終使用灰度重心法可得到亞像素級中心點。

3 實驗結果與分析

為了驗證本文算法的有效性，搭建了線結構光的視覺測量系統(tǒng)，以獲取多條結構光圖片。本次視覺測量系統(tǒng)采用了分辨率為1 280×1 024 像素的彩色工業(yè)相機采集圖像和以中心波長為420 nm 的藍紫色激光線作為投射光源。實驗軟件環(huán)境為win10 系 統(tǒng)，visual studio2017 在win64 Debug 模 式下使用opencv4.30 進行本文算法的編寫。

圖7（a）為攝像機采集到投射在平面上的原始激光光條圖像，圖7（b）～圖7（d）分別采用Steger算法、灰度重心法和本文算法的提取部分效果對比?？梢钥吹?，本文算法較其他2 種算法具有近似的提取效果。

圖7 激光原圖及算法提取效果對比圖Fig. 7 Comparison of original laser image and extraction effect of algorithm

為了進一步驗證所提方法對提取激光線效果的優(yōu)越性，因結構光在二維平面內(nèi)的投影為直線分布，本文將多線激光進行單根線分離。對每種方法提取到的激光點數(shù)進行單獨的直線擬合，然后分別求取每個點到擬合直線的平均距離作為偏差進行驗證。最終得到的擬合像素偏差結果如表1所示。

從表1 可以看出，本文方法較其他2 種方法像素偏差更小，證明了激光線呈傾斜狀態(tài)時，能更好地提取橫截面的有效像素，充分發(fā)揮灰度重心法的提取效果，使結果更加逼近真實的結構光形狀。Steger 算法在本文的像素偏差較大，是因為Steger 算法的連接性更強，平滑性更好，但很難保證提取的激光線分布在能量大的中心線上。

表1 光條中心提取結果及擬合直線偏離誤差Table 1 Extraction results of light strip center and deviation error of fitting straight line

由于激光線變化能將物體表面形狀細小的變化表現(xiàn)出來，因此提取中心線時能保留激光線變化的細節(jié)也是高精度激光線三維重建的關鍵。為了驗證本文算法保留細節(jié)的有效性，選取物體表面有較小凹陷的光條圖像作為對比實驗的源圖像。原始光條如圖8（a）所示，圖8（b）～圖8（f）為圖8（a）實框內(nèi)分別使用Steger 算法、方向模板法、灰度重心法、文獻[13]以及本文算法提取效果圖，其上排是原圖中提取激光中心線的位置圖，下排則是激光中心線的單獨效果圖。

圖8 各種算法提取效果圖Fig. 8 Effect diagram extracted by various algorithms

從圖8（b）可以看出，Steger 算法提取的激光中心線有較好的連通性，但其中心分布并不在能量真正集中的像素點上，在激光條紋曲率較大時并不適用，反被其算法性平滑掉，這在精度需求極高時不適用；圖8（c）中，方向模板法得出效果圖有一部分中心線并沒有分布在能量集中的點上，凹陷處也沒能很好地反映出物體表面形狀，在工業(yè)測量中是一種致命缺陷；圖8（d）效果則是用灰度重心法提取的激光線，雖能將細節(jié)粗略反映出來，但是其他地方出現(xiàn)許多雜點，并且模糊不清，很難與真正的缺陷識別開；圖8（e）為文獻[13]效果圖，可以看出，在激光線邊緣較穩(wěn)定時，能夠較好地提取激光線中心點，當邊緣出現(xiàn)抖動時，所參與的計算點少而不穩(wěn)定，產(chǎn)生很大的中心點波動，對邊緣梯度幅值較大的點依賴性強；而圖8（f）則是用本文方法提取中心線，提取的中心線不僅分布在能量集中的點上，還能較好地反映出物體表面的形變情況，其他地方則是比灰度重心法更加平滑，并且只在幾何中心點兩側沿法線尋找有效點集，不易受邊界點影響，客觀地將凹陷處與其他地方區(qū)分開。

為了客觀評價本文算法的穩(wěn)定性，將各種算法提取的中心點進行曲線擬合，求取點到擬合曲線之間的均方根誤差(root mean square error，RMSE)eRMSE，其數(shù)學表達式為

式中：(xi，yi) 表示真實中心線上像素點坐標；(Xi，Yi)表示提取到中心線上像素點坐標；Ω 表示中心線各像素點的橫坐標集合；n則表示提取中心點的個數(shù)。根據(jù)表2 各算法的RSME 數(shù)據(jù)可知，本文算法比傳統(tǒng)的灰度重心法提高了0.233 9 像素，與Steger算法、方向模板法和文獻[13]的誤差接近。說明本文算法在提取激光線時既保證了精度也保證了細節(jié)，具有較好的實用性。

表2 各種算法的均方根誤差Table 2 Root mean square error of various algorithms

為了驗證本文算法的適用性，還測試了其他表面粗糙或者具有階梯式的物體，激光投射在其表面會相應產(chǎn)生形變。圖9（a）、圖9（c）和圖9（e）表示原圖，圖9（b）、圖9（d）及圖9（f）表示利用本文算法得到的效果圖。由圖9 可見，提取結果均與原圖激光分布具有很好的紋路一致性。

圖9 激光線提取示意圖Fig. 9 Schematic diagram of laser line extraction

4 結論

為了提升激光線的提取精度并保留細節(jié)，本文結合各算法特點提出了基于法線角度引導的激光線提取方法。該方法首先對圖像做了一定的預處理；然后利用幾何中心法初步提取激光中心線；再利用主成分分析法求取中心線的法線方向，對中心點劃分角度，根據(jù)角度提取八鄰域中的有效像素；最后對每個中心點的有效點集使用灰度重心法。該方法能充分發(fā)揮提取能量集中且為亞像素中心點。實驗結果表明本文算法表現(xiàn)突出，比傳統(tǒng)的灰度重心法提升了0.2339 像素，能夠很好地反映出物體表面起伏情況，在激光條紋曲率較大的地方能有效提取細節(jié)，為后續(xù)高精度三維重建奠定了良好的基礎。