黃凌鋒,劉光東,張 超,甘 宏,羅文婷,李 林*
(1.福建農(nóng)林大學(xué) 交通與土木工程學(xué)院, 福州 350100; 2.福建省高速技術(shù)咨詢有限責(zé)任公司, 福州 350001)
激光視覺成像測量系統(tǒng)一般由激光器和面(線)陣CCD相機構(gòu)成系統(tǒng)主要的傳感器,并與其它元件配合進行工作。激光器發(fā)射出的線結(jié)構(gòu)光束投射到物體的表面,被調(diào)制成包含特定信息的激光條紋[1],通過相機記錄圖像信息,進行圖像的分析處理、3維重建等工作,從而獲取被檢測物體的特征信息[2]。
線結(jié)構(gòu)光條紋中心的提取是激光成像測量系統(tǒng)中的重要步驟,目前對于激光條紋中心的提取主要方法有極值法、閾值法、Steger算法、骨架細(xì)化法和灰度重心法等[3-7]。極值法是通過找到光強中心的極值,進而找到條紋的中心線,方法簡單、處理速度較快,但是易受噪聲的影響,并且當(dāng)出現(xiàn)多個極值時,其準(zhǔn)確性較低[8];閾值法的原理較為簡單,但是當(dāng)被測物體的曲率變化較大時,容易造成光紋信息的缺失;Steger算法是一種以Hessian矩陣為基礎(chǔ)的一種方法,該算法的精度較高、魯棒性較好,但是由于運算量大,因而處理時間較長,不適用于快速提取激光光紋中心;骨架提取法提取速度快,但是其抗噪性較差,且精度不高;灰度重心法的精度較高,但是其穩(wěn)定度不高,適用于處理光強分布較為集中、寬度較為一致的情況[9-11]。
針對所采集的圖片中含有多種噪聲(尤其是激光器產(chǎn)生的噪聲)的影響,提出一種準(zhǔn)確提取激光條紋亞像素中心的方法。根據(jù)圖像噪聲的特性,采用雙邊濾波對圖片進行預(yù)處理,去除圖片的噪聲,通過獲取每一列像素極大值附近的10個像素點作為有效激光條紋提取區(qū)域,獲取該區(qū)域灰度平均值,取其0.9倍作為閾值對圖像進行二次分割,進一步去除圖像的噪聲,采用形態(tài)學(xué)轉(zhuǎn)換對圖片進一步處理,減少圖片中毛刺并去除孤立點,利用中軸變換初步獲取光條紋的像素中心,最后結(jié)合灰度權(quán)重模型精確提取條紋的中心。
理想的激光條紋的灰度值(無量綱)呈現(xiàn)高斯分布[12-13],但是由于光照條件以及激光產(chǎn)生散斑等現(xiàn)象的干擾,難以獲取到理想的激光條紋,因此需要對圖片進行濾波處理。圖片的濾波有多種成熟的算法,常用的有高斯濾波、均值濾波等。高斯模糊在圖片平滑方面應(yīng)用比較廣泛,但是高斯模糊主要考慮像素間的空間距離關(guān)系,忽略了圖片像素值之間的相似程度,易造成邊緣的信息丟失。而雙邊濾波通過雙高斯核的作用,在濾除噪聲、平滑圖像的同時,又做到邊緣信息的保存。因此,采用雙邊濾波對圖像進行預(yù)處理的效果較好。
1.2.1 二值化分割 圖像二值分割的方法主要有全局閾值、局部閾值、自適應(yīng)閾值等,其中Otsu算法(最大類間差法)是自適應(yīng)閾值中的一種經(jīng)典的算法[14]。但是該方法對于光強分布不均,前景圖和背景圖像素相差較小,激光出現(xiàn)散斑現(xiàn)象,另外,激光條紋曲率變化較大的條紋中心線的提取效果并不理想。本文中提出在極值法的基礎(chǔ)利用灰度平均閾值法,對二值圖像進行分割,獲取最大灰度值Tmax,采用極值法保留Tmax附近的10個像素點,得到條紋提取的區(qū)域M,此時仍有部分噪聲點未消除,由(1)式計算該區(qū)域的所有像素點灰度平均值,取其0.9倍作為閾值,由(2)式對所獲取的區(qū)域M再進行二次閾值分割,進一步去除噪聲像素點,獲取變寬度的初始條紋中心的區(qū)域。
(1)
(2)
式中,M為極值法獲取的提取區(qū)域,Tave為M區(qū)域灰度平均值,I(x,y)為圖像的第x行、第y列,N為該區(qū)域像素點個數(shù)。
1.2.2 像素條紋中心提取 初步獲取光紋中心的位置后,采用形態(tài)學(xué)方法處理圖像,將形態(tài)學(xué)操作中兩個基礎(chǔ)操作腐蝕和膨脹進行組合,實現(xiàn)對二值圖像的開運算和閉運算,去除孤立點、填補小空洞。細(xì)化法[15]是獲取像素骨架常用的方法,但是其較為耗時。因而本文中采用中軸變換[16-17]處理獲取的二值圖像,通過計算圖像的中軸作為其距離變換的脊,構(gòu)造查找表,并根據(jù)它移除或維護1個像素,最終獲取條紋中心(像素級)的骨架。
由于噪聲的影響,激光條紋灰度似高斯分布,因此,采用高斯擬合法對所提取的條紋中心的準(zhǔn)確性有一定的影響,而采用灰度重心法提取變寬度的條紋中心,其準(zhǔn)確性同樣受到影響。本文中結(jié)合高斯擬合法、灰度重心法以及所提取的像素條紋中心,通過判斷像素條紋中心的每個像素點yc與yave,c差值的絕對值,提出改進的灰度權(quán)重模型:
(3)
式中,Iy為提取的中心坐標(biāo),w(i)為初始條紋中心的寬度(變寬度),f(x,y)為初始條紋中心的灰度值,yc為像素級條紋的中心坐標(biāo),yave,c為像素級條紋中心的平均值,條紋寬度影響參量s取為20。
采用實驗室自主開發(fā)的由MDL-F-808紅外激光器和MER-230-168U3M面陣相機等為主要傳感器組成的3維激光掃描系統(tǒng)。圖1為3維激光系統(tǒng)的流程圖。系統(tǒng)可架設(shè)于導(dǎo)軌和實驗小車,實現(xiàn)靜態(tài)(見圖2)和動態(tài)(見圖3)環(huán)境的切換。表1為實驗測試過程的系統(tǒng)運行環(huán)境。系統(tǒng)分別采集了不同環(huán)境、像素尺寸的4組圖片,來驗證所提出的灰度平均閾值法和改進的灰度權(quán)重模型的穩(wěn)定性和準(zhǔn)確性。該系統(tǒng)采集的圖像像素尺寸可自定義調(diào)整。圖4為自然光照條件下,激光光束投射在混凝土地面的圖片(300pixel×400pixel)。圖5為激光投射在黑色眼鏡盒上的圖片(600pixel×800pixel)。圖6為激光在黑暗環(huán)境下投射在木地板的圖像(320pixel×400pixel)。 圖7為激光在自然光照下投射在木地板的圖像(320pixel×400pixel)。
Fig.1 Flow chart of 3-D laser scanning system
Fig.2 Static 3-D laser scanning hardware
Fig.3 Dynamic 3-D laser scanning hardware
Fig.4 Laser projection onto concrete floor
Table 1 Statement of system operating environment
Fig.5 Laser projection onto glass box
Fig.6 Laser projection onto wood under dark background
Fig.7 Wood floor projected by natural light background laser
首先采用雙邊濾波來處理圖4,并提取圖片第1列像素點的灰度值,分析其灰度分布圖。圖8為處理前的灰度分布圖。圖9為濾波處理后灰度分布圖。通過對比可見雙邊濾波能夠較好的平滑噪聲,有助于初始激光條紋中心的提取。其次,根據(jù)圖像的灰度特性,分別采用自適應(yīng)閾值法中的經(jīng)典算法-Otsu算法,與灰度均值閾值法獲取初始激光條紋區(qū)域。圖10為Otsu算法的處理結(jié)果。由于噪聲較多,無法從復(fù)雜的背景中提取出有效的激光條紋區(qū)域。圖11為灰度均值自適應(yīng)閾值法的處理結(jié)果。能夠獲取較為完整的初始激光條紋區(qū)域,并且能夠有效降低復(fù)雜噪聲的影響。
Fig.8 Gray value distribution
Fig.9 Gray value distribution after processing
Fig.10 Processing results of Otsu algorithm
Fig.11 Processing results of gray mean threshold method
分別采用在噪聲環(huán)境中光條紋提取效果較好的骨架提取法(像素級)、灰度重心法(亞像素級)、灰度權(quán)重模型(距離變換)和本文中采用的灰度權(quán)重模型(中軸變換)處理黑暗環(huán)境和自然光照下激光投射在木地板的圖6和圖7,比較在不同環(huán)境下相同背景(木地板)的光條紋提取結(jié)果。同時,采用以上的4種方法處理10張自然光照條件下激光投射在木地板的圖片,比較不同方法對同一背景下的光條紋提取結(jié)果。圖片的像素尺寸為:320pixel×400pixel,將獲取的320個數(shù)據(jù)點進行直線擬合,若數(shù)據(jù)點過少則擬合效果差,若數(shù)據(jù)過多,則會產(chǎn)生過擬合現(xiàn)象,掩蓋其規(guī)律性。分別將不同方法提取的數(shù)據(jù)點進行直線擬合,通過分析直線擬合函數(shù)的相關(guān)系數(shù)R2(無量綱)的數(shù)值[18]以及相鄰行的列坐標(biāo)最大差值H來反映擬合效果并通過變異系數(shù)K(無量綱)來反映數(shù)據(jù)的離散性[19-20],如果R2的值越接近1,H的值越小,K的值越小則說明直線的擬合效果越好,數(shù)據(jù)的離散性較小,提取的激光條紋中心的波動性就越小、穩(wěn)定性越高。將4種方法的條紋提取結(jié)果進行直線擬合,并計算相關(guān)參量,擬合結(jié)果見表2以及圖12~圖14。
從表2可以看出,無論在黑暗環(huán)境還是自然光照條件下骨架細(xì)化法的擬合函數(shù)的相關(guān)系數(shù)都較低,而灰度重心法和兩種灰度權(quán)重模型擬合的相關(guān)系數(shù)較高,并且本文中采用的灰度權(quán)重模型(中軸變換)的相關(guān)系數(shù)更接近于1,說明本文中方法的精度、穩(wěn)定性都優(yōu)于其它方法。
Table 2 Data comparison of different methods for extracting the center of light pattern
Fig.12 Contrast of correlation coefficient
Fig.13 Contrast of the maximum difference of column coordinate
Fig.14 Contrast of variation coefficient
從圖12~圖14可以看出,采用灰度權(quán)重模型(中軸變換)的相關(guān)系數(shù)的折線圖接近1,且相鄰行列坐標(biāo)最大差值和變異系數(shù)的折線圖都越接近橫坐標(biāo)。同時,從表3中可得的灰度權(quán)重模型(中軸變換)相關(guān)系數(shù)平均值為0.9809,是最接近1的數(shù)值,而相鄰行列坐標(biāo)最大差值和變異系數(shù)的平均值分別為0.4518pixel,0.0062,是最接近0的數(shù)值。因此,采用灰度權(quán)重模型(中軸變換)的方法提取激光條紋中心具有較好的精確性和穩(wěn)定性。
Table 3 Average data comparison of different methods for extracting the center of light pattern
methodthe average of R2the average of H/pixelthe average of Kskeleton extraction method0.94961.00000.0085gray centroid method0.97750.67560.0094gray level weight model (distance transform)0.95990.59920.0063gray level weight model (mid-axis transform)0.98090.45180.0062
圖4中帶有多種噪聲(激光器產(chǎn)生的電噪聲以及散斑現(xiàn)象和漫反射現(xiàn)象等)激光條紋曲率小,圖5中存在噪聲(存在明顯散斑現(xiàn)象)的影響且激光條紋的曲率變化較大,圖6和圖7分別是黑暗條件下(噪聲較少)和自然光照條件下(噪聲較多)的激光條紋曲率變化較小的圖像。在不同條件下,通過本文中方法提取的結(jié)果如圖15~圖18所示。所提取的條紋中心具有較好的穩(wěn)定性和準(zhǔn)確性,并且對于多種噪聲影響的條件下仍有較好穩(wěn)定性。說明該方法對于不同環(huán)境下的激光條紋中心的提取都具有較好的穩(wěn)定性、魯棒性。
Fig.15 Extraction result of concrete ground light center
Fig.16 Extraction result of glasses case light center
Fig.17 Extraction result of wooden floor light center under dark condition
Fig.18 Extraction result of wooden floor light center under natural light condition
在多噪聲背景下精確提取激光條紋中心是激光3維成像測量系統(tǒng)的重要步驟。本文中通過分析圖像的多種噪聲特性以及灰度值分布,基于灰度重心法,提出一種改進的灰度權(quán)重模型,精確提取激光條紋中心。首先,由于多噪聲背景對激光條紋中心的分析提取的精度產(chǎn)生較大的影響,采用雙邊濾波去除噪聲同時保存圖像邊緣信息,通過極值法與灰度均值閾值法的結(jié)合,實現(xiàn)對圖像二次閾值分割,獲取完整、噪聲較少的初始條紋區(qū)域。其次,采用中軸變換獲取條紋的像素中心,并通過與距離變換方法進行對比,結(jié)果表明,中軸變換具有較好的穩(wěn)定性。最后,結(jié)合灰度重心法和高斯擬合法,提出改進的灰度權(quán)重模型,有效改善因條紋粗細(xì)不均勻?qū)叶戎匦姆ㄌ崛【鹊挠绊懀哂休^好穩(wěn)定性和魯棒性。目前系統(tǒng)的研究開發(fā)仍處于實驗測試開發(fā)階段,后期需要將激光3維測量系統(tǒng)應(yīng)用于實驗小車,系統(tǒng)工作環(huán)境將實現(xiàn)由靜態(tài)到動態(tài)的轉(zhuǎn)變,因此對于系統(tǒng)的穩(wěn)定性則有更高的要求。