吳 瓊，薛 寧，劉春秀

（1.中國(guó)科學(xué)院空天信息創(chuàng)新研究院傳感技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室（北方基地），北京 100190；2.中國(guó)科學(xué)院大學(xué)，北京 100049）

在冬季氣溫較低時(shí)，高速公路和機(jī)場(chǎng)路面結(jié)冰、積雪成為誘發(fā)交通事故、影響飛機(jī)安全起降的直接原因，精確監(jiān)測(cè)路面冰雪情況并及時(shí)清除可以有效避免事故的發(fā)生。目前，國(guó)內(nèi)外針對(duì)路面狀態(tài)檢測(cè)的研究主要以非接觸式為主，如幾何光學(xué)測(cè)量方法、近紅外多光譜法[1]、光學(xué)偏振法[2]、雷達(dá)檢測(cè)[3]和光強(qiáng)法等，但分別存在實(shí)際安裝困難、檢測(cè)點(diǎn)少、不能定量檢測(cè)、成本高等不足。利用分類器的檢測(cè)方法時(shí)，準(zhǔn)確率受圖像質(zhì)量和分類器選擇的影響[4]。

基于以上研究現(xiàn)狀，根據(jù)在可見(jiàn)光范圍內(nèi)冰的高透射率和雪的高反射率[5]導(dǎo)致成像時(shí)灰度值不同，文中采用機(jī)器視覺(jué)方法對(duì)路面冰雪斷面進(jìn)行檢測(cè)，斷面通過(guò)已有模擬路面平臺(tái)獲得。與前述方法相比，該方法成本低且安裝簡(jiǎn)單，可以定量檢測(cè)冰雪厚度且無(wú)需大量氣象數(shù)據(jù)支持。其難點(diǎn)在于自然結(jié)冰或積雪過(guò)程中冰雪厚度、邊緣形狀、結(jié)冰或積雪還是冰雪同時(shí)存在都具有隨機(jī)性，傳統(tǒng)的邊緣檢測(cè)算法已無(wú)法適用。文中首先通過(guò)機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)與測(cè)試保證量程和精度滿足要求；其次，通過(guò)比較不同濾波器的去噪效果，采用兩種保邊濾波器和中值濾波器相結(jié)合的方式去除噪聲；最后，設(shè)計(jì)了兩種基于Canny 算子的有效邊緣識(shí)別方法，實(shí)驗(yàn)測(cè)得兩種方法的檢測(cè)平均誤差小于10%。

1 系統(tǒng)設(shè)計(jì)與算法實(shí)現(xiàn)

1.1 系統(tǒng)設(shè)計(jì)與分辨率測(cè)試

機(jī)器視覺(jué)系統(tǒng)性能與各部件均有關(guān)，需要根據(jù)實(shí)際應(yīng)用需求進(jìn)行系統(tǒng)設(shè)計(jì)[6]。根據(jù)現(xiàn)有產(chǎn)品，選用芯片尺寸為1/2.5 英寸，像素大小為2.2 μm×2.2 μm。根據(jù)奈奎斯特采樣定理，設(shè)定芯片在像面處最小可分辨尺寸為8.8 μm，當(dāng)視場(chǎng)范圍和空間頻率分別為40 mm×40 mm 和5 lp/mm 時(shí)，根據(jù)薄透鏡放大率計(jì)算公式，如式（1）所示：

式中，h′和h分別為像高和物高，β為放大率，可以得到放大率應(yīng)在0.088～0.107 5 之間。小孔成像中的比例關(guān)系如式（2）所示：

式中，L、h、f′、h′分別為物距、物高、焦距以及芯片高度。當(dāng)物距為7～10 cm 時(shí)，得到鏡頭焦距在6.16～10.75 mm，文中選用8 mm 焦距。實(shí)驗(yàn)測(cè)得當(dāng)物距為8.4 cm 時(shí)，放大率為0.088。最佳照明策略是最大化場(chǎng)景對(duì)比度，將重要區(qū)域的亮度置于相機(jī)的動(dòng)態(tài)范圍內(nèi)，依據(jù)冰、雪在可見(jiàn)光范圍內(nèi)的高透過(guò)率、高反射率以及不同光源的應(yīng)用特點(diǎn)[7]，文中采用白色環(huán)形LED 照明。

為了測(cè)試系統(tǒng)的實(shí)際空間分辨率，采用對(duì)比度法[8]在物距為8.4 cm 處利用不同空間頻率的矩形靶標(biāo)對(duì)不同視場(chǎng)下的調(diào)制傳遞函數(shù)MTF（Modulation Transfer Function）進(jìn)行測(cè)試。MTF 計(jì)算式如式（3）所示：

式中，M′和M分別為輸出和輸入調(diào)制度，Imax、Imin和I′max、I′min分別是給定空間頻率V在輸入圖像和輸出圖像上像素灰度的最大值和最小值，輸入調(diào)制度M近似為1，含有系數(shù)π/4 是由于該處使用了矩形標(biāo)靶而不是正弦標(biāo)靶。利用程序求解I′max和I′min，通過(guò)計(jì)算得到系統(tǒng)MTF曲線如圖1所示。以MTF大于0.6作為清晰成像的判斷依據(jù)，比較圖中曲線可以得到系統(tǒng)分辨率約為4 lp/mm，小于相機(jī)的理論值5 lp/mm，這是由于標(biāo)靶精度、平整度及光源均勻性導(dǎo)致的。通過(guò)以上系統(tǒng)設(shè)計(jì)及測(cè)試，得到系統(tǒng)的實(shí)際測(cè)試范圍和精度分別為0～40 mm 和0.125 mm。

圖1 系統(tǒng)MTF曲線

1.2 冰雪厚度檢測(cè)算法的實(shí)現(xiàn)

算法的基本流程如圖2 所示，對(duì)讀取到的圖像進(jìn)行對(duì)比度提升以便于后續(xù)識(shí)別，相機(jī)畸變校正中采用操作簡(jiǎn)單且精度較高的張氏標(biāo)定法[9]，忽略高階畸變系數(shù)和微小的薄棱鏡畸變，選取合適的棋盤(pán)格[10]標(biāo)定，得到相機(jī)內(nèi)參和畸變系數(shù)如式（4）所示，重投影誤差為0.38，將得到的相機(jī)參數(shù)值作為輸入?yún)?shù)進(jìn)行畸變校正。通過(guò)以上預(yù)處理后對(duì)圖像進(jìn)行去噪、邊緣檢測(cè)和提取。

圖2 算法流程

1.2.1 圖像去噪及Canny算子邊緣檢測(cè)

好的去噪效果是邊緣檢測(cè)的重要基礎(chǔ)。冰雪圖像噪聲主要源于透光孔上的灰塵、水滴、冰中的氣泡以及眩光效應(yīng)，水滴和氣泡可以利用統(tǒng)計(jì)排序?yàn)V波來(lái)減小。經(jīng)過(guò)多次效果對(duì)比，文中采用非局部均值去噪、中值濾波和雙邊濾波結(jié)合的方式來(lái)去除噪聲。圖3 為非局部均值去噪的執(zhí)行過(guò)程，以y為中心的鄰域窗口在以x為中心的搜索窗口中滑動(dòng)，計(jì)算兩鄰域窗口V(x)、V(y)之間的高斯加權(quán)歐氏距離來(lái)確定其相似程度，具體計(jì)算如式（5）～（7）所示：

圖3 非局部均值去噪的執(zhí)行過(guò)程

其中，(x)為經(jīng)過(guò)濾波的圖像，w(x,y)為鄰域窗口y的權(quán)重系數(shù)，n為平滑參數(shù)，Z(x)為歸一化系數(shù)。h的大小需要根據(jù)圖像中的噪聲水平來(lái)確定，在程序中該值設(shè)定為50。然后利用模板大小為27 的中值濾波器去除表面較小水滴引起的噪聲點(diǎn)[11]，最后采用雙邊濾波器再次去噪。雙邊濾波器中的模板權(quán)值與像素間的歐氏距離和灰度相似性有關(guān)[12]，灰度差值和距離越大時(shí)權(quán)值越小。其空域模板系數(shù)、值域模板系數(shù)如式（8）和式（9）所示：

式中，(k,l)為模板窗口的中心坐標(biāo)，(i,j)為窗口的其他像素坐標(biāo)，σd、σr為高斯函數(shù)標(biāo)準(zhǔn)差，分別設(shè)定為15 和80，f(i,j)為待處理圖像中坐標(biāo)(i,j)處的像素灰度。

經(jīng)過(guò)3 種濾波器對(duì)圖4（a）降噪后得到的Canny算子邊緣檢測(cè)結(jié)果如圖4（b）所示，檢測(cè)到的邊緣清晰且消除了由于氣泡存在導(dǎo)致的冰塊分層及灰塵和部分水滴的干擾。而當(dāng)只使用其中兩種濾波器去噪時(shí)，噪聲較大，如圖5（a）、（b）所示；圖5（c）中的噪聲也多于圖4（b），這表明非局部均值去噪和中值濾波去除了大部分噪聲，且未使邊緣模糊而影響檢測(cè)，3種濾波器結(jié)合的效果更好。

圖4 經(jīng)過(guò)3種濾波器去噪后的Canny算子檢測(cè)結(jié)果

圖5 不同去噪情況下的Canny算子檢測(cè)結(jié)果

為了比較不同邊緣檢測(cè)算子[13]對(duì)冰雪圖像的檢測(cè)效果，依次采用Roberts 算子、Prewitt 算子、Sobel 算子和Laplacian算子對(duì)降噪之后的圖4（a）圖進(jìn)行檢測(cè)，結(jié)果如圖6所示，從圖中看到Roberts算子檢測(cè)效果最差，Laplacian 算子未檢測(cè)到冰雪分界，而Prewitt 算子和Sobel算子效果相似，雖然檢測(cè)到了冰雪分界但比較模糊，為多像素寬度。圖4（b）所示的Canny算子檢測(cè)結(jié)果更為清晰，所以文中采用經(jīng)典Canny算子，其基于信噪比、定位精度和單邊緣響應(yīng)準(zhǔn)則，實(shí)現(xiàn)過(guò)程可分為4步。

圖6 各算子邊緣檢測(cè)結(jié)果

1）對(duì)圖像進(jìn)行高斯平滑以提高信噪比；

2）采用如式（10）所示Sobel 算子與圖像進(jìn)行卷積得到梯度大小和方向，g(x,y)、α(x,y) 如式（11）、式（12）所示：

其中，Gx和Gy分別為水平和豎直方向的一階導(dǎo)數(shù)值；

3）在梯度圖內(nèi)沿著每點(diǎn)的梯度方向判斷該點(diǎn)鄰域內(nèi)的極大值，若該點(diǎn)不是極大值則將其置零，即進(jìn)行非極大值抑制，保留局部梯度最大的點(diǎn)，以得到細(xì)化的邊緣；

4）設(shè)定兩個(gè)閾值T1、T2且T1＜T2，小于T1的點(diǎn)置零，大于T2的點(diǎn)賦最大值，在兩者之間的像素點(diǎn)使用8 連通域確定其是否為邊緣點(diǎn)，只有與大于T2的像素相連接時(shí)才被認(rèn)為是邊緣點(diǎn)[14]。與其他邊緣檢測(cè)算子相比，Canny 算子不僅得到了細(xì)化的邊緣且更加準(zhǔn)確。

1.2.2 兩種有效邊緣識(shí)別方法

經(jīng)過(guò)以上3 種濾波器的去噪和Canny 算子進(jìn)行邊緣檢測(cè)，可以看到所檢測(cè)到的冰雪邊緣不規(guī)則分布，且不同于一般工業(yè)零部件的厚度檢測(cè)，冰雪厚度的可能值在0～20 mm 范圍內(nèi)變化，待測(cè)范圍小且厚度值不固定，有效邊緣定位成為整個(gè)厚度檢測(cè)算法中的難點(diǎn)。為此，文中設(shè)計(jì)了基于邊緣特征的一階差分法和自適應(yīng)閾值法，以實(shí)現(xiàn)有效的邊緣檢測(cè)。理想的水平邊緣經(jīng)過(guò)Canny算子檢測(cè)，得到的邊緣縱坐標(biāo)曲線如圖7（a）所示，但實(shí)際上邊緣傾斜、不平整且有噪聲影響，導(dǎo)致Canny 檢測(cè)結(jié)果如圖7（b）所示，可以看到數(shù)據(jù)量過(guò)大且曲線趨勢(shì)復(fù)雜，為了在大量數(shù)據(jù)中精確定位邊緣值，首先設(shè)計(jì)了基于邊緣特征的一階差分法。

圖7 水平邊緣各點(diǎn)縱坐標(biāo)曲線

基于邊緣特征的一階差分法基本思想：利用相鄰邊緣坐標(biāo)差值和有效邊緣長(zhǎng)度這兩個(gè)邊緣特征，得到邊緣坐標(biāo)數(shù)組中各有效邊緣之間的分界位置，然后求解各段坐標(biāo)均值，作為最終提取結(jié)果。其實(shí)現(xiàn)過(guò)程包括如下步驟。1）獲得各點(diǎn)縱坐標(biāo)數(shù)組：對(duì)Canny 算子檢測(cè)結(jié)果進(jìn)行概率霍夫變換[15]，得到被檢測(cè)為邊緣的各點(diǎn)縱坐標(biāo)組成的數(shù)組，對(duì)數(shù)組中元素排序得到數(shù)組Y；2）濾除平滑邊緣：利用式（13）計(jì)算數(shù)組Y的一階差分ΔY，設(shè)定a=2，并與ΔY[i]進(jìn)行比較，得到ΔY中大于2 的元素相應(yīng)的索引數(shù)組A，有效邊緣點(diǎn)的索引就包含在內(nèi)；3）得到長(zhǎng)度大于b的邊緣：繼續(xù)對(duì)A求一階差分得到ΔA，設(shè)定b=50 并與ΔA作比較，得到ΔA中大于50 的元素相對(duì)應(yīng)的索引數(shù)組C；4）求Y中階躍變化的位置：根據(jù)各索引數(shù)組的對(duì)應(yīng)關(guān)系，以C中索引為界，分段求解ΔY中最大值作為最終分段，識(shí)別Y中坐標(biāo)值的分界數(shù)組D，求解各段坐標(biāo)均值，即得到邊緣提取結(jié)果。第一步中采用概率霍夫變換，是利用其統(tǒng)計(jì)特點(diǎn)來(lái)減小數(shù)據(jù)量?；谶吘壧卣鞯囊浑A差分法將直接求解分布范圍較窄的階躍點(diǎn)轉(zhuǎn)化為先求解分布較寬、長(zhǎng)度大于b的邊緣位置，再據(jù)此求得階躍位置。該方法不僅有效排除了噪聲的干擾且檢測(cè)精度和可檢測(cè)到的邊緣長(zhǎng)度可以根據(jù)應(yīng)用需要進(jìn)行調(diào)節(jié)，其檢測(cè)精度由相鄰邊緣點(diǎn)縱坐標(biāo)差值a決定，可檢測(cè)到的邊緣長(zhǎng)度由b決定。

自適應(yīng)閾值法不同于上述基于邊緣特征的一階差分法，其是根據(jù)檢測(cè)范圍和精度來(lái)選取閾值數(shù)組，將閾值數(shù)組中每一個(gè)元素依次與坐標(biāo)數(shù)組一階差分的元素進(jìn)行比較，從而得到適應(yīng)于待測(cè)厚度的閾值和厚度個(gè)數(shù)，該閾值是消除噪聲和干擾邊緣對(duì)最終結(jié)果影響的關(guān)鍵，厚度個(gè)數(shù)作為冰雪識(shí)別的輔助條件。該方法可分為3 個(gè)步驟。

1）獲得各邊緣坐標(biāo)Y：由霍夫變換[16]得到邊緣線后，計(jì)算各線與圖像左、右邊界線的交點(diǎn)，兩交點(diǎn)縱坐標(biāo)p1、p2 計(jì)算式如式（14）所示：

其中，ρ為極坐標(biāo)中直線與原點(diǎn)的距離，θ為直線的垂線與極軸的夾角，w為圖像寬度，ρ和w的單位為像素；

2）求解符合當(dāng)下檢測(cè)厚度的閾值和厚度個(gè)數(shù)：將各邊緣線縱坐標(biāo)數(shù)組Y的一階差分ΔY中各元素，依次與閾值數(shù)組Thresh[40,30,20,10,5,2]中的元素比較，得到的閾值作為識(shí)別Y中有效邊緣坐標(biāo)的依據(jù)，峰值個(gè)數(shù)表示在該閾值下檢測(cè)到的厚度值個(gè)數(shù)；

3）識(shí)別待測(cè)物質(zhì)：結(jié)合峰值個(gè)數(shù)和冰、雪灰度分界值150 對(duì)冰和雪進(jìn)行識(shí)別，并通過(guò)相機(jī)放大率得到最終厚度。該方法的檢測(cè)精度由Thresh數(shù)組中的最小值決定，根據(jù)不同檢測(cè)范圍和精度可具體設(shè)定數(shù)組中各元素值的大小。

ΔY和數(shù)組Thresh比較的過(guò)程是自適應(yīng)閾值法的關(guān)鍵，主要可分為兩步：第一步求解3 個(gè)索引數(shù)組Index1、Index2 和Index3，統(tǒng)計(jì)ΔY中大于Thresh[i]的元素個(gè)數(shù)，將其依次存于數(shù)組number0 中，并將number0 中元素值為1、2 和大于2 的相應(yīng)索引分別存于數(shù)組Index1、Index2 和Index3 中，該索引值即為對(duì)應(yīng)中閾值元素的索引。由于待測(cè)厚度和厚度值個(gè)數(shù)的隨機(jī)性，所以第二步根據(jù)厚度檢測(cè)中可能出現(xiàn)的情況將以上數(shù)組分為3 種情況進(jìn)行判斷。3 種情況包括：1）Index1 不為空；2）Index1 和Index2 都為空，此時(shí)表示超量程或厚度小于檢測(cè)精度；3）Index1 為空，Index2 不為空，此時(shí)厚度值個(gè)數(shù)為2。Index1 不為空時(shí)，根據(jù)邊緣數(shù)據(jù)特點(diǎn)，又分為Index2 不為空、Index2 和Index3 都為空、Index2 為空且Index3 不為空3 種情況。這種選取合適閾值的方法很好地解決了在待測(cè)物厚度、邊緣形狀和待測(cè)物個(gè)數(shù)隨機(jī)變化的情況下對(duì)有效邊緣的誤判問(wèn)題。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 兩種邊緣檢測(cè)算法驗(yàn)證

在環(huán)境光為室內(nèi)燈光，物距為8.4 cm 時(shí)，采用聚丙烯酸鈉制造的人造雪代替真實(shí)雪，在LED 照明下得到如圖8（a）所示的冰雪圖；去噪后利用Canny 算子檢測(cè)邊緣得到圖8（b）所示的冰雪邊緣，冰表面存在較多氣泡引起的噪聲，黑色底座因未在聚焦范圍，所以邊緣未被檢測(cè)到；圖8（c）為圖8（b）中所有灰度值不為0 的像素點(diǎn)的縱坐標(biāo)曲線，可以看到曲線沒(méi)有明顯的水平邊緣規(guī)律性，且數(shù)據(jù)量很大。而經(jīng)過(guò)兩種方法處理得到的圖9 中，數(shù)據(jù)量明顯減少且曲線上圓點(diǎn)標(biāo)記值即為利用基于邊緣特征的一階差分法和自適應(yīng)閾值法得到的有效邊緣均值計(jì)算結(jié)果，可以看到，結(jié)果都位于每段近似水平曲線的中間位置，表明了邊緣提取結(jié)果的準(zhǔn)確性。

圖8 Canny算子檢測(cè)結(jié)果

圖9 兩種有效邊緣識(shí)別方法得到的結(jié)果

為了定量描述檢測(cè)結(jié)果的準(zhǔn)確性，如表1 所示為邊緣檢測(cè)結(jié)果、冰雪計(jì)算厚度、實(shí)際厚度和誤差，誤差計(jì)算如式（15）所示，Treal和Tcal分別為實(shí)際厚度和計(jì)算厚度值。實(shí)際厚度的測(cè)量以畸變校正后圖像中央位置處對(duì)應(yīng)的冰雪厚度為準(zhǔn)。從表1 中可以看到兩種方法的誤差都小于10%。

表1 兩種方法檢測(cè)結(jié)果

為了避免偶然性，改變光照條件、邊緣形狀和冰雪厚度，對(duì)圖10 的6 幅圖片分別進(jìn)行厚度檢測(cè)，圖10（a）、（b）、（c）分別為室內(nèi)環(huán)境光下的成像，圖10（d）、（e）為L(zhǎng)ED 燈照明下的成像，圖10（f）利用LED 照明并且增加了實(shí)際應(yīng)用時(shí)的透光板，引入了灰塵和眩光效應(yīng)帶來(lái)的干擾。相應(yīng)檢測(cè)結(jié)果如表2所示，可以看到兩種方法對(duì)冰雪檢測(cè)的平均誤差都不超過(guò)10%。

圖10 不同邊緣形狀和厚度的冰雪圖像

2.2 誤差分析

通過(guò)以上實(shí)驗(yàn)可以發(fā)現(xiàn)，基于邊緣特征的一階差分法整體誤差高于自適應(yīng)閾值法，這是由于該方法基本原理是基于水平邊緣坐標(biāo)特點(diǎn)的，當(dāng)冰雪邊緣不平整程度遠(yuǎn)大于檢測(cè)精度時(shí)，會(huì)在一條邊緣處出現(xiàn)多個(gè)階躍位置，而算法只提取一階差分最大位置。此外，在實(shí)驗(yàn)操作過(guò)程中，物距測(cè)量存在誤差，導(dǎo)致實(shí)際放大率與預(yù)設(shè)的0.088 放大率不一致，從而在計(jì)算冰雪厚度時(shí)引入誤差。

3 結(jié)論

文中提出使用機(jī)器視覺(jué)的方法對(duì)路面冰雪情況進(jìn)行探測(cè)，相比于其他已有方法，其優(yōu)點(diǎn)在于成本低，且可以定量檢測(cè)冰雪情況。針對(duì)該方法在具體實(shí)現(xiàn)中的難點(diǎn)，文中主要進(jìn)行了以下工作：

1）通過(guò)系統(tǒng)性能設(shè)計(jì)確保量程和精度滿足檢測(cè)需求；

2）針對(duì)冰雪圖像噪聲特點(diǎn)，采用兩種保邊濾波器和中值濾波結(jié)合的方式進(jìn)行降噪處理；

3）針對(duì)自然結(jié)冰積雪過(guò)程中厚度范圍、待測(cè)物個(gè)數(shù)和邊緣形狀的隨機(jī)性，在Canny 算子的基礎(chǔ)上，設(shè)計(jì)了基于邊緣特征的一階差分法和自適應(yīng)閾值法提取邊緣，兩種方法的檢測(cè)平均誤差在10%以內(nèi)。

以上工作為以后機(jī)器視覺(jué)應(yīng)用于實(shí)際路面的冰雪厚度監(jiān)測(cè)提供了可能。