（湖南工業(yè)大學(xué) 電氣與信息工程學(xué)院，湖南 株洲 412007）

1 研究背景

雨刮器是保證下雨等不良天氣中行車安全的重要部件。自動(dòng)雨刮器能夠針對(duì)周圍環(huán)境的變化自動(dòng)運(yùn)行，進(jìn)一步提高了駕駛的安全性和便利性，是現(xiàn)今汽車先進(jìn)駕駛輔助系統(tǒng)（advanced driver assistant system，ADAS）的重要應(yīng)用之一。雨量傳感器是自動(dòng)雨刮器的核心部件，被用于感測(cè)擋風(fēng)玻璃上的雨滴。目前，應(yīng)用較為廣泛的雨量傳感器是紅外雨量傳感器，此類傳感器主要由紅外發(fā)射端和紅外接收端組成，其工作原理如圖1所示。

圖1 紅外雨量傳感器工作原理示意圖Fig.1 A schematic diagram of infrared rain sensors

晴天時(shí)，發(fā)射端以特定角度發(fā)射出的紅外光線會(huì)在擋風(fēng)玻璃外壁上發(fā)生全反射；雨天時(shí)，紅外光線會(huì)因?yàn)橛甑蔚拇嬖诙l(fā)生折射并被雨水吸收。因此，接收端可根據(jù)兩種情況下接收到的紅外光強(qiáng)度差異所造成的電信號(hào)變化感測(cè)雨滴[1]。紅外雨量傳感器的感測(cè)效果較好、靈敏度較高，但是這種傳感器的感測(cè)范圍有限，且不能反映擋風(fēng)玻璃上雨水分布的相關(guān)信息。此外，傳感器可能會(huì)占據(jù)擋風(fēng)玻璃中央的較大區(qū)域，影響視覺舒適度。

由于車載攝像機(jī)在汽車ADAS中的運(yùn)用越來越多，因此，對(duì)于視覺型雨量傳感器的相關(guān)研究也不斷出現(xiàn)[2-3]。視覺雨量傳感器的一般模型如圖2所示。

圖2 視覺雨量傳感器的一般模型示意圖Fig.2 General model of visual rain sensors

視覺雨量傳感器通過車載攝像機(jī)實(shí)時(shí)獲取擋風(fēng)玻璃的圖像，并運(yùn)用圖像處理技術(shù)檢測(cè)擋風(fēng)玻璃上的雨滴，從而達(dá)到判斷降雨?duì)顩r的目的。視覺雨量傳感器的主要優(yōu)點(diǎn)在于：1）具有較大的感測(cè)范圍；2）能夠獲得擋風(fēng)玻璃上的雨滴分布信息，更好地反映駕駛員的視野狀況[3]。

成像條件對(duì)于視覺傳感器而言是極為重要的。成像條件的不同，會(huì)使雨滴以及其他景物所呈現(xiàn)的視覺特征發(fā)生較大變化。因此，針對(duì)不同的成像條件，必須使用不同的方法來提取雨滴信息。

總體來看，如果把擋風(fēng)玻璃上的雨滴作為前景，車外景物作為背景，則視覺雨量傳感器的成像效果有圖3所示3種情形。據(jù)此，可將視覺雨量傳感器的成像條件主要分為如下3種[4]：

1）攝像機(jī)聚焦于擋風(fēng)玻璃外壁，使得前景清晰但背景模糊，如圖3a；

2）攝像機(jī)聚焦于車外景物，使得前景模糊但背景清晰，如圖3b；

3）攝像機(jī)聚焦位置適中，使得前景與背景都相對(duì)清晰，如圖3c。

圖3 3種常見視覺雨量傳感器的成像效果圖Fig.3 Image renderings of three common visual rain sensors

在相關(guān)研究中，成像條件1）是較早且較多被采用的。針對(duì)該條件，J.Park等[5]使用Soble梯度算子分割出圖像中的雨滴，在夜間環(huán)境下使用高頻濾波器提取高亮度區(qū)域的雨滴。這種方法的成像效果較理想，但由于其他視覺型ADAS應(yīng)用往往不在該成像條件下工作，因此需專門配置攝像機(jī)，經(jīng)濟(jì)性不佳。S.Gormer等[6]針對(duì)這一缺陷，對(duì)傳感器結(jié)構(gòu)進(jìn)行了改良，使攝像機(jī)部分聚焦于擋風(fēng)玻璃上，從而使傳感器能夠與其他視覺型ADAS應(yīng)用共用攝像機(jī)。但相對(duì)地，傳感器感測(cè)區(qū)域變小了，且可維護(hù)性降低。

針對(duì)成像條件2），A.Cord等[2]使用形態(tài)學(xué)方法，對(duì)原圖像進(jìn)行亮暗區(qū)域分割，之后通過背景減法以及分水嶺算法分別提取模糊雨滴，并對(duì)這兩種方法進(jìn)行了對(duì)比實(shí)驗(yàn)。分析實(shí)驗(yàn)結(jié)果后發(fā)現(xiàn)，分水嶺算法取得了較好的效果，但該算法在處理過程中需要使用較大的高斯模板進(jìn)行平滑，運(yùn)算速度較慢。

A.Cord等[7]對(duì)在成像條件3）下?lián)躏L(fēng)玻璃圖像上的雨滴提取方法進(jìn)行了研究，其通過平均化多個(gè)連續(xù)幀使背景模糊化，再使用梯度算子、模式識(shí)別等方法分割出雨滴。但是在車速較快且背景較為復(fù)雜的情況下，多幀平均化會(huì)產(chǎn)生額外的背景干擾。此外，算法中使用了一個(gè)較大的統(tǒng)計(jì)排序?yàn)V波器，影響了系統(tǒng)運(yùn)算速度。

許多視覺型ADAS都可在成像條件3）下運(yùn)作，因此本研究也針對(duì)這一成像條件設(shè)計(jì)雨滴分割算法，從而使得傳感器能與其他視覺型ADAS共用攝像機(jī)，有效提高其便利性和經(jīng)濟(jì)性。針對(duì)傳統(tǒng)方法在復(fù)雜背景下會(huì)出現(xiàn)較多誤檢、漏檢現(xiàn)象且處理速度較慢等缺點(diǎn)，本文以梯度算子為基礎(chǔ)，設(shè)計(jì)一種相對(duì)傳統(tǒng)方法能夠有效降低誤檢和漏檢現(xiàn)象，并具更快處理速度的雨滴分割算法，以提高雨量傳感器的實(shí)用性。

2 雨滴檢測(cè)算法設(shè)計(jì)

以車外的景物為背景、擋風(fēng)玻璃上的雨滴為前景，本文將選擇較為適中的攝像機(jī)聚焦位置，使得前景和背景都能夠較為清晰地呈現(xiàn)出來。由于行車記錄儀等視覺型ADAS的應(yīng)用都采用這一成像條件，因此能夠使雨量傳感器與這些應(yīng)用共用攝像機(jī)，提高系統(tǒng)的經(jīng)濟(jì)性。

設(shè)計(jì)雨滴檢測(cè)算法除了要確定攝像機(jī)的成像條件外，還需要對(duì)該成像條件下?lián)躏L(fēng)玻璃上的雨滴特征進(jìn)行分析。

2.1 雨滴特征分析

通過查閱文獻(xiàn)，對(duì)比前景清晰背景模糊和前景及背景都清晰這兩個(gè)條件，可以發(fā)現(xiàn)雨滴在這兩個(gè)條件下都具有類似的特征，即：

1）雨滴對(duì)光線的折射使得其在圖像中較暗的部分主要表現(xiàn)為一小塊高亮度區(qū)域，而在較亮的部分則主要表現(xiàn)為一小塊較暗的區(qū)域；

2）雨滴有著類似透鏡的效果，會(huì)倒映出部分車外景物，由于車外景物的變化多樣性，雨滴隨之具有不規(guī)則的紋理；

3）雨滴的光學(xué)特征使其在圖像中呈現(xiàn)出局部高梯度特征，并且具有可見的邊緣[8]；

4）在較短的時(shí)間內(nèi)，雨滴在擋風(fēng)玻璃上保持相對(duì)靜止。

已有相關(guān)研究表明，在背景模糊的情況下，梯度算子的檢測(cè)效果是比較理想的[5-6]。因此，在背景和前景都較為清晰的情況下，如果能將背景模糊化并保留前景的高梯度特征，那么使用梯度算子就能有效地分割出圖像中的雨滴。此外，由于雨滴在短時(shí)間內(nèi)保持相對(duì)靜止，多個(gè)連續(xù)幀圖像的平均化等操作將不會(huì)對(duì)圖像中的雨滴產(chǎn)生明顯影響。

2.2 整體方案設(shè)計(jì)

本研究的整體設(shè)計(jì)方案如圖4 所示。

圖4 整體設(shè)計(jì)方案Fig.4 Overall design scheme

本文所設(shè)計(jì)的雨滴檢測(cè)算法使用的圖片均來自幀率為30 fps的行車記錄儀所拍攝的視頻，所有圖像均為大小為1 080×500的24位真彩色圖像。對(duì)真彩色圖像的處理方式，均為對(duì)RGB 3個(gè)顏色通道的單色圖像進(jìn)行處理后再合成為RGB彩色圖像。算法在安裝Windows 7系統(tǒng)的PC機(jī)上使用C++程序運(yùn)行，PC機(jī)使用主頻3.3 GHz的Intel Core i5-4590處理器，內(nèi)存為8 G。

根據(jù)雨滴的視覺特征及已有相關(guān)研究，本文設(shè)計(jì)了如下雨滴提取算法方案：1）雨滴分割。圖像暗區(qū)與亮區(qū)雨滴的視覺特征有所不同，因此采用分區(qū)局部處理的方式分割雨滴。2）去噪。使用梯度算子提取雨滴后，暗區(qū)往往仍會(huì)存在較多噪聲，因此需要進(jìn)行去噪處理。實(shí)際中，亮區(qū)往往是天空等較為平滑的區(qū)域，且雨滴的視覺特性不像暗區(qū)那樣明顯，因此需要進(jìn)行增強(qiáng)處理，同時(shí)不必在分割后再進(jìn)行去噪處理。3）合成。最后，將兩個(gè)區(qū)域的分割結(jié)果合成就得到全局的分割圖像。

2.3 背景模糊化

對(duì)多個(gè)連續(xù)幀圖像求平均能夠使得背景在一定程度上模糊化，而其中處于相對(duì)靜止?fàn)顟B(tài)的雨滴則幾乎不受影響。但在車速較快時(shí)，多幀平均化效果不佳，甚至?xí)a(chǎn)生更多的干擾。如圖5所示為車速較快時(shí)的原圖像與通過6個(gè)連續(xù)幀獲得的平均圖像。

圖5 原圖像與通過6個(gè)連續(xù)幀獲得的平均圖像Fig.5 The original image and the average image obtained by 6 consecutive frames

由圖5可知，車速較快狀態(tài)下的多幀平均化效果不佳。因此，本研究首先對(duì)多個(gè)連續(xù)幀圖像中坐標(biāo)相同的像素取平均值，從而獲得一個(gè)平均圖像

式中K為連續(xù)幀數(shù)量，本研究使用6個(gè)連續(xù)幀進(jìn)行計(jì)算，即K=6。

然后，使用均值濾波器對(duì)平均圖像進(jìn)行平滑處理，均值濾波器的處理公式為

式中n為均值濾波器的窗口大小，對(duì)均值濾波器而言，n的取值越大，則圖像平滑處理的效果越強(qiáng)，但與之相對(duì)應(yīng)的運(yùn)算速度越慢。因此，這里先使用窗口大小為31×31的均值濾波器對(duì)平均圖像進(jìn)行平滑處理；接著，將平滑圖像與平均圖像做并集處理，兩幅圖像的并集圖像是由兩幅圖像中具有相同坐標(biāo)的一對(duì)像素點(diǎn)間灰度值較高的像素點(diǎn)組成的，定義為

最后，對(duì)并集圖像使用一個(gè)3×3大小的均值濾波器進(jìn)行平滑處理，此時(shí)所獲得的圖像最大限度地保留了雨滴的高梯度特征，同時(shí)將背景有效地模糊化了。圖5b經(jīng)背景模糊化處理后的圖像如圖6所示。

圖6 經(jīng)過背景模糊化處理后的圖像Fig.6 The output image after background blurring process

觀察圖6可知，經(jīng)過背景模糊化處理后，雖然圖像中較暗部分的雨滴梯度得到了很好的保留，但是較亮部分的雨滴梯度反而被弱化了。因此，需要對(duì)圖像中的較亮部分進(jìn)行另外的處理。

2.4 增強(qiáng)亮區(qū)雨滴

在圖像的較亮部分，雨滴的梯度往往不如在暗區(qū)的高，其與背景的灰度差也明顯減小，但由于雨滴本身在較亮區(qū)域會(huì)表現(xiàn)為一塊較暗的區(qū)域，實(shí)際上仍是肉眼可辨別的。如果為了銳化亮區(qū)的低梯度特征而在整幅圖像上使用效果較強(qiáng)的梯度檢測(cè)算子，部分不被期望的背景梯度將會(huì)被強(qiáng)調(diào)出來，成為新的干擾。因此，將圖像的亮區(qū)和暗區(qū)分開處理是有必要的。本研究選用將亮區(qū)的雨滴進(jìn)行增強(qiáng)處理，對(duì)雨滴進(jìn)行增強(qiáng)處理后的圖像如圖7所示。

圖7 亮區(qū)雨滴增強(qiáng)效果圖Fig.7 Enhancement effect of the rain in bright areas

觀察圖7可以發(fā)現(xiàn)，圖像經(jīng)過對(duì)亮區(qū)雨滴進(jìn)行增強(qiáng)處理后，亮區(qū)的雨滴會(huì)表現(xiàn)為一個(gè)與周圍區(qū)域之間對(duì)比度很小的亮斑，并且原有的小塊較暗區(qū)域也變得難以辨別。為此，可以在將彩色圖像灰度化之后，使用冪律變換對(duì)圖像中高亮度像素進(jìn)行對(duì)比度增強(qiáng)，其公式為

式中：a，b為變換前后的像素值；L為像素位數(shù)；γ為冪值。

本文選取γ值為8的冪律變換來增強(qiáng)亮區(qū)雨滴，再使用大小為3×3的均值濾波器對(duì)圖像進(jìn)一步平滑，以消除冪律變換所產(chǎn)生的噪聲。這樣，亮區(qū)的雨滴就能在背景模糊化的同時(shí)被有效地凸顯出來。需要說明的是，γ值為8的冪律變換將使得較暗像素的對(duì)比度被大大壓縮，因此暗區(qū)的細(xì)節(jié)會(huì)被大幅度弱化。

2.5 雨滴檢測(cè)

雖然圖像經(jīng)過了背景模糊化處理，但是圖像中仍存在一些具有干擾性的細(xì)節(jié)，因此選擇使用檢測(cè)效果較弱的Robert梯度算子來提取雨滴，其計(jì)算式為

由于圖像中亮區(qū)和暗區(qū)的雨滴往往呈現(xiàn)出不同的梯度（不同光亮區(qū)的閾值圖像如圖8所示），因此，需要對(duì)這兩個(gè)區(qū)域選取不同的閾值來進(jìn)行二值化處理，從而分割出雨滴。本研究在暗區(qū)所選取的閾值為20，但是在亮區(qū)選取的閾值為5。由于暗區(qū)部分實(shí)際上存在的干擾點(diǎn)較亮區(qū)的要多很多，因此在閾值處理之后，還需要使用一個(gè)大小為3×3的十字形結(jié)構(gòu)元對(duì)二值化圖像進(jìn)行灰度級(jí)形態(tài)學(xué)閉操作，以消除這些干擾點(diǎn)。

圖8 不同光亮區(qū)閾值圖像Fig.8 Dark area threshold image and bright area threshold image

此后，需要將亮區(qū)與暗區(qū)的檢測(cè)結(jié)果進(jìn)行合成以得到全局圖像。由于梯度算子會(huì)不可避免地突出亮區(qū)與暗區(qū)相互分界處所產(chǎn)生的梯度，因此，本研究提出先對(duì)同一平均圖像分別使用亮區(qū)雨滴分割和暗區(qū)雨滴分割，從而獲得兩個(gè)區(qū)域的雨滴分割結(jié)果；然后，使用文獻(xiàn)[2]中的亮暗區(qū)域分割方法，先使用半徑為40像素的圓形結(jié)構(gòu)元對(duì)平均圖像進(jìn)行腐蝕操作，之后使用最大類間方差自適應(yīng)閾值算法對(duì)所得腐蝕圖像進(jìn)行二值化處理?？紤]到亮暗區(qū)域邊界的干擾，因此再次用該圓形結(jié)構(gòu)元對(duì)二值化的腐蝕圖像及其反轉(zhuǎn)圖像進(jìn)行腐蝕，從而擴(kuò)大黑色區(qū)域?；叶燃?jí)形態(tài)學(xué)腐蝕定義如下：

將這兩幅二值圖像作為模板，通過交集操作分別遮蓋亮區(qū)雨滴分割圖像的暗區(qū)部分和暗區(qū)雨滴分割圖像的亮區(qū)部分。最后，將兩個(gè)區(qū)域的雨滴分割圖像使用并集操作合并，即可得到雨滴檢測(cè)圖像。所得合成閾值圖像與其標(biāo)記效果見圖9。

圖9 合成閾值圖像及其標(biāo)記效果圖Fig.9 Synthetic threshold image and its mark effect

3 雨滴檢測(cè)算法效果分析

雨滴檢測(cè)算法的性能指標(biāo)主要為正檢率（correct detection rate,CDR）、誤檢率（false detection rate,FDR）以及漏檢率（missed detection rate，MDR），其計(jì)算公式分別如下：

以上各式中：R為原圖像的有效雨滴總數(shù)；RM為漏檢雨滴總數(shù)；PF為錯(cuò)誤位置總數(shù)；RC為正檢雨滴總數(shù)。

部分極小的雨滴并不會(huì)對(duì)駕駛員視野造成太大影響（如圖5a中下方的極多細(xì)小雨滴），因而所有小于等于5×5像素大小的雨滴都不計(jì)入有效雨滴總數(shù)之內(nèi)。較大的錯(cuò)誤位置同樣按照所占領(lǐng)域的大小計(jì)算，每超過5×5像素領(lǐng)域大小的錯(cuò)誤位置記為1個(gè)，其他單獨(dú)出現(xiàn)的任何誤檢都記為1個(gè)。使用一個(gè)全程沒有運(yùn)作雨刮器的行車記錄儀視頻作為雨滴數(shù)據(jù)庫，并且以文獻(xiàn)[7]所采用的方法進(jìn)行對(duì)比，所得實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)Table 1 Experimental data %

分析表1所示實(shí)驗(yàn)結(jié)果可以得知，本文所提方法的正檢率基本上與文獻(xiàn)[7]不相上下，同時(shí)誤檢率和漏檢率有所降低。在計(jì)算速度上，本文所提方法相較于文獻(xiàn)[7]的也有較大提升。這是由于文獻(xiàn)[7]在算法中使用了一個(gè)21×21大小的統(tǒng)計(jì)排序?yàn)V波器及模式識(shí)別方法，而本文所使用的所有算子均不需要復(fù)雜的計(jì)算處理，因而在處理速度上有了很大的改善。

4 總結(jié)與展望

本文所設(shè)計(jì)的雨滴檢測(cè)算法所要求的成像條件與大多數(shù)視覺型ADAS應(yīng)用所設(shè)置的成像條件是相同的，因此可以與這些ADAS應(yīng)用共用攝像機(jī)而提高經(jīng)濟(jì)性，同時(shí)也保留了視覺型雨量傳感器本身的優(yōu)勢(shì)，檢測(cè)效果和檢測(cè)速度也相對(duì)較理想。但是從實(shí)驗(yàn)結(jié)果來看，所提出的算法還存在一些缺點(diǎn)。如對(duì)某些在汽車行進(jìn)過程中時(shí)常存在的高梯度背景干擾，尤其是灰度較高的干擾，背景模糊化沒有取得很好的效果，使得在使用梯度算子檢測(cè)后這些干擾仍然存在。實(shí)際的行駛中常常會(huì)出現(xiàn)一些總是保持相對(duì)靜止?fàn)顟B(tài)的景物，例如與本車保持相對(duì)靜止的車輛、遠(yuǎn)景、亮暗區(qū)域分界處等，這些景物所造成的干擾很難通過背景模糊化處理的方式予以消除，且算法也沒有考慮夜間環(huán)境下的雨滴檢測(cè)。

為了改進(jìn)這些缺點(diǎn)，下一步工作可以朝以下兩個(gè)方向進(jìn)行：1）使用模式識(shí)別等方式對(duì)背景中的一些干擾進(jìn)行進(jìn)一步消除；2）以分區(qū)處理為基礎(chǔ)，進(jìn)行夜間算法的設(shè)計(jì)。

雨滴檢測(cè)算法除了可被應(yīng)用在自動(dòng)雨刮控制上，還可滿足某些ADAS應(yīng)用所需雨天環(huán)境下的圖像修復(fù)需要，進(jìn)一步提高車載電子系統(tǒng)智能化程度。

[1]孫曉冰，王德生，劉海波，等.紅外全反射式雨量傳感器設(shè)計(jì)研究[J].儀表技術(shù)與傳感器，2010(9)：96-98.SUN Xiaobing，WANG Desheng，LIU Haibo，et al.Total Internal Reflection Infrared Rain Sensor[J].Instrument Technique and Sensor，2010(9)：96-98.

[2]CORD A，GIMONET N.Detecting Unfocused Raindrops：In-Vehicle Multipurpose Cameras[J].IEEE Robotics and Automation Magazine，2014，21(1)：49-56.

[3]肖 瀅.基于圖像的智能雨刮控制方法研究[D].長(zhǎng)沙：湖南大學(xué)，2013.XIAO Ying.Research on the Image-Based Intelligent Control of Vehicle Wipers[D].Changsha：Hunan University，2013.

[4]WAHAB M H A，SU C H，ZAKARIA N，et al.Review on Raindrop Detection and Removal in Weather Degraded Images[C]//International Conference on Computer Science & Information Technology.Amman：IEEE，2013：82-88.

[5]PARK J H，KIM M H，IM H J，et al.Development of Vision Based Control Smart Windwhield Wiper System for Intelligent Vehicle[C]//International Joint International on Sice-ICASE.Busan：IEEE，2007：4398-4403.

[6]GORMER S，KUMMERT A，PARK S B，et al.Vision-Based Rain Sensing with an In-Vehicle Camera[C]//Intelligent Vehicles Symposium.Xi’an：IEEE，2009：279-284.

[7]CORD A，AUBERT D.Towards Rain Detection Through Use of In-Vehicle Multipurpose Cameras[J].Intelligent Vehicles Symposium，2011，32(14)：833-838.

[8]KURIHATA H，TAKAHASHI T，MEKADA Y，et al.Raindrop Detection from In-Vehicle Video Camera Images for Rainfall Judgement[C]//International Conference on Innovative Computing.Beijing：IEEE，2006：544-547.

[9]YOU S，TAN R T，KAWAKAMI R，et al.Adherent Raindrop Modeling,Detection and Removal in Video[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，38 (2)：1721-1733.

[10]許航飛.汽車雨量傳感器設(shè)計(jì)與自動(dòng)雨刮控制系統(tǒng)[D].杭州：中國(guó)計(jì)量學(xué)院，2013.XU Hangfei.Automobile Rain Sensor Design and Automatic Wiper Control System[D].Hangzhou：China Jiliang University，2013.