楊 蓉, 楊曉虎, 玉雄侯

(廣西大學(xué)機(jī)械工程學(xué)院，南寧 530004)

濃霧天氣是對(duì)道路交通安全影響最大的天氣因素之一。據(jù)統(tǒng)計(jì)，中國(guó)發(fā)生的交通事故中有將近30%是由惡劣天氣引起的[1]，其中濃霧天占約3/4[2]。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)技術(shù)的進(jìn)步和行車(chē)記錄儀的普及，基于圖像處理的天氣識(shí)別技術(shù)正逐漸被應(yīng)用于輔助駕駛系統(tǒng)的研究中，期望以主動(dòng)或被動(dòng)的手段提高汽車(chē)駕駛安全性，如降低車(chē)速、開(kāi)啟霧燈和除霧燈等。而針對(duì)濃霧天環(huán)境的行車(chē)安全問(wèn)題，輔助駕駛系統(tǒng)的首要任務(wù)即是對(duì)濃霧天氣進(jìn)行識(shí)別與判斷。

李易潤(rùn)[3]以Koschmieder模型為基礎(chǔ)，結(jié)合Canny-Deriche濾波器、Nagao濾波器、區(qū)域生長(zhǎng)法等視頻分析技術(shù)設(shè)計(jì)了車(chē)載團(tuán)霧預(yù)警系統(tǒng)。該系統(tǒng)能夠?qū)崟r(shí)檢測(cè)車(chē)輛前方的能見(jiàn)度信息，并結(jié)合車(chē)速情況發(fā)出語(yǔ)音預(yù)警，以提醒駕駛員做出相應(yīng)的處理。金月等[4]基于暗通道先驗(yàn)設(shè)計(jì)了一種可用于輔助駕駛系統(tǒng)的低能見(jiàn)度檢測(cè)方法。上述兩種系統(tǒng)均需要依賴(lài)車(chē)道線和水平線對(duì)能見(jiàn)度進(jìn)行計(jì)算，只適用于道路寬闊且車(chē)流量少的道路環(huán)境中。為減少分析過(guò)程對(duì)車(chē)道線和水平線的依賴(lài)，玉雄侯等[5]設(shè)計(jì)了一套基于DM642的車(chē)載濃霧天識(shí)別系統(tǒng)，該系統(tǒng)采用支持向量機(jī)對(duì)濃霧天、晴朗天等兩種道路圖像進(jìn)行處理和識(shí)別，準(zhǔn)確率達(dá)95.0%。該方法需要人工提取相關(guān)圖像特征，而人工提取特征多為淺層特征，當(dāng)面對(duì)多種復(fù)雜天氣類(lèi)別時(shí)難以保證識(shí)別準(zhǔn)確率。

隨著圖像識(shí)別技術(shù)的不斷發(fā)展，現(xiàn)有的機(jī)器學(xué)習(xí)方法已經(jīng)可以對(duì)圖像的深層特征進(jìn)行表征學(xué)習(xí)。楊文佳[6]采用集成學(xué)習(xí)的方式，選用4種DensNet、GoogLeNet、AlexNet、VGGNet卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)晴天、陰天、雨天和雪天進(jìn)行識(shí)別，并通過(guò)ER-Relu算法將4種識(shí)別結(jié)果融合，進(jìn)而獲取最終識(shí)別結(jié)果。李鵬程等[7]將天氣圖像進(jìn)行分割處理，識(shí)別出天空區(qū)域和地面區(qū)域并提取出不同區(qū)域的形狀、顏色和紋理特征，最后利用隨機(jī)森林分類(lèi)器對(duì)晴天、多云、陰天和雨天進(jìn)行識(shí)別，準(zhǔn)確率達(dá)92.7%。陳思瑋等[8]采用基于DensNet密集深度網(wǎng)絡(luò)的遷移學(xué)習(xí)方法識(shí)別霧霾、沙塵、雨、雪、霜、露6種天氣現(xiàn)象，識(shí)別準(zhǔn)確率達(dá)97.51%。然而，目前基于機(jī)器學(xué)習(xí)的天氣識(shí)別方法多應(yīng)用于固定場(chǎng)景的天氣識(shí)別，針對(duì)行車(chē)輔助駕駛系統(tǒng)的研究較少。

為此，利用機(jī)器學(xué)習(xí)的方法設(shè)計(jì)了一種適用于行車(chē)輔助駕駛系統(tǒng)的濃霧天識(shí)別算法，以此來(lái)識(shí)別不同的天氣情況。

1 建立訓(xùn)練數(shù)據(jù)集

為提高汽車(chē)在濃霧天中的駕駛安全性，輔助駕駛系統(tǒng)的首要任務(wù)是正確地區(qū)分濃霧天氣和非濃霧天氣，并根據(jù)識(shí)別結(jié)果發(fā)出必要的預(yù)警，或代替駕駛員進(jìn)行相應(yīng)的安全操作。因此輔助駕駛系統(tǒng)中濃霧天識(shí)別算法是一個(gè)二分類(lèi)問(wèn)題，即輸出結(jié)果只有濃霧天和非濃霧天。

二分類(lèi)問(wèn)題在訓(xùn)練算法模型時(shí)需要正例和反例兩類(lèi)訓(xùn)練數(shù)據(jù)，通常以最關(guān)注的為正例，其他為反例[9]。從駕駛安全的角度出發(fā)，輔助駕駛系統(tǒng)更關(guān)注濃霧天氣的識(shí)別，且一般認(rèn)為能見(jiàn)度低于 200 m 的濃霧天會(huì)嚴(yán)重威脅交通安全[10]。因此，研究中應(yīng)選擇能見(jiàn)度低于200 m的濃霧天圖像作為訓(xùn)練數(shù)據(jù)的正例，與濃霧天具有較大反差的晴朗天圖像作為反例。同時(shí)，為使輔助系統(tǒng)適應(yīng)道路環(huán)境，圖像內(nèi)容應(yīng)為行車(chē)過(guò)程中出現(xiàn)的道路交通場(chǎng)景。圖1為訓(xùn)練數(shù)據(jù)集的部分樣本。圖像來(lái)源于行車(chē)記錄儀視頻，取視頻的每秒作為訓(xùn)練圖像數(shù)據(jù)，整個(gè)訓(xùn)練數(shù)據(jù)集總共有3 200張圖像，其中正、反例圖像分別為1 600張。

圖1 訓(xùn)練數(shù)據(jù)集部分樣本

2 濃霧天識(shí)別算法的設(shè)計(jì)

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)是圖像識(shí)別領(lǐng)域中最熱門(mén)的一種深度學(xué)習(xí)模型[11-13]，通過(guò)多層網(wǎng)絡(luò)從海量原始數(shù)據(jù)中自主學(xué)習(xí)深層特征，具備表征學(xué)習(xí)的能力。當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)在天氣識(shí)別上取得了一定的研究進(jìn)展[14-16]。

2.1.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

相較于多分類(lèi)任務(wù)而言，二分類(lèi)圖像識(shí)別任務(wù)并不需要十分復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。設(shè)計(jì)一個(gè)具有10層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層之后插入一個(gè)池化層，最后通過(guò)兩個(gè)全連接層輸出識(shí)別結(jié)果。為便于區(qū)分，將該網(wǎng)絡(luò)結(jié)構(gòu)命名為CNN-DFR10(CNN-dense fog recognition 10)，其中數(shù)字10表示層數(shù)。表1為CNN-DFR10結(jié)構(gòu)參數(shù)。

表1 CNN-DFR10的結(jié)構(gòu)參數(shù)

2.1.2 模型的訓(xùn)練

模型的訓(xùn)練依賴(lài)于深度學(xué)習(xí)開(kāi)發(fā)工具，選擇具有高度靈活性、可移植性的Tensorflow學(xué)習(xí)框架對(duì)CNN-DFR10進(jìn)行訓(xùn)練。為了便于在訓(xùn)練中對(duì)模型進(jìn)行調(diào)參與評(píng)估，從訓(xùn)練數(shù)據(jù)中劃出一部分作為驗(yàn)證集，即訓(xùn)練集2 400張圖像，驗(yàn)證集800張圖像，其中正、反例圖像比例為1∶1。

在CNN-DFR10的訓(xùn)練階段，將訓(xùn)練輪數(shù)Epoch=50作為停止訓(xùn)練的條件，同時(shí)繪制訓(xùn)練集和驗(yàn)證集兩者的正確率及損失函數(shù)值的變化曲線。圖2為CNN-DFR10的學(xué)習(xí)曲線，訓(xùn)練結(jié)果表明CNN-DFR10很好地?cái)M合了訓(xùn)練數(shù)據(jù)。

圖2 CNN-DFR10的學(xué)習(xí)曲線

2.2 膠囊網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)存在一定的局限性，即標(biāo)量神經(jīng)元僅能表示特征存在的概率，而不能表征特征的空間信息。換句話(huà)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)只關(guān)心特征的存在與否，并不關(guān)心特征具有何種屬性信息(相對(duì)位置、色相或紋理等)。為此，Sabour等[17]提出了膠囊網(wǎng)絡(luò)(capsule networks, CapsNet)架構(gòu)。“膠囊”就是一個(gè)將若干個(gè)神經(jīng)元“封裝”起來(lái)的集合，該集合用向量來(lái)進(jìn)行表示。向量的大小、方向可以分別表征實(shí)例特征存在的概率及屬性信息，因而相比于標(biāo)量神經(jīng)元，向量膠囊能夠保留更多的特征信息，網(wǎng)絡(luò)對(duì)實(shí)例特征的表征能力更強(qiáng)。近年來(lái)，膠囊網(wǎng)絡(luò)在雷達(dá)圖像分類(lèi)[18]、漢字筆跡鑒定[19]及人臉表情特征識(shí)別[20]等研究領(lǐng)域取得了一定的成果。

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

膠囊網(wǎng)絡(luò)的發(fā)展仍處在起步階段，網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)設(shè)計(jì)并不像卷積神經(jīng)網(wǎng)絡(luò)那樣成熟，可參考的架構(gòu)比較少。為此，CapsNet結(jié)構(gòu)的基礎(chǔ)上設(shè)計(jì)了名為膠囊網(wǎng)絡(luò)-濃霧識(shí)別(capsule networks-dense fog recognition,CN-DFR5)的網(wǎng)絡(luò)結(jié)構(gòu)，如表2所示，其中數(shù)字5表示層數(shù)。與卷積神經(jīng)網(wǎng)絡(luò)不同的是，膠囊網(wǎng)絡(luò)增加了初級(jí)膠囊層(primary capsules)和數(shù)字膠囊層(digit capsules)。

表2 CN-DFR5的基本結(jié)構(gòu)及參數(shù)

初級(jí)膠囊層是膠囊網(wǎng)絡(luò)的核心，其作用是將所有神經(jīng)元按一定的數(shù)量“封裝”在若干個(gè)初級(jí)膠囊中，完成標(biāo)量神經(jīng)元向向量神經(jīng)元的轉(zhuǎn)換。在初級(jí)膠囊層中，層內(nèi)操作可分為兩個(gè)部分：第一個(gè)部分與常規(guī)卷積層無(wú)異，通過(guò)使用256個(gè)步長(zhǎng)為2的5×5卷積核對(duì)16×16×256的特征圖像進(jìn)行卷積操作，得到5×5×256的特征圖像；第二部分是“封裝”膠囊，首先將5×5×256的特征圖像分成8組，每組圖像維度為6×6×32(即共有1 152個(gè)神經(jīng)元)；接著將8組神經(jīng)元依次排成一列，得到1 152行8列的神經(jīng)元矩陣；最后，神經(jīng)元矩陣中的每一行均被“封裝”成一個(gè)初級(jí)膠囊，共得到1 152個(gè)初級(jí)膠囊(每個(gè)膠囊由8個(gè)神經(jīng)元組成)。

數(shù)字膠囊層則替代了全連接層作為輸出層，作用是將所有初級(jí)膠囊轉(zhuǎn)換成數(shù)字膠囊，每個(gè)數(shù)字膠囊輸出向量的大小表示了相應(yīng)實(shí)例特征存在的概率。由于所研究的輔助駕駛系統(tǒng)的濃霧天識(shí)別算法是一個(gè)二分類(lèi)問(wèn)題，因此在數(shù)字膠囊層的輸出端設(shè)置了2個(gè)數(shù)字膠囊(每個(gè)膠囊由16個(gè)神經(jīng)元組成)，分別用于輸出“濃霧天”和“非濃霧天”兩種識(shí)別結(jié)果。數(shù)字膠囊層中權(quán)重矩陣w和耦合系數(shù)c的維度分別為8×16×1 152×10(1 152×10個(gè)8×16的權(quán)重矩陣w)、1 152×10×16(1 152×10個(gè)1×16的系數(shù)c)。

2.2.2 模型的訓(xùn)練

CN-DFR5的訓(xùn)練采用Tensorflow學(xué)習(xí)框架，訓(xùn)練數(shù)據(jù)不變。圖3為CN-DFR5訓(xùn)練過(guò)程中的學(xué)習(xí)曲線，結(jié)果表明CNN-DFR10很好地?cái)M合了訓(xùn)練數(shù)據(jù)。

圖3 CN-DFR5的學(xué)習(xí)曲線

3 算法模型的測(cè)試與對(duì)比

3.1 測(cè)試圖像集的建立

輔助駕駛系統(tǒng)中的濃霧天識(shí)別算法要面對(duì)的是復(fù)雜多變的交通天氣環(huán)境，以濃霧天和晴朗天為代表的正、反例天氣類(lèi)別并不足以表達(dá)實(shí)際道路環(huán)境的復(fù)雜性。為此，又建立了濃霧天、雨天、陰天和晴朗天4種駕駛場(chǎng)景的測(cè)試圖像集，以測(cè)試CNN-DFR10和CN-DFR5算法模型的泛化能力。圖4為晴陰雨霧天氣圖像數(shù)據(jù)集的部分樣本圖像，整個(gè)數(shù)據(jù)集中共包含1 600張圖像，每種天氣類(lèi)別的圖像數(shù)量均為400張。

圖4 晴陰雨霧天氣圖像集的部分樣本圖像

3.2 測(cè)試方法及流程

算法模型的測(cè)試采用圖5所示的測(cè)試流程。由于某些天氣類(lèi)別中可能會(huì)同時(shí)存在濃霧天特征和晴朗天特征，若僅由濃霧天概率值作為最終識(shí)別結(jié)果的判斷依據(jù)不夠全面。為此引入了綜合概率p，其表達(dá)式為

圖5 算法模型的測(cè)試流程

(1)

式(1)中：p+和p-分別表示輸出濃霧天(正例)和晴朗天(反例)的概率；綜合概率p的幾何意義是正例占所有預(yù)測(cè)概率值總和的比值，p越高說(shuō)明濃霧天特征存在的可能性越大。采用綜合概率p來(lái)區(qū)分濃霧天及非濃霧天圖像。

3.3 測(cè)試結(jié)果分析

為了更好地分析綜合概率p對(duì)濃霧天、雨天、陰天和晴朗天測(cè)試圖像上的區(qū)分效果，計(jì)算了每種天氣類(lèi)型中400幅圖像的綜合概率值平均數(shù)，并繪制圖6所示的CNN-DFR10和CN-DFR5綜合概率平均數(shù)的變化曲線。

由圖6可知，隨著濃霧天向晴朗天進(jìn)行過(guò)渡，CNN-DFR10和CN-DFR5的綜合概率平均值都在逐漸減小，濃霧天和非濃霧天的區(qū)分界線也比較明顯，即縱坐標(biāo)約0.8位置。由于綜合概率的平均數(shù)僅反映了一組數(shù)據(jù)中的平均水平，并不能反映出數(shù)據(jù)的分布情況。為進(jìn)一步分析CNN-DFR10和CN-DFR5算法模型的不同，選取綜合概率值的中位數(shù)來(lái)進(jìn)一步觀察。中位數(shù)是按順序排列的一組數(shù)據(jù)中處于中間位置的數(shù)，常用它來(lái)反映數(shù)據(jù)的集中趨勢(shì)。

圖7為綜合概率中位數(shù)變化曲線，CNN-DFR10和CN-DFR5的中位數(shù)變化程度不同。CN-DFR5的中位數(shù)呈平穩(wěn)下降的變化趨勢(shì)，濃霧天和非濃霧天的區(qū)分界線也比較明顯，即縱坐標(biāo)約0.8處。相比之下，CNN-DFR10則趨于向兩端極值靠攏，濃霧天和非濃霧天的區(qū)分界線不明顯。綜合分析圖6、圖7發(fā)現(xiàn)，隨著濃霧天向晴朗天進(jìn)行過(guò)渡，CNN-DFR10的兩條曲線變化差異較大，而CN-DFR5的曲線變化差異小。不管是綜合概率平均數(shù)還是中位數(shù)，CN-DFR5輸出的綜合概率值比CNN-DFR10更加穩(wěn)定，更有利于區(qū)分濃霧天和非濃霧天圖像。

根據(jù)圖6、圖7的變化曲線，設(shè)概率閾值等于0.9，當(dāng)算法模型輸出的綜合概率p高于0.9時(shí)識(shí)別為“濃霧天”，否則為“非濃霧天”。在CNN-DFR10測(cè)試結(jié)果中，有210張雨天圖像被錯(cuò)誤地識(shí)別為濃霧天，其余天氣類(lèi)型的測(cè)試圖像均被正確識(shí)別，識(shí)別準(zhǔn)確率為86.9%。而在CN-DFR5識(shí)別結(jié)果中，僅有40張雨天圖像被錯(cuò)誤地識(shí)別為濃霧天，整體識(shí)別準(zhǔn)確率為97.5%。表3為CNN-DFR10和CN-DFR5的測(cè)試結(jié)果，結(jié)果表明CN-DFR5的識(shí)別準(zhǔn)確率更高。

圖6 CNN-DFR10和CN-DFR5綜合概率平均值變化曲線

圖7 CNN-DFR10和CN-DFR5綜合概率中位數(shù)變化曲線

表3 CNN-DFR10和CN-DFR5的測(cè)試結(jié)果

對(duì)算法運(yùn)行時(shí)間也進(jìn)行了測(cè)試對(duì)比。初期在中央處理器(central processing unit，CPU)i7的電腦上對(duì)1 600張測(cè)試集圖像進(jìn)行識(shí)別，CN-DFR5算法的運(yùn)行速度比CNN-DFR10算法慢2 s左右，平均至單張圖片為每張圖片運(yùn)算速度慢0.001 25 s左右。后續(xù)將算法移植至人工智能開(kāi)發(fā)板上，使用深度學(xué)習(xí)專(zhuān)用的圖形處理器(graphics processing unit，GPU)運(yùn)行計(jì)算，實(shí)測(cè)兩種算法的運(yùn)算速度沒(méi)有太大差異。

4 結(jié)論

采用卷積神經(jīng)網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)技術(shù)分別設(shè)計(jì)了可用于行車(chē)輔助駕駛系統(tǒng)的CNN-DFR10 和CN-DFR5濃霧天識(shí)別算法模型，根據(jù)輸出概率值高低來(lái)判斷不同的天氣狀況，從而對(duì)濃霧天和非濃霧天進(jìn)行區(qū)分。得出如下結(jié)論。

(1)采用向量方式將信息進(jìn)行傳播的CN-DFR5比采用標(biāo)量方式的CNN-DFR10在區(qū)分不同的天氣類(lèi)別上更具優(yōu)勢(shì)。在識(shí)別“濃霧天”和“非濃霧天”的圖像類(lèi)別中，CN-DFR5比CNN-DFR10具有更高的識(shí)別準(zhǔn)確率。

(2)采用機(jī)器學(xué)習(xí)方法對(duì)霧天進(jìn)行識(shí)別，可以有效地避免對(duì)車(chē)道線和水平線的計(jì)算，使得輔助駕駛系統(tǒng)能夠在復(fù)雜多變的道路環(huán)境中區(qū)分霧天。

(3)研究中未能將算法嵌入車(chē)輛輔助行駛系統(tǒng)開(kāi)展實(shí)車(chē)測(cè)試，后續(xù)研究可針對(duì)兩種算法模型進(jìn)行車(chē)輛輔助駕駛系統(tǒng)的終端部署開(kāi)發(fā)。