曾珍，周欣，魏彪，楊映波

（四川大學(xué)計算機學(xué)院，成都 610065）

0 引言

隨著科學(xué)技術(shù)的飛速發(fā)展以及人們生活方式的不斷改變，汽車已經(jīng)成為了一種更為普遍的交通出行工具。然而，汽車的普及直接導(dǎo)致了交通事故發(fā)生率的提高。對于交通事故的處理通常離不開智能交通系統(tǒng)，而車標(biāo)識別作為智能交通系統(tǒng)中的一個重要部分，其準(zhǔn)確率至關(guān)重要。近些年來，由于環(huán)境污染的影響，室外攝像機采集到的圖像質(zhì)量嚴(yán)重下降，這極大地限制了車標(biāo)等關(guān)鍵信息的檢測識別。因此，霧霾天氣下車標(biāo)識別的研究成為了智能交通系統(tǒng)中的一個重要研究方向。

對于車標(biāo)識別而言，目前的研究較為成熟[1]，但還有所欠缺。傳統(tǒng)的研究方法主要分為車標(biāo)定位和車標(biāo)識別兩個部分，其中車標(biāo)定位主要是依據(jù)車標(biāo)與車牌之間的位置關(guān)系及先驗知識來確定車標(biāo)的位置，而車標(biāo)識別則主要根據(jù)正負(fù)樣本提取的特征來進行分類器的學(xué)習(xí)，從而根據(jù)分類器對測試圖片進行分類識別。如王玫等提出的基于PCA和邊緣不變距的車標(biāo)識別[6]、楊飚等提出的基于HOG和ASIFT特征的車標(biāo)二次識別[7]、余燁等提出的前背景骨架區(qū)域隨機點對策略驅(qū)動下的車標(biāo)識別[8]以及彭博等提出的基于深度學(xué)習(xí)的車標(biāo)識別[9]等，這些方法分別從不同的角度對車標(biāo)識別進行了研究，但是均未考慮霧霾天氣情況。

由于使用非霧天圖片作為訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò)模型，在檢測非霧天攝像機采集到的圖片時，其準(zhǔn)確率較高，而在檢測霧天攝像機采集到的圖片時，其準(zhǔn)確率嚴(yán)重下降。于是，本文提出了一種基于深度學(xué)習(xí)與圖像去霧相結(jié)合的方法。該方法在神經(jīng)網(wǎng)絡(luò)的卷積層之前加入圖像去霧功能，通過對圖片的清晰化處理提高圖片中的細(xì)節(jié)信息，從而提高車標(biāo)識別的準(zhǔn)確率以及智能交通系統(tǒng)的智能性，使其能夠在不同的天氣情況下均達到較好的識別效果。

1 改進的Faster R-CNN

為了提高霧霾天車標(biāo)識別的準(zhǔn)確率，在傳統(tǒng)的Faster R-CNN[10]卷積層之前加入了圖像去霧算法，如圖1所示，通過對測試圖片的去霧處理實現(xiàn)圖像增強，突出圖片中的細(xì)節(jié)信息，從而提高車標(biāo)識別的準(zhǔn)確率。

1.1 圖像去霧

傳統(tǒng)的圖像去霧方法主要有以下幾種：直方圖均衡化算法、多尺度Retinex算法以及暗通道優(yōu)先算法。其中直方圖均衡化算法及多尺度Retinex算法是基于圖像處理的增強方法，而暗通道優(yōu)先算法則是基于物理模型的復(fù)原方法，其主要是從物理復(fù)原的角度對圖像進行清晰化處理，關(guān)鍵在于建立準(zhǔn)確的物理模型，通過物理模型來實現(xiàn)圖像的復(fù)原。

在計算機視覺和計算機圖形中，霧圖形成模型通常表示如下：

（其中I(x)為待去霧圖像，J(x)為去霧后圖像，A為全球大氣光成分，t(x)為透射率）

所謂暗通道先驗，即在絕大多數(shù)非天空的局部區(qū)域里，某一些像素總會有至少一個顏色通道具有很低的值[11]。因此，根據(jù)暗通道先驗及暗通道的數(shù)學(xué)定義：

（其中Jc表示彩色圖像的每個通道，Ω(x)表示以像素x為中心的一個窗口）

可知，Jdark-＞0。

對上式（1）進行變形可得：

（其中C表示R、G、B三個通道）

因此，根據(jù)Jdark-＞0及式（4）可推導(dǎo)出：

此即透射率的預(yù)估值。

然而，在現(xiàn)實生活中，霧的存在能夠讓人感受到景深的存在，因此在去霧的過程中有必要保留一定程度的霧。于是，對上式進行修改可得：

另外，當(dāng)透射圖t的值很小時，會導(dǎo)致J的值偏大，從而使圖像整體向白場過度。因此可以設(shè)置一個閾值t0，當(dāng)t值小于t0時，令t=t0。于是，最終的圖像恢復(fù)公式如下：

因此，根據(jù)霧圖形成模型、暗通道先驗理論及霧圖來還原無霧圖片的過程即圖像去霧的過程。

1.2 提取特征圖

在模式識別研究領(lǐng)域中，卷積神經(jīng)網(wǎng)絡(luò)[12]通常是一個包含多個隱層的神經(jīng)網(wǎng)絡(luò)，它通過對底層特征的逐層組合來形成更加抽象的高層特征，從而根據(jù)高層特征來區(qū)分不同的物體類別。其基本結(jié)構(gòu)如圖2所示，主要包括以下幾層：輸入層、特征提取層、特征映射層、全連接層以及輸出層。其中Cx為特征提取層，Sx為特征映射層，fx和wx為乘性偏置，bx為加性偏置，σ為sig?moid函數(shù)。

圖2 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

其中特征提取層也叫卷積層，通過不同的卷積模板可以提取到不同的局部特征，如邊緣特征、角點特征等。特征映射層也叫下采樣層，通過對來自卷積層的特征圖進行下采樣，保留特征圖中的有用信息而減少無用信息，從而達到壓縮數(shù)據(jù)集、減少參數(shù)數(shù)量的目的[13]。

因此，對圖像去霧處理得到的圖片進行逐層特征提取，即可得到一張該圖片的特征圖。

1.3 生成候選區(qū)域

RPN（Region Proposal Network）是一個全連接的卷積神經(jīng)網(wǎng)絡(luò)。它的核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)直接產(chǎn)生候選區(qū)域，即根據(jù)輸入的特征圖，輸出300個矩形候選區(qū)域，此300個矩形候選區(qū)域基本覆蓋了所有目標(biāo)可能區(qū)域。

RPN生成候選區(qū)域的過程中主要運用到了滑動窗口技術(shù)及anchor機制。通過滑動窗口技術(shù)可以保證滑動窗口在特征圖上只需滑動一次即可，而anchor機制則可以在每一個錨點處生成多尺度多長寬比的候選區(qū)域，從而使得RPN網(wǎng)絡(luò)具有平移不變性。

其具體實現(xiàn)方式如下：在卷積得到的特征圖上，用一個3×3的滑窗，生成一個長度為512維（對于VGG網(wǎng)絡(luò)）長度的全連接特征。在這個512維的特征后產(chǎn)生兩個分支的全連接層：reg-layer，主要用于預(yù)測pro?posal的中心錨點對應(yīng)的proposal的坐標(biāo)及寬高；clslayer，主要用于判定該proposal是前景或是背景。

1.4 檢測候選區(qū)域

對于RPN生成的尺寸不定的候選區(qū)域，通過ROI pooling層輸出尺寸固定的候選區(qū)域特征圖。其具體實現(xiàn)方式如下：首先，根據(jù)輸入圖片image，將ROI映射到特征圖對應(yīng)位置；其次，將映射后的區(qū)域劃分為相同大小的sections；最后，對每個sections進行最大值池化，即可根據(jù)輸入的尺寸不定的候選區(qū)域生成尺寸固定的候選區(qū)域特征圖。通過全連接操作及Softmax的分類即可判別該候選區(qū)域是否屬于某一個特定類，對于屬于某一特定類的候選框，用回歸器進一步調(diào)整其位置[14]。

2 處理流程

2.1 圖像去霧

（1）根據(jù)原圖計算暗通道圖

①讀入原圖；

②獲取原圖每個像素點RGB分量的最小值，存入一幅與原始圖片大小相同的灰度圖中；

③對灰度圖進行最小值濾波，即可得到暗通道圖。

（2）借助暗通道圖從有霧圖片中獲取全球大氣光A的值

①從暗通道圖像中按照亮度的大小提取最亮的前0.1%個像素點，將這些像素點的坐標(biāo)存放于一個數(shù)組中，并將坐標(biāo)對應(yīng)位置的像素值置為0；

②根據(jù)坐標(biāo)在原圖片的三個通道內(nèi)找到這些像素點并加和得到 sum_r，sum_g，sum_b，取平均得到 Ar，Ag，Ab，并以此作為 A的值。

（3）根據(jù)A的值及暗通道先驗理論求出透射率

設(shè)置參數(shù)ω=0.98，利用輸入圖片、求解的A值及參數(shù)ω根據(jù)公式（6）計算透射率。

（4）導(dǎo)向濾波細(xì)化透射率

用所求的透射率圖作為導(dǎo)向圖對原圖進行導(dǎo)向濾波[15]。

（5）求解去霧后圖像

設(shè)置閾值t0=0.1，利用輸入圖片、求解的A值，求解的透射率及閾值t0根據(jù)公式（7）求解去霧后圖像。

2.2 提取特征圖

將圖像去霧處理后得到的圖片傳入卷積神經(jīng)網(wǎng)絡(luò)中，通過一共13層卷積層和5層池化層的卷積神經(jīng)網(wǎng)絡(luò)逐層組合底層特征，從而得到一張更加抽象的高層特征圖。

2.3 生成候選區(qū)域

在生成的特征圖上使用3×3的滑動窗口及anchor機制（比例為 1：1 1：2 2：1），生成 300 個矩形候選區(qū)域。

2.4 檢測候選區(qū)域

將生成的300個候選區(qū)域通過ROI pooling生成尺寸固定的候選區(qū)域特征圖，然后通過全連接層及Softmax進行分類。最后對分類得到的矩形框進行bbox回歸，調(diào)整矩形框的位置，使其更加精確。

3 實驗與分析

3.1 實驗環(huán)境

本文的車標(biāo)圖片來源于高架橋交通違章拍照攝像機所拍攝到的車輛圖片，共有10種車標(biāo)合計966張，其中訓(xùn)練集800張，測試集166張。本實驗在NVID?IA GeForce GTX 1070 GPU、Intel Core i7-6700K CPU、4G內(nèi)存的Ubuntu平臺下運行。

訓(xùn)練樣本及測試樣本圖片大小均為2448×2144的攝像機拍攝圖片，圖3為經(jīng)過處理后的10種車標(biāo)圖片實例，其中車標(biāo)種類分別為奧迪、奔馳、現(xiàn)代、大眾、別克、雪佛蘭、本田、豐田、標(biāo)致及雷克薩斯。

圖3 10種車標(biāo)圖片實例

3.2 數(shù)據(jù)測試與比較

為測試霧天車標(biāo)識別的效果，進行了如下實驗：實驗一對引言中提到的四種車標(biāo)識別方法與本文實現(xiàn)的方法進行了對比；實驗二對文中提到的三種常見的圖像去霧算法的效果及運行時間進行了測試；實驗三對圖像去霧算法中參數(shù)調(diào)整對識別準(zhǔn)確率的影響進行了測試；實驗四對經(jīng)過圖像去霧處理和未經(jīng)圖像去霧處理的霧圖車標(biāo)識別準(zhǔn)確率進行了測試。

表1為四種車標(biāo)識別方法與本文提出的方法在霧天車標(biāo)識別上的比較。通過比較可以發(fā)現(xiàn)，其他方法均未考慮霧天車標(biāo)的識別，而本文提出的方法能很好地處理霧天車標(biāo)識別的問題。

表1 車標(biāo)識別方法比較

圖4為三種圖像去霧算法測試得到的效果圖，其中（a）為測試原圖，（b）為經(jīng)過直方圖均衡化算法處理后的效果圖，（c）為經(jīng)過多尺度Retinex算法處理后的效果圖，（d）為經(jīng)過暗通道優(yōu)先算法處理后的效果圖。根據(jù)測試效果圖的對比可以發(fā)現(xiàn)，三種算法均實現(xiàn)了圖像去霧功能，其中暗通道優(yōu)先算法要較其他兩種算法更好，圖像復(fù)原的結(jié)果更加接近真實情況。

圖4 三種圖像去霧算法效果比較

表2則為三種圖像去霧算法運行時間結(jié)果。通過數(shù)據(jù)比較發(fā)現(xiàn)，暗通道優(yōu)先算法運行時間不是三者中最短。但是，針對車標(biāo)識別研究而言，選擇去霧效果更好且運行時間適中的暗通道優(yōu)先算法是一種更優(yōu)的選擇。

表2 三種圖像去霧算法運行時間比較/單位ms

圖5為圖像去霧算法中參數(shù)ω及閾值t0的調(diào)整對車標(biāo)識別準(zhǔn)確率的影響。通過數(shù)據(jù)對比發(fā)現(xiàn)，ω取0.98，t0取0.1時，車標(biāo)識別的準(zhǔn)確率達到最高。

圖5 參數(shù)調(diào)整對比圖

表3為測試圖片是霧圖且識別過程中未經(jīng)去霧處理得到的測試結(jié)果。根據(jù)表中數(shù)據(jù)分析可知，使用非霧圖作為訓(xùn)練集訓(xùn)練得到的網(wǎng)絡(luò)模型，用于測試霧圖得到的測試結(jié)果正確率較低。其主要原因是霧霾天氣下攝像機采集到的圖片質(zhì)量不高，圖片較為模糊，導(dǎo)致很多重要的細(xì)節(jié)信息損失，從而導(dǎo)致車標(biāo)識別的準(zhǔn)確率受到了很大的限制。

表3 霧圖且未經(jīng)去霧處理測試結(jié)果

表4為測試圖片是霧圖且識別過程中經(jīng)過去霧處理得到的測試結(jié)果。根據(jù)表中數(shù)據(jù)可以發(fā)現(xiàn)，經(jīng)過圖像去霧處理后各種車標(biāo)識別的準(zhǔn)確率均有了很大提升。由于表3與表4中測試圖片均為同一批測試圖片，因此對比兩個表中的數(shù)據(jù)可以說明，經(jīng)過圖像去霧處理后的車標(biāo)識別準(zhǔn)確率要比未經(jīng)圖像去霧處理的車標(biāo)識別準(zhǔn)確率有了明顯的提高。但是，由于測試樣本集數(shù)量較少且一些車標(biāo)類似的原因，導(dǎo)致一些車標(biāo)類別，如雷克薩斯、本田、豐田等識別的準(zhǔn)確率不是很理想，但是這些準(zhǔn)確率均在未經(jīng)圖像去霧處理的準(zhǔn)確率上有了很大的提高。

表4 霧圖且經(jīng)過去霧處理測試結(jié)果

另外，針對測試圖片為非霧圖的情況也進行了測試比較。測試結(jié)果表明，經(jīng)過去霧處理的車標(biāo)識別準(zhǔn)確率較未經(jīng)去霧處理的識別準(zhǔn)確率有稍微的提升。

因此，不論測試圖片為霧圖或非霧圖，圖像去霧與深度學(xué)習(xí)相結(jié)合的方法均能保證車標(biāo)識別較高的準(zhǔn)確率，有效地解決了實際應(yīng)用中霧天車標(biāo)識別的問題。

4 結(jié)語

本文以霧天車標(biāo)識別為目的，研究并提出了一種基于深度學(xué)習(xí)與圖像去霧相結(jié)合的方法，從實驗結(jié)果上看，本文提出的方法對霧天車標(biāo)識別的準(zhǔn)確率有了明顯的提升。與以往的算法相比，本文算法不僅能對正常天氣下圖片進行較高準(zhǔn)確率的識別，對霧天圖片的識別也能達到較高的準(zhǔn)確率。另外，本文算法思想不僅對霧天適用，同樣也可以推廣到其他惡劣環(huán)境下車標(biāo)識別的研究。并且，車標(biāo)識別作為車輛識別的一個重要輔助，還可以與車牌識別、車型識別等相結(jié)合，進行二次識別處理，從而達到更高的車輛識別準(zhǔn)確率。