滕 碧 紅

(閩西職業(yè)技術學院 信息與制造學院， 福建 龍巖 364021 )

0 前 言

交通道路圖像及標識一般包含路況信息、限速信息、行駛信息等重要的道路交通信息。準確識別交通道路圖像及標識，對于規(guī)范駕駛員的安全駕駛行為、降低交通事故發(fā)生率具有重要意義[1-2]。在夜間環(huán)境、重度霧霾等微光環(huán)境下，由于可視范圍窄、能見度低，對前方路況和道路交通的標識效果會大受影響[3-4]，發(fā)生交通事故的風險也隨之升高。近年來，圖像處理技術的快速發(fā)展及應用，在提高交通道路圖像和交通標識的識別效率方面起到了很大作用[5-6]。趙春麗等人提出了一種基于均衡直方圖的圖像增強技術，該技術適用于微光條件和復雜的交通場景，可均衡化處理交通圖像細節(jié)，增強圖像的局部信息[7]。但該算法的實現，首先需要對每個圖像的像素進行處理，算法復雜且耗時過長，不利于大規(guī)模的推廣應用。馮相輝提出了一種基于同態(tài)濾波的圖像識別與增強算法，可以強化圖像高頻部分的處理效果，在降低噪聲的同時提高圖像局部細節(jié)的對比度和能見度[8]。但該算法同樣存在計算量大的問題，且面對復雜的含噪道路交通圖像時實際降噪效果難以達到預期。隨著人工智能和機器學習算法的不斷發(fā)展與成熟[9]，目前可以應用人工智能算法、機器學習算法和神經網絡算法等多種方法對低照度圖像進行增強處理[10]。人工智能、機器學習及神經網絡算法，一方面具有強大的圖像數據處理能力，另一方面還具有較強的適用性和實際應用價值。

本次研究，是以現有的機器學習、深度學習及神經網絡算法為基礎，探討一種基于R-CNN(Region-CNN，候選區(qū)域卷積神經網絡)算法的交通道路圖像識別方法，利用候選框提取圖像相關信息，并基于回歸器不斷地修正目標，從而改善圖像的清晰度和對比度，使微光環(huán)境下的車輛安全行駛系數得到提高。

1 交通道路圖像的預處理

現有基于機器學習或深度學習的圖像識別算法存在以下主要問題：首先，滑動窗口的選擇缺乏針對性，會造成過多的數據冗余，加大了算法的復雜度和冗余度；其次，在提取圖像特征時無法隨著微光圖像的特征變化而變換對策。而R-CNN算法是基于經典深度學習算法、卷積神經網絡算法的優(yōu)化算法，主要利用所采集圖像的多重特征來強化圖像的識別與檢測效果，其基本算法結構如圖1所示。首先，將目標圖像劃分為若干個候選區(qū)，對候選圖像進行層級分組；然后，基于候選區(qū)圖像的相似度對圖像進行合并，并精確提取圖像中的細節(jié)特征；最后，再利用分類回歸分析算法進行特征分類，實現對目標交通圖像的識別。

圖1 R-CNN算法結構

對原始交通道路圖像或交通標識圖像進行預處理，是R-CNN算法的第一個重要步驟。在微光環(huán)境下，交通圖像的亮度、清晰度均有所減弱，因此必須進行圖像增強處理，但圖像灰度增強以后易導致圖像維數下降。為保持原有圖像的梯度信息不變，采用加權法對于原始微光圖像進行灰度化處理，從而增強圖像的亮度并突出其原有細節(jié)。在微光環(huán)境下，采集的交通圖像易受拍攝距離或角度等因素的影響而產生畸變，因此還應對交通圖像尺寸進行歸一化處理，以保證后續(xù)圖像特征提取的準確性。在此，基于雙三次插值方法糾正交通道路圖像尺寸的變化，糾正過程如圖2所示。

圖2 交通道路圖像的雙三次插值法糾正過程

雙三次插值，是指對目標像素點周邊16個點值進行加權平均，以糾正原圖像尺寸的偏差。像素點(i+a，j+b)的像素值計算如下：

g(i+a，j+b)=P1×P2×P3

(1)

P1=ω(1+a)·ω(a)·ω(1-a)·

ω(2+a)

(2)

(3)

P3=ω(1+b)·ω(b)·ω(1-b)·

ω(2-b)

(4)

式中：g為取值函數。

當采集到的交通道路圖像數量較多時，為便于進行圖像特征提取，需要對全部像素點作進一步的聚類處理。在采集和篩選圖像的同時，對全部樣本進行細化分類，并確定聚類中心。圖像數據集Z中總共包含N個圖像樣本，表示為：

Z={zi，i=1，2，…，N}

(5)

式中zi∈RN(R為實數集)。均值聚類是對數據集Z中的樣本進行聚類，使聚類后提取到的樣本特征更相近。當全部交通圖像的樣本劃分完畢后，每個單元Uj(j=1，2，…，k)都存在一個新的聚類中心cj，表示為：

(6)

根據單元Uj內每個像素點到聚類中心單元cj的歐式距離計算相似性，公式如下：

(7)

式中s為相似性函數。聚類中心單元的數量越多，圖像像素相似性的計算結果就越準確，也越有助于提取交通道路圖像的細節(jié)特征，但其相應的計算成本也會越高。

2 交通圖像識別

完成預處理后，將圖像數據集劃分成若干候選區(qū)域，再利用R-CNN算法提取每個候選區(qū)的圖像數據特征，判斷檢測目標是否在識別區(qū)域范圍內。圖像像素的篩選與檢索流程如圖3所示。

經典R-CNN算法流程中，需對每個候選區(qū)域都進行一次卷積，算法代價大、耗時長。為了提高效率，本次研究基于共享方案對經典R-CNN算法進行了優(yōu)化。RPN(區(qū)域生成網絡)是優(yōu)化R-CNN算法的核心，通過滑動窗口實現卷積層的共享。窗口共享過程如圖4所示。

圖3 圖像像素的篩選與檢索流程

圖4 R-CNN的共享滑動窗口結構

在推薦候選區(qū)的過程中，滑動窗口中間的錨點與不同形狀的矩形錨框窗口的中心點相對應，利用滑窗共享CNN卷積層的一些功能，使交通道路圖像像素的偏移量與畸變情況得到了改善，并使個別區(qū)域的亮度得到了增強。微觀環(huán)境下交通圖像的識別與檢測，其效果更多地取決于圖像子集特征的提取質量與特征融合效果。R-CNN優(yōu)化算法模型的卷積層主要用于提取交通圖像的特征，其內部由大量的卷積核構成，以不斷卷積迭代的方式提取圖像分塊及圖像子集的特征。通過原始圖像的預處理及像素聚類分析，使圖像中相近或關聯密切的像素趨于集中，大幅降低了特征提取的難度和算法的復雜度。其中窗口與分塊權值的共享機制，可避免算法的計算代價過高。

車輛運動中采集到的圖像集具有實時性，在微觀環(huán)境下采集的交通圖像和標識經處理后仍可能畸變或失真。為此，在優(yōu)化R-CNN算法的同時，引入了HOG(方向梯度直方圖)算子用于輔助卷積層實現圖像特征提取。首先，通過HOG算子將采集到的交通圖像進一步細化成塊，用于描述交通圖像的局部梯度特征；然后，描述單位像素的水平梯度值gx(x，y)和垂直梯度值gy(x，y)，并進一步計算出圖像像素的大小梯度值f(x，y)和角度梯度值α(x，y)：

(8)

計算每個塊的梯度值時，按照權重比例順序連接形成圖像梯度直方圖的特征項。在優(yōu)化的算法模型中，隨著數據復雜度的提高和網絡層次的加深，輸出特征的表達也趨于抽象和復雜，而淺層的信息有可能丟失。

以交通標識圖像為例，其中小目標圖像在整個圖像數據集中所占的比例較大，需要對提取的特征進行多層融合以提高數據檢測和識別的精度。由于提取的交通圖像特征之間具有互補性，因此特征融合可以改善算法的性能。在此，選用級聯融合的方式，將最終的融合結果作為RNP的數據輸入項。融合后提取的數據特征，相對于單層提取方式獲取的數據特征更加完整，可用于不同尺度對象的監(jiān)測。優(yōu)化算法模型中卷積層的前饋計算邏輯路徑是自下而上，對于圖像的像素目標而言，在相對較大的特征塊上提取特征或其他操作，可以獲得更多關于小目標的準確信息。

分類回歸修正，是指對特征提取與融合后的交通圖像作進一步的修正和完善，通常特征融合后的預測框和圖像目標區(qū)會存在一定誤差，基于邊界回歸修正和調整可使最終處理后的圖像與真實交通道路場景更契合。特征融合后交通圖像的大小為m×n，用p和q分別表示邊界框的類別數和預測框數，利用坐標位置預測法對圖像的位置進行最后的修正，預測框的坐標o和實際框的坐標o′表示如下：

o={opx，oqy，om，on}

o′={o′px，o′qy，o′m，o′n}

(9)

(10)

再對檢測框依據分類置信度的大小重新排序，重復公式(10)的偏差求解方法，直到完成全部檢測，使預測框與實際框的偏差值達到最小。

3 實驗與分析

3.1 實驗設計

在實驗室的仿真環(huán)境下，模擬道路交通的微光環(huán)境，并應用Matlab仿真軟件和Python 3.5.1編程軟件搭建實驗環(huán)境，實驗操作系統(tǒng)為Windows 10專業(yè)版。仿真實驗中選用的硬件如下：Intel Core i9處理器，處理器最高主頻為3.6 GHz，系統(tǒng)運行內存16 GiB，顯卡選用NVIDIA RTX 3080TiB，內存為12 GiB。實驗所用數據集包含從GTSRB數據集中選出的部分交通道路圖像數據，共包括3個大類中的14種小交通標識，圖片總數量為5 400張。交通圖像數據集的數量分布情況如圖5所示。

圖5 14種交通標識數據集的分布情況

3.2 實驗結果分析

在微光仿真環(huán)境下，對14種交通標識圖像數據集進行檢測與識別，統(tǒng)計本次優(yōu)化的R-CNN算法識別結果的準確率(見表1)。

當圖像數據集的規(guī)模較小時(如第9組、第11組、第13組、第14組)，兩種傳統(tǒng)算法也可以保持較高的圖像識別準確率；當樣本數量增加時，兩種傳統(tǒng)算法的處理性能下降，算法的識別準確率和算法的識別效率同步降低，耗時增加。3種算法的檢測訓練時間統(tǒng)計數據如表2所示。

表1 交通標識圖像識別結果的準確率對比

表2 交通標識圖像識別的耗時對比

以神經網絡為基礎的R-CNN算法在處理大規(guī)模復雜數據集時，具有較為明顯的優(yōu)勢。這主要得益于卷積層的數據處理性能及共享滑動窗口的性能。與傳統(tǒng)的交通圖像檢測與識別算法相比，優(yōu)化的R-CNN算法耗時更少、效率更高，但其數據訓練中會出現輕微的梯度損失。 R-CNN算法損失梯度值隨著數據集規(guī)模的擴大而出現了上升的趨勢，但仍保持在臨界值以下(見圖6)，算法的識別和檢測性能不會受到影響。

在夜間高速公路微光場景下，交通標識圖像的亮度、對比度的增強效果如圖7所示。

圖7 3種算法的圖像識別增強效果對比

在R-CNN算法下，圖像的亮度和對比度得到顯著增強，即使在微觀環(huán)境下，也能夠清晰地識別出高速公路的警示標識和導向標識。而在兩種傳統(tǒng)識別算法下，圖像的對比度和亮度均較弱，畫面較暗，無法清晰地識別出前方的障礙。

4 結 語

微光環(huán)境下對交通道路圖像及標識的準確識別，很大程度上影響了車輛行駛的安全性。本次研究是在深度學習算法、卷積神經網絡算法的基礎上，提出一種優(yōu)化的R-CNN交通圖像識別算法。優(yōu)化后的R-CNN算法，其優(yōu)勢在于利用滑動窗口共享卷積層，提高了數據訓練的效率；同時，還可能修正圖像預測框與實際框之間的偏差，使交通標識圖像的特征融合度達到較好水平。