楊凱，劉如飛，崔立軍，王旻燁，柴永寧

(1.山東科技大學(xué) 測繪科學(xué)與工程學(xué)院，山東 青島 266590；2.淄博市博山區(qū)交通運輸局，山東 淄博 255200)

0 引言

近年來，隨著經(jīng)濟的發(fā)展和城市化進程的加速，交通安全問題愈加嚴(yán)峻。因此，智慧交通和無人駕駛技術(shù)得到了有關(guān)部門和學(xué)者們的高度關(guān)注和重視。而交通標(biāo)志自動識別作為智慧交通的重要組成部分，成為了研究的熱點。交通標(biāo)志的自動識別主要包括路牌的檢測定位與路牌識別2個方面[1]。其中，路牌的檢測定位是識別的基礎(chǔ)，同時也是最重要的難點問題。目前檢測方法總體上有基于交通標(biāo)志單一特征顏色特征[2]、幾何特征[3]、紋理特征[4]的檢測方式，以及基于多種特征相結(jié)合[5]的機器學(xué)習(xí)檢測方法[6-7]?；谏侍卣鳈z測的原理主要是在RGB、HSV和HIS等色彩空間上通過閾值分離出交通標(biāo)志。采用RGB色彩空間運行速度快，但易受光線影響造成失真；HSV和HIS色彩空間能避免光照影響，HSV色彩空間的3個分量(色度、飽和度、亮度)相關(guān)性不高，對其中一個分量的改變不造成其他2個分量對人視覺的影響，可分別處理，但同時其空間非線性帶來了巨大的計算量。幾何形狀特征的分類主要是采用霍夫變換方法[8]，在形狀特征檢測方面具有一定穩(wěn)定性，但其計算量偏大、局限性大。鑒于以上原因，不少學(xué)者采用了顏色特征與幾何特征相結(jié)合的方法來取長補短[9-10]，先利用顏色進行粗分類，再利用形狀特點對分類結(jié)果進行優(yōu)化細分，但在復(fù)雜的自然背景和全景影像中魯棒性不強。Liu等[11]提出了一種基于級聯(lián)檢測器、SW-Gaussian模型和形狀上下文匹配方法的多視點路標(biāo)檢測系統(tǒng)，通過SW-高斯模型進行強顏色提取，結(jié)合形狀上下文匹配方法進行匹配，具有較高的識別精度；陳亦欣等[12]采用HSV色彩空間結(jié)合仿射變換的幾何形狀矯正，減少了投影失真，有效提高了精度。目前大部分的路牌識別是基于圖像特征的機器學(xué)習(xí)，識別精度較高，具有較強的魯棒性，Kiran等[13]根據(jù)增強色調(diào)和飽和度乘積的顏色分割技術(shù)，結(jié)合支持向量機(support vector machine，SVM)分類，正確率達到96.27%；Soendoro等[14]基于顏色的CIElab色調(diào)和形狀弧結(jié)合，并使用線性cSVM對二值圖像檢測，識別正確率為97%；Liao等[15]使用支持向量機訓(xùn)練分類，利用遺傳算法實現(xiàn)形狀分類自適應(yīng)優(yōu)化，具有識別速度快、自適應(yīng)能力強等優(yōu)點。但大部分研究是基于裁剪目標(biāo)區(qū)域或者以實景相機拍攝得到的圖像作為測試樣本研究實驗，很少有人用全景影像作為測試樣本進行研究，對于廣泛應(yīng)用的全景影像需要做深入的研究。針對上述情況，本文采用移動測量車采集到的全景影像作為研究對象，重點研究全景影像中道路交通標(biāo)志牌的自動定位與識別。

本文提出了一種基于光譜特征與形狀特征定位交通標(biāo)志牌，利用機器學(xué)習(xí)算法SVM分類器分析標(biāo)志牌紋理特征，進而識別交通標(biāo)志牌類型的方法。我國交通標(biāo)志牌主要是藍色、黃色和紅色。首先通過交通標(biāo)志牌自身的顏色特征粗提取全景影像中大部分感興趣區(qū)域，使用形態(tài)學(xué)分析進一步找出感興趣區(qū)域中符合交通標(biāo)志牌形狀的候選區(qū)域，通過計算候選區(qū)域面積并設(shè)置閾值去除面積較小的噪點區(qū)域得出交通標(biāo)志牌區(qū)域；然后結(jié)合方向梯度直方圖(histogram of oriented gradients，HOG)和局部二值模式(local binary pattern，LBP)特征優(yōu)劣互補，進行HOG-LBP特征融合；最后以全景影像為測試樣本，結(jié)合SVM分類器對全景影像進行路牌的訓(xùn)練、分類和預(yù)測。該方法流程如圖1所示。

圖1 算法流程圖

1 圖像預(yù)處理

1.1 HSV色彩過濾

我國的道路路牌種類主要有紅色和黑色的交通禁令標(biāo)志、黃色和黑色的交通警告標(biāo)志以及藍色白底的交通指示標(biāo)志。根據(jù)特定顏色過濾全景影像，濾除大部分背景，方便感興趣區(qū)的快速提取?；赗GB的色彩空間對于全景影像使用方便且運行速度快，但易受光線影響。因此，本文選用更符合人類視覺生理屬性且3種分量相對獨立、抗光線干擾能力強的HSV色彩空間。

1.2 二值化及形態(tài)學(xué)運算

結(jié)合上述色彩分割后的全景影像，本文采用最大類間方差法(簡稱OTSU)對影像進行二值化[16]。針對二值化后的全景影像得到的路牌區(qū)域特征不明顯、存在一定的噪點等問題，通過數(shù)學(xué)形態(tài)學(xué)基礎(chǔ)運算對二值圖像進行開運算(結(jié)構(gòu)元素設(shè)置為2像素×2像素的矩形)，對開運算后的二值圖像連續(xù)進行2次閉運算平滑濾波；對處理后二值圖像中的特征區(qū)域進行連通性分析，設(shè)置閾值，濾除面積較小的噪聲區(qū)域[17]。

1.3 交通標(biāo)志的定位提取

通過圖像特征提取結(jié)合機器學(xué)習(xí)實現(xiàn)交通標(biāo)志的自動識別，需要對每一個交通標(biāo)志牌進行單獨提取，對提取出的特征圖像進行特征提取。路牌位置的提取方法如下：首先遍歷處理后的二值圖像，得出圖像中所有感興趣區(qū)域P1、P2、…，并計算出每一個區(qū)域的幾何中心點O1、O2、…；根據(jù)每一個中心點的坐標(biāo)，上下遍歷獲取感興趣區(qū)的上邊界Xmax和下邊界Xmin，左右遍歷獲取感興趣區(qū)的左邊界Ymin和右邊界Ymax，根據(jù)最大外接矩形裁剪全景影像中對應(yīng)區(qū)域，提取該交通標(biāo)志牌[16]。

2 LBP-HOG特征融合在SVM中分類識別

2.1 LBP-HOG特征提取

HOG特征是通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成的。HOG特征提取是對圖像局部的操作，受幾何和光學(xué)的影響較小。LBP特征主要用于解決多分辨率和旋轉(zhuǎn)情況下圖像的紋理分類問題。

對同一圖像分別進行HOG以及LBP特征的提取(圖2)，得到其方向梯度直方圖和LBP特征直方圖。HOG是將圖像分成小的連通區(qū)域(細胞單元)；然后等間隔采集細胞單元中各像素點的方位值和方向?qū)?shù)值，生成梯度方向直方圖；最后把這些直方圖組合起來并歸一化構(gòu)成特征描述子。LBP是將圖像任意像素為中心點，并以該點的像素值為閾值對八鄰域二值化處理，得出一個8位的二進制數(shù)；將二進制數(shù)轉(zhuǎn)為十進制作為該點的LBP值。

圖2 提取HOG和LBP特征示意圖

全景影像與普通圖像的主要差別在于全景影像的變形情況(圖3)，變形后的路牌在特征提取時會存在很大的差異性。對于全景圖中路牌處于變形的區(qū)域，識別難度大、精度低。為解決這一難題，本文采用多特征融合的方法提高特征維數(shù)，以提高識別精度。

圖3 原始路牌與變形后路牌

HOG特征是描述局部區(qū)域的變化形態(tài)，提取的形狀信息可以很好地描述邊緣特征。對圖像分塊分細胞單元的細化處理算法，能夠更好地描述局部像素之間的關(guān)系。HOG在復(fù)雜背景以及紋理提取方面優(yōu)勢不明顯；LBP算子計算步驟簡單、識別精度高，但單獨應(yīng)用于背景復(fù)雜的場景下圖像特征提取能力較弱且維數(shù)過高。結(jié)合二者的優(yōu)勢，并針對全景影像變形區(qū)域的情況，本文采用對HOG特征和LBP特征進行融合的方法形成優(yōu)勢互補，以提高識別精度。采用串行融合的方法對2種特征進行融合，得到最終的HOG-LBP融合特征，如式(1)所示。

Features=(FeaturesHOG，F(xiàn)eaturesLBP)

(1)

2.2 SVM的分類識別

SVM是對二元數(shù)據(jù)進行分類的分類器。處理多種類交通標(biāo)志牌時，需要構(gòu)造多類分類器。本文采用一對多法進行樣本訓(xùn)練，通過SVM分類器對實驗數(shù)據(jù)進行訓(xùn)練和測試。從實驗采集到的全景影像中的交通標(biāo)志牌制作訓(xùn)練樣本集，然后根據(jù)已經(jīng)訓(xùn)練好的樣本的數(shù)據(jù)對測試集數(shù)據(jù)進行分類識別的預(yù)測。進行圖像的分類預(yù)測需要調(diào)節(jié)相關(guān)參數(shù)，主要有核函數(shù)參數(shù)g和懲罰因子c。根據(jù)交叉驗證思想找出最優(yōu)參數(shù)g為0.094 797，c為12.796 3，交叉驗證的準(zhǔn)確度最高。

3 實驗結(jié)果與分析

本文采用搭載GNSS接收機、慣性導(dǎo)航系統(tǒng)、三維激光掃描儀和全景相機等先進傳感器的移動測量車對山東省青島市某道路進行全景影像采集。全景相機參數(shù)：單鏡頭分辨率為2 048像素×2 448像素，作業(yè)溫度在-20～50 ℃；6鏡頭拼接后分辨率為4 000像素×8 000像素，存儲溫度-30～60 ℃；幀率為15 FPS，視場角360°。共獲得全景影像1 877張，其中包含交通標(biāo)志牌(主要有方向指示、監(jiān)控區(qū)指示、禁止標(biāo)志、警告標(biāo)志等)總數(shù)為2 633個。根據(jù)采集到的交通標(biāo)志牌，選定1 800個包含各種標(biāo)志的數(shù)據(jù)集作為訓(xùn)練樣本，其余833個作為測試樣本，再從影像中選出1 000張非交通標(biāo)志牌區(qū)域作為負樣本。各類交通標(biāo)志訓(xùn)練樣本個數(shù)如表1所示，測試集直接使用全景影像作為測試樣本，以保證得到的結(jié)果更具一般性。采集到的全景影像如圖4所示。

表1 交通標(biāo)志訓(xùn)練樣本庫樣本組成 個

圖4 全景影像示例圖

從影像中裁剪出的訓(xùn)練樣本的尺寸設(shè)置為256像素×169像素，采用SVM分類器進行機器學(xué)習(xí)，實驗使用的PC配置為處理器AMD A8-7100 Radeon R5，運行內(nèi)存4 GB，主頻1.80 GHz，Windows7旗艦版64位操作系統(tǒng)。實驗分別采用HOG特征提取、LBP特征提取以及HOG-LBP融合特征提取制作訓(xùn)練集。

本文分析了訓(xùn)練樣本的數(shù)量對識別精度的影響(圖5)。圖5顯示，訓(xùn)練樣本數(shù)在400個以下時，識別正確率比較低；訓(xùn)練樣本數(shù)400個以上，識別正確率會隨樣本數(shù)增加而增大；樣本個數(shù)超過1 000時，精度變化趨于平緩。為保證識別率以及考慮訓(xùn)練樣本花費的時間，本文選定1 000張負樣本和1 800張帶有交通標(biāo)志牌的圖片作為訓(xùn)練樣本集。

圖5 正確率與訓(xùn)練樣本個數(shù)變化關(guān)系

圖6為實驗檢測識別結(jié)果圖。從圖6(a)、圖6(b)和圖6(c)可以看出，對于變形微小的方向指示牌、距離稍遠的人行橫道指示牌以及位置角度正常的減速慢行標(biāo)志可以精確定位和識別。圖6(d)由于樹枝遮擋嚴(yán)重，紋理特征提取有誤，導(dǎo)致識別錯誤。圖6(e)、圖6(f)為同一種路牌。對于無變形的圖6(e)可以準(zhǔn)確地識別；對于變形比較明顯的路牌如圖6(f)，采用HOG-LBP特征也有很好的識別效果。

圖6 HOG-LBP特征下全景影像識別結(jié)果

圖7、圖8為同一交通標(biāo)志牌分別采用單特征和融合特征進行識別的2組實驗?？梢钥闯?，對于近距離有微小變形的路牌，3種算法均能正確地識別。而對于距離較遠變形較大的路牌，單一特征就難以識別。從圖8看出，該指示牌距離全景相機較遠且視角偏差大，導(dǎo)致特征不明顯，2種特征均錯誤地識別成負樣本，圖8(c)正確地識別為監(jiān)控區(qū)。

圖7 實驗1的不同特征識別結(jié)果對比圖(近距離，小變形)

圖8 實驗2的不同特征識別結(jié)果對比圖(遠距離，大變形)

選取帶有交通標(biāo)志牌的全景影像作為測試樣本，對影像中的路牌進行自動定位與識別。實驗對600張全景影像進行測試，其中包含833個交通標(biāo)志，檢測結(jié)果所用時間和正確率如表2所示。表2顯示，本文方法識別時間略多于2種傳統(tǒng)方法，但是識別正確率明顯高于2種傳統(tǒng)方法。

表2 識別所用的時間和精度

4 結(jié)束語

本文以移動測量車采集的全景影像為研究對象，針對全景影像中的道路標(biāo)志牌，提出了一種基于光譜特征與形狀特征定位交通標(biāo)志牌，SVM分析紋理特征識別交通標(biāo)志牌類別的方法。該方法根據(jù)交通標(biāo)志牌顏色獨特性，快速定位路牌區(qū)域，再提取交通標(biāo)志牌的HOG-LBP特征進行機器學(xué)習(xí)，通過SVM分類器識別全景影像中的交通標(biāo)志牌。實驗結(jié)果表明，HOG-LBP特征融合方法有效提高了識別正確率，該算法的實現(xiàn)為全景影像中交通標(biāo)志牌的自動識別提供了一種較好的解決辦法。但是，對于遮擋情況識別率不高的問題依然存在，下一步將繼續(xù)深入研究本文算法，并針對全景影像路牌自動識別做進一步研究。