余澤東,黃妙華
(1.武漢理工大學 汽車工程學院,湖北 武漢 430070;2.武漢理工大學 現代汽車零部件技術湖北省重點實驗室,湖北 武漢 430070)
無人駕駛作為未來汽車最主要的發(fā)展方向之一,在業(yè)內受到越來越多的關注,眾多高校、企業(yè)和科研單位對此做了大量的研究,逐漸形成了四大研究領域:環(huán)境感知、定位導航、路徑規(guī)劃和運動控制[1]。交通標志識別作為環(huán)境感知的研究方向之一,涉及到多個理論和學科的交叉,具有極高的研究價值[2-4]。
目前,對于交通標志的識別問題,大多數研究都是通過提取顏色、形狀、HOG(histogram of oriented gradient)、LBP(local binary pattern)等特征,并結合SVM(support vector machine)分類器或BP(back propagation)神經網絡完成的,這些方法不僅識別的實時性差,而且在強光、陰雨、形變等不利條件下無法對交通標志進行準確地識別。文獻[5]通過霍夫變換檢測圓形標志,并提取Hu不變矩和高階Zernike不變矩利用SVM進行分類識別;文獻[6]通過凸殼輪廓的Hu不變矩、周長、面積檢測待識別區(qū)域, 利用橫縱向直方圖縮放匹配進行識別;文獻[7]用小波不變矩提取形狀特征,對Gabor濾波后的圖像提取紋理特征,將兩種特征融合后,送入BP神經網絡訓練測試,完成分類識別;文獻[8]通過融合式的空間塔式算子和直方圖交叉核支持向量機(histogram intersection kernel-support vector machine,HIK-SVM)來進行分類識別;文獻[9]提取圖像的HOG和LBP特征,并將其串行融合后,通過SVM分類器完成識別。此外,一些研究人員將SIFT(scale invariant feature transform)特征與其他特征融合進行交通標志識別,這不僅加大了特征提取的難度,還降低了算法的運行效率。文獻[10]將LBP特征、SIFT特征、HOG特征線性融合后,利用SVM-NB(naive bayes)分類器進行識別。文獻[11]將基于視覺注意模型提取的顏色特征和SIFT特征融合后,與標準圖像庫進行相似度計算完成識別。
基于上述研究成果,筆者通過提取待識別圖像的SIFT特征,并與標準樣本庫進行匹配,完成交通標志的識別。與傳統(tǒng)的形狀特征、HOG特征相比,SIFT算法準確率有明顯提高,且具有較高的魯棒性,能應對各種不利條件下交通標志的識別問題。
在GTSRB(german traffic sign recognition benchmark)數據庫中,各個待識別圖像的感興趣區(qū)域已被明確標注,因此不需要再對圖像進行分割、檢測和定位。為了方便下一步的特征提取,還需要對圖像進行灰度化和灰度變換處理。
灰度化能夠有效減少圖像中的數據量,降低后續(xù)數據處理的難度。常用的圖像灰度化方法有單分量法、最大值法、加權平均法和平均值法,由于前兩種方法處理圖像的過程未考慮到人的視覺行為特性,極易受到周圍環(huán)境色彩的影響,而加權平均法的各個分量的權重參數不容易確定,因此本文通過平均值法對目標區(qū)域進行灰度化。
灰度變換是指將灰度圖像的每一個像素點的灰度值按照一定的函數關系進行轉化,其目的主要是增強圖像的對比度,減少實時環(huán)境中光照強度對畫質的影響。常用的灰度變換方法有對數變換、指數變換、直方圖均衡法和分段線性變換等,針對交通標志識別中的問題,采用分段線性變換,效果較好?;叶然突叶茸儞Q的結果如圖1所示。
圖1 灰度化與灰度變換處理效果
尺度不變特征變換(SIFT特征)在機器視覺領域有著廣泛的運用,具有尺度不變性,不隨拍攝視角的改變而改變,對于光線、噪聲等環(huán)境條件的容忍度相當高,是一種局部特征描述子[12],提取方法如下。
構建尺度空間的目的是模擬圖像數據的多尺度特征,一副二維圖像的尺度空間定義如下:
L(x,y,σ)=G(x,y,σ)×I(x,y)
(1)
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×
I(x,y)=L(x,y,kσ)-L(x,y,σ)
(2)
式中:k為尺度空間中相鄰兩層的比例因子。在DOG尺度空間中,一個檢測點在本層有8個相鄰點,在上下兩層各有9個相鄰點,比較該檢測點與相鄰的26個點的大小,如果該檢測點是最大或者最小的,就認為該檢測點為極值點。
在檢測極值點的過程中,由于要在相鄰的兩層中進行比較,因此每一組圖像的第一層和最后一層無法按上述方法檢測。為了滿足尺度變化的連續(xù)性,需要在DOG金字塔中增加兩層,即總共有S+2層圖像。而DOG金字塔是由高斯金字塔相鄰兩層之差得到,因此高斯金字塔需要增加3層,即總共有S+3層圖像,增加的這3層圖像可以通過高斯模糊在高斯金字塔的頂層生成。
上述極值點是在離散空間中檢測的,是不穩(wěn)定的,為了求得穩(wěn)定的關鍵點,需要對尺度空間DOG函數的泰勒展開式進行曲線擬合。此外,因為DOG算子具有較強的邊緣響應,所以還要剔除一些不穩(wěn)定的邊緣響應點,以提高特征匹配時的穩(wěn)定性,增強抵抗噪聲的能力。筆者主要研究SIFT識別算法,不再過多闡述擬合、求導、解方程的具體過程。
利用關鍵點鄰域像素的梯度方向分布特性為關鍵點指定方向參數。其中,任意一個像素點(x,y)處梯度的模值和方向公式如下:
(3)
θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
(4)
式中:L(x,y)為特征點位置坐標,所用的尺度為像素點所在的尺度,α為調和因子,一般取1。
將坐標軸旋轉為關鍵點的方向,以確保旋轉不變性。以關鍵點為中心,選取周圍8×8的領域窗口,計算其中所有像素點梯度的模值和方向,用高斯窗口對其進行加權運算,若像素點越靠近關鍵點,則其梯度方向的貢獻也就越大,據此形成梯度直方圖,如圖2所示。在梯度直方圖中,每45度一個柱,總共8個柱,分別代表8個方向。通過對關鍵點周圍圖像區(qū)域分塊,計算塊內梯度直方圖,生成具有獨特性的向量,這個向量是該區(qū)域圖像信息的一種抽象,具有唯一性。
圖2 梯度方向與梯度直方圖
以關鍵點為中心,計算關鍵點周圍的16×16的窗口中每一個像素的梯度,使用高斯下降函數降低遠離中心的權重。在每個4×4的1/16小窗口中,按上一步的方法,形成一個具有8個方向的梯度方向直方圖,如圖3所示。這樣每個關鍵點就生成了一個4×4×8=128維的描述子,將這個向量歸一化之后,就可以進一步去除光照的影響。
圖3 特征點128維描述子
當兩幅圖像的SIFT特征向量生成后,將采用關鍵點特征向量的歐式距離來作為兩幅圖像中關鍵點的相似性判定度量。如果直接將兩幅圖像中歐式距離最近的兩個關鍵點進行匹配,那么會產生較多的錯配點。因此筆者采用一種新的匹配方法,先取待識別圖像中的某個關鍵點,再在標準樣本圖像中找出與其在歐式距離上最近的前兩個關鍵點,在這兩個關鍵點中,如果最近的距離除以次近的距離小于某個比例閾值,那么這一對匹配點符合要求。
匹配時比例閾值通常選取在0.5~0.8之間,為了選取最合適的閾值,筆者在閾值分別為0.50,0.55,0.60,0.65,0.70,0.75,0.80時按照上述方法將待識別圖像與標準圖像進行SIFT特征匹配,得到相應的匹配對數和匹配準確率,結果如表1所示。所謂匹配準確率,不同于下面所述的識別準確率,它是指兩幅圖像中正確匹配的關鍵點數目與所有參與匹配的關鍵點數目的比值。可以看出,比例閾值越高,匹配對數就會越多,但匹配準確率會越低。在進行交通標志識別時,要求能有較多的匹配對數和較高的匹配準確率,在這種情況下,從表1中可以發(fā)現,當閾值取為0.60時,能夠取得較多的匹配對數和較高的匹配準確率,閾值大于0.60時,匹配準確率太低,閾值小于0.60時,匹配對數太少。因此筆者選取比例閾值為0.60,此時關鍵點SIFT特征匹配結果如圖4所示。
圖4 閾值為0.60時關鍵點SIFT特征匹配結果
比例閾值0.500.550.600.650.700.750.80匹配對數22264244485258匹配準確率/%98969182736659
實驗采用的圖像來自于GTSRB數據庫,該數據庫擁有從德國真實交通環(huán)境中采集的43類交通標識,包含了大量低分辨率、不同光照強度、局部遮擋、視角傾斜、運動模糊等各種不利條件下的圖像,能夠較全面地反映交通標志分類識別方法的實際應用潛力。該數據庫總共5萬多幅交通標志圖像,每幅圖像只包含一個交通標識,圖像大小從15×15像素到222×193像素不等[13],部分交通標志圖像如圖5所示。為了提高交通標志的識別準確率,筆者收集了完善的德國交通標志圖像,作為實驗的標準樣本圖像,部分標準樣本圖像如圖6所示。
圖5 GTSRB數據庫部分交通標志圖像
圖6 部分交通標志標準樣本
為了驗證SIFT算法的有效性,引入了識別準確率這個評價指標。在GTSRB數據庫中分別選取了各種特定條件下的200張待識別交通標志圖像,對每張圖片按照本文算法進行識別,根據識別結果,正確識別的圖像數目與實驗圖像的總數目(即200張)的比值即為識別準確率。算法運行環(huán)境為VS2013,編程語言為C++,實驗平臺為3.40 GHz、8 G 內存的臺式機。標準交通標志樣本庫由不同亮度下的各個交通標志的標準樣本圖像組成,并將所有圖像按照正方向、反方向各旋轉20°,每隔5°取樣一次,這樣一幅圖像又能形成8幅樣本圖像。為了簡化標準交通標志樣本庫,提高識別速度,選取其中60%的樣本圖像作為實驗時的標準樣本庫。
比較了單一的形狀特征、HOG特征和SIFT特征在不同條件下對交通標志的識別準確率,如表2所示。SIFT算法對不同類別交通標志的識別準確率,如表3所示。
表2 不同條件下各個特征識別準確率
表3 不同類別標志識別準確率
實驗結果清楚地表明,相比于傳統(tǒng)的形狀特征和HOG特征,SIFT算法的識別準確率更高,特別是在強光、陰天、形變、遮擋等不利條件下,SIFT算法擁有明顯優(yōu)勢。此外,SIFT算法對圓形標志的識別準確率要高于三角形標志。
針對交通標志識別準確率低的問題,提出了一種SIFT特征匹配識別算法,通過構建DOG尺度空間并檢測極值點、關鍵點定位、計算梯度方向、生成關鍵點描述子、特征匹配完成識別過程。SIFT算法大大提高了交通標志的識別準確率,具有較好的魯棒性,能夠應對強光、陰雨、形變、遮擋等不利環(huán)境下交通標志的識別問題,有較大的推廣運用價值。但因為SIFT特征描述子的維數太高,數據量太大,影響了特征匹配速度,導致算法效率較低,因此在保證準確率的情況下提高算法的識別效率將是下一步研究的重點。
參考文獻:
[1]陳慧巖,熊光明,龔建偉,等.無人駕駛汽車概論[M].北京:北京理工大學出版社,2014.
[2]劉占文,趙祥模,李強,等.基于圖模型與卷積神經網絡的交通標志識別[J].交通運輸工程學報,2016,16(5):122-131.
[3]王昔鵬.復雜場景下的交通標志識別技術研究[D].合肥:合肥工業(yè)大學,2017.
管理人工智能系統(tǒng)和機器人技術的法律機制分為以下幾個方面:法律責任(民事的、行政的和刑事責任);財產所有權(物權)、知識產權;交易(合同)及其自動化、勞動法;財產保險和責任;《道路交通安全法細則》、俄聯邦《航空法》、俄聯邦《內河運輸章程》、俄聯邦《海上商務航行法》、俄聯邦《行政處罰法》、國際合約規(guī)定;技術管理(產品質量證書)、許可證制度;對人工智能系統(tǒng)和機器人技術的征稅;為發(fā)展機器人技術而出臺的城市建設管理規(guī)則等法律法規(guī)[7]。
[4]彭祖勝.交通標志和信號燈實時檢測與識別技術研究[D].重慶:重慶大學,2012.
[5]張震,程偉偉,吳磊,等.基于不變矩和SVM的圓形交通標志識別方法研究[J].電子測量與儀器學報,2017,31(5):773-779.
[6]宋文杰,付夢印,楊毅.一種面向無人駕駛汽車的高效交通標志識別方法[J].機器人,2015,37(1):102-111.
[7]甘露,田麗華,李晨.基于融合特征和BP網絡的交通標志識別方法[J].計算機工程與設計,2017,38(10):2783-2787.
[8]劉亞辰,陳躍鵬,張賽碩,等.融合式空間塔式算子和HIK-SVM的交通標志識別研究[J].交通運輸系統(tǒng)工程與信息,2017,17(1):220-226.
[10]曹奧陽.交通標志識別算法研究[D].北京:北京交通大學,2017.
[11]家曉艷,許合利,郭海儒.基于視覺注意模型和SIFT的交通標志識別方法[J].河南理工大學學報(自然科學版),2014,33(3):339-343.
[12]張琪,何寧,池悅,等.基于改進的SIFT算法交通標志牌的檢測與識別[J].北京聯合大學學報,2017,31(2):59-65.
[13]梁敏健,崔嘯宇,宋青松,等.基于HOG-Gabor特征融合與Softmax分類器的交通標志識別方法[J].交通運輸工程學報,2017,17(3):151-158.