薛 搏，李 威，宋海玉，方安琪，彭京濤，王鵬杰，郭宏燁

(大連民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116605)

交通標(biāo)志識(shí)別(traffic sign recognition，TSR)是無人駕駛汽車和智能汽車等領(lǐng)域的基礎(chǔ)性技術(shù)，也是自動(dòng)輔助駕駛系統(tǒng)的關(guān)鍵技術(shù)[1]。交通標(biāo)志的檢測(cè)與識(shí)別最早開始于20世紀(jì)70年代，但發(fā)展比較緩慢，到20世紀(jì)80年代時(shí)，日本開始了道路交通標(biāo)志檢測(cè)和識(shí)別的研究，并在 1987年研發(fā)出了針對(duì)限速TSR的系統(tǒng)[2]，而到2010年左右，一些汽車已經(jīng)安裝了交通標(biāo)志檢測(cè)和識(shí)別系統(tǒng)。近年來，受智能汽車和無人駕駛汽車技術(shù)的推動(dòng)，TSR不僅成為交通學(xué)科和計(jì)算機(jī)學(xué)科的研究熱點(diǎn)[3]，也是汽車產(chǎn)業(yè)界的研究應(yīng)用熱點(diǎn)。TSR系統(tǒng)主要分為2個(gè)階段：①交通標(biāo)志檢測(cè)階段，主要利用交通標(biāo)志的顏色和形狀等信息的特殊性，從原始圖像中提取出感興趣區(qū)域(region of interest，ROI)；②交通標(biāo)志識(shí)別階段，TSR本質(zhì)上是圖像分類問題，包括特征提取和分類 2部分，其中，圖像特征提取是重點(diǎn)和難點(diǎn)。

很多學(xué)者圍繞 TSR的特征提取開展了大量工作，所完成工作的主要貢獻(xiàn)是特征提取，但由于采用不同數(shù)據(jù)集(大部分是研究者自己采集的數(shù)據(jù)集)、不同的分類方法和不同評(píng)價(jià)體系，所采用特征向量的貢獻(xiàn)無法直接量化對(duì)比，不利于該領(lǐng)域后續(xù)的進(jìn)一步研究。本文聚焦于TSR領(lǐng)域的特征提取方法，首先介紹該領(lǐng)域常用方法，然后，在同一個(gè)數(shù)據(jù)集上選擇有代表性的特征進(jìn)行提取，采用相同的評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比，以便為從事該領(lǐng)域研究的相關(guān)學(xué)者提供一個(gè)清晰的對(duì)比，為該領(lǐng)域特征向量的選擇提供依據(jù)。

1 國內(nèi)外現(xiàn)狀

1.1 數(shù)據(jù)集

長(zhǎng)期以來，制約TSR研究的一個(gè)問題是缺少領(lǐng)域內(nèi)廣泛接受的通用數(shù)據(jù)集，很多成果所完成的實(shí)驗(yàn)是在研究者自己搜集的數(shù)據(jù)集上驗(yàn)證完成。僅有的幾個(gè)數(shù)據(jù)集包括德國的GTSRB數(shù)據(jù)集[4-5]、瑞典的STS數(shù)據(jù)集[6]、比利時(shí)的KUL數(shù)據(jù)集[7]和法國的Stereopolis數(shù)據(jù)集[8]。其中STS數(shù)據(jù)集包括7種類別交通標(biāo)志、4 000幅圖像樣本，KUL包括100多種交通標(biāo)志、9 000幅圖像樣本，Stereopolis只有10個(gè)類別、847幅圖像樣本。以上3種數(shù)據(jù)集規(guī)模較小、交通標(biāo)志種類少，且圖像場(chǎng)景的多樣性不夠。GTSRB是2011年在國際會(huì)議IJCNN2011上由德國學(xué)術(shù)界和產(chǎn)業(yè)界聯(lián)合舉辦的交通標(biāo)志檢測(cè)與識(shí)別大賽所構(gòu)建的TSR數(shù)據(jù)集[9]，該數(shù)據(jù)集由5萬多幅圖像樣本組成，包括了 43種交通標(biāo)志，包含大量低分辨率、不同光照強(qiáng)度、部分遮擋、傾斜、運(yùn)動(dòng)模糊等各種不利條件下的圖像，能夠反映交通真實(shí)場(chǎng)景，且識(shí)別難度較大[10]。

Tsinghua-Tencent 100 K數(shù)據(jù)集是清華大學(xué)和騰訊公司于2015年聯(lián)合發(fā)布的一個(gè)交通標(biāo)志檢測(cè)數(shù)據(jù)集，也是國內(nèi)僅有的公開交通標(biāo)志數(shù)據(jù)集。該數(shù)據(jù)集總共包含10萬幅圖像，其中大約有1萬幅圖像包含有交通標(biāo)志，圖像分辨率高[11]。Tsinghua-Tencent 100 K數(shù)據(jù)集出現(xiàn)較晚，目前采用該數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果偏少，該數(shù)據(jù)集清晰，實(shí)現(xiàn)難度要低于GTSRB數(shù)據(jù)集[12]。

圖1顯示的GTSRB數(shù)據(jù)集中的圖像來源于真實(shí)場(chǎng)景，經(jīng)檢測(cè)并保存為獨(dú)立的交通標(biāo)志圖像。該數(shù)據(jù)集中圖像的質(zhì)量區(qū)別很大，而且大部分圖像清晰度很差，以至于很多圖像即便交通專家也無法識(shí)別，其是TSR技術(shù)應(yīng)用的真實(shí)場(chǎng)景，準(zhǔn)確識(shí)別難度較大，本文實(shí)驗(yàn)部分會(huì)給出采用不同特征的識(shí)別效果。

圖1 GTSRB數(shù)據(jù)集中的交通標(biāo)志樣例

盡管 2011年之后，GTSRB已經(jīng)成為國內(nèi)外TSR領(lǐng)域應(yīng)用最廣泛的TSR數(shù)據(jù)集，但由于多種原因，該領(lǐng)域已發(fā)表成果所使用實(shí)驗(yàn)數(shù)據(jù)集依然呈現(xiàn)多樣性，或采用較小規(guī)模數(shù)據(jù)集，或研究者自己搜集數(shù)據(jù)集，因此，不同方法之間很難直接比較性能。基于GTSRB數(shù)據(jù)種類多、樣本規(guī)模大、包含各種復(fù)雜場(chǎng)景、識(shí)別難度大等特點(diǎn)，本文所完成的實(shí)驗(yàn)均采用該數(shù)據(jù)集完成。

1.2 評(píng)價(jià)指標(biāo)

現(xiàn)有文獻(xiàn)中，TSR評(píng)價(jià)指標(biāo)有3種評(píng)價(jià)指標(biāo)體系：①采用查準(zhǔn)率(Precision)、查全率(Recall)、F1-measure和 N+[13]；②采用均值平均精度(mean average precision，MAP)；③采用精度(Accuracy)。因?yàn)門SR本質(zhì)上是圖像分類問題，而以上3種評(píng)價(jià)指標(biāo)均為分類評(píng)價(jià)指標(biāo)，所以，理論上這 3種評(píng)價(jià)指標(biāo)均可采用。但第①種評(píng)價(jià)指標(biāo)更適合于多標(biāo)簽圖像分類、圖像標(biāo)注和圖像檢索等領(lǐng)域；第②種評(píng)價(jià)指標(biāo)較多應(yīng)用于信息檢索領(lǐng)域，定量分析了同一個(gè)對(duì)象多個(gè)標(biāo)簽的相關(guān)性的次序；第③種評(píng)價(jià)指標(biāo)計(jì)算的是測(cè)試樣本的正確分類率(correct classification rate，CCR)，適用于單標(biāo)簽對(duì)象分類，如深度學(xué)習(xí)網(wǎng)絡(luò)模型默認(rèn)的功能是單標(biāo)簽對(duì)象分類問題，因此，目前的深度學(xué)習(xí)模型所提供的性能評(píng)價(jià)指標(biāo)往往都是精度(accuracy)。

TSR在檢測(cè)之后，每個(gè)識(shí)別對(duì)象都是單標(biāo)簽對(duì)象，TSR問題屬于單標(biāo)簽多類分類問題，因此，盡管前2種也可以分析 TSR性能，但更能準(zhǔn)確刻畫TSR性能的指標(biāo)是精度(accuracy)。IJCNN2011所舉辦的交通標(biāo)志數(shù)據(jù)集識(shí)別競(jìng)賽中所采用的評(píng)價(jià)指標(biāo)為樣本的 CCR，即分類精度(accuracy)。但由于目前文獻(xiàn)更多選用第一種評(píng)價(jià)指標(biāo)體系，本文所完成的實(shí)驗(yàn)同時(shí)給出這2種評(píng)價(jià)指標(biāo)結(jié)果。

1.3 分類模型

影響TSR效果的除了特征向量外，就是分類/識(shí)別模型，但不同方法往往采用不同的分類技術(shù)，甚至有的方法采用多種分類技術(shù)分階段完成。如支持向量機(jī)(support vector machine，SVM)[14]、AdaBoost[15]、隨機(jī)森林(random forest，RF)[16]等。TSR性能是對(duì)特征向量和分類模型的綜合性能評(píng)價(jià)，分類方法不同，則難以量化特征向量的貢獻(xiàn)。為定量分析特征向量對(duì)TSR的貢獻(xiàn)，對(duì)于任何特征向量，本文均采用完全相同的分類模型。

本文統(tǒng)一采用模型復(fù)雜度較低的 K近鄰(K nearest neighbor，KNN)分類方法，旨在突出特征向量對(duì)最終性能的影響，但圖像相似度計(jì)算可以選用L1距離(街區(qū)距離)、L2距離(歐式距離)或余弦距離，對(duì)于每種特征向量均選擇效果最優(yōu)的距離公式。

2 特征提取綜述

TSR是在交通標(biāo)志檢測(cè)后得到的交通標(biāo)志感興趣區(qū)域 ROI的分布和定位的基礎(chǔ)上，通過識(shí)別算法來進(jìn)一步確定標(biāo)志的具體類型。識(shí)別過程一般包括 2部分：①特征提取，即提取交通標(biāo)志感興趣區(qū)域的特征信息；②交通標(biāo)志分類，即將交通標(biāo)志感興趣區(qū)域的類別信息進(jìn)行判斷。在自然場(chǎng)景中，光照、天氣、背景干擾、運(yùn)動(dòng)模糊、遮擋和標(biāo)志不全等問題，給TSR系統(tǒng)的研究帶來了非常大的挑戰(zhàn)。

近年來研究者提出了很多TSR方法，傳統(tǒng)的方法主要是采用人工特征和機(jī)器學(xué)習(xí)相結(jié)合的方法。采用的人工特征有各種顏色特征[17]，尺度不變特征變換特征(scale-invariant feature transform，SIFT)[18]、方向梯度直方圖特征(histogram of oriented gradient，HOG)[19-20]、Haar-like 特征[21]、Gabor小波特征[22]、不變矩[23-24]等。

盡管TSR領(lǐng)域已經(jīng)嘗試了各種人工特征，但大多數(shù)成果是在改進(jìn)特征的同時(shí)也改進(jìn)了分類模型[18,20,24-25]，或多種特征融合[18-19,26]，或多種特征級(jí)聯(lián)[27-28]。

以上特征都是人工提取的底層特征直接表示圖像。2003年后，在計(jì)算機(jī)視覺領(lǐng)域，在底層特征基礎(chǔ)之上視覺詞袋(bags of words，BOW)稀疏編碼方法給計(jì)算機(jī)視覺領(lǐng)域各種應(yīng)用帶來了不同程度的性能提升，此后近10年里，以BOW為代表的稀疏編碼表示方法表現(xiàn)出了明顯的優(yōu)越性，直到2012年深度學(xué)習(xí)的出現(xiàn)之前基于SIFT的BOW模型一直被視為最優(yōu)秀的特征表示方法[29]。也有很多學(xué)者嘗試把BOW模型用于TSR[30]。還有一些學(xué)者把塔式詞袋直方圖(pyramid historgram of visual words，PHOW)、塔式邊緣方向梯度直方圖(pyramid histogram of oriented gradient，PHOG)等與其他底層特征相結(jié)合用于交通標(biāo)志識(shí)別[31]。

TSR領(lǐng)域是較早使用深度學(xué)習(xí)技術(shù)的領(lǐng)域之一，雖然2012年提出的通用圖像分類模型AlexNet被公認(rèn)為是最早取得成功的深度學(xué)習(xí)模型，但事實(shí)上，早在一年前的IJCNN2011的TSR競(jìng)賽中，很多排名靠前的方法均采用了卷積神經(jīng)網(wǎng)絡(luò)方法，其中就包括因深度學(xué)習(xí)而獲得 2018年圖靈獎(jiǎng)的LeCun及其團(tuán)隊(duì)的成果，其提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)用于識(shí)別交通標(biāo)志并取得了很大成功[32]，但目前該領(lǐng)域所提出或采用的大多數(shù)深度學(xué)習(xí)模型往往都是其他特征向量或復(fù)雜的分類模型相結(jié)合[32-33]。

3 本文特征提取實(shí)驗(yàn)與分析

3.1 基于顏色特征的實(shí)驗(yàn)

區(qū)域選擇方法包括全局特征、區(qū)域特征、局部特征，提取內(nèi)容包括顏色信息、紋理信息和形狀信息，區(qū)域和局部特征所提取的原始特征往往還要通過稀疏編碼方法表示。本文淡化各種特征向量的原理和提取方法，而聚焦于在相同數(shù)據(jù)集上不同特征向量在TSR效果上的對(duì)比。

不論國內(nèi)還是國外的交通標(biāo)志，一般都具有特定的醒目的顏色，因此基于顏色的特征是交通標(biāo)志的重要特征，也被很多研究者所使用。彩色圖像中顏色信息最豐富、提取方法最簡(jiǎn)單，而且，由于顏色直方圖等特征具有縮放、旋轉(zhuǎn)和平移不變性的特點(diǎn)，因此，成為計(jì)算機(jī)視覺領(lǐng)域最常用的特征之一。顏色信息可以在不同的顏色空間中表示，如RGB空間、HSV空間和Lab空間，其中，RGB更加適合于硬件設(shè)備表示場(chǎng)合，而 HSV和Lab更適合于人的視覺感知描述場(chǎng)合[34]。由于顏色直方圖對(duì)觀察視角和縮放變換有很強(qiáng)的健壯性[35]，已成為計(jì)算機(jī)視覺領(lǐng)域最常用的視覺特征向量之一。在RGB、HSV和Lab3種顏色空間上提取顏色直方圖，每個(gè)通道提取16維直方圖，每種顏色空間形成48維的顏色直方圖。此外，提取3種顏色空間每個(gè)通道的均值和方差，每種顏色空間形成6維的特征向量。

SWAIN和BALLARD[35]于1991年首次把顏色直方圖用于圖像檢索中，認(rèn)為顏色直方圖對(duì)觀察視角變化和縮放也有很強(qiáng)的健壯性。表1的實(shí)驗(yàn)結(jié)果表明，盡管顏色直方圖簡(jiǎn)單且有很好的健壯性，但其特征往往受到了成像環(huán)境的影響，如光照變化等，在TSR中顏色直方圖效果并不理想。而全局顏色統(tǒng)計(jì)量由于統(tǒng)計(jì)信息過于簡(jiǎn)單，其效果明顯低于顏色特征向量。

從表1的實(shí)驗(yàn)結(jié)果看出，在對(duì)全局顏色特征向量進(jìn)行提取的情況下，采用3種顏色空間中的任意一種，得到的各項(xiàng)評(píng)價(jià)指標(biāo)的值的差別很小，為了進(jìn)一步驗(yàn)證顏色空間對(duì)識(shí)別結(jié)果的影響，本文將交通標(biāo)志中的43個(gè)子類別在3種顏色空間下分別進(jìn)行顏色直方圖特征的提取，得到其 F1值對(duì)應(yīng)的柱狀圖如圖2所示。

表1 全局顏色特征向量實(shí)驗(yàn)結(jié)果

圖2 3種不同顏色空間下顏色直方圖特征向量的性能比較

圖2表明，在交通標(biāo)志領(lǐng)域，顏色直方圖向量特征提取過程中，不同顏色空間特征向量的總體性能差異很小，在不同子類型上也沒有明顯的規(guī)律。因此，顏色特征空間的選擇不應(yīng)該成為特征提取階段重點(diǎn)考慮因素。

基于全局特征存在的不足，在TSR中更多學(xué)者采用分塊方法，本文把圖像等分為 16塊，提取各個(gè)圖塊特征向量，然后拼接成整幅圖像的特征向量，所完成的TSR效果見表2。表2中各特征提取方法與表1中對(duì)應(yīng)方法相同，區(qū)別在于表2為分塊處理。無論直方圖方法還是顏色統(tǒng)計(jì)量方法，分塊提取效果均優(yōu)于全局特征提取方法，特別是分塊顏色統(tǒng)計(jì)量方法明顯優(yōu)于全局顏色統(tǒng)計(jì)量特征提取方法。

表2 分塊顏色特征向量實(shí)驗(yàn)結(jié)果

最早期的計(jì)算機(jī)視覺領(lǐng)域研究中，往往采用全局描述子作為圖像特征表示，此后，針對(duì)存在的不足，相繼提出了區(qū)域描述和局部描述等[35]。當(dāng)通過交通標(biāo)志檢測(cè)后，TSR往往是單對(duì)象分類問題，因此，理論上采用全局描述子作為特征向量進(jìn)行交通標(biāo)志分類是可行的。但通過對(duì)比表2和表1不難發(fā)現(xiàn)，基于分塊的區(qū)域特征描述方法效果遠(yuǎn)優(yōu)于全局特征，主要是由于GTSRB在多種不同天氣、速度、光照等實(shí)際場(chǎng)景中成像，成像效果受清晰度、遮擋等影響，因此，全局描述子的實(shí)際效果往往不如區(qū)域描述子效果。

3.2 基于紋理和形狀特征的實(shí)驗(yàn)

紋理是在對(duì)象的表面表示、區(qū)域區(qū)分和對(duì)象識(shí)別等應(yīng)用中最重要的屬性，因此，在計(jì)算機(jī)視覺領(lǐng)域，紋理是僅次于顏色的最常用的特征表示，最常用的紋理特征表示包括 Gabor小波和 SIFT(scale-invariant feature transform)。Gabor小波特征提取方法為，首先使用12個(gè)Gabor濾波器(濾波器因子在3個(gè)尺度、4個(gè)不同方向變化)完成整幅圖像的濾波，然后，把圖像等分為 16個(gè)圖塊，計(jì)算每個(gè)圖塊濾波結(jié)果的均值和方差，從而形成 24維的Gabor小波特征向量。SIFT特征提取方法為，首先把原始圖像柵格化等分為 16個(gè)圖塊，提取每個(gè)圖塊的中心點(diǎn)作為種子點(diǎn)，統(tǒng)計(jì)每個(gè)中心點(diǎn)8個(gè)方向的向量信息，從而每個(gè)圖塊提取出一個(gè)128維度特征向量，整幅圖像的SIFT特征向量為2 048維?；贐OW方法在計(jì)算機(jī)視覺領(lǐng)域的巨大成功，在提取SIFT基礎(chǔ)之上，采用SIFT向量聚類等方法構(gòu)造視覺詞典，從而把每幅圖像表示成BOW所表示的稀疏特征向量，其效果見BOW(SIFT)效果。

形狀是描述對(duì)象最重要的特征，高質(zhì)量的形狀特征依賴于高質(zhì)量的圖像分割，受制于當(dāng)前圖像分割質(zhì)量制約，無論基于邊界的形狀信息描述質(zhì)量往往不高，因此，在計(jì)算機(jī)視覺領(lǐng)域往往采用基于圖像分割后的區(qū)域特征的形狀信息，本文比較了交通標(biāo)志識(shí)別領(lǐng)域應(yīng)用較多的 Canny形狀特征、HOG特征、Hu矩。Canny形狀特征，首先使用 Canny算子進(jìn)行邊緣檢測(cè)，然后，把圖像16等分，計(jì)算每個(gè)圖塊內(nèi)容邊緣方向信息(角度步長(zhǎng)為 45°，共8個(gè)角度)，統(tǒng)計(jì)邊緣方向每個(gè)生成一個(gè)8維的直方圖，整幅圖像形成128維的特征向量。HOG特征采用 GTSRB數(shù)據(jù)集附帶的特征向量，維數(shù)為1 568維[36]。Harr-like特征采用GTSRB數(shù)據(jù)集附帶的特征向量，維數(shù)為 11 584[36]。不變矩(invariant moments)是一種高度濃縮的圖像特征，具有平移、灰度、尺度、旋轉(zhuǎn)不變性，Hu矩是不變矩的代表性方法。其提取方法，首先把原始圖像柵格化等分為16個(gè)圖塊，然后，計(jì)算每塊的7階矩，從而形成112維的特征向量。

表3中，SIFT特征并未采用傳統(tǒng)的高斯微分方法(difference of Gaussian，DoG)[34]等方法檢測(cè)顯著點(diǎn)(saliency)，而是選取各個(gè)圖塊中心點(diǎn)作為顯著點(diǎn)，歸功于SIFT特征具有縮放、平移和旋轉(zhuǎn)不變性，而且具有光照和拍照視角的部分不變性等[37-40]，SIFT描述子的效果明顯優(yōu)于其他方法。但與傳統(tǒng)的計(jì)算機(jī)視覺領(lǐng)域應(yīng)用不同的是，采用BOW編碼的表示方法并未在SIFT基礎(chǔ)上提升性能反而明顯降低，究其原因在于每幅圖像柵格化后圖塊個(gè)數(shù)過少，主要由于 BOW 方法表示的特征向量過于稀疏造成的。

基于SIFT特征的TSR的總體性能明顯優(yōu)于其他手工特征，圖3進(jìn)一步比較了SIFT和另外2種性能較好的手工特征HOG和Haar-like在各個(gè)子類別上的性能。如圖3所示，在GTSRB交通標(biāo)志數(shù)據(jù)集中，除第22類外，在其他42個(gè)類別中，SIFT特征明顯優(yōu)于其他 2種特征，說明SFIT特征對(duì)各種視覺特征均具有較強(qiáng)的描述能力和區(qū)分能力。另外，SIFT特征的縮放、平移和旋轉(zhuǎn)不變性，以及具有光照和視角的部分不變性，使其能夠適應(yīng)于各種復(fù)雜實(shí)際場(chǎng)景。因此，在諸多手工特征中，基于SIFT的特征應(yīng)該是重點(diǎn)研究和應(yīng)用對(duì)象。

表3 紋理和形狀特征向量實(shí)驗(yàn)結(jié)果

圖3 基于SIFT、HOG和Haar-like特征提取方法的性能比較

3.3 基于深度特征的實(shí)驗(yàn)

2012年后，基于深度學(xué)習(xí)的特征在計(jì)算機(jī)視覺領(lǐng)域的多種應(yīng)用中取得突破性進(jìn)展，本文使用深度學(xué)習(xí)領(lǐng)域最有代表性的 AlexNet、VGG16和Inception 3個(gè)模型完成交通標(biāo)志的特征提取及識(shí)別。AlexNet是第一個(gè)在通用數(shù)據(jù)集中取得顯著效果的深度學(xué)習(xí)模型，VGG16是目前為止圖像分類等領(lǐng)域使用最頻繁的模型，盡管其模型復(fù)雜度并不高，但實(shí)際效果往往好于很多復(fù)雜度高的深度學(xué)習(xí)模型，Inception網(wǎng)絡(luò)是一種更復(fù)雜的網(wǎng)絡(luò)模型，可以在同一層中學(xué)習(xí)不同大小的卷積特征。對(duì)于每種深度學(xué)習(xí)模型，分別采用種不同方式完成特征提取和分類：①端到端的方式，通過訓(xùn)練好的深度學(xué)習(xí)模型直接得到圖像的分類結(jié)果(網(wǎng)絡(luò)模型給出accuracy性能指標(biāo))，即端到端分類；②提取訓(xùn)練好的深度學(xué)習(xí)模型的全連接特征，而不是直接得到分類結(jié)果，并采用KNN方法完成交通標(biāo)志候選區(qū)域的識(shí)別。

本文所采用的 3個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)模型都在ImageNet2012上進(jìn)行過預(yù)訓(xùn)練，然后，采用GTSRB的訓(xùn)練數(shù)據(jù)集完成了模型微調(diào)，表4中任何一個(gè)模型均提取2種特征，如AlexNet為采用AlexNet提取特征，并完成端到端的分類(方法為Softmax)，而AlexNet-FC7表示采用 AlexNet模型的全連接層(FC7)的生成圖像的特征向量，然后再使用KNN完成測(cè)試圖像的分類。Inception-FC表示Inception網(wǎng)絡(luò)的最后一個(gè)全連接層(FC)作為特征向量。

表4 深度特征向量實(shí)驗(yàn)結(jié)果

如表4所示，得益于高質(zhì)量的深度特征，即是采用最簡(jiǎn)單的KNN分類模型，也可以取得較好的識(shí)別效果。若進(jìn)一步設(shè)計(jì)針對(duì)性強(qiáng)的復(fù)雜的分類模型等，基于通用深度學(xué)習(xí)模型的TSR效果有望取得較理想效果。

從表5的第1~7行可以看出，即使在光線強(qiáng)度和成像角度變化較大，以及噪聲顯著的場(chǎng)景中，VGG16的總體性能依然很高，表現(xiàn)出較強(qiáng)的魯棒性，其識(shí)別性能已經(jīng)超過了人類專家。但在個(gè)別類型的圖像中，如最后一行，SIFT特征依然能優(yōu)于VGG16等深度特征，說明盡管深度特征總體上明顯優(yōu)于手工特征，但高質(zhì)量手工特征可以有較強(qiáng)的針對(duì)性。因此，如何設(shè)計(jì)統(tǒng)一框架使深度特征和手工特征相結(jié)合，使 2類特征優(yōu)勢(shì)互補(bǔ)，以便應(yīng)用于復(fù)雜應(yīng)用場(chǎng)景，將成為今后TSR領(lǐng)域的研究重點(diǎn)。

表5 針對(duì)不同特征的檢測(cè)結(jié)果比較

4 總結(jié)

TSR是單對(duì)象識(shí)別，理論上全局特征描述是可行的，但實(shí)際交通環(huán)境成像存在光照、形變遮擋等情況，從而導(dǎo)致全局特征健壯性較差。因此，人工特征的設(shè)計(jì)應(yīng)該更傾向于區(qū)域特征。在通用圖像分類等領(lǐng)域取得較大成功的BOW模型，并未在TSR中表現(xiàn)出明顯優(yōu)勢(shì)，反而低于底層的SIFT特征。人工特征中，SIFT特征明顯優(yōu)于其他底層特征，與SIFT的一些通用優(yōu)點(diǎn)有關(guān)，也與交通標(biāo)志數(shù)據(jù)集特點(diǎn)有關(guān)，SIFT更善于刻畫和區(qū)分交通標(biāo)志的關(guān)鍵特征。針對(duì)交通標(biāo)志數(shù)據(jù)集的特點(diǎn)，聚焦局部顯著點(diǎn)，設(shè)計(jì)具有更強(qiáng)的表現(xiàn)能力和區(qū)分能力的顯著點(diǎn)特征表示方法，可以成為今后人工特征研究的重點(diǎn)。

在GTSRB數(shù)據(jù)集上的實(shí)驗(yàn)表明，很多學(xué)者在基于深度學(xué)習(xí)的TSR研究方面做了有益探索，或提出了新的模型，或改進(jìn)了原有通用模型，或人工特征和深度特征相結(jié)合，或在深度特征基礎(chǔ)之上采用復(fù)雜分類方法，但實(shí)際效果并未取得明顯優(yōu)于VGG16等通用模型的結(jié)果。因此，在研究通用模型基礎(chǔ)之上，融合多種現(xiàn)有經(jīng)典網(wǎng)絡(luò)模型，或基于通用模型的深度特征設(shè)計(jì)合適的分類模型等，都可以成為該領(lǐng)域的研究?jī)?nèi)容。

本文采用相同數(shù)據(jù)集、相同分類模型、相同評(píng)價(jià)指標(biāo)完成了主要特征向量的實(shí)驗(yàn)對(duì)比，為今后該領(lǐng)域研究者的特征選擇提供了依據(jù)，也希望能夠?qū)υ擃I(lǐng)域相關(guān)學(xué)者的后續(xù)深入研究提供參考。在后續(xù)的相關(guān)工作中，將對(duì)多個(gè)手工特征的組合進(jìn)行實(shí)驗(yàn)，并試圖提取更深層次的深度特征，以期得到綜合的分析比較數(shù)據(jù)，再結(jié)合時(shí)間因素進(jìn)行總體分析。