陳葉舟

（西南大學(xué) 西塔學(xué)院，重慶400715）

交通標(biāo)志是道路基礎(chǔ)設(shè)施的重要組成部分，它們?yōu)榈缆肥褂谜咛峁┝艘恍╆P(guān)鍵信息，并要求駕駛員及時(shí)調(diào)整駕駛行為，以確保遵守道路安全規(guī)定。若是沒(méi)有交通標(biāo)志，可能會(huì)發(fā)生更多的事故，由于司機(jī)沒(méi)法獲知最高安全速度是多少，不了解道路狀況，好比急轉(zhuǎn)彎、危險(xiǎn)路段等等。近年內(nèi)，每一年大約有130萬(wàn)人死在道路上。

如果沒(méi)有這些道路標(biāo)志，這個(gè)數(shù)字肯定會(huì)更高。固然，自動(dòng)駕駛車輛也必需遵照交通法規(guī)，因而必須掌握辨認(rèn)和理解交通標(biāo)志的能力。

交通標(biāo)志識(shí)別是類別頻率不平衡的多類別分類問(wèn)題。這是一個(gè)具有高度實(shí)用意義的具有挑戰(zhàn)性的現(xiàn)實(shí)世界計(jì)算機(jī)視覺(jué)問(wèn)題，幾十年來(lái)一直是研究課題。關(guān)于此主題的許多研究已經(jīng)發(fā)表，但是仍舊有很多的問(wèn)題待改進(jìn)的地方，道路標(biāo)志的設(shè)計(jì)遵循明確的設(shè)計(jì)原則，使用不同的顏色，形狀，圖標(biāo)和文本來(lái)幫助駕駛員識(shí)別。這些允許類之間的廣泛變化，使具有相同一般含義的標(biāo)志（例如各種速度限制）擁有共同的一般外觀，從而導(dǎo)致交通標(biāo)志的子集彼此非常相似。照明變化，部分遮擋，旋轉(zhuǎn)和天氣情況進(jìn)一步增加了分類器必須應(yīng)對(duì)的視覺(jué)外觀變化范圍。

1 背景介紹

1.1 交通標(biāo)志數(shù)據(jù)集介紹

本創(chuàng)采用德國(guó) GTSRB [1]數(shù)據(jù)集為本次交通標(biāo)志識(shí)別研究中的數(shù)據(jù)集，是一個(gè)樣本充足，標(biāo)準(zhǔn)的，受國(guó)際認(rèn)可的，且被廣泛使用的數(shù)據(jù)集；同時(shí)，該數(shù)據(jù)集中所有的交通標(biāo)志圖片皆來(lái)源于實(shí)際生活中的取景，共有51,840 張德國(guó)道路標(biāo)志圖片，50% 為訓(xùn)練集（34799 張圖片），25%為驗(yàn)證集（4410 張圖片），25%為測(cè)試集（12630 張圖片）。圖像大小不定：15（寬）×15（高）×3（RGB彩色通道）-250×250×3。

該數(shù)據(jù)集共有43 個(gè)種類（例如限速20 公里/小時(shí)、禁止進(jìn)入、顛簸路等等），其中增加了照明變化，部分遮擋等多種情況，每個(gè)現(xiàn)實(shí)世界的交通標(biāo)志只會(huì)出現(xiàn)一次。

圖1 GTSRB 數(shù)據(jù)集示例[1]

1.2 VGG-16 網(wǎng)絡(luò)介紹

VGG 是Oxford 的Visual Geometry Group，K. Simonyan 和A. Zisserman 在ILSVRC 2014 提出的高性能卷積神經(jīng)網(wǎng)絡(luò)，并發(fā)表論文《Very Deep Convolutional Networks for Large-Scale Image Recognition》[2]，共有兩種結(jié)構(gòu)，分別是VGG16 和VGG19，兩者并無(wú)本質(zhì)上的區(qū)別，只是網(wǎng)絡(luò)深度不一樣。

1.2.1 VGG 16 的結(jié)構(gòu)

VGG 16 的結(jié)構(gòu)包含了16 個(gè)隱藏層（13 個(gè)卷積層和3 個(gè)全連接層）

1.2.2 VGG 16 的特性

VGGNet 的結(jié)構(gòu)非常簡(jiǎn)潔，整個(gè)網(wǎng)絡(luò)都使用了同樣大小的卷積核尺寸（3x3）和最大池化尺寸（2x2）

幾個(gè)小濾波器（3x3）卷積層的組合比一個(gè)大濾波器（5x5 或7x7）卷積層好

驗(yàn)證了通過(guò)不斷加深網(wǎng)絡(luò)結(jié)構(gòu)可以提升性能

VGG 耗費(fèi)更多計(jì)算資源，并且使用了更多的參數(shù)，訓(xùn)練花費(fèi)及其消耗時(shí)間

圖2 VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)[2]

1.3 Resnet 網(wǎng)絡(luò)介紹

隨著網(wǎng)絡(luò)深度的不斷增加，模型精度卻并沒(méi)有一直提升，并且這個(gè)問(wèn)題顯然不是完全由過(guò)擬合（overfitting）造成的，因?yàn)榫W(wǎng)絡(luò)加深后不僅測(cè)試誤差變高了，它的訓(xùn)練誤差也變高了,這可能是因?yàn)楦畹木W(wǎng)絡(luò)會(huì)因?yàn)樘荻认?爆炸問(wèn)題，從而阻礙網(wǎng)絡(luò)的收斂。也就是說(shuō), 網(wǎng)絡(luò)的性能隨著深度的增加出現(xiàn)了明顯的退化。ResNet[3]就是為了解決這種退化問(wèn)題而誕生的。ResNet主要有五種主要形式：Res18，Res34，Res50，Res101，Res152；每個(gè)網(wǎng)絡(luò)都包括三個(gè)主要部分：輸入和輸出部分，中間卷積部分,網(wǎng)絡(luò)之間的不同主要在于中間卷積部分的殘差塊參數(shù)和個(gè)數(shù)存在差異。

圖3 Resnet 中的殘差塊結(jié)構(gòu)[3]

圖4 Depthwise convolution 和pointwise convolution[4]

1.4 Mobile_net 網(wǎng)絡(luò)介紹

Mobile_ne[4]是谷歌提出的一種小巧而高效的CNN 模型，在保持模型性能（accuracy）的前提下降低模型大?。╬arameters size），同時(shí)提升模型速度（speed, low latency). MobileNet 的基本單元是深度級(jí)可分離卷積（depthwise separable convolution)，一種可分解卷積操作（factorized convolutions），其可以分解為兩個(gè)更小的操作：depthwise convolution 和pointwise convolution, 會(huì)大大減少計(jì)算量和模型參數(shù)量。

2 實(shí)驗(yàn)過(guò)程

2.1 解決數(shù)據(jù)集分布不均的問(wèn)題

圖5 數(shù)據(jù)集中每類圖片的分布情況

由上圖可知，數(shù)據(jù)集在43 個(gè)種類上的分布嚴(yán)重不均衡，有的種類[如：第1 類：speed limit（30km/h）]圖片數(shù)量超過(guò)了2000張，而有的種類[如：第19 類：Dangerous curve to the left]種類卻少于500 張。這種分布不均的情況會(huì)導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練和測(cè)試時(shí)，因某一種類樣本更為充足和豐富而在這一類之中取得更好的測(cè)試結(jié)果，反之因某些類樣本不足，最終導(dǎo)致整體的測(cè)試集上的識(shí)別正確率不佳。

所以，在利用numpy 庫(kù)中sum 函數(shù)，保證選出的數(shù)據(jù)種類分布均衡的前提下，選出訓(xùn)練集中的20000 張圖片作為最終的訓(xùn)練集，選出驗(yàn)證集中的2000 張作為最終的驗(yàn)證集，此舉也同樣可以一定程度上減少因計(jì)算量過(guò)大所耗費(fèi)的訓(xùn)練時(shí)間。

2.2 數(shù)據(jù)集預(yù)處理

2.2.1 圖像大小的統(tǒng)一化

原數(shù)據(jù)集中中圖片大小不均等，大小為：15（寬）×15（高）×3（RGB 彩色通道）-250×250×3。為了使圖片能夠輸入上述三種卷積神經(jīng)網(wǎng)絡(luò)，故采用reshape 講數(shù)據(jù)集中所有的圖像變?yōu)椋?24×224×3 的格式。

2.2.2 圖像歸一化

對(duì)輸入為RGB 三通道的圖片去各個(gè)維度的均值，是在利用神經(jīng)網(wǎng)絡(luò)解決圖片問(wèn)題時(shí)，常見(jiàn)的圖片預(yù)處理操作。該操作可以使圖像數(shù)據(jù)集的分布劇中，有利于模型對(duì)圖像進(jìn)行統(tǒng)一處理。

同時(shí)，采用的三個(gè)維度的均值為：103.939，116.779，123.68，三者是來(lái)自ImageNet 數(shù)據(jù)集中所有的平均三通道值。

2.3 對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的改變

為了更好的進(jìn)行對(duì)于交通標(biāo)志的識(shí)別，對(duì)上述的三種網(wǎng)絡(luò)，按照控制變量法，我們對(duì)其結(jié)構(gòu)進(jìn)行了如下改變。

2.3.1 Flatten 層的使用

在上述的網(wǎng)絡(luò)結(jié)構(gòu)中，若不進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的改變，原始輸出的數(shù)據(jù)是多維，無(wú)法進(jìn)行下一步的操作，故添加flatten 層使多維數(shù)據(jù)變成一維，可以理解成“壓平”，完成從卷積層到全連接層的過(guò)度。

2.3.2 Dense 層的使用

Dense 層的作用等同于全連接層（Fully Connected Layers），在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用，上述三種網(wǎng)絡(luò)中只包含了卷積層和池化層，將原始數(shù)據(jù)映射到隱層特征空間，全連接層則起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用。

在實(shí)驗(yàn)中，我們?cè)O(shè)置dense 層的尺寸為32。

2.3.3 Dropout 算法的使用[5]

Dropout 將在訓(xùn)練過(guò)程中每次更新參數(shù)時(shí)按一定概率隨機(jī)斷開(kāi)輸入神經(jīng)元，這樣可以使模型泛化性更強(qiáng)，因?yàn)樗粫?huì)太依賴某些局部的特征, 所以可以用于防止過(guò)擬合。

在實(shí)驗(yàn)中，我們?cè)O(shè)置了dropout 的概率為：0.5。

2.4 訓(xùn)練過(guò)程

2.4.1 學(xué)習(xí)率，優(yōu)化算法的選擇

在實(shí)驗(yàn)中，我們選擇了SGD（stochastic gradient descent）[7]為優(yōu)化器，SGD 就是每一次迭代計(jì)算mini-batch 的梯度，然后對(duì)參數(shù)進(jìn)行更新，是最常見(jiàn)的優(yōu)化方法了，并利用momentum 項(xiàng)[6]（模擬物理里動(dòng)量的概念）能夠在相關(guān)方向加速SGD，積累之前的動(dòng)量來(lái)替代真正的梯度，抑制振蕩，從而加快收斂。

缺點(diǎn)：實(shí)驗(yàn)初始，很難選擇合適的Learning Rate[8]，需要不斷的根據(jù)實(shí)驗(yàn)結(jié)果對(duì)Learning Rate 此參數(shù)進(jìn)行調(diào)整。

優(yōu)點(diǎn)：在好的初始化和學(xué)習(xí)率調(diào)度方案的情況下，采用SGD 優(yōu)化器所得到的結(jié)果更可靠。

在實(shí)驗(yàn)中，我們首先嘗試了多種不同的學(xué)習(xí)率（learning rate)[8]，0.0001，0.00001 和0.001 等。最終發(fā)現(xiàn)學(xué)習(xí)率為0.0001 時(shí)最為合適，故設(shè)置0.0001 為學(xué)習(xí)率，momentum[6]為0.9。

2.4.2 Epoch（整個(gè)訓(xùn)練集被訓(xùn)練算法遍歷的次數(shù)）和批尺寸（batch_size）的選擇

因?yàn)樗捎玫臄?shù)據(jù)集數(shù)據(jù)量巨大，所以將數(shù)據(jù)集一次性的通過(guò)神經(jīng)網(wǎng)絡(luò)是不現(xiàn)實(shí)的，所以在實(shí)驗(yàn)中，我們將數(shù)據(jù)集分批（batch）處理。

因?yàn)閷?shí)驗(yàn)所使用的數(shù)據(jù)集共有43 個(gè)種類，為了覆蓋所有種類，我們將每一批的尺寸（batch_size)設(shè)置為40，整個(gè)訓(xùn)練集會(huì)通過(guò)神經(jīng)網(wǎng)絡(luò)模型100 次。

2.5 tensorboard 的加入防止過(guò)擬合

在實(shí)驗(yàn)中，我們也加入了tensorboard，將訓(xùn)練過(guò)程可視化，同時(shí)也可通過(guò)對(duì)比訓(xùn)練集和驗(yàn)證集的訓(xùn)練過(guò)程，來(lái)判斷模型是否出現(xiàn)過(guò)擬合。

例如，下圖中訓(xùn)練集和驗(yàn)證集的曲線變化趨勢(shì)相同，則可判斷為沒(méi)有出現(xiàn)模型過(guò)擬合的情況。

圖8 驗(yàn)證集訓(xùn)練過(guò)程中隨epoch 增加的正確率

2.6 訓(xùn)練耗時(shí)和訓(xùn)練結(jié)果的對(duì)比

表1 三種網(wǎng)絡(luò)識(shí)別正確率對(duì)比

表2 三種網(wǎng)絡(luò)損失函數(shù)（loss)對(duì)比

表3 三種網(wǎng)絡(luò)訓(xùn)練時(shí)長(zhǎng)對(duì)比

由上面的結(jié)果可得知，經(jīng)過(guò)相同訓(xùn)練過(guò)程的三種網(wǎng)絡(luò)，VGG_16 網(wǎng)絡(luò)表現(xiàn)性能最優(yōu)，但是從訓(xùn)練時(shí)長(zhǎng)對(duì)比得知，vgg_16網(wǎng)絡(luò)因?yàn)槠溆?jì)算參數(shù)巨大的原因，耗費(fèi)時(shí)間多，幾乎為“輕量”的Mobile_Net 的兩倍。

3 模型融合

3.1 混淆矩陣（Confusion Matrix)[9][10]

表4 混淆矩陣示意圖

混淆矩陣（Confusion Matrix）又稱為可能性表格或是錯(cuò)誤矩陣。它是一種特定的矩陣用來(lái)呈現(xiàn)算法性能的可視化效果，被廣泛的應(yīng)用在監(jiān)督學(xué)習(xí)中[9][10]。而非監(jiān)督學(xué)習(xí)，通常使用匹配矩陣（Matching Matrix）。其每一列代表預(yù)測(cè)值，每一行代表的是實(shí)際的類別。這個(gè)名字來(lái)源于它可以非常容易的表明多個(gè)類別是否有混淆（也就是一個(gè)class 被預(yù)測(cè)成另一個(gè)class），例如表4，表5 中所示。

評(píng)價(jià)指標(biāo)選擇：

準(zhǔn)確率（Accuracy)[11]、精確率（Precision）[11]、召回率）Recall[11]）、F1 值[11]、ROC 曲線[11]的AUC 值，都可以作為評(píng)價(jià)一個(gè)機(jī)器學(xué)習(xí)模型好壞的指標(biāo)（evaluation metrics），而這些評(píng)價(jià)指標(biāo)直接或間接都與混淆矩陣有關(guān)，前四者可以從混淆矩陣中直接計(jì)算得到。

表5 TP、FP、FN、TN

準(zhǔn)確率（Accuracy）[11]

準(zhǔn)確率表示預(yù)測(cè)正確的樣本（TP 和TN）在所有樣本（all data）中占的比例

F1 值就是精確率和召回率的調(diào)和平均值，其認(rèn)為精確率和召回率一樣重要。

綜合上述的評(píng)價(jià)指標(biāo)，因?yàn)槲覀円硎镜氖悄Ｐ蛯?duì)于特定類的識(shí)別情況，所以我們選擇精確率（precision)作為指標(biāo)，預(yù)測(cè)為該類的，有多少是該類。

例如圖5 中的第0 類：

VGG_16 中預(yù)測(cè)為第0 類的，100%全是第0 類

Mobile_Net 中預(yù)測(cè)為第0 類的，51.7%是第0 類

Resnet_50 中預(yù)測(cè)為第0 類的，28.3%是第0 類

3.2 模型融合后結(jié)果對(duì)比

根據(jù)表6，我們可得知三種模型對(duì)于43 個(gè)種類的不同側(cè)重，暨某模型對(duì)于特定的某幾個(gè)種類，具有超越其余兩種模型的測(cè)試結(jié)果。同時(shí)也可以發(fā)現(xiàn)，針對(duì)某些類別（類41 等），三種模型都沒(méi)有很好的測(cè)試結(jié)果。

根據(jù)表6 中“最終確定的網(wǎng)絡(luò)”，我們采取模型融合的方式對(duì)測(cè)試集再次進(jìn)行測(cè)試，例如：對(duì)于第0 類，我們使用VGG_16網(wǎng)絡(luò)，對(duì)于第一類，我們使用Resnet_50 網(wǎng)絡(luò)，以此類推。最后，將所有類的指標(biāo)平均后得到最后融合模型的測(cè)試結(jié)果如表7所示。

4 結(jié)論與后續(xù)展望

由表8 可知，融合模型在測(cè)試集上的準(zhǔn)確率超越了其余三種模型，故融合模型這一操作在提升準(zhǔn)確率上是有效的。

表6 三種網(wǎng)絡(luò)對(duì)數(shù)據(jù)集中具體一類的識(shí)別精確率（Precision）對(duì)比

表7 融合模型在測(cè)試集上的結(jié)果

表8 融合模型與三種模型準(zhǔn)確率（Accuracy）對(duì)比

表9 融合模型與其余模型對(duì)比

但是從表9 可知，融合模型仍舊與世界上頂尖專家在IJCNN 全球圖像識(shí)別競(jìng)賽上所才用的方法有一定的差距，例如Fatin Zaklouta 采用的隨機(jī)森林法（Radom Forest)。

同時(shí)，模型融合也與人類識(shí)別的結(jié)果由一定差距，為此，我們希望在以后工作中做如下改進(jìn)。

（1）再次改變epoch 的次數(shù)；

（2）對(duì)數(shù)據(jù)集做數(shù)據(jù)增強(qiáng)工作；

（3） 嘗試新的優(yōu)化器，如Adam，不僅僅限于SGD 和Momentum。