程 越, 劉志剛

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院, 大慶 163318)

隨著城市現(xiàn)代化建設(shè)和人工智能技術(shù)的崛起, 現(xiàn)代城市智能化交通系統(tǒng)得到了進(jìn)一步發(fā)展.道路交通標(biāo)志識別技術(shù)作為無人駕駛和智能輔助駕駛系統(tǒng)的重要組成部分, 在智能化交通系統(tǒng)的建設(shè)中有重要的戰(zhàn)略意義[1], 如何實(shí)時高效地完成交通標(biāo)志識別任務(wù)成為國內(nèi)外研究的熱點(diǎn).

對于交通標(biāo)志的識別方法可分為兩類, 基于手工選取典型特征的方法和深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)方法CNN[2].基于手工典型特征的方法如方向梯度直方圖HOG[3]、尺度不變特征變換SIFT[4], 局部二值模式LBP[5]等, 這類方法基于人工設(shè)計(jì)獲取特征, 數(shù)據(jù)預(yù)處理工作繁瑣, 提取的特征局限性大.而CNN 無需對圖像做復(fù)雜預(yù)處理, 直接以像素作為輸入, 在輸入到識別的過程中提取圖像特征, 具有很強(qiáng)的自適應(yīng)性和學(xué)習(xí)能力, 成為了圖像識別領(lǐng)域的核心模型.

在ILSVRC 2012 競賽中AlexNet[6]取得了冠軍, 之后GoogleNet[7], VGGNet[8], ResNet[9]等模型又被相繼提出, CNN 在圖像分類任務(wù)上的精度不斷提高.然而,現(xiàn)有CNN 應(yīng)用于嵌入式交通標(biāo)志識別設(shè)備有以下不足: (1)模型內(nèi)存占用高, 無法嵌入交通標(biāo)志識別設(shè)備.以AlexNet 為例, 其參數(shù)一共6000 萬之多, 在Imagenet-1000 上的訓(xùn)練模型達(dá)到200 MB, 而VGG16 模型參數(shù)更是達(dá)到了1.38 億.(2)模型計(jì)算開銷大, 小型嵌入式設(shè)備無法支持運(yùn)算.現(xiàn)有CNN 模型在訓(xùn)練和使用中需要在高性能設(shè)備上進(jìn)行, 如高性能CPU 和GPU 等, 這些設(shè)備往往體積大、價格高、計(jì)算開銷大, 而交通標(biāo)志識別設(shè)備的功耗和硬件性能較低, 無法支持計(jì)算.(3)現(xiàn)有CNN 模型的全連接層參數(shù)訓(xùn)練慢, 無法滿足識別設(shè)備的實(shí)時性.

針對以上問題, 本文引入兩種輕量化卷積方法: 深度可分離卷積[10]和混洗分組卷積[11]并與極限學(xué)習(xí)機(jī)[12]相結(jié)合, 提出兩種輕量型卷積神經(jīng)網(wǎng)絡(luò)模型: DSCELM 模型和SGC-ELM 模型.新模型首先利用輕量化卷積方法構(gòu)建卷積層, 減少卷積層的參數(shù)使模型輕量化, 然后以ELM 作為分類器, 接受經(jīng)卷積層提取的特征進(jìn)行分類.設(shè)計(jì)實(shí)驗(yàn), 在德國交通標(biāo)志數(shù)據(jù)集[13]和比利時交通標(biāo)志數(shù)據(jù)集[14]上, 通過VGG16 模型、基于深度分離卷積的MobileNet 模型、基于混洗分組卷積的ShuffleNet 模型與新模型DSC-ELM 和SGC-ELM 進(jìn)行對比實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明: 新模型在識別精度上高于其他模型, 并且訓(xùn)練速度比MobileNet 和Shuffle-Net 模型更快.新模型有著模型輕量化、可嵌入性高、訓(xùn)練速度快以及識別精度高的優(yōu)點(diǎn), 使得新模型在分類識別交通標(biāo)志的總體性能較現(xiàn)有CNN 模型更加優(yōu)秀.

1 輕量型卷積神經(jīng)網(wǎng)絡(luò)

1.1 深度可分離卷積

深度可分離卷積(Depthwise Separable Convolution, DSC)的創(chuàng)新點(diǎn)在于將卷積操作分為兩部分: 深度卷積(depthwise convolution)和1×1 卷積(pointwise convolution).如圖1 所示, 深度可分離卷積先保持通道間的分離, 進(jìn)行深度卷積, 然后再進(jìn)行1×1 卷積.

圖1 卷積核

普通卷積與深度可分離卷積的參數(shù)對比: 設(shè)M 為通道數(shù), 卷積核的高度為 DK, 輸入的寬和高為 DF, 卷積核的個數(shù)為N.普通卷積的計(jì)算量為:

深度可分離卷積的計(jì)算量為:

深度可分離卷積與普通卷積計(jì)算量之比為:

由此可得, 使用深度可分離卷積代替普通卷積來構(gòu)建模型可使模型輕量化.標(biāo)準(zhǔn)卷積核和深度可分離卷積核如圖1 所示.

1.2 混洗分組卷積

混洗分組卷積(Shuffled Grouped Convolution,SGC)是將分組卷積法和通道混洗機(jī)制結(jié)合起來.分組卷積法如圖2 所示, 將卷積核拆分為兩組進(jìn)行分組卷積, 每組包含 Dout/2個卷積核, 分別與對應(yīng)部分的輸入進(jìn)行卷積.每組卷積核卷積完成后都會得到 Dout/2通道的輸出, 然后將通道堆疊最終得到所需的 Dout通道輸出.此時卷積的計(jì)算量為:

圖2 分組卷積法

相比普通卷積的計(jì)算量減少一半, 當(dāng)分組數(shù)增加時, 模型的參數(shù)也就隨之減少.

分組卷積雖然可以減少模型參數(shù), 但是每組卷積核僅對輸入的固定部分向后傳遞的信息進(jìn)行處理, 這樣就局限了卷積核學(xué)習(xí)的特征, 阻礙了訓(xùn)練過程中通道組之間的信息流動, 減弱了特征表示.解決以上問題的方法就是在分組卷積的基礎(chǔ)上引入通道混洗機(jī)制.

通道混洗機(jī)制如圖3 所示, 將卷積核分為三組的分組卷積, 在執(zhí)行一次卷積操作后, 將得到的特征拆分為若干組, 混洗后再輸入下一次分組卷積.利用分組卷積法和通道混洗機(jī)制相結(jié)合的方法構(gòu)建卷積層, 可以減少模型參數(shù)量, 加強(qiáng)通道組間的信息流通, 增強(qiáng)特征表示能力.

圖3 通道混洗機(jī)制

2 極限學(xué)習(xí)機(jī)

現(xiàn)有CNN 網(wǎng)絡(luò)利用全連接層進(jìn)行分類, 需要依靠梯度下降訓(xùn)練算法更新參數(shù), 導(dǎo)致模型學(xué)習(xí)慢, 而且泛化能力較差, 易陷入局部最小[15].極限學(xué)習(xí)機(jī)(Extreme Learning Machines, ELM)是由南洋理工大學(xué)黃廣斌教授提出的求解單隱層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法.極限學(xué)習(xí)機(jī)只需要人為確定隱含層中神經(jīng)元的個數(shù), 輸入層到隱含層的權(quán)重為一次隨機(jī)確定并且在算法執(zhí)行過程中無需再調(diào)整, 隱含層到輸出層的權(quán)重則是通過求廣義逆的方法得到, 無需經(jīng)過迭代.由于極限學(xué)習(xí)機(jī)獨(dú)特的求參機(jī)制, 將CNN 全連接層替換為ELM 可以加快模型訓(xùn)練速度, 提高泛化性.

極限學(xué)習(xí)機(jī)結(jié)構(gòu)如圖4 所示.假設(shè)有 N個任意樣本(Xi,ti), 其中:

圖4 極限學(xué)習(xí)機(jī)

具有L 個隱層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)可以表示為:

其中, g(x) 為激活函數(shù), Wi=[wi,1,wi,2,···,wi,n]T為輸入權(quán)重, βi為輸出權(quán)重, bi是 第i 個隱層單元的偏置,Wi·Xj是 Wi和 Xj的內(nèi)積, o i=[oi1,oi2,···,oim]T表示網(wǎng)絡(luò)輸出值.ELM 成本函數(shù) E為:

學(xué)習(xí)目標(biāo)是使得 E 最小, 即存在 βi, Wi和 bi使得:

矩陣表示為:

其中, H 為神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)的輸出矩陣, β為輸出權(quán)重, T 為期望輸出.

式中, W 為輸入層到隱含層的權(quán)值; b 為隱含層偏置;g()為激活函數(shù).極限學(xué)習(xí)機(jī)的思想為: 隨機(jī)確定 Wi和bi進(jìn) 而可得到輸出矩陣H, 再通過式(6)求得輸出權(quán)重 β.

3 輕量級卷積神經(jīng)網(wǎng)絡(luò)與ELM 相結(jié)合

現(xiàn)有CNN 模型內(nèi)存占用高、計(jì)算開銷大、訓(xùn)練速度慢, 無法適用于移動交通標(biāo)志識別設(shè)備.模型采用輕量化卷積代替普通卷積的策略, 可實(shí)現(xiàn)在犧牲合理精度的基礎(chǔ)上極大減少卷積層的參數(shù), 提升訓(xùn)練速度.然而, 模型的全連接層在訓(xùn)練過程中需要耗費(fèi)大量時間確定自身參數(shù), 所以要想使模型訓(xùn)練更加快速, 除修改卷積層外, 還應(yīng)對分類器進(jìn)行改進(jìn).ELM 有著獨(dú)特的求參機(jī)制, 將其作為分類器有訓(xùn)練速度快、泛化性強(qiáng)的優(yōu)點(diǎn).但ELM 對輸入特征的質(zhì)量有較高的要求.

根據(jù)以上情況, 將輕量型卷積神經(jīng)網(wǎng)絡(luò)與ELM 結(jié)合起來可以充分發(fā)揮各自的優(yōu)勢: 使用輕量化卷積方法構(gòu)建卷積層可使模型輕量化, 并且提取的特征可靠,滿足ELM 對特征的高要求[16]; ELM 分類器獨(dú)特的求參機(jī)制, 使得模型分類更加快速準(zhǔn)確.

3.1 DSC-ELM 模型

DSC-ELM (Depthwise Separable Convolution-ELM)模型結(jié)構(gòu)可分為兩部分:

(1)特征提取部分: 特征提取部分采用深度可分離卷積構(gòu)建卷積層.此部分包含兩個普通3×3 卷積和17 個bottleneck.每個bottleneck 包含以下3 個操作:首先經(jīng)過pointwise convolution 擴(kuò)展通道, 擴(kuò)展倍數(shù)除第一個bottleneck 為1 倍外均為6 倍; 再進(jìn)行depthwise convolution; 最后再利用pointwise convolution 壓縮通道.這種“先擴(kuò)張, 后壓縮”的設(shè)計(jì)可以通過將通道數(shù)擴(kuò)大, 從中間層獲得更多特征.圖像輸入模型后首先進(jìn)行3×3 卷積, 然后將得到的特征圖送入17 個bottleneck中, 經(jīng)過17 個bottleneck 后, 再進(jìn)行一次3×3 卷積, 特征提取部分結(jié)束.表1 為特征提取部分結(jié)構(gòu).

表1 DSC-ELM 特征提取部分結(jié)構(gòu)

(2)分類部分: 模型使用ELM 分類器替換卷積神經(jīng)網(wǎng)絡(luò)中的全連接層.將特征提取部分提取的特征展平后作為ELM 分類器的輸入, 然后進(jìn)行分類.

近年來，各高校投入了大量經(jīng)費(fèi)用于學(xué)科技術(shù)建設(shè)和實(shí)驗(yàn)室建設(shè)改造，為跟上時代步伐，對實(shí)驗(yàn)儀器進(jìn)行了大量更新，各實(shí)驗(yàn)室都添置了大量的新型儀器，學(xué)校的綜合實(shí)力得到了提高，實(shí)驗(yàn)教學(xué)的設(shè)施條件得到了明顯的改善。但同時，各實(shí)驗(yàn)室也積累了大量閑置和淘汰的儀器設(shè)備；實(shí)驗(yàn)室的儀器、設(shè)備，必然要報(bào)廢、淘汰、更新，這是無可非議的。但如何處理這些數(shù)額龐大的淘汰儀器，更科學(xué)、更合理地利用資源，使之發(fā)揮更多作用，是值得思考的。若能變“廢”為“寶”，有效利用，不僅能為學(xué)校節(jié)約可觀的資源，還可另辟“蹊徑”，打開一條鍛煉學(xué)生動手能力、拓展思維空間之路。

DSC-ELM 模型總體結(jié)構(gòu)如圖5 所示.

圖5 DSC-ELM 模型結(jié)構(gòu)

3.2 SGC-ELM 模型

SGC-ELM (Shuffled Grouped Convolution-ELM)模型結(jié)構(gòu)可分為兩部分:

(1)特征提取部分: 特征提取部分采用混洗分組卷積構(gòu)建卷積層.此部分包括: 1 個3×3 卷積、1 個3×3 的最大池化、3 個Stage 以及GlobalPool.每個Stage包含若干個ShuffleNet unit, ShuffleNet unit 結(jié)構(gòu)如圖6所示.

圖像輸入模型后先經(jīng)過3×3 卷積和3×3 的最大池化操作, 然后將特征送入3 個Stage.經(jīng)過3 個Stage后, 再進(jìn)行1 次GlobalPool 操作, 特征提取部分結(jié)束.表2 為特征提取部分結(jié)構(gòu).

(2)分類部分: 將特征提取部分提取的特征展平后輸入ELM 進(jìn)行分類.

SGC-ELM 模型總體結(jié)構(gòu)如圖7 所示.

3.3 新模型的訓(xùn)練

(1)首先對模型進(jìn)行預(yù)訓(xùn)練.預(yù)訓(xùn)練模型的目的是保證網(wǎng)絡(luò)卷積層提取的特征是有效的, 若不進(jìn)行預(yù)訓(xùn)練, 模型提取的特征質(zhì)量低, 影響最終的分類結(jié)果;

(2)預(yù)訓(xùn)練結(jié)束后, 將圖像輸入模型提取特征;

(3)分類器訓(xùn)練.將提取的特征展平后輸入ELM分類器, 通過公式 β= H+T求得極限學(xué)習(xí)機(jī)隱含層到輸出層的權(quán)值參數(shù), 模型訓(xùn)練結(jié)束.

圖6 ShuffleNet unit 結(jié)構(gòu)

表2 SGC-ELM 特征提取部分結(jié)構(gòu)

圖7 SGC-ELM 模型結(jié)構(gòu)

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

4.2 實(shí)驗(yàn)設(shè)計(jì)

所有實(shí)驗(yàn)的硬件環(huán)境為CPU: Intel(R) Core(TM)i5-8300H 2.30 GHz 8 G.GPU: NVIDIA GeForce GTX 1050 Ti 4G.網(wǎng)絡(luò)模型: 實(shí)驗(yàn)使用預(yù)訓(xùn)練VGG16、預(yù)訓(xùn)練MobileNet、預(yù)訓(xùn)練ShuffleNet 與新模型DSC-ELM和SGC-ELM 作對比實(shí)驗(yàn).

(1)準(zhǔn)備數(shù)據(jù)集, 并對數(shù)據(jù)集進(jìn)行預(yù)處理.將數(shù)據(jù)集圖片轉(zhuǎn)換為jpg 格式, 每張圖片歸一化為48×48, 其目的是為了節(jié)省內(nèi)存開銷, 加快訓(xùn)練速度.

(2)準(zhǔn)備模型, 并加載預(yù)訓(xùn)練參數(shù): VGG16 加載ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練參數(shù); MobileNet 加載Cifa100數(shù)據(jù)集預(yù)訓(xùn)練參數(shù); ShuffleNet 加載ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練參數(shù); 新模型DSC-ELM 和SGC-ELM 的特征提取部分分別加載Cifa100 和ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練參數(shù).加載預(yù)訓(xùn)練參數(shù)的目的是使ELM 接收的特征可靠, 從而達(dá)到更精確的分類結(jié)果.

(3)設(shè)置網(wǎng)絡(luò)超參數(shù): 迭代次數(shù)在GTSRB 數(shù)據(jù)集上設(shè)為10, 在Belgium TSC 數(shù)據(jù)集上設(shè)為50; 批處理大小設(shè)為32; 學(xué)習(xí)率設(shè)為0.001, 并在每次循環(huán)后對學(xué)習(xí)率進(jìn)行衰減, 衰減率為0.98.

(4)如圖8 所示, 將數(shù)據(jù)集送入模型進(jìn)行訓(xùn)練和測試.

圖8 模型的訓(xùn)練和測試

(5)從精度、訓(xùn)練時間、內(nèi)存占用對比5 種模型的實(shí)驗(yàn)結(jié)果.

4.3 實(shí)驗(yàn)結(jié)果與對比分析

5 種網(wǎng)絡(luò)模型在GTSRB 和Belgium TSC 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表3 所示.

表3 實(shí)驗(yàn)結(jié)果

(1)測試精度對比分析.5 種模型的測試精度從高到低依次為DSC-ELM、SGC-ELM、VGG16、MobileNet、ShuffleNet.MobileNet 和ShuffleNet 精度低于VGG16,原因是采用了輕量化卷積方法構(gòu)建卷積層, 卷積層參數(shù)減少, 導(dǎo)致?lián)p失一定的精度.DSC-ELM 與SGCELM 模型精度均達(dá)到98%以上, 高于其他模型, 其原因在于新模型采用ELM 作為分類器, ELM 泛化性強(qiáng),在接受到良好特征后能達(dá)到很好的分類效果, 而其他模型采用梯度下降算法更新參數(shù), 易陷入局部極值, 損失精度.

(2)訓(xùn)練時間對比分析.從表3 看出, 5 種模型訓(xùn)練速度從快到慢依次為: SGC-ELM、DSC-ELM、ShuffleNet、MobileNet、VGG16.VGG16 模型參數(shù)龐大, 導(dǎo)致計(jì)算緩慢, 在5 種模型中耗時最長.ShuffleNet、MobileNet 模型參數(shù)量少, 訓(xùn)練速度較快, 而ShuffleNet相較于MobileNet 少了1×1 卷積, 速度快于MobileNet.SGC-ELM 和DSC-ELM 在訓(xùn)練速度上明顯優(yōu)于其他模型, 原因在模型的ELM 分類器可通過廣義逆一次求得權(quán)值參數(shù), 而其他模型在訓(xùn)練時需要計(jì)算梯度信息,并通過迭代進(jìn)行調(diào)整, 耗費(fèi)時間較長.

(3)內(nèi)存占用對比分析: 從表3 看出, 5 種模型內(nèi)存占用從高到低依次為: VGG16、MobileNet、ShuffleNet、DSC-ELM、SGC-ELM.VGG16 模型參數(shù)龐大, 導(dǎo)致內(nèi)存占用高.MobileNet 和ShuffleNet 采用輕量化卷積構(gòu)建卷積層, 模型參數(shù)量較少, 內(nèi)存占用較VGG16 低,而ShuffleNet 模型結(jié)構(gòu)中采用Shuffle 替換1×1 卷積,相比MobileNet 減少大量權(quán)值參數(shù).DSC-ELM、SGCELM 模型無全連接層, 而是采用單隱層的ELM 作為分類器, 相比其他模型內(nèi)存占用低, SGC-ELM 采用ShuffleNet unit 構(gòu)成, 模型參數(shù)量小于DSC-ELM, 內(nèi)存占用較DSC-ELM 低.

5 結(jié)論

現(xiàn)有CNN 為了追求高的分類精度, 模型深度加深, 復(fù)雜度提高, 導(dǎo)致模型內(nèi)存占用高, 訓(xùn)練速度慢.交通標(biāo)志識別設(shè)備的功耗和硬件性能較低, 對模型的速度和精度要求較高, 使得現(xiàn)有CNN 模型無法應(yīng)用于這種設(shè)備.針對以上問題, 本文通過引入兩種輕量化卷積方法并與極限學(xué)習(xí)機(jī)相結(jié)合, 提出兩種輕量型卷積神經(jīng)網(wǎng)絡(luò)模型: DSC-ELM 模型和SGC-ELM 模型.新模型通過采用輕量化卷積方法構(gòu)建卷積層進(jìn)行特征提取,使模型輕量化, 并以ELM 作為分類器, 接受提取的特征進(jìn)行分類, 解決了現(xiàn)有CNN 全連接層參數(shù)訓(xùn)練速度慢的問題.通過實(shí)驗(yàn)驗(yàn)證, 新模型相較于對比模型訓(xùn)練速度快, 分類精度高, 內(nèi)存占用低, 可以很好的應(yīng)用于嵌入式交通標(biāo)志識別設(shè)備.