董伊明

摘 要：本文利用Spark分布式計算框架，提出了一種基于分布式卷積神經(jīng)網(wǎng)絡(luò)的車型識別算法。該算法通過改進卷積核參數(shù)和丟棄相似特征圖來優(yōu)化網(wǎng)絡(luò)，通過改進分布式梯度下降來減少master和slave同步通信量，從而提高了收斂速度和性能。試驗結(jié)果表明，該算法可有效提高車型分類的速度和精度。

關(guān)鍵詞：車型識別;卷積神經(jīng)網(wǎng)絡(luò);分布式梯度下降;Spark

中圖分類號：TP391.41;TP183 文獻標(biāo)識碼：A 文章編號：1003-5168（2019）20-0028-04

Research on Vehicle Identification Algorithm Based on

Distributed Convolution Neural Network

DONG Yiming

（Nursing College of Zhengzhou University，Zhengzhou Henan 450001）

Abstract： This paper proposed a vehicle identification algorithm based on distributed convolution neural network by using Spark distributed computing framework. The algorithm optimizes the network by improving the convolution kernel parameters and discarding similar feature maps， and reduces the master and slave synchronous traffic by improving the distributed gradient descent， thereby improving the convergence speed and performance. The test results show that the algorithm can effectively improve the speed and accuracy of vehicle classification.

Keywords： vehicle recognition;convolution neural network;distributed gradient descent;Spark

隨著我國交通基礎(chǔ)設(shè)施的不斷完善，政府對公路建設(shè)的投入不斷加大，道路上汽車的流量也越來越大，但同時也帶來了亂闖紅燈、交通阻塞、超速、交通事故等一系列問題[1]。視頻監(jiān)控系統(tǒng)作為交通監(jiān)管的一種重要手段，已被廣泛應(yīng)用于現(xiàn)代交通的各個領(lǐng)域。隨著圖像數(shù)據(jù)量的急劇增加，如何對大規(guī)模的數(shù)據(jù)集進行高精度的識別成為研究熱點。

近年來，卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于圖像分類中，很多分類應(yīng)用都轉(zhuǎn)移到卷積神經(jīng)網(wǎng)絡(luò)上進行處理。對于車型的識別問題，傳統(tǒng)的圖像特征提取方式是采用PCA+SIFT[2]、SIFT[3]等，但是這些方法的缺點是人工干預(yù)太多，無法自動提取特征。而卷積神經(jīng)網(wǎng)絡(luò)通過自主學(xué)習(xí)獲取特征，對平移、縮放等仿射形變具有良好的抵抗能力，有效克服車輛外觀多變帶來的困難。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是非常耗時的，尤其是迭代的部分，當(dāng)數(shù)據(jù)規(guī)模擴大時，在單臺機器上處理就會帶來頻繁的IO讀取而浪費大量時間。由于Spark平臺是基于內(nèi)存運算進行分布式計算，利于迭代，也可以進行海量數(shù)據(jù)的高效處理，在迭代和交互式方面超過了Hadoop，并且Spark支持多語言編程，易于使用，因此本文基于Spark和卷積神經(jīng)網(wǎng)絡(luò)，對汽車圖像識別問題進行研究。

1 相關(guān)研究

1.1 卷積神經(jīng)網(wǎng)絡(luò)

一個卷積神經(jīng)網(wǎng)絡(luò)通過卷積層提取低級的特征，再通過采樣層組合成更抽象的特征，形成圖像的特征描述，最終通過激活函數(shù)對圖像進行識別與分類。

對于車型識別問題，傳統(tǒng)的CNN雖然有良好的識別效果，但其隱藏層過多的網(wǎng)絡(luò)節(jié)點增加了訓(xùn)練的復(fù)雜度。為了減少節(jié)點的冗余，本文提出了一種改進的神經(jīng)網(wǎng)絡(luò)，即分布式卷積神經(jīng)網(wǎng)絡(luò)（Distribution Convolution Neural Network，Dis-CNN）算法，該算法從前向傳播和反向傳播兩個角度來改進。在前向傳播過程中，先對卷積核參數(shù)的初始化進行改進，再對每層卷積后的特征圖進行處理，冗余的特征圖被丟棄，達到減少網(wǎng)絡(luò)節(jié)點來提高訓(xùn)練速度和精度的目的。在反向傳播的分布式梯度下降過程中，通過減少集群主從節(jié)點的通信量來進行改進，加快分布式梯度下降的計算。

1.2 Spark平臺及分布式梯度下降

Spark是Apache頂級項目里面的大數(shù)據(jù)計算引擎，與MapReduce相比，Spark具備DAG執(zhí)行引擎以及基于內(nèi)存的多輪迭代計算等優(yōu)勢。在面向分布式集群系統(tǒng)的隨機梯度下降研究工作中，Keith Hall[4]等人利用MapReduce并行編程模型實現(xiàn)了隨機梯度下降算法的并行化，這種分布式算法在一定程度上取得了加速的效果，但仍有很多的不足之處，因為MapReduce是基于大量的IO來實現(xiàn)Map和Reduce階段的數(shù)據(jù)傳輸?shù)模@樣頻繁的換入換出操作對于迭代而言無疑會浪費很多的時間。基于MapReduce的隨機梯度下降首先將訓(xùn)練數(shù)據(jù)隨機均分為若干份，是基于數(shù)據(jù)并行來實現(xiàn)的，對數(shù)據(jù)劃分后再去啟動同等數(shù)量的Map任務(wù)，每個Map任務(wù)針對各自的訓(xùn)練數(shù)據(jù)計算梯度。

2 改進的CNN算法

2.1 基于random與K-means的特征圖去冗余方法

對CNN的改進一般從改進網(wǎng)絡(luò)的結(jié)構(gòu)和改進網(wǎng)絡(luò)參數(shù)入手。Krizhevsky等人[5]對網(wǎng)絡(luò)結(jié)構(gòu)進行了改進，F(xiàn)u等人[6]在訓(xùn)練過程中優(yōu)化了網(wǎng)絡(luò)參數(shù)，He等人[7]改進了激勵函數(shù)。在對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)進行深入的分析后，人們對它在一般圖像分類中的優(yōu)勢進行了歸納總結(jié)并加以利用。

一幅圖的特征數(shù)目是有限的，過多的特征圖會使特征之間存在冗余，這不僅增加了訓(xùn)練參數(shù)的數(shù)量，也會降低網(wǎng)絡(luò)的泛化能力和檢測的準(zhǔn)確率。因此，人們要計算每個特征圖之間的差異性，優(yōu)化網(wǎng)絡(luò)節(jié)點個數(shù)。卷積階段，對于卷積后得到的隱藏層特征圖，分別計算它們之間的相似度，定義一個相似度參數(shù)[H]，[H]值越小說明這兩個隱藏層特征圖越相似。前向傳播中卷積層計算公式如下：

式中，[xlj]為第[l]層的第[j]個特征圖;[Mj]為輸入的特征圖;[klij]為第[l]層的第[j]個卷積核;[blj]為第[l]層的第[j]個偏置;[f（x）]為激勵函數(shù)。所謂卷積其實就是要卷積的區(qū)域和卷積核的點乘和，加上偏置之后的激活輸出。

改進的前向傳播過程如下：確定圖像分割區(qū)域及塊數(shù);確定8個初始簇中心塊點;使用K-means方法學(xué)習(xí)卷積核參數(shù);重復(fù)上述步驟直到求出所有卷積層的卷積核參數(shù)。

2.2 分布式梯度下降中master-slaves通信沖突緩解策略

卷積神經(jīng)網(wǎng)絡(luò)需要大量迭代來完成訓(xùn)練。相比于Hadoop框架，Spark平臺由于基于內(nèi)存這一特性非常適合做迭代計算。本文主要改進了分布式梯度下降中master與slave的通信沖突。

常見的分布式隨機梯度下降算法可以分為數(shù)據(jù)并行和模型并行兩大類。對文獻[8]方法進行研究后，筆者獲得啟發(fā)，因此使用數(shù)據(jù)并行方法。其中，master負責(zé)模型參數(shù)的存儲與更新，slave負責(zé)訓(xùn)練子集的存儲和梯度的計算。經(jīng)典數(shù)據(jù)并行的隨機梯度下降算法是在master和slave之間互相同步通信實現(xiàn)的，但這勢必會有很多同步通信延遲。大量的同步操作使算法無法實現(xiàn)真正的并行化。為了減少master和slave之間的同步通信數(shù)據(jù)量，人們可以根據(jù)閾值劃分小組，并以小組為單位合并slave端的通信數(shù)據(jù)。反向傳播即是前向傳播的逆過程，由第[l]+[l]層計算第[l]層相應(yīng)的參數(shù)。計算過程涉及卷積層與池化層的權(quán)重求導(dǎo)操作。假設(shè)使用的損失函數(shù)為：

式中，[tnk]為第[n]個樣本對應(yīng)得標(biāo)簽的第[k]維度;[ynk]為經(jīng)過網(wǎng)絡(luò)計算后對應(yīng)第[n]個樣本的第[k]個預(yù)測輸出值。

在求反向傳播梯度誤差之前，每個slave開啟一個監(jiān)聽進程。該監(jiān)聽進程負責(zé)收集其他slave節(jié)點傳過來的梯度誤差，求和后發(fā)給master節(jié)點。根據(jù)式（2）求出的誤差與自定義閾值[b]進行對比，之后分組。如果[EN< b]則說明識別精度高，分配權(quán)重為0.55，否則權(quán)重為0.45。因為在分布式計算中，并不是所有結(jié)果都會起到關(guān)鍵作用，所以可對結(jié)果有相應(yīng)的權(quán)重區(qū)別。該進程如果是第一個計算出傳播誤差結(jié)果的進程，則作為該組leader，收集該組其他slave發(fā)過來的梯度計算結(jié)果。組長slave進程收集本組其他slave發(fā)來的結(jié)果并進行匯總，而后再匯報給master。這樣帶來的好處是master不用再與每一個slave進行通信，僅僅與兩個slave小組長通信，master和slave通信延遲會減少，相應(yīng)的計算結(jié)果會更加準(zhǔn)確。具體流程如圖1所示。

3 試驗結(jié)果及分析

在對圖像進行分類時，PCA+SIFT、SIFT、CNN的類別分類效果不理想，有必要進行改進，因此本文設(shè)計了卷積神經(jīng)網(wǎng)絡(luò)，使其在單機上和分布式上運行。為了證明該算法的有效性及在分布式上運算的優(yōu)勢，筆者進行了試驗對比。

3.1 數(shù)據(jù)集及預(yù)處理

為了訓(xùn)練數(shù)據(jù)的可靠性，本試驗采用的數(shù)據(jù)集來自網(wǎng)上的通用汽車圖像數(shù)據(jù)庫Bit Vehicle Dataset，并從中挑選不同類別車型的圖像數(shù)據(jù)，共分為轎車、運動型多用途汽車、公共汽車、卡車和小型貨車 5類車型，每類分別取4 072、1 392、883、822、476張圖像。

為了減少運算量，在圖像數(shù)據(jù)進行改進的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練前，對圖像做了預(yù)處理。在原始圖像中將汽車部分提取出來，并且把數(shù)據(jù)歸一化到像素為100×100的數(shù)據(jù)集。對于預(yù)處理后的數(shù)據(jù)集進行遍歷，分別把第[i]張圖像像素數(shù)據(jù)轉(zhuǎn)換到一個向量上，轉(zhuǎn)換格式為[Vi]（label，data）;將[Vi]作為一行數(shù)據(jù)寫入data文件。其中，label是一個元組（a1，a2，a3，a4，a5，a6），參數(shù)取值為0或者1，1代表車型。將data文件上傳到HDFS上。通過Spark從HDFS讀取文件，對文件進行Map操作使之可以進行并行化操作，格式轉(zhuǎn)換為（label，Matrix）。

3.2 算法精確度對比

本試驗對PCA+SIFT算法、SIFT算法、CNN算法和改進的Dis-CNN算法進行對比，并記錄試驗結(jié)果。本文通過試驗尋得的最優(yōu)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)共7層，其中第一層為輸入層;第二層和第四層為卷積層，使用大小為5×5的濾波器，個數(shù)分別是8和10;第三層和第五層為池化層;第六層為全連接層，采用softmax函數(shù);第七層為輸出層。試驗結(jié)果如表1所示，人們可以發(fā)現(xiàn)，改進后的Dis-CNN對這8類圖像分類數(shù)據(jù)的識別精度有了明顯的提高。雖然SIFT、PCA+SIFT、CNN對圖像的識別是依次升高的，但是識別精度還有提升的空間，通過改進后的Dis-CNN進行驗證，精確度有了明顯的增加，從而證明了該改進算法的有效性。

3.3 Dis-CNN參數(shù)初始化策略對召回率的影響

在對卷積核參數(shù)初始化時，部分參數(shù)使用了random，剩下的使用了K-means，結(jié)合了兩者的優(yōu)點。為了證明改進的有效性，本文設(shè)計了試驗，與使用random和K-means初始化卷積核參數(shù)的CNN進行了對比，結(jié)果如表2所示。表中的迭代次數(shù)為召回率最高時的數(shù)據(jù)。由此可以看出，使用本文改進的參數(shù)初始化方式Dis-CNN時，召回率最高，迭代次數(shù)最少。

3.4 master-slave分類閾值對Dis-CNN訓(xùn)練精度的影響

由于本文的切入點是對相似的特征圖進行丟棄，然后根據(jù)slave分類減少master與slave的通信量，所以還需要分析不同的閾值對Dis-CNN算法的影響。每一個特征圖的相似度閾值可以對應(yīng)不同的slave分類閾值，從而得到不同的召回率。通過大量的試驗，本文選出了幾個較優(yōu)的閾值。從試驗結(jié)果可以看出，召回率并不是隨著閾值的增大而增大的。當(dāng)兩個閾值都為0時，其降級為普通CNN算法，效果不佳。由此可見，本文提出的算法較好。

3.5 算法的加速比

改進的Dis-CNN算法對車型分類有較高的精確度和召回率，但該算法使用了分布式技術(shù)進行設(shè)計，所以應(yīng)該考慮其并行性。通常，人們利用算法的加速比衡量算法的并行性能，它表示同一任務(wù)單節(jié)點運行時間與多節(jié)點運行時間的比率。通過試驗可知，當(dāng)數(shù)據(jù)量相同時，隨著節(jié)點數(shù)的增加，加速比有明顯的上升趨勢，可見算法在處理大規(guī)模數(shù)據(jù)時并行性能較好。

4 結(jié)語

本文結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)和Spark平臺的優(yōu)點，提出了一個分布式卷積神經(jīng)網(wǎng)絡(luò)的算法，并將其引入車型識別中，取得了理想的效果。其間指出了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)算法的缺點，并對參數(shù)初始化和隱藏層進行了改進，減少了訓(xùn)練的復(fù)雜度。在卷積神經(jīng)網(wǎng)絡(luò)分布式梯度下降的過程中，針對master和slave大量同步通信造成的延遲大等問題，筆者提出分布式梯度下降優(yōu)化方法，減少了梯度傳播過程中master和slave的同步通信量。通過試驗對比，改進的卷積神經(jīng)網(wǎng)絡(luò)算法對大規(guī)模汽車圖像的識別精度高、泛化能力強，并且有很好的并行性。

參考文獻：

[1]La H M，Im R S，Du J H.Development of a Small-scale Research Platform for Intelligent Transportation Systems[J].Intelligent Transportation Systems，IEEE Transactionson，2012（4）：1753-1762.

[2]Ge F X，Shi Y，Sun B，et al.Sparse Representation Based Classification by Using PCA-SIFT Descriptors[C]//4th IEEE International Conference on Information Science and Technology.2014.

[3]華莉琴，許維，王拓，等.采用改進的尺度不變特征轉(zhuǎn)換及多視角模型對車型識別[J].西安交通大學(xué)學(xué)報，2013（4）：92-99.

[4]Hall K B，Gilpin S，Mann G.MapReduce/Bigtable for Distributed Optimization[C]//LCCC：Nips 2010 Workshop on Learning on Cores，Clusters and Clouds（LCCC）.2010.

[5]Krizhevsky A，Sutskever I，Hinton G E.Imagenet Classification with Deep Convo1utional Neural Networks[J].Advances in Neural Information Processing Systems（NIPS），2012（6）：1097-1105.

[6]Fu M，Xu P，Li X，et a1.Fast Crowd Density Estimation with Convolutional Neural Networks[J].Engineering Applications of Artificial Intelligence，2015（43）：81-88.

[7]He K，Zhang X，Ren S，et a1.Delving Deep into Rectifiers：Surpassing Human-level Performance on Imagenet Classification[J].Computer Vision and Pattern Recognition（CVPR），2015（1）：1026-1034.

[8]Noel C，Osindero S.Dogwild！-Distributed Hogwild for CPU & GPU[C].//NIPS Workshop on Distributed Machine Learning and Matrix Computations.2014.