孫 彥，丁學(xué)文，2，雷雨婷，陳 靜，孔祥鑫

（1.天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津 300222；2.天津市高速鐵路無線通信企業(yè)重點(diǎn)實(shí)驗(yàn)室，天津 300350；3.天津天大求實(shí)電力新技術(shù)股份有限公司，天津 300392；4.天津遠(yuǎn)孚信息技術(shù)開發(fā)有限公司，天津 300220）

圖像識(shí)別是在提取圖像特征的基礎(chǔ)上，對圖像的各種不同模式目標(biāo)和對象進(jìn)行識(shí)別的技術(shù)。近年來，市場對動(dòng)物識(shí)別技術(shù)的需求愈演愈烈，動(dòng)物也被納入目標(biāo)識(shí)別研究。Pascal（patternanalysis，statisticalmodeling and computational learning）、VOC 2006（visual object classes challenge）[1]順應(yīng)研究趨勢，將動(dòng)物識(shí)別列入機(jī)器視覺研究對象，包括貓狗、牛羊等，其中研究較多的是貓狗識(shí)別。如目前寵物攝影僅限于由專業(yè)寵物攝影師給寵物拍攝，遠(yuǎn)不能滿足人們對自家寵物“自拍自足”的需要。因此，需要具備類似于“人臉優(yōu)先對焦”的“寵物臉部優(yōu)先對焦”功能的數(shù)碼相機(jī)，在拍照時(shí)能優(yōu)先對焦到寵物臉部，方便拍攝操作[2]。2010年，謝素儀[2]在《寵物貓臉檢測的方法研究》一文中提出基于機(jī)器學(xué)習(xí)的由粗到精的貓臉檢測方法，利用訓(xùn)練得到的粗級貓臉檢測器能夠快速地檢測出不同尺度的貓臉，級聯(lián)基于HOG 特征的SVM 分類器，對粗級分類器的檢出框歸一化大小后做二次分類，將其結(jié)果作為最終分類結(jié)果以排除誤檢。但仍然存在檢測率低，因圖像分類器旋轉(zhuǎn)角度較大容易出現(xiàn)漏檢和檢測速度無法實(shí)時(shí)的問題。隨著近年來深度學(xué)習(xí)的興起，卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）得到了廣泛的應(yīng)用。利用CNN 對貓狗圖像識(shí)別，雖然在特征提取以及識(shí)別速度方面具有優(yōu)化性[3]，但存在識(shí)別率低且計(jì)算量復(fù)雜、內(nèi)存消耗大的問題。具體表現(xiàn)為CNN 識(shí)別貓狗圖像對于同一目標(biāo)發(fā)生輕微朝向或位置變化時(shí)，識(shí)別效果變差，且容易在訓(xùn)練過程中丟失有價(jià)值信息，忽略了局部與整體之間的關(guān)聯(lián)性；此外，圖像的計(jì)算量大也會(huì)使得內(nèi)存資源占有量變大，導(dǎo)致程序整體運(yùn)行緩慢，影響速率。針對上述問題，本文基于Tensorflow 平臺(tái)，構(gòu)建了一種運(yùn)用目標(biāo)檢測模型SSD_MobileNet_v1 網(wǎng)絡(luò)實(shí)現(xiàn)貓狗圖像識(shí)別的方法。SSD_MobileNet_v1 模型綜合了SSD 網(wǎng)絡(luò)優(yōu)化性能、準(zhǔn)確率高的特點(diǎn)和MobileNet 輕量級網(wǎng)絡(luò)可減少整體網(wǎng)絡(luò)計(jì)算參數(shù)量及降低內(nèi)存資源的優(yōu)勢，從而提高對貓狗圖像的識(shí)別效果。

1 SSD_MobileNet_v1網(wǎng)絡(luò)模型

SSD_MobileNet_v1 網(wǎng)絡(luò)模型是以SSD 網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合MobileNet 網(wǎng)絡(luò)改進(jìn)而成。

1.1 SSD卷積神經(jīng)網(wǎng)絡(luò)

SSD 卷積神經(jīng)網(wǎng)絡(luò)模型（簡稱SSD）是利用單個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行對象檢測的框架。SSD 源自于Fast_RCNN 系列檢測模型，繼承了原始框架的良好性能，并在原有模型的基礎(chǔ)上進(jìn)行了改進(jìn)和創(chuàng)新，最終演變成一個(gè)具有更高精度和更好性能的網(wǎng)絡(luò)模型[4]。

SSD 的網(wǎng)絡(luò)結(jié)構(gòu)是對傳統(tǒng)VGG16 網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)，SSD 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 SSD 網(wǎng)絡(luò)結(jié)構(gòu)

（1）使用 VGG16 網(wǎng)絡(luò)的前 5 層，添加 Atrous 算法（hole 算法）對圖像進(jìn)行背景抑制與增強(qiáng)[5]，使VGG16 的FC6 和 FC7 層轉(zhuǎn)化為 Conv6 和 Conv7 兩個(gè)卷積層，去掉所有的Dropout 層和FC8 層，額外增加3 個(gè)卷積層和1 個(gè)平均池化層。

（2）抽取 Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2 層的 feature map[6]，分別在 feature map 層的每個(gè)點(diǎn)構(gòu)造6 個(gè)不同尺度大小的Bounding Boxes（簡稱BB），分別進(jìn)行檢測和分類，生成多個(gè)BB。

（3）將不同feature map 獲得的BB 結(jié)合起來，經(jīng)過非極大值抑制方法（NMS）抑制重疊或不正確的BB，生成最終的BB 集合。

SSD 中，原VGG16 模型增加的卷積層的feature map 變化較大，可檢測出不同尺度下的物體。此外，SSD 去掉了全連接層，其每個(gè)輸出會(huì)感受到目標(biāo)周圍的信息，包括上下文，增加了其合理性，不同的feature map 可預(yù)測不同寬高比的圖像，可實(shí)現(xiàn)多尺度檢測的目的。

1.2 MobileNet網(wǎng)絡(luò)

MobileNet 網(wǎng)絡(luò)模型是Google 針對手機(jī)等嵌入式設(shè)備提出的使用深度可分離的卷積來構(gòu)建輕量級的深層神經(jīng)網(wǎng)絡(luò)。其核心思想在于巧妙分解卷積核，將標(biāo)準(zhǔn)卷積分解成深度卷積和點(diǎn)卷積（1×1 卷積核），深度卷積將每個(gè)卷積核應(yīng)用到每個(gè)通道，針對單個(gè)輸入通道，用單個(gè)卷積核進(jìn)行卷積，得到輸入通道數(shù)的深度，再利用點(diǎn)卷積對深度卷積的輸出進(jìn)行線性結(jié)合，從而產(chǎn)生新的特征[7]。這種分解可有效地減少網(wǎng)絡(luò)參數(shù)，降低模型規(guī)模，并減少過擬合所引起的訓(xùn)練問題。

MobileNet 網(wǎng)絡(luò)模型包含輸入層、13 層卷積層、平均池化層和全連接層，每層卷積層后有批規(guī)范化層[8]和ReLU 非線性激活函數(shù)[9]，MobileNet 網(wǎng)絡(luò)主體結(jié)構(gòu)如表1 所示。

表1 MobileNet 網(wǎng)絡(luò)主體結(jié)構(gòu)

MobileNet 將VGG16 傳統(tǒng)卷積核、后3 個(gè)全連接層分別替換成深度卷積核與單點(diǎn)卷積核的組合、7x7平均池化層與1 024×1 000 全連接層，而VGG16 的最大池化層則用卷積核跨步替代。此外，MobileNet 網(wǎng)絡(luò)引入2 個(gè)全局超參數(shù)：寬度乘數(shù)和分辨率乘數(shù)，2 種超參數(shù)相互作用可有效平衡延遲度和準(zhǔn)確度，通過減少網(wǎng)絡(luò)參數(shù)量來縮減計(jì)算量。

標(biāo)準(zhǔn)卷積層由卷積核k 參數(shù)化，標(biāo)準(zhǔn)卷積核G 可表示為

深度可分離卷積計(jì)算量G′為

深度可分離卷積計(jì)算量G′與標(biāo)準(zhǔn)卷積核計(jì)算量G 比率為

式中：Dk為正方形內(nèi)核的空間尺寸；M 為輸入通道數(shù)；N 為輸出通道數(shù)；標(biāo)準(zhǔn)卷積核G 可用來評價(jià)模型參數(shù)量的壓縮程度；G′為縱向與 1×1 點(diǎn)向卷積之和，式（3）將卷積表示為過濾和組合2 個(gè)過程，由公式（1）、（2）、（3）可以發(fā)現(xiàn)，通過3×3 的分離卷積計(jì)算使模型參數(shù)量減少，計(jì)算量縮減約Dk2，在通道級別上計(jì)算瘦身，且損失精確率程度低。

1.3 SSD_MobileNet_v1網(wǎng)絡(luò)模型

SSD_MobileNet_v1 模型的結(jié)構(gòu)以SSD 模型為基礎(chǔ)網(wǎng)絡(luò)，在MobileNet 網(wǎng)絡(luò)的conv13 層后添加8 個(gè)卷積層，抽取其中6 層作為檢測層。SSD_MobileNet_v1新增網(wǎng)絡(luò)結(jié)構(gòu)層如表2 所示。

表2 SSD_MobileNet_v1新增網(wǎng)絡(luò)結(jié)構(gòu)層

SSD_MobileNet_v1 模型結(jié)構(gòu)將SSD 和MobileNet結(jié)合，通過多層卷積網(wǎng)絡(luò)，經(jīng)卷積分解等操作，對各個(gè)通道單獨(dú)計(jì)算輸出，再由點(diǎn)卷積執(zhí)行特征融合進(jìn)入下一層網(wǎng)絡(luò)，然后輸入到卷積模型，進(jìn)行特征篩選與輸出特征映射，減少SSD 參數(shù)的數(shù)量與運(yùn)算量，實(shí)現(xiàn)SSD 檢測網(wǎng)絡(luò)的加速。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 SSD_MobileNet_v1 網(wǎng)絡(luò)結(jié)構(gòu)

SSD_MobileNet_v1 模型保持了原有SSD 網(wǎng)絡(luò)結(jié)構(gòu)，用3×3 大卷積核進(jìn)行特征學(xué)習(xí)，分別在深度卷積層和點(diǎn)卷積層后連接批規(guī)范層和ReLU 函數(shù)來保證良好精確度，相當(dāng)于空間和通道之間的解耦，以達(dá)到模型運(yùn)行加速的目的[10]。SSD_MobileNet_v1 網(wǎng)絡(luò)模型用小規(guī)模參數(shù)代替原有冗余參數(shù)，使得計(jì)算量和硬件內(nèi)存資源消耗降低，加快了收斂速度，有效地控制過擬合，改善模型性能[11]。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

本文設(shè)計(jì)的貓狗圖像識(shí)別系統(tǒng)分為3 個(gè)模塊：第1 個(gè)模塊是數(shù)據(jù)集構(gòu)建模塊，采集貓狗圖像構(gòu)建數(shù)據(jù)集，并對數(shù)據(jù)集圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、標(biāo)注等預(yù)處理，以減少雜糅信息對輸入圖像的干擾；第2 個(gè)模塊是網(wǎng)絡(luò)訓(xùn)練模塊，將預(yù)處理后的圖像作為輸入，利用MobileNet得到圖像全部輸出特征，采用區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN）特征區(qū)域[12]，將特征區(qū)域里的圖像特征輸入到SSD 網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練以得到權(quán)重值，再利用softmax 回歸器將卷積神經(jīng)網(wǎng)絡(luò)的輸出變成概率分布，直觀顯示識(shí)別的準(zhǔn)確率；第3 個(gè)模塊是識(shí)別模塊，該模塊將測試圖像輸入到已經(jīng)完成訓(xùn)練的網(wǎng)絡(luò)中進(jìn)行計(jì)算，得到識(shí)別結(jié)果。系統(tǒng)實(shí)現(xiàn)框圖如圖3所示。

圖3 系統(tǒng)實(shí)現(xiàn)框圖

2.1 數(shù)據(jù)集構(gòu)建

從coco 數(shù)據(jù)集中選擇圖片來構(gòu)建本文需要的訓(xùn)練集和測試集，選取coco 數(shù)據(jù)集中像素高的貓和狗圖片各500 張為訓(xùn)練集圖片，各100 張為測試集圖片。

識(shí)別之前對圖像進(jìn)行預(yù)處理，去除目標(biāo)特征不明顯的圖像，增強(qiáng)圖像信息，便于對目標(biāo)的識(shí)別，預(yù)處理主要完成以下工作：圖像增強(qiáng)、圖像標(biāo)注、.xml 格式轉(zhuǎn)換.csv 格式、.csv 格式轉(zhuǎn)換 record 格式。

由于圖像具有隨機(jī)性，圖片尺寸大小不一，為避免重復(fù)率較高等問題，對數(shù)據(jù)集圖像進(jìn)行隨機(jī)裁剪；利用濾波消除圖像噪聲，通過圖像銳化增強(qiáng)圖像的邊緣細(xì)節(jié)等操作，有效提高圖像質(zhì)量和利用率。

對圖像數(shù)據(jù)增強(qiáng)后，需標(biāo)注圖像及轉(zhuǎn)換格式。使用LabelImg 軟件對數(shù)據(jù)集圖像標(biāo)注特征區(qū)域，同時(shí)指定合適的標(biāo)簽，將圖像的標(biāo)注信息存入同名的.xml 文件中以供后續(xù)使用。在標(biāo)注時(shí)，選擇對貓狗圖像面部特征的合適方框，對標(biāo)注的區(qū)域命名實(shí)現(xiàn)數(shù)據(jù)的分類，在圖像同一文件夾下同名的.xml 文件包括圖片的名稱、存儲(chǔ)路徑、類別、原圖以及標(biāo)注區(qū)域大小等信息。把包含圖像標(biāo)注信息的.xml 文件統(tǒng)一記錄到.csv表格中。

.csv 表格顯示原圖尺寸和標(biāo)注區(qū)域大小及圖片的分類名稱，圖片標(biāo)注區(qū)域滿足式（4）、（5）呈現(xiàn)的關(guān)系

式中：xmax、xmin、ymax、ymin分別為標(biāo)注區(qū)域?qū)挾鹊淖畲笾岛妥钚≈?、高度的最大值和最小值；width 為原圖寬度；height 為原圖高度。

利用Tensorflow 平臺(tái)提供的TFRecords 格式存儲(chǔ)數(shù)據(jù)，將.csv 格式轉(zhuǎn)化為.TFRecords 格式，將訓(xùn)練集和測試集里圖片和對應(yīng)標(biāo)注信息結(jié)合，統(tǒng)一數(shù)據(jù)格式，有效管理不同屬性，更好地利用內(nèi)存。

采集的貓狗圖像經(jīng)過預(yù)處理，排除對圖像識(shí)別的干擾因素，篩選后得到的結(jié)果為訓(xùn)練集中貓和狗圖片各400 張，測試集里貓和狗圖片各65 張。預(yù)處理后的貓狗圖像數(shù)據(jù)集如圖4 所示。

圖4 預(yù)處理后的貓狗圖像數(shù)據(jù)集

2.2 網(wǎng)絡(luò)訓(xùn)練

對網(wǎng)絡(luò)模型訓(xùn)練需配置.pbtxt 文件，設(shè)置標(biāo)注的類別數(shù)量為2，因其數(shù)據(jù)量過大導(dǎo)致內(nèi)存不足，設(shè)置批次batch size 大小為1。為了模型在訓(xùn)練的前期可快速接近較優(yōu)解，采用指數(shù)衰減方法設(shè)置梯度下降法中的學(xué)習(xí)率，這樣可保證在后期不會(huì)有太大的波動(dòng)，更加接近最優(yōu)解。初始學(xué)習(xí)率設(shè)定為0.004，衰減率為0.95，每個(gè)訓(xùn)練步驟的學(xué)習(xí)率降低到先前學(xué)習(xí)率的0.95 倍。隨著訓(xùn)練次數(shù)的增加，學(xué)習(xí)率由大逐步變小，學(xué)習(xí)率大可以快速收斂，但是訓(xùn)練結(jié)果不佳，且收斂損失率較高；學(xué)習(xí)率小收斂的速度慢，想要達(dá)到較低的損失效果需要訓(xùn)練較多步數(shù)。

訓(xùn)練模型不僅要優(yōu)化損失函數(shù)，讓模型盡量模擬訓(xùn)練數(shù)據(jù)行為的同時(shí)還應(yīng)對未知數(shù)據(jù)進(jìn)行判斷，使用L2 正則化，將刻畫模型復(fù)雜程度的指標(biāo)添加到損失函數(shù)中以有效避免過度擬合。L2 的計(jì)算公式為

式中：w 為神經(jīng)網(wǎng)絡(luò)中的權(quán)重參數(shù)，權(quán)重決定了模型的復(fù)雜度。

L2 正則化是通過限制w 的大小，使模型不能任意擬合訓(xùn)練數(shù)據(jù)中的隨即噪音，從而避免過擬合。L2 正則化網(wǎng)絡(luò)訓(xùn)練如圖5 所示。

為了使模型在測試數(shù)據(jù)上更健壯，在使用隨機(jī)梯度下降法的同時(shí)，還需使用滑動(dòng)平均模型來改進(jìn)。此外，還需配置管道配置文件，即配置訓(xùn)練集和測試集的路徑。創(chuàng)建標(biāo)簽分類的配置文件.pbtxt，要識(shí)別貓和狗2 種目標(biāo)，在標(biāo)簽配置文件中創(chuàng)建2 個(gè)類別。

圖5 L2 正則化網(wǎng)絡(luò)訓(xùn)練

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)的硬件平臺(tái)為Windows10 操作系統(tǒng)，CPU：Intel（R）_Core（TM）_i5-3337U CPU@1.80 GHz，RAM：4GB。

3.1 性能評估

對于貓狗識(shí)別系統(tǒng)而言，性能評估從識(shí)別精度和識(shí)別速度兩方面來考量。

通過檢測貓狗圖片的過程來進(jìn)行性能評估，利用Tensorflow 平臺(tái)自帶的可視化工具Tensorboard 對網(wǎng)絡(luò)性能進(jìn)行監(jiān)測，Tensorboard 可以有效地顯示操作期間Tensorflow 的計(jì)算圖，各種指標(biāo)隨時(shí)間的變化趨勢以及訓(xùn)練期間使用的圖像等信息而變化。訓(xùn)練總損失度total_loss 曲線如圖6所示，訓(xùn)練全局步數(shù)變化如圖7所示。

圖6 訓(xùn)練總損失度total_loss 曲線

圖7 訓(xùn)練全局步數(shù)變化

從圖6 可以看出，訓(xùn)練的損失度隨著訓(xùn)練次數(shù)的增加而呈下降趨勢，SSD_MobileNet_v1 網(wǎng)絡(luò)訓(xùn)練繼承了SSD 的良好性能優(yōu)勢，隨著訓(xùn)練次數(shù)的增加和計(jì)算開銷的減少，圖像的處理效果逐漸轉(zhuǎn)好，其失真率減小，圖片識(shí)別的效果逐步提高。從圖7 可以看出占用內(nèi)存的消耗情況，訓(xùn)練次數(shù)的增加使得模型訓(xùn)練時(shí)間變短，計(jì)算消耗減少，呈現(xiàn)出內(nèi)存消耗減少的優(yōu)勢，優(yōu)化了網(wǎng)絡(luò)性能。

3.2 識(shí)別結(jié)果

采用經(jīng)過188 000 步訓(xùn)練后生成的網(wǎng)絡(luò)進(jìn)行貓狗圖像識(shí)別，測試集中包含貓和狗的圖片各50 張，部分貓狗圖像識(shí)別結(jié)果截圖如圖8 所示。測試結(jié)果表明，對貓狗圖像平均識(shí)別率為98.21%，識(shí)別效果良好。

圖8 中，識(shí)別框?yàn)閷δ繕?biāo)的定位；方框旁cat 和dog 為圖像識(shí)別的類別；百分比為判斷為該類別的概率。默認(rèn)顯示最大識(shí)別率，如cat：99%為識(shí)別出圖像為貓的概率是99%，dog：1%～99%=1%，且1%＜＜99%，故認(rèn)為是貓。

上述結(jié)果表明，本文構(gòu)建方法的識(shí)別率高于傳統(tǒng)通過卷積神經(jīng)網(wǎng)絡(luò)方法，實(shí)驗(yàn)還發(fā)現(xiàn)SSD_MobileNet_v1網(wǎng)絡(luò)模型具有較強(qiáng)的抗干擾性，對于存在背景干擾的圖像，依然能準(zhǔn)確識(shí)別目標(biāo)，且可達(dá)到一定精度。對同一目標(biāo)，背景存在或者不存在時(shí)，都可以識(shí)別出目標(biāo)，但存在背景干擾時(shí)，識(shí)別出的準(zhǔn)確率會(huì)有所降低。此外，基于對單一目標(biāo)圖像的精準(zhǔn)識(shí)別，進(jìn)一步對多目標(biāo)圖像進(jìn)行識(shí)別，以檢測構(gòu)建方法對于貓狗圖像識(shí)別定位效果的優(yōu)越性。背景干擾識(shí)別效果圖如圖9 所示。對于多目標(biāo)共存的圖片依舊具有較好的定位效果，滿足多個(gè)體出現(xiàn)的真實(shí)場景中準(zhǔn)確定位的要求，且識(shí)別精確度高。

圖8 部分貓狗圖像識(shí)別結(jié)果截圖

圖9 背景干擾識(shí)別效果圖

由文獻(xiàn)[2]可知，基于CNN 的貓狗圖像識(shí)別的準(zhǔn)確率為76.80%，SSD_MobileNet_v1 模型與CNN 模型檢測效果對比如表3 所示?；谀Ｐ陀?xùn)練對于數(shù)據(jù)集中測試圖像進(jìn)行驗(yàn)證，采用平均精度均值方法（mean average precision，MAP）對圖像識(shí)別效果進(jìn)行準(zhǔn)確率平均值計(jì)算得出98.21%的準(zhǔn)確率，可明顯看出SSD_MobileNet_v1 準(zhǔn)確率有大幅提升。

表3 SSD_MobileNet_v1 模型與CNN 模型檢測效果對比

4 結(jié) 語

傳統(tǒng)的基于CNN 貓狗圖像識(shí)別方法對貓狗圖像的識(shí)別率不高，容易丟失目標(biāo)信息，且內(nèi)存占用較大。而本文提出的基于SSD_MobileNet_v1 網(wǎng)絡(luò)模型識(shí)別目標(biāo)的方法，對貓狗圖像數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，產(chǎn)生了良好的收斂效果，模型訓(xùn)練總計(jì)算量減少，內(nèi)存消耗降低，優(yōu)化了網(wǎng)絡(luò)性能，對背景等具有抗干擾性，定位精度更高。實(shí)驗(yàn)結(jié)果表明，基于SSD_MobileNet_v1網(wǎng)絡(luò)模型對貓狗圖像的識(shí)別率達(dá)98.21%，比傳統(tǒng)方法有了較大提升。盡管訓(xùn)練所得到的檢測效果有所改善，但精確度與性能沒有達(dá)到高效性和一致性，今后在模型的性能優(yōu)化方面需繼續(xù)提高，以求達(dá)到更高的魯棒性，充分發(fā)揮其實(shí)用價(jià)值。