蔣承知+于起+葉文強+甘凇元

摘 要 機器學(xué)習(xí)的興起使得計算機在處理龐大數(shù)據(jù)時多了一種強有力的手段，尤其計算機在識別大數(shù)據(jù)量圖像時與計算機視覺技術(shù)相結(jié)合，使得圖像識別等人工智能運用更加快速。深度學(xué)習(xí)發(fā)展和延伸了傳統(tǒng)機器學(xué)習(xí)，使得計算機能像人類大腦一樣用通過感受視取圖像特征。卷積神經(jīng)網(wǎng)絡(luò)改善了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的功能，通過權(quán)值共享技術(shù)減少網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量，采用下采樣技術(shù)避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)易于過擬合等缺點，因此卷積神經(jīng)網(wǎng)絡(luò)在人臉識別，語音識別等領(lǐng)域有了廣泛的運用。隨著技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)也衍生出了許多性能優(yōu)良的網(wǎng)絡(luò)結(jié)構(gòu)框架。本文主要探究R-CNN和Fast-R-CNN進行圖像識別上的性能分析。

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計與生產(chǎn)進入了納米時代，計算機的計算能力與計算速度得到了空前的提高，但是人們的需求是無限的，要求計算機能更加任性化的服務(wù)于我們的生活，這也就要求計算機本身能像人一樣識別與感知周圍的環(huán)境，并對復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計算機能對為的環(huán)境做出識別與判斷也就要求計算機能夠智能的識別圖像信息。深度學(xué)習(xí)是機器學(xué)習(xí)中的一個新的研究領(lǐng)域。通過深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來抽取目標(biāo)特征進而識別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計算機在感知識別周圍環(huán)境的能力有了巨大的提升，使得計算機更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強大的特征提取能力，使得其在圖像分類識別，目標(biāo)跟蹤等領(lǐng)域有著強大的運用。

1.1 國內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機器學(xué)習(xí)方法，也影響著我們對人類感知的理解，迄今已在語音識別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類，語音識別，自然語言處理等領(lǐng)域有廣泛的運用。

2013年百度成立百度深度學(xué)習(xí)研究院以來我國的人工智能領(lǐng)域取得了長足的進步。在人工智能專家吳恩達的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無人駕駛技術(shù)，DuerOS語音交互計算平臺，人臉識別技術(shù)，美樂醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機器學(xué)習(xí)的一個新方向，通過學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識別，語音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過特征表達和分類器來進行目標(biāo)識別等任務(wù)的。并在語音識別、圖像處理、機器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實驗對輸入信息進行分級表達。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測試的復(fù)雜度大幅度降低，同時也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對上一層的圖像進行卷積運算，提取圖像特征，下采樣核則是對上層的數(shù)據(jù)進行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時的將卷積核生成的特征向量進行降維，減少神經(jīng)網(wǎng)絡(luò)的運算量。LeNet5算法在1962年幼Hubel等人提出，在識別手寫數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對比分析

卷積神經(jīng)網(wǎng)絡(luò)在對圖像進行識別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識別圖像，但是在現(xiàn)實生活運用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對卷積神經(jīng)網(wǎng)絡(luò)進行改進，產(chǎn)生了具有對圖像中目標(biāo)進行識別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對圖像進行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對物體探測中位置信息進行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計算機視覺算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時一般采用經(jīng)過預(yù)訓(xùn)練的模型參數(shù)進行finetuning，為了增加訓(xùn)練樣本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進行訓(xùn)練。R-CNN采用SVMs分類器對特征向量進行分類，在訓(xùn)練SVMs時將候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類器訓(xùn)練分類器模型。而在測試時將圖像全部候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類器中，得到每一類的評分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對一張圖片1000-2000個候選區(qū)圖像進行前向運算，保存所有后選取圖片的特征值，要求計算硬件有大量的存儲空間，同時處理每一張圖片的時間也會增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計算的時間成本很大，達不到實時的計算效果，R-CNN在對候選區(qū)進行處理時會使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個輸出，引入了Rol層。

Fast-R-CNN在運行的時候同樣會生成大量的候選區(qū)，同時將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個候選區(qū)生成一個固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計算K+1分類的損失，K為第K個目標(biāo)，1為背景；Regression LOSS計算候選區(qū)的四個角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實驗測試

對于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實驗結(jié)果。實驗平臺為基于Linux系統(tǒng)的debian8下運行caffe進行訓(xùn)練，采用顯卡K620進行實驗。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實現(xiàn)的訓(xùn)練樣本為錄制實驗室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對每張圖片數(shù)據(jù)進行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓(xùn)練樣本，7.2萬張作為測試樣本。

6 總結(jié)

在目標(biāo)識別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強大的圖像處理能力，對圖像的識別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強大的圖像處理能力。Fast-R-CNN在識別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對一張圖片需要進行1000-2000次的卷積運算，特征重復(fù)提取。因此在訓(xùn)練和前向測試時，R-CNN用的時間長，不能很好的適用于處理實時圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對每個候選區(qū)進行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測試時間的同時也需要耗費大量內(nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進展[J].中國圖象圖形學(xué)報，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

作者單位

東北大學(xué)信息科學(xué)與工程學(xué)院 遼寧省沈陽市 110819