葛 雯，宮 婷，王 媛，胡愛玲

（沈陽航空航天大學電子信息工程學院，沈陽110136）

1 引 言

人類認知世界的的主要器官是眼睛，而眼睛給我們帶來的信息是以圖像信息為主的。大腦與眼睛合作使人們認知并感知世界。所以，計算機智能化的首要目標是能夠?qū)D像信息進行采集以及相關處理。目前，該項技術已經(jīng)趨于成熟，被普遍應用于醫(yī)療、軍事等領域。人工智能技術正處于發(fā)展的上升期，深度學習理論的應用已成為新興熱點方興未艾。將深度學習模型應用于目標識別，與傳統(tǒng)的方法相比，具有精度高、運算量小的優(yōu)點，受到廣泛采用，是目前業(yè)界的一個比較熱門的話題。

傳統(tǒng)的目標識別方法分為三個步驟：(1) 選出候選區(qū)域,即在原始圖像上找到或者預測出目標可能存在的區(qū)域；(2) 區(qū)域特征提取，提取目標的特征以及與目標相關的主要信息；(3) 分類器分類，在上一步得到的特征信息基礎上將目標進行分類。由此可見，此傳統(tǒng)方法的弊端在于設計者需要思考如何進行特征提取，所以受限于設計者的經(jīng)驗與經(jīng)歷，如若提取的特征不全面或者有丟失的信息，將會嚴重影響最終識別結果的準確性。

在卷積神經(jīng)網(wǎng)絡受到廣泛應用之前，DPM[1]（Deformable Parts Model,可變形的組件模型）是一個非常成功的目標檢測算法，連續(xù)獲得VOC（Visual Object Class）2007、08、09年的檢測冠軍。DPM 可以看做是 HOG（Histogrrams of Oriented Gradients）特征和SVM（Surpport Vector Machine）分類器的合作，先計算梯度方向直方圖，然后用SVM 訓練得到物體的梯度模型。這樣處理之后的模板就可以直接用來分類了，此法在一些檢測任務上取得了非常理想的檢測效果。

卷積神經(jīng)網(wǎng)絡[2]（Convolutional Neural Network,CNN）最早源自于動物的神經(jīng)元。每個動物神經(jīng)元只負責處理一小塊區(qū)域的視覺圖像，稱為感受野（Receptive Field）,相當于CNN 卷積核的處理過程。此模型在許多目標識別中都獲得了較好的結果。

目前在目標識別領域的算法主要分為兩部分，一是傳統(tǒng)的目標檢測算法，二是基于深度學習的目標檢測算法?；谏疃葘W習的算法根據(jù)其具體的步驟分為基于候選區(qū)域的算法，例如R-CNN[3]、FastRCNN[4]、FPN、SPPNet[5]等，和基于回歸的算法，YOLO、SSD[6]、YOLOv2 等。

2 Faster R-CNN

2014年，Girshick 等人提出的 R-CNN 算法首次在目標識別領域應用卷積神經(jīng)網(wǎng)絡，其取得的效果遠遠好于傳統(tǒng)的識別算法。在這種基于候選區(qū)域的深度學習目標識別算法中產(chǎn)生候選區(qū)域時普遍應用的算法有Selective Search[7]和Edge Boxes[8],然后利用卷積神經(jīng)網(wǎng)絡提取特征向量，在特征提取方面，現(xiàn)在目標檢測領域普遍采用卷積神經(jīng)網(wǎng)絡進行特征提取替代人工特征提取，再利用SVM 進行特征向量分類，經(jīng)常用到的分類模型有Alex Net，VGG，Google Net，Res Net 等等。在效果上，R-CNN在PASCAL VOC 2007[9]上的檢測結果平均精度接近 DPM 的 2 倍。

Region CNN（R-CNN）是利用深度學習進行目標識別檢測的開始。作者Ross Girshick 多次在PASCAL VOC 的目標檢測競賽中奪冠，更帶領團隊獲得終身成就獎。R-CNN 將CNN 算法與候選區(qū)域方法相結合，利用二者的優(yōu)點，更優(yōu)地實現(xiàn)了目標識別的問題。但是R-CNN 有一個缺點：它需要提取所有候選區(qū)域的特征，所以在計算上有許多重復。針對這一缺點提出了新的算法，即Fast R-CNN，它在R-CNN 的基礎上加入了金字塔池化層，將邊緣提取也采用神經(jīng)網(wǎng)絡的提取方式，在一定程度上減少了計算量。但是Fast R-CNN 采用選擇性搜索的方式找出所有的候選框，也是十分耗費時間的。

Faster R-CNN 算法由任少卿等[10]提出，在目標檢測領域取得了優(yōu)異的成果，引來眾多研究人員對其做進一步的研究與改進。該算法首先使用CNN 進行特征提取，然后在Fast R-CNN 的基礎上，將獲取候選區(qū)域的Selective search 方法改進為RPN 網(wǎng)絡，得到候選區(qū)域，接著使用Softmax 多任務分類器進行后續(xù)的分類與回歸步驟，具體流程圖如圖1所示。

圖1 Faster R-CNN 流程圖

圖中主要步驟解釋如下：

1) 特征提取網(wǎng)絡

特征提取網(wǎng)絡是可以根據(jù)實際需進行替換的卷積神經(jīng)網(wǎng)絡，訓練數(shù)據(jù)的多少影響最終的性能與效果，其最常用的訓練網(wǎng)絡有ImageNet、ZF-Net 等等。ReLU 函數(shù)是使用較普遍的激活函數(shù)，定義如下式：

ReLU 函數(shù)由于梯度值恒為1 ，所以避免了梯度消失的現(xiàn)象，增快了收斂速度。

2) 候選區(qū)域生成網(wǎng)絡

對待檢測圖像進行粗檢，輸出多種尺度和寬高比的矩形候選區(qū)域。針對每個基準矩形候選區(qū)域框輸出4 個修正參數(shù)，修正之后可得到最終的候選區(qū)域框，給出基準矩形框公式如下：

3) 分類回歸網(wǎng)絡

以特征提取網(wǎng)絡輸出的特征圖和候選區(qū)域生成網(wǎng)絡輸出的候選區(qū)域為輸入，輸出候選區(qū)域?qū)黝悇e的置信度和修正參數(shù)。

然而，該算法在實時性上還有所不足。

3 改進方法

3.1 候選區(qū)域生成與分類回歸

在 Faster R-CNN 算法中，F(xiàn)aster R-CNN 網(wǎng)絡需要對整體的輸入圖像進行特征提取，并對其進行候選區(qū)域的生成與分類。候選區(qū)域生成網(wǎng)絡和分類回歸網(wǎng)絡共享同一個特征提取網(wǎng)絡，特征提取網(wǎng)絡輸出的特征將不加區(qū)分地直接送到候選區(qū)域生成網(wǎng)絡和分類回歸網(wǎng)絡中。候選區(qū)域生成主要區(qū)分背景與目標之間的差異；分類回歸網(wǎng)絡主要區(qū)分不同目標之間的特征差異。令二者共用同一個特征提取網(wǎng)絡的輸出作為輸入，會對網(wǎng)絡的性能造成一定程度的影響。

故此針對這一問題提出一種改進方法[11]，針對Faster R-CNN 算法中候選區(qū)域生成網(wǎng)絡和分類回歸網(wǎng)絡采用單獨特征提取的網(wǎng)絡結構進行研究,為候選區(qū)域生成網(wǎng)絡和分類回歸網(wǎng)絡設置獨立的特征提取網(wǎng)絡，使候選區(qū)域生成網(wǎng)絡學習的特征不會進入到分類回歸網(wǎng)絡中，進而提高網(wǎng)絡性能。在訓練過程中需要分為候選區(qū)域生成子網(wǎng)絡和分類回歸子網(wǎng)絡兩個子網(wǎng)絡進行訓練。其網(wǎng)絡流程圖如圖2所示。

圖2 改進后的網(wǎng)絡流程圖

3.2 金字塔RPN結構

目標經(jīng)過攝像頭會呈現(xiàn)出不同尺度的變化，為了使算法對小目標更加敏感，針對檢測目標的多尺度問題，對RPN 網(wǎng)絡進行了改進，提出RPN 金字塔結構[12]，用以解決檢測目標多尺度的問題。

RPN 網(wǎng)絡輸入特征提取網(wǎng)絡生成的特征圖，輸出目標候選區(qū)域矩形框集合。原始的RPN 網(wǎng)絡結構通過在輸出的特征圖上利用滑動窗口直接實現(xiàn)候選區(qū)域的提取，送入網(wǎng)絡后續(xù)部分進一步實現(xiàn)目標的分類和候選區(qū)域位置框的回歸，如圖3所示。

圖3 原始RPN 網(wǎng)絡

候選區(qū)域生成網(wǎng)絡的損失函數(shù)是一個多任務損失函數(shù)，定義如下：

式中，i 是基準框序號，pi，ti是基準框的預測置信度和預測修正參數(shù)是基準框的標簽基準框則對應于目標標簽框的修正參數(shù)，Lcls是預測置信度的損失函數(shù)，Lreg是修正參數(shù)的損失函數(shù)。修正后對應的計算公式是：

以上各等式分別表示目標標簽框的中心橫、縱坐標和寬、高度。本研究提出將RPN 網(wǎng)絡結構的3×3 卷積核增加至3 種大小不同的卷積核進行遍歷。因為對不同尺度的目標僅使用一種大小的感受野是不夠精確的，利用三種不同大小的感受野就可以更加精確地識別目標了。

原始的RPN 網(wǎng)絡結構在最后一層生成的特征圖上使用3×3 大小的感受野進行窗口滑動，改進之后分別通過 5×5、3×3、1×1 三種不同大小的感受野進行窗口滑動之后融合得到候選框，再傳輸給后續(xù)網(wǎng)絡進行分類回歸。改進之后的RPN 網(wǎng)絡結構如圖4所示。這樣的結構設計可以適用于目標的多尺度，從而更加魯棒，可提高整個模型的檢測能力。

圖4 改進后的RPN 網(wǎng)絡

4 實驗驗證

為驗證改進算法的有效性，選用深度學習框架TensorFlow 作為實驗平臺，并在數(shù)據(jù)集VOC 07 上進行驗證。該數(shù)據(jù)集包括20 種目標類別，一共有9963 張圖片。設置學習率為0.001，衰減因子為0.1，進行迭代。整個網(wǎng)絡的訓練過程使用SGD 反向傳播優(yōu)化整個網(wǎng)絡模型。在訓練過程中，模型被分為候選區(qū)域生成子網(wǎng)絡和分類回歸子網(wǎng)絡兩部分，先初始化特征提取網(wǎng)絡，然后對候選區(qū)域網(wǎng)絡和分類回歸網(wǎng)絡進行標準差為0.01 的高斯分布隨機初始化，最后再同時對二者進行調(diào)整。

實驗復現(xiàn)了原始的Faster R-CNN 結構，實現(xiàn)了改進的獨立特征提取網(wǎng)絡和“金字塔RPN”結構，并給出模型監(jiān)測的結果，如圖5所示。不同模型的檢測結果如表1所示。從表中可以看出經(jīng)過改進的算法比傳統(tǒng)Faster R-CNN 算法的準確率提升了2.8%左右。

圖5 檢測結果圖

5 結束語

以Faster RCNN 為基礎，提出了改進的FasterRCNN 算法。對候選區(qū)域生成網(wǎng)絡和分類回歸網(wǎng)絡采用單獨特征提取網(wǎng)絡的情況進行研究并實現(xiàn)了相應的改進算法。針對目標尺寸偏小，首先對anchor的大小進行了調(diào)整；進一步對RPN 網(wǎng)絡結構進行了改進，提出了一種“金字塔RPN”網(wǎng)絡結構。最終在檢測數(shù)據(jù)集VOC 07 上對算法進行驗證。在深度學習的基礎上，目標識別的準確率已經(jīng)有了顯著提高，但是由于目標識別與神經(jīng)網(wǎng)絡所涉及的知識十分寬泛，所以還有很大的研究空間。比如可發(fā)揮傳統(tǒng)算法中的優(yōu)點，使之有針對性地與深度學習結合起來，進一步提高算法的準確率，甚至還可使用多GPU 并行訓練網(wǎng)絡。

表1 模型檢測精確度對比表