王 輝，于立君，孫 蓉，劉朝達，高天禹

融入幀間差分法的深度學習目標識別仿真研究

王 輝，于立君，孫 蓉，劉朝達，高天禹

（哈爾濱工程大學 自動化學院，黑龍江 哈爾濱 150001）

目標檢測與識別是數(shù)字圖像處理實驗的創(chuàng)新性實驗項目。傳統(tǒng)的目標識別算法可以識別目標類型，但不能識別目標的位置信息，且對相同目標的識別率較低。該文設計了一種基于幀間差分法的深度學習目標識別算法，即在深度學習理論構架下，將幀間差分法融入識別過程，補充增強候選框分割圖像，通過NMS算法對候選框進行篩選。仿真結果表明，該算法在識別目標種類的同時還能對目標在圖像中的位置進行精確標定，并可判斷目標是否處于運動狀態(tài)，具有較高的識別率。

目標檢測與識別；創(chuàng)新性實驗項目；幀間差分法；深度學習

近年來，隨著現(xiàn)代機器人技術的快速發(fā)展，機器工作的場景已不再局限于室內(nèi)，在許多室外工作場所中，機器代替人工進行生產(chǎn)作業(yè)提高了工作效率、降低了生產(chǎn)成本。這些應用都需要可靠的目標檢測識別算法[1]來幫助機器人完成任務。傳統(tǒng)的識別算法識別效果完全取決于人工設計的特征提取算法是否合理，然而大部分人工設計的特征提取算法都無法完全滿足要求，算法產(chǎn)生的特征健壯性不佳，難以作為分類器分類的依據(jù)。

本文利用深度學習技術將平臺上的攝像機捕獲的圖像中的目標識別出來，再通過Tensorflow對其進行實現(xiàn)，同時將幀間差分法的動態(tài)目標識別算法融入Faster RCNN[2]分割候選區(qū)域選擇與最終標注中。動態(tài)目標識別算法能夠為神經(jīng)網(wǎng)絡提供多幀圖像間的變化信息加強識別效果，還能夠幫助確定目標的運動情況，從而為無人平臺提供更多參考信息。

1 特征提取基網(wǎng)絡構架

卷積神經(jīng)網(wǎng)絡[3]能夠通過卷積一層層地提取圖像的特征信息并進行分類識別。但是在目標識別任務中，卷積神經(jīng)網(wǎng)絡[4]只能對圖像中存在的目標進行整體的定性識別。為了利用神經(jīng)網(wǎng)絡提取圖像中目標的更多信息，需要對網(wǎng)絡結構進行改變。

1.1 遷移學習提取特征層

在構建新的神經(jīng)網(wǎng)絡時，需要在原有的目標識別基礎上加入對目標位置的檢測。而遷移學習[5]的作用就是將深度網(wǎng)絡通過訓練所學習到的“知識”，從一個作用場景遷移到另一個作用場景，如圖1所示。

圖1 遷移學習

遷移學習可以調(diào)用現(xiàn)有的訓練成果，使已經(jīng)完成的工作成果被重復利用，而不用浪費時間重新訓練。當對某類目標只有少量數(shù)據(jù)集的情況下，以已經(jīng)訓練好的網(wǎng)絡為基礎進行訓練，能夠成功完成。最常用的一種遷移學習方式是將原訓練模型進行分割，保留基礎模型數(shù)據(jù)，再將模型遷移到新領域。本文構建網(wǎng)絡的第一步就是以已經(jīng)訓練好的卷積神經(jīng)網(wǎng)絡為基礎，用遷移學習方式來提取用于識別任務的特征層。

1.2 遷移學習基網(wǎng)絡

本文選擇VGG16網(wǎng)絡[6]作為遷移學習的對象。VGG是由AlexNet發(fā)展而來的網(wǎng)絡，相對于最初的AlexNet，VGG網(wǎng)絡選擇使用的卷積核尺度及卷積計算步長更小，分別為3×3 的卷積核大小與2像素每次卷積步長。

VGG網(wǎng)絡[7]系列的結構包括從11層到19層的不同版本。一般來說，識別效果隨著網(wǎng)絡深度（層數(shù)）的不斷加深越來越好，但進行訓練的難度及參數(shù)數(shù)量也越多，尤其在超過19層之后，網(wǎng)絡訓練會因為梯度難以傳遞等問題變得無法進行，因此大多選擇16或19層的VGG。

2 幀間差分法深度學習識別算法設計

本文采取RPN層提取建議框方法來構建深度神經(jīng)網(wǎng)絡。VGG16[8]卷積生成的特征圖中，每一個像素都與原圖有著空間上的對應關系，因此在新的網(wǎng)絡中可以首先對整個圖片用VGG16進行特征提取，這樣可以獲得一個22×22的特征層，然后再在這張?zhí)卣鲌D上通過建議框進行劃分，而不是直接在原圖上進行劃分。相較于預先劃分好候選框再對框內(nèi)的內(nèi)容調(diào)整大小進行卷積，新的網(wǎng)絡結構只需要使用一次卷積過程，所有建議框內(nèi)部內(nèi)容的檢測都是以卷積形成的特征層為基礎的，大大減少了計算工作量。

2.1 幀間差分法增強候選框

通過RPN生成候選框是針對[9-11]單幀圖像進行候選框識別的，但在實際的無人平臺中傳回來的是一串圖片流，通過這些圖片的時間先后次序可以提取相關信息幫助進行圖像檢測。因此，在利用RPN生成候 選框的基礎上，可以融入幀間差分法，再次提高系統(tǒng)的性能。

幀間差分法可以在攝像機保持靜止不動的情況下提取到合適的候選框，將其作為RPN層候選框的補充增強。

2.2 非極大值抑制算法

將RPN層提取出的anchor前景得分較高的部分送入最后的全連接層進行預測，此時的預測結果往往已經(jīng)足夠精確。但由于選出進行全連接層預測的候選框有300個左右，不能全部作為輸出，需要再次對候選框進行篩選。本文引入非極大值抑制（NMS）算法，對同一類識別目標候選框進行篩選，舍去重復的，只保留一個。

NMS算法[13]的輸入是RPN層產(chǎn)生的候選框，以及全連接層對這個候選框中的內(nèi)容在當前這一類識別目標的評分。他們組成了一個5列的數(shù)組，前4列是每一個建議框的坐標，第5列則是對該建議框的評分。計算中首先按分數(shù)高低對數(shù)據(jù)進行排列。然后從分數(shù)最高的開始，依次計算與之后各候選框的重疊度，如果重疊度大于設定的閾值，就將這個候選框舍去。完成一輪計算后，再在剩下的候選框中選擇分數(shù)第二高的重復上述過程，并再舍去一些候選框，這樣不斷進行直到最后，如圖2所示。經(jīng)過非極大值抑制后，就可以通過對候選框的不斷過濾直至得到最后輸出。

2.3 網(wǎng)絡參數(shù)訓練

為了使網(wǎng)絡能夠正常工作，需要訓練好網(wǎng)絡中各部分的參數(shù)。在網(wǎng)絡的訓練過程中，選擇PASCAL VOC數(shù)據(jù)集作為訓練集。

首先提取特征值，將特征值送入RPN層生成各個anchor點的前后景概率以及回歸參數(shù)，依照這些參數(shù)構造候選框，并將候選框?qū)闹邓腿隖C層產(chǎn)生分類預測及基于此分類預測的第二次回歸參數(shù)。然后將第二次回歸好的候選框進行NMS過濾，產(chǎn)生最終結果。程序流程圖如圖3所示。

圖2 NMS算法流程圖

圖3 總程序流程圖

3 實驗結果與分析

本文采用的圖像數(shù)據(jù)來源于公路（見圖4—圖7），因為這里識別目標較多，且識別目標之間相互存在重疊，可以更好體現(xiàn)算法的性能。對這種復雜的空間交疊識別目標，以往傳統(tǒng)的通過harr特征結合SVM檢測算法處理起來困難很大，但是通過基于深度學習的目標識別與檢測算法，則非常方便。

圖4 原圖像

圖5 圖片中汽車的識別結果

圖6 圖片中人的識別結果

圖7 劃分區(qū)域識別結果

圖4為原圖像，圖5、圖6是對圖像中汽車和人的識別結果。相較于一般的卷積神經(jīng)網(wǎng)絡，帶有區(qū)域的RCNN不僅能夠檢測出圖像中目標的位置，而且還能提高最終的識別效果。這是因為在RCNN中進行區(qū)域分割，相當于減少了每一個區(qū)域的內(nèi)部干擾。在單獨使用卷積神經(jīng)網(wǎng)絡時，如果一個畫面中同時出現(xiàn)多種識別目標，就會因為互相影響使最后的識別結果不準確。本文對基于區(qū)域的卷積神經(jīng)網(wǎng)絡進行劃分后，識別效果如圖7所示。

圖8是對一幅圖像單獨使用卷積神經(jīng)網(wǎng)絡的識別結果。可以看出，由于VGG16輸出的是整張圖的情況，所以對各個種類目標的評分普遍較低。而圖7在準確標定目標位置的同時，對各個目標分類的準確率也大幅上升。

圖8 單獨使用卷積神經(jīng)網(wǎng)絡識別的結果

為了更好地使用幀間信息，使用幀間差分法對Faster RCNN進行補充，幀間差分法的計算結果如圖9所示。

圖9 幀間差分法對圖像的處理結果

幀間差分法很好地提取出了目標的范圍。將這樣提取到的ROI區(qū)域作為RPN層候選框的補充，如圖10所示。

圖10 補充后的候選框集

其中最后一行為幀間差分法得到的候選框。新產(chǎn)生的候選框?qū)⑴cRPN層產(chǎn)生的原候選框一同被送入全連接層進行檢測，增加了候選框的數(shù)量，增大了識別目標的可能性。

在攝像頭保持靜止時，幀間差分法還可幫助確定目標是否運動。將幀間差分法得到的結果與神經(jīng)網(wǎng)絡經(jīng)過NMS處理后的輸出檢測框進行重疊度計算，當計算結果達到某一閾值時，即可判定該目標處于運動中，如圖11所示。相較于后方停車場中靜止的車輛，道路上車輛的運動被檢測出來。

圖11 加入幀間差分法后獲得運動信息

4 結語

本文提出一種基于幀間差分法的深度學習目標識別算法，并采集來自公路上包含復雜信息的視頻圖像進行了仿真驗證。相比于傳統(tǒng)的目標識別算法，基于卷積神經(jīng)網(wǎng)絡的深度學習算法能夠很好地利用卷積層提取到的特征，對圖像中的目標類別進行識別。同時，RPN層產(chǎn)生的候選框還能幫助網(wǎng)絡在復雜背景中確定目標位置。而幀間差分法的融入，能夠?qū)PN層產(chǎn)生的候選框進行補充增強，在提高算法識別率的同時，還能識別出目標的運動狀態(tài)。此外，由于采取了先分割再識別的方式，相比于直接使用卷積網(wǎng)絡大大提高了識別的準確率。

[1] 孫曉峰.基于圖像識別的智能小車障礙物檢測方法研究[D].昆明: 昆明理工大學, 2017.

[2] 胡靖逸, 郭雪亮, 李會軍, 等.目標檢測算法R-CNN在現(xiàn)實場景數(shù)字檢測任務中的應用[J].電子技術與軟件工程, 2018(24): 90.

[3] 周飛燕, 金林鵬, 董軍.卷積神經(jīng)網(wǎng)絡研究綜述[J].計算機學報, 2017, 40(6): 1229–1251.

[4] 陳全, 王澤, 賈偉.基于深度卷積神經(jīng)網(wǎng)絡的車標識別研究[J].工業(yè)控制計算機, 2018, 31(12): 36–38.

[5] 徐旭東, 馬立乾.基于遷移學習和卷積神經(jīng)網(wǎng)絡的控制圖識別[J].計算機應用, 2018, 38（增刊2）: 290–295.

[6] 陳毅, 黃妙華, 胡勝.基于改進VGG卷積神經(jīng)網(wǎng)絡的前方車輛目標檢測[J].數(shù)字制造科學, 2018, 16(4): 282–287.

[7] GU J X, WANG Z H, JASON K, et al. Recent advances in convolutional neural networks[J]. Pattern Recognition, 2018(77): 354–377.

[8] DMYTRO M, NIKOLAY S, JIKI M. Systematic evaluation of Convolution Neural Network advances on the ImageNet[J]. Computer Vision and Image Understanding, 2017(161): 11–19.

[9] REN S Q, HE, K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine, 2015.

[10] 曹詩雨, 劉躍虎, 李辛昭.基于Fast R-CNN的車輛目標檢測[J].中國圖象圖形學報, 2017, 22(5): 671–677.

[11] 王林, 張鶴鶴. Faster R-CNN模型在車輛檢測中的應用[J].計算機應用, 2018, 38(3): 666–670.

[12] 孫挺, 齊迎春, 耿國華.基于幀間差分和背景差分的運動目標檢測算法[J].吉林大學學報（工學版）, 2016, 46(4): 1325–1329.

[13] 趙文清, 嚴海, 邵緒強.改進的非極大值抑制算法的目標檢測[J].中國圖象圖形學報, 2018, 23(11): 1676–1685.

Research on simulation of deep learning target recognition based on inter-frame difference method

WANG Hui, YU Lijun, SUN Rong, LIU Chaoda, GAO Tianyu

(College of Automation, Harbin Engineering University, Harbin 150001, China)

Target detection and recognition are an innovative experimental project in digital image processing experiment. Traditional target recognition algorithm can recognize the type of target, but it can’t recognize the location information of the target, and the recognition rate of the same target is low. A deep learning target recognition algorithm based on frame difference method is designed. In the framework of deep learning theory, the frame difference method is applied to the recognition process, the enhanced candidate frame is segmented and the candidate frame is filtered through the NMS algorithm. The simulation results show that the algorithm can’t only recognize the type of the target, but also accurately calibrate the position of the target in the image. It can also judge whether the target is in a moving state and has a high recognition rate.

target detection and recognition; innovative experimental project; inter-frame difference method; deep learning

G642.0

A

1002-4956(2019)12-0178-04

10.16791/j.cnki.sjg.2019.12.042

2019-04-25

黑龍江省教改項目（SJGY20170505，SJGY20170506）；哈爾濱工程大學教改項目（JG2018Y06）

王輝（1976—），女，黑龍江肇東，博士，副教授，控制工程（電氣工程）實驗教學中心副主任，碩士生導師，主要研究方向為模式識別與智能系統(tǒng)、教學研究。E-mail:wangh@hrbeu.edu.cn

于立君（1975—），男，黑龍江安達，博士，副教授，自動化學院副院長（主管實驗教學），碩士生導師，主要研究方向為船舶控制、智能控制、教學研究。E-mail:yulijun@hrbeu.edu.cn