李明東 盧彪 辛正華 房愛東

摘?要：為了解決深度學(xué)習(xí)技術(shù)無法滿足用戶對多張照片移動(dòng)目標(biāo)物體識(shí)別的需求，提出基于深度學(xué)習(xí)的多媒體移動(dòng)物體檢測技術(shù).提出基于前饋神經(jīng)網(wǎng)絡(luò)的目標(biāo)定位技術(shù)，設(shè)計(jì)目標(biāo)定位模型，計(jì)算目標(biāo)邊界框的大致位置以及概率;對視頻中的目標(biāo)行為進(jìn)行預(yù)測;利用卷積神經(jīng)網(wǎng)絡(luò)融合特征和自然語言搜索特征完成自然目標(biāo)搜索.

關(guān)鍵詞：深度學(xué)習(xí);目標(biāo)檢測;自然語言

[中圖分類號(hào)]TN305.3 ???[文獻(xiàn)標(biāo)志碼]A

Research on Multimedia Mobile Object DetectionTechnology Based on Deep Learning

LI Mingdong，LU Biao，XIN Zhenghua，F(xiàn)ANG Aidong

（Suzhou ?University，College of Information Engineering，Suzhou 234000，China）

Abstract：In order to solve the problem that deep learning technology can not meet the user's need for moving object recognition in multiple photos， a multimedia mobile object detection technology based on deep learning is proposed. Firstly， a target location technology based on feedforward neural network is proposed， and a target location model is designed to calculate the approximate position and probability of the target boundary box， as well as the complete algorithm flow design. Secondly， based on the method of time-space fusion， the feature extraction of time-space feature fusion and the extraction of time information from 3D convolution network are used to predict the target behavior in video. Finally， by using natural language and extracting local features， using convolutional neural network fusion features and natural language search features to complete natural target search.

Key words：deep learning; target detection; natural language

隨著計(jì)算機(jī)領(lǐng)域?qū)σ曨l目標(biāo)檢測要求的不斷提升，傳統(tǒng)的目標(biāo)檢測方法不能精確檢測視頻目標(biāo)信息，分析動(dòng)作.[1]基于深度學(xué)習(xí)的多媒體移動(dòng)物體檢測技術(shù)能夠滿足用戶對視頻目標(biāo)識(shí)別的需求，對目標(biāo)的行為進(jìn)行分析.

1?基于前饋神經(jīng)網(wǎng)絡(luò)的目標(biāo)定位技術(shù)

1.1?基于前饋神經(jīng)網(wǎng)絡(luò)的目標(biāo)定位模型

目標(biāo)定位區(qū)域L以及檢測目標(biāo)的類型N，將目標(biāo)定位區(qū)域L平均分為K行K列，K行或K列的概率用可向量表示，記為PK=P（N）MK=1.

第一種邊界概率?可能性邊界表示概率計(jì)算目標(biāo)邊界框的行或列，行和列表示為Px=Px（i）Mi=1和Py=Py（i）My=1，（Bgl，Bgr）為手動(dòng)標(biāo)記邊界，因此，邊界概率P=pX，py的期望為T=tX，ty.

Ai∈1……，M，Tx（i）=1，Bgl≤i≤Bgr?0，?其他，

A i∈1……，M，Ty（i）=1，Bgl≤i≤Bgr?0，?其他.（1）

第二種邊界概率?利用邊界概率代替行的上下邊界框，方框左右邊界的概率可用向量表示.分別為 Pt=Pt（i）Mi=1，Pl=Pl（i）Mi=1，Pr=Pr（i）Mi=1，Pb=Pb（i）Mi=1;邊界概率為P=pt，pb，pl，pr.

A i∈1……，M，Ts（i）=1，i=Bs0，?其他.（2）

1.2?基于前饋神經(jīng)網(wǎng)絡(luò)目標(biāo)定位設(shè)計(jì)

基于前饋神經(jīng)網(wǎng)絡(luò)的定位模型框架如圖1所示.利用前饋神經(jīng)網(wǎng)絡(luò)獲取圖像特征，通過池化、卷積得到搜索區(qū)域的特征圖層[2]，得到位置

感知的特征映射.

前饋神經(jīng)網(wǎng)絡(luò)的主要作用是通過8個(gè)卷積層將圖像1和搜索區(qū)K映射到特征映射圖.特征圖的大小為W15×H15×215，特征映射圖中M映射區(qū)域被裁剪.將模型分成兩個(gè)分支：X和Y，生成相應(yīng)的邊界概率和行的列.對分支X方向上的特征由最大池化層聚合，得到特征圖.將得到的特征映射圖輸入到完全連接層，搜索區(qū)域通過sigmoid函數(shù)輸出.分支Y通過最大池層聚合[3]特征映射x方向的特征，獲取特征圖，將獲取的特征圖作為輸入傳輸?shù)酵耆B接層中.sigmoid函數(shù)輸出判斷區(qū)域k，邊界的概率（pt，pb）.

Fmapxy（i，f）=maxFmap2r（i，j，f）.（3）

1.3?算法流程設(shè)計(jì)

視頻目標(biāo)定位檢測算法流程為：

輸入：圖片.輸出：目標(biāo)檢測結(jié)果——進(jìn)行多次循環(huán)迭代;生成候選邊框.對候選邊框調(diào)整，得到新候選框.達(dá)到總迭代次數(shù)，生成結(jié)果.通過候選框篩選算法得到最佳結(jié)果.

兩種方法生成候選邊界：一是滑動(dòng)窗口方法，利用詳盡的方式來列舉圖像所有邊界的可能情況;另一種方法是區(qū)域提案方法，通過預(yù)測找出目標(biāo)可能出現(xiàn)的區(qū)域，減少過多的幀仍然可以相對較高召回率.

使用識(shí)別算法流中的模型，對于給定迭代的給定系列的候選邊界Bt=BtiNi=1，將生成一系列和一邊界對應(yīng)的置信度數(shù)Stii=1，生成的置信度表示檢測目標(biāo)的可能區(qū)域.

在完成N次迭代之后，生成的候選邊界Bt=BtiNI=1，且在每次迭代之后的相應(yīng)置信水平Stini=1以值對的形式存儲(chǔ)以獲得數(shù)據(jù)集合.p=UTt=1St，Bt迭代完成后獲得的結(jié)果Q有重疊候選邊界. 使用合理的最優(yōu)幀選擇方案來消除冗余重疊邊界并獲得結(jié)果S.使用非最大抑制獲得最優(yōu)目標(biāo)檢測結(jié)果S.算法的目的是搜索候選邊界和人工標(biāo)簽邊界的重疊率U的最大值，抑制重疊率U的非最大值，并獲得最大重疊率邊界. 非最大抑制策略[5]的算法流程如下：

輸入：集合中每個(gè)元素對應(yīng)的數(shù)組

輸出：數(shù)組的極大值

1：?i←2

2：while i<=N-1 do

3：?if Io[i]>IO[i+1] then

4：???if IO[i]>IO[i-1] then

5：????MAXIOAt（i）;

6：?else

7：??i←i+1

8：?while i<=N-1 and IO[i]，=io[i+1] do

9：???if i<=N-1 then

10：??i←i+2

2?基于時(shí)間和空間多媒體物體動(dòng)作檢測

2.1?時(shí)間空間結(jié)合方法

時(shí)空網(wǎng)絡(luò)的融合表明，目標(biāo)的動(dòng)作與視頻空間和時(shí)間的特征使用有關(guān)，神經(jīng)網(wǎng)絡(luò)時(shí)間與空間的融合不僅僅是兩個(gè)神經(jīng)網(wǎng)絡(luò)的疊加.首先進(jìn)行神經(jīng)網(wǎng)絡(luò)的特征圖匹配，若不匹配則將較大的要素圖進(jìn)行采樣.

ysum=fsum（ma，mb）.（4）

ysumi，j，d=mai，j，d+mbi，j，d.（5）

公式（4）表示兩個(gè)神經(jīng)網(wǎng)絡(luò)的特征圖和融合神經(jīng)網(wǎng)絡(luò)的特征，并將其合并為一個(gè)新的特征圖.H表示特征要素圖的高度，W表示特征要素圖的寬度，D是要特征要素圖通道數(shù).公式（5）表示如何使用求和方法收斂d通道特征圖的像素點(diǎn)（i，j），其中1≤i≤H，1≤j≤W，1≤d≤D.

2.2?框架設(shè)計(jì)

框架主要包括三個(gè)模塊：空間和時(shí)間特征提取，空間時(shí)間特征的融合，3D卷積神經(jīng)網(wǎng)絡(luò)的視頻目標(biāo)識(shí)別.使用3D卷積神經(jīng)網(wǎng)絡(luò)，在時(shí)間軸上進(jìn)一步擴(kuò)展2D卷積神經(jīng)網(wǎng)絡(luò).連接層輸出特征時(shí)，可能在時(shí)間軸上丟失圖像特征的信息，而通過融合時(shí)空卷積層的特征，可以將其作為3D卷積神經(jīng)網(wǎng)絡(luò)的輸入，獲得的特征圖改善了像素點(diǎn)上時(shí)空特征的相關(guān)性，補(bǔ)償光流特性.

2.3?目標(biāo)動(dòng)作檢測

模型包括3個(gè)卷積層，2個(gè)池化層，1個(gè)完全連接層和能夠識(shí)別多媒體目標(biāo)行為的丟失層.卷積層核心數(shù)分別是70，150，240，3D，匯集層使用的匯集方法為最大池法.3D匯集內(nèi)核的大小為1×1×1，空間和時(shí)間的深度為3，時(shí)間和空間的跨度為1×1×1.

3?基于遞歸神經(jīng)網(wǎng)絡(luò)目標(biāo)的自然搜索

3.1?自然搜索模型框架

自然查詢模型框架見圖2.模型包括以下部分：兩個(gè)門控循環(huán)單元[4]分別記為GRUlocal，GRUquest1個(gè)卷積神經(jīng)網(wǎng)絡(luò)表示為GRUlocal，字嵌入和字預(yù)測層.首先得到候選目標(biāo)位置信息，環(huán)境和語句的特征，然后進(jìn)行單元融合特征，通過短語預(yù)測層完成目標(biāo)預(yù)測.

系統(tǒng)對用戶給定的圖片進(jìn)行查詢語句L和對應(yīng)于圖片的候選邊界圖片，K表示目標(biāo)候選{ai}邊界的數(shù)量.通過運(yùn)算輸出對應(yīng)于候選邊界{ai}. 通過查找最大置信度得分來確定搜索的目標(biāo)邊界.

3.2?模型訓(xùn)練

通常圖像標(biāo)簽僅包含在圖像中，不包含目標(biāo)的數(shù)據(jù)集中.簡化模型包括卷積神經(jīng)網(wǎng)絡(luò)CNNglobal，1個(gè)GRU循環(huán)單元是GRUquest，一個(gè)字嵌入層和一個(gè)字預(yù)測層.簡化原始模型的公式.

P（wt）wt-1，……，w1=SoftmaxWglobalhtglobal.?（6）

LRCN模型中，隨機(jī)梯度下降用于優(yōu)化整個(gè)

圖像標(biāo)記的數(shù)據(jù)集.公式（6）中參數(shù)htlocal的權(quán)重矩陣的值被設(shè)置為Wlocal=0.

基于Bag of Words的CAFFE-7K搜索精度較低.CAFFE-7K模型的單詞基于ImageNet，ReferIt數(shù)據(jù)集的目標(biāo)文本注釋若出現(xiàn)具有未包含在數(shù)據(jù)集ImageNet中的標(biāo)簽詞，就不能準(zhǔn)確搜索目標(biāo).本文提出的SGRC模型的目標(biāo)搜索精度高于CAFFE和LRCN模型，在2例中逐漸改善了SGRC模型的搜索精度，可獲得目標(biāo)的環(huán)境特征、空間參數(shù)和SGRC模型在數(shù)據(jù)集上改善了目標(biāo)的語言搜索.

4?總結(jié)

本文實(shí)現(xiàn)了基于深度學(xué)習(xí)的視頻運(yùn)動(dòng)目標(biāo)檢測技術(shù).利用前饋神經(jīng)網(wǎng)絡(luò)獲取圖像特征，得到位置感知的特征映射，進(jìn)行迭代后通過候選邊框篩選算法得到目標(biāo)可能區(qū)域;結(jié)合時(shí)間空間融合技術(shù)進(jìn)行特征提取，3D卷積網(wǎng)絡(luò)提取時(shí)間信息對視頻中的目標(biāo)行為進(jìn)行預(yù)測.利用自然語言搜索算法提取全局特征并通過卷積神經(jīng)網(wǎng)絡(luò)融合特征完成目標(biāo)搜索.試驗(yàn)驗(yàn)證了目標(biāo)搜索算法的優(yōu)越性.

參考文獻(xiàn)

[1]林海波，李揚(yáng)，張毅，等.基于時(shí)序分析的人體運(yùn)動(dòng)模式的識(shí)別及應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31（12）：225-228.

[2]李敬德.信號(hào)多維特征向量的評價(jià)模型[J].牡丹江師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2018（3）：33-38.

[3]高震宇，王安，董浩，等.基于卷積神經(jīng)網(wǎng)絡(luò)的煙絲物質(zhì)組成識(shí)別方法[J].煙草科技，2017，50（09）：68-75.

[4]高震宇，王安，劉勇，等.基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智能分選系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48（7）：53-58.

[5]譚峰，薛齡季軒，姜珊，等.基于云平臺(tái)的棚室環(huán)境遠(yuǎn)程監(jiān)控系統(tǒng)[J].牡丹江師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2017（2）：6-10.

[6]楊祎玥，伏潛，萬定生.基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測模型[J].計(jì)算機(jī)技術(shù)與發(fā)展，2017，27（3）：35-38+43.

編輯：吳楠