張 寅，蔡旭陽(yáng)，許倩倩，閆鈞華，蘇 愷，張 琨

(1.南京航空航天大學(xué)空間光電探測(cè)與感知工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 211106;2.南京航空航天大學(xué)航天學(xué)院，江蘇 南京 211106)

1 引言

多運(yùn)動(dòng)目標(biāo)進(jìn)、出視場(chǎng)和被部分遮擋時(shí)，由于目標(biāo)信息不完整導(dǎo)致難以準(zhǔn)確檢測(cè)出目標(biāo)，造成漏檢。本文對(duì)此展開(kāi)研究，從而在復(fù)雜地面背景下準(zhǔn)確檢測(cè)出多運(yùn)動(dòng)目標(biāo)。

2013年，Shen等[1]提出一種基于時(shí)空顯著性的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，時(shí)空顯著性互補(bǔ)提高了多運(yùn)動(dòng)目標(biāo)檢測(cè)算法的性能。然而，該算法對(duì)于紋理簡(jiǎn)單的目標(biāo)檢測(cè)效果較差。2014年，Shakeri等[2]基于二次配準(zhǔn)估計(jì)相機(jī)運(yùn)動(dòng)，采用高斯混合模型進(jìn)行背景建模，采用隱馬爾科夫模型進(jìn)行精細(xì)求解，對(duì)復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)性能好，但算法復(fù)雜度高，實(shí)現(xiàn)難度大。2017年，Yan等[3]聯(lián)合改進(jìn)的基于帶方向的FAST和旋轉(zhuǎn)BRIEF的二值特征描述子MORB(Modified Oriented fast and Rotated BRIEF) 匹配點(diǎn)和隨機(jī)光流LKR(Lucas-Kanade Random)跟蹤點(diǎn)進(jìn)行背景補(bǔ)償，再采用雙模高斯矩陣對(duì)補(bǔ)償圖像的局部區(qū)域建立在線和候選雙背景模型，對(duì)運(yùn)動(dòng)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)效果好，但是該算法對(duì)復(fù)雜背景的目標(biāo)檢測(cè)效果較差。2017年，Yan等[4]采用非線性變換模型進(jìn)行背景補(bǔ)償，實(shí)現(xiàn)了旋轉(zhuǎn)復(fù)雜背景下地面慢速運(yùn)動(dòng)目標(biāo)的檢測(cè)，但是對(duì)多個(gè)目標(biāo)查全效果較差。2018年，馬琴等[5]提出一種基于譜殘差和K-means聚類(lèi)算法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，能有效檢測(cè)出目標(biāo)，但是對(duì)復(fù)雜背景的檢測(cè)效果較差。

近年來(lái)，隨著機(jī)器學(xué)習(xí)的發(fā)展，許多研究者提出基于目標(biāo)特征學(xué)習(xí)的目標(biāo)檢測(cè)算法。2014年，Hariyono等[6]基于光流估計(jì)補(bǔ)償背景運(yùn)動(dòng)獲得行人候選區(qū)域，然后提取區(qū)域的HOG特征，通過(guò)SVM分類(lèi)器實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)，對(duì)于行人目標(biāo)檢測(cè)效果較好，對(duì)其他運(yùn)動(dòng)目標(biāo)檢測(cè)效果較差。2015年，Teutsch等[7]基于特征矢量聚類(lèi)得到運(yùn)動(dòng)目標(biāo)的大致區(qū)域，提取ChnFtrs (integral Channel Features)[8]特征，通過(guò)AdaBoost分類(lèi)器獲得檢測(cè)結(jié)果，對(duì)部分被遮擋的目標(biāo)檢測(cè)效果較差。2016年，Kang等[9]提出了一種TCN(Temporal Convolutional Network)算法，基于Faster RCNN的改進(jìn)算法檢測(cè)單幀圖像，結(jié)合上下文抑制算法和運(yùn)動(dòng)傳播算法，有效地抑制了誤檢，降低了漏檢，但是計(jì)算量大，不適于視頻序列中的運(yùn)動(dòng)目標(biāo)檢測(cè)。2019年，孫一飛等[10]提出了一種基于稀疏編碼器的檢測(cè)算法，采用反向傳播更新編碼器的權(quán)重和偏置以提取樣本的特征，并利用提取的特征訓(xùn)練Softmax，準(zhǔn)確檢測(cè)出目標(biāo)，但是對(duì)被遮擋的目標(biāo)檢測(cè)效果較差。2020年，高星等[11]提出了一種基于YOLOv3算法的檢測(cè)算法。采用K-means算法做聚類(lèi)分析，以得到適應(yīng)數(shù)據(jù)集訓(xùn)練尺寸的錨框大小，并對(duì)圖像進(jìn)行圖層處理從而準(zhǔn)確檢測(cè)出目標(biāo)，但是該算法計(jì)算量較大。

本文針對(duì)目標(biāo)進(jìn)、出視場(chǎng)和被部分遮擋情況下檢測(cè)率低的問(wèn)題，提出了一種聯(lián)合時(shí)空上下文的復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)檢測(cè)算法STC-MMTD(Multi-Moving Target Detection based on Spatio-Temporal Context)，如圖1所示。

Figure 1 Schematic diagram of multiple moving targets detection algorithm圖1 本文提出的多運(yùn)動(dòng)目標(biāo)檢測(cè)算法框圖

STC-MMTD算法分為離線訓(xùn)練和在線檢測(cè)2個(gè)階段。(1) 離線訓(xùn)練階段：首先，對(duì)訓(xùn)練圖像和對(duì)應(yīng)的真值圖像進(jìn)行均勻網(wǎng)格稠密采樣；然后，對(duì)訓(xùn)練圖像和真值圖像的圖像塊進(jìn)行SIFT特征提取和量化，獲得SIFT描述子序列和對(duì)應(yīng)的標(biāo)記序列；最后，進(jìn)行條件隨機(jī)場(chǎng)模型CRF(Conditional Random Field)和字典聯(lián)合訓(xùn)練，獲得CRF模型參數(shù)和字典。(2) 在線檢測(cè)階段：第1步進(jìn)行時(shí)間上下文信息處理：基于前后向運(yùn)動(dòng)歷史圖提取候選目標(biāo)區(qū)域。第2步進(jìn)行空間上下文信息處理：首先，將輸入圖像分塊，獲得子圖像；接著，對(duì)子圖像進(jìn)行稀疏編碼；然后，利用CRF模型對(duì)子圖像的空間上下文建模，基于置信度傳播算法估計(jì)圖像塊的目標(biāo)置信度；最后，計(jì)算候選目標(biāo)區(qū)域的目標(biāo)置信度，檢測(cè)出復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)。

2 候選目標(biāo)區(qū)域提取

本文利用時(shí)間上下文信息，基于前后向運(yùn)動(dòng)歷史圖提取候選目標(biāo)區(qū)域，提高了候選目標(biāo)區(qū)域提取的查全率。

2.1 計(jì)算前后向運(yùn)動(dòng)歷史圖

(1)

將當(dāng)前幀圖像與前一幀/后一幀圖像背景運(yùn)動(dòng)補(bǔ)償后的圖像進(jìn)行絕對(duì)差分，得到差分圖像D(τ)：

D(τ)=|I(τ)-I′(τ?1)|

(2)

其中，“-”代表前向差分，可得到前向運(yùn)動(dòng)圖像DF(τ)；“+”代表后向差分，可得到后向運(yùn)動(dòng)圖像DB(τ)。

前向運(yùn)動(dòng)歷史圖可以通過(guò)融合多層前向運(yùn)動(dòng)圖像來(lái)獲得，后向運(yùn)動(dòng)歷史圖可以通過(guò)融合多層后向運(yùn)動(dòng)圖像來(lái)獲得，分別如式(3)和式(4)所示：

(3)

(4)

式(3)和式(4)中，HF為前向運(yùn)動(dòng)歷史圖，HB為后向運(yùn)動(dòng)歷史圖，(x,y)為圖像像素點(diǎn)坐標(biāo)，ξ為閾值，d為衰減項(xiàng)。本文經(jīng)實(shí)驗(yàn)，取ξ=15，d=32。

融合前向運(yùn)動(dòng)歷史圖和后向運(yùn)動(dòng)歷史圖，獲得前后向運(yùn)動(dòng)歷史圖HFB(τ)：

HFB(τ)=min(medfilt2(HF(τ)),

medfilt2(HB(τ)))

(5)

其中，medfilt2(·)是指中值濾波器。min(·)操作能夠有效抑制前向運(yùn)動(dòng)歷史圖后方的尾跡和后向運(yùn)動(dòng)歷史圖前方的尾跡，從而保證候選區(qū)域提取的定位精度。

2.2 得到候選目標(biāo)區(qū)域

本文對(duì)前后向運(yùn)動(dòng)歷史圖，采用大津法[12]計(jì)算雙閾值，選取較小的閾值進(jìn)行二值化，獲得運(yùn)動(dòng)二值圖MBIN(τ)，確保目標(biāo)區(qū)域的完整性。然后對(duì)運(yùn)動(dòng)二值圖MBIN(τ)進(jìn)行1次腐蝕和2次膨脹操作的形態(tài)學(xué)處理，有效去除干擾噪聲，得到目標(biāo)區(qū)域圖像MREG。

MREG(τ)=((MBIN(τ)Θberode)⊕bdilate)⊕bdilate

(6)

其中，Θ和⊕分別為腐蝕和膨脹運(yùn)算符,berode和bdilate分別為R′=1 和R′=3的菱形結(jié)構(gòu)元素，R′表示結(jié)構(gòu)元素的原點(diǎn)到菱形頂點(diǎn)的距離。

3 多運(yùn)動(dòng)目標(biāo)檢測(cè)

本文利用空間上下文信息和目標(biāo)表觀信息，通過(guò)基于稀疏編碼的CRF模型計(jì)算目標(biāo)置信度圖，得到候選目標(biāo)區(qū)域的目標(biāo)置信度，從而檢測(cè)出多運(yùn)動(dòng)目標(biāo)。

3.1 特征提取與稀疏編碼

對(duì)圖像進(jìn)行分塊處理，圖像I的尺寸為W0×H0，將其均勻劃分為L(zhǎng)×C的子圖像，相鄰子圖像的重疊尺寸為so。對(duì)子圖像用步長(zhǎng)為16的采樣網(wǎng)格、尺寸為64×64的窗口進(jìn)行分塊，對(duì)子圖像塊的SIFT特征x進(jìn)行基于字典學(xué)習(xí)的稀疏編碼，字典D存儲(chǔ)了從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到的一組視覺(jué)詞匯{d1,d2,…,dk}，k為視覺(jué)詞匯的數(shù)量，如式(7)所示：

(7)

其中，λ為控制稀疏性的參數(shù)，s為SIFT特征x的稀疏編碼。

3.2 CRF模型參數(shù)與字典聯(lián)合訓(xùn)練

(8)

其中，SnS(Xn,D)是字典D下樣本Xn中SIFT特征的稀疏編碼；D為滿足以下條件的字典D的凸可行集：

D={D∈Rp×k|‖di‖2≤1,?i=1,2,…,k}

(9)

采用最大邊際法[13]，獲得關(guān)于能量函數(shù)的約束，即：

E(Yn,Sn,w)≤E(Y,Sn,w)-Δ(Y,Yn),

?Y≠Yn,n=1,2,…,N

(10)

(11)

(12)

式(11)和式(12)中，f(D,w)EY,X為損失函數(shù)，EY,X[·]表示·的期望，SS(X,D)是字典D下樣本X中SIFT特征的稀疏編碼，Y和分別為樣本集標(biāo)記真值和標(biāo)記預(yù)測(cè)值，γ為正則化系數(shù)。最后采用隨機(jī)梯度下降算法[14]聯(lián)合求解CRF模型參數(shù)和字典

3.3 基于置信度傳播算法估計(jì)圖像塊的目標(biāo)置信度

圖像塊的目標(biāo)置信度是指圖像塊是目標(biāo)的概率，即圖像塊對(duì)應(yīng)的節(jié)點(diǎn)i∈V(V為所有圖像塊對(duì)應(yīng)的節(jié)點(diǎn)集合)為目標(biāo)節(jié)點(diǎn)的概率p(yi=1|si,w)，其中si表示第i個(gè)節(jié)點(diǎn)的觀測(cè)序列。本文基于置信度傳播BP(Belief Propagation)算法完成對(duì)圖像塊目標(biāo)置信度的估計(jì)，對(duì)于馬爾科夫隨機(jī)場(chǎng)中的每一個(gè)節(jié)點(diǎn)，通過(guò)消息傳播，把該節(jié)點(diǎn)的概率分布狀態(tài)傳遞給相鄰的節(jié)點(diǎn)，從而影響相鄰節(jié)點(diǎn)的概率分布狀態(tài)，經(jīng)過(guò)一定次數(shù)的迭代，每個(gè)節(jié)點(diǎn)的概率分布將收斂于一個(gè)穩(wěn)態(tài)。在BP算法中，節(jié)點(diǎn)i∈V的置信度正比于節(jié)點(diǎn)的能量函數(shù)和所有相鄰節(jié)點(diǎn)傳來(lái)的消息，即:

(13)

3.4 基于目標(biāo)置信度檢測(cè)目標(biāo)

通過(guò)計(jì)算候選目標(biāo)區(qū)域的目標(biāo)置信度，對(duì)其進(jìn)行判決，獲得多運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。具體步驟如下：

(1)對(duì)每一幅子圖像獲得的節(jié)點(diǎn)目標(biāo)概率p(yi=1|si,w),i∈V進(jìn)行歸一化，即:

(14)

(3) 將子圖像目標(biāo)置信圖US按原圖像的相對(duì)位置進(jìn)行拼接，獲得輸入圖像I的目標(biāo)置信圖U。

(4) 根據(jù)式(15)計(jì)算候選目標(biāo)區(qū)域R的目標(biāo)置信度μR。

(15)

(5) 若候選目標(biāo)區(qū)域R的目標(biāo)置信度μR大于或等于目標(biāo)置信度閾值τμ，即μR≥τμ，則候選目標(biāo)區(qū)域R為目標(biāo)，反之為背景。

4 實(shí)驗(yàn)結(jié)果與分析

本節(jié)通過(guò)實(shí)驗(yàn)驗(yàn)證本文所提算法在復(fù)雜環(huán)境下多運(yùn)動(dòng)目標(biāo)檢測(cè)的有效性和準(zhǔn)確性。所有實(shí)驗(yàn)都是在相同的實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)平臺(tái)上進(jìn)行的。實(shí)驗(yàn)環(huán)境：Matlab2014b編程實(shí)現(xiàn)。實(shí)驗(yàn)平臺(tái)：Intel i7 處理器 3.60 GHz，64位Windows 7操作系統(tǒng)，8 GB內(nèi)存。實(shí)驗(yàn)視頻為數(shù)據(jù)庫(kù)DARPA Neovision2中的Helicopter數(shù)據(jù)集中部分高清航拍視頻圖像序列，拍攝地區(qū)為洛杉磯，視頻幀率約為29.97 fps，圖像格式為8 bit PNG，分辨率為1920×1080。

4.1 復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)驗(yàn)

圖2所示為目標(biāo)進(jìn)、出視場(chǎng)和被部分遮擋情況下候選目標(biāo)區(qū)域的目標(biāo)置信度。目標(biāo)出現(xiàn)在視場(chǎng)中的部分越多，候選目標(biāo)區(qū)域的目標(biāo)置信度越高,背景干擾區(qū)域的目標(biāo)置信度很低。

采用查全率R、查準(zhǔn)率P和F測(cè)度F1對(duì)本文提出的聯(lián)合時(shí)空上下文的多運(yùn)動(dòng)目標(biāo)檢測(cè)STC-MMTD算法進(jìn)行評(píng)價(jià)，分別對(duì)視頻序列Neovision2-Heli-021和Neovision2-Heli-029在不同參數(shù)下的多運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果進(jìn)行了統(tǒng)計(jì)，如表1所示。其中，τμ為候選目標(biāo)區(qū)域判決中的目標(biāo)置信度閾值，τo表示檢測(cè)結(jié)果與目標(biāo)真值的重疊率閾值。

表1表明，本文算法能夠有效提高目標(biāo)進(jìn)、出視場(chǎng)和被部分遮擋時(shí)的檢測(cè)效果。τμ∈[0.30,0.40]時(shí)，F(xiàn)測(cè)度最大，即檢測(cè)效果最好，當(dāng)取τμ=0.40，τo=0.70時(shí)，本文算法在視頻序列Neovision2-Heli-021和Neovision2-Heli-029上總的查全率為95.96%，查準(zhǔn)率為98.85%，F(xiàn)測(cè)度為97.4%。

Figure 2 Target confidence of candidate target regions when targets are in/out of view and partially occluded圖2 目標(biāo)進(jìn)、出視場(chǎng)和被部分遮擋情況下候選目標(biāo)區(qū)域的目標(biāo)置信度

Table 1 Performance evaluation of multi premoving targets detection algorithm in complex background(R(%)/P(%)/F1 (%))表1 復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)檢測(cè)算法性能評(píng)估(R(%)/P(%)/F1 (%))

4.2 復(fù)雜背景下多運(yùn)動(dòng)目標(biāo)檢測(cè)算法性能比較實(shí)驗(yàn)

將本文提出的算法STC-MMTD與基于DBSCAN聚類(lèi)(DBSCAN-based) 的多目標(biāo)檢測(cè)算法[15]、基于ELM聚類(lèi)算法(ELM-based)的多目標(biāo)檢測(cè)算法[16]、基于雙模高斯背景模型的多目標(biāo)檢測(cè)算法(LKR+DGM-based)[3]、基于時(shí)空顯著性的多目標(biāo)檢測(cè)算法(STS-based)[1]進(jìn)行對(duì)比，采用查全率(R)、查準(zhǔn)率(P)和F測(cè)度(F1)3個(gè)指標(biāo)進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)結(jié)果如圖3所示。其中，目標(biāo)置信度閾值取τμ=0.40。

實(shí)驗(yàn)表明，本文算法在保證較高定位精度τo，具有最高的查全率R、查準(zhǔn)率P和F測(cè)度F1，說(shuō)明本文算法性能優(yōu)于其他算法，檢測(cè)效果好。

Figure 3 Comparison of recall,precision and F-measure of the proposed algorithm with other algorithms圖3 本文算法與其他算法的目標(biāo)查全率、查準(zhǔn)率和F測(cè)度對(duì)比

5 結(jié)束語(yǔ)

本文提出了一種聯(lián)合時(shí)空上下文的多運(yùn)動(dòng)目標(biāo)檢測(cè)算法，解決了復(fù)雜地面背景中目標(biāo)進(jìn)、出視場(chǎng)和被部分遮擋時(shí)檢測(cè)率低的問(wèn)題，具有良好的檢測(cè)性能。針對(duì)目標(biāo)信息不完整的情況，聯(lián)合運(yùn)動(dòng)歷史圖和CRF模型進(jìn)行檢測(cè)。在離線訓(xùn)練時(shí)采用CRF模型參數(shù)與字典聯(lián)合訓(xùn)練，提高了字典的判別性；在線檢測(cè)時(shí)采用圖像分塊處理策略，通過(guò)并行計(jì)算提高算法的效率。實(shí)驗(yàn)結(jié)果表明，本文算法具有較高的查全率、查準(zhǔn)率和F測(cè)度。今后將針對(duì)背景旋轉(zhuǎn)運(yùn)動(dòng)下的多運(yùn)動(dòng)目標(biāo)檢測(cè)進(jìn)行深入研究，擴(kuò)展目標(biāo)檢測(cè)算法的適用范圍。