武俊芳， 郭 英

(1. 河南理工大學(xué) 萬方科技學(xué)院， 河南 鄭州 451400; 2. 南陽廣播電視大學(xué)， 河南 南陽 473036)

?

一種基于交叉特征學(xué)習(xí)的復(fù)雜事件檢測算法

武俊芳1， 郭 英2

(1. 河南理工大學(xué) 萬方科技學(xué)院， 河南 鄭州 451400; 2. 南陽廣播電視大學(xué)， 河南 南陽 473036)

提出一種改進(jìn)的事件檢測算法，通過交叉特征學(xué)習(xí)實現(xiàn)相關(guān)樣本的自適應(yīng)利用。首先將相關(guān)性水平看成是有序標(biāo)簽，利用標(biāo)簽候選集中相鄰兩個相關(guān)性標(biāo)簽的最大容限準(zhǔn)則進(jìn)行模型學(xué)習(xí)。然后采用多核學(xué)習(xí)理論來定義標(biāo)簽加權(quán)問題，通過交叉特征預(yù)測來更新標(biāo)簽候選集合。重復(fù)上述步驟直到算法收斂為止，將最終獲得的統(tǒng)一檢測器用于事件檢測。利用大規(guī)模TRECVID 2011數(shù)據(jù)集來測試本文算法，實驗結(jié)果表明，就平均精度和Pmiss值而言，本文算法的檢測性能優(yōu)于當(dāng)前其他算法。

復(fù)雜事件檢測； 相關(guān)樣本； 交叉特征學(xué)習(xí)； 標(biāo)簽候選集； 平均精度

0 引 言

復(fù)雜事件是對較長視頻片斷更高層次的語義抽象，其語義抽象層次要高于運動、場景或?qū)ο骩1]。例如，“生日聚會”事件可能包含人物、生日蛋糕、唱歌、歡呼、吹蠟燭等多種概念。此外，描述同一事件的視頻往往發(fā)生強(qiáng)烈的事件內(nèi)部變化?！吧站蹠笨赡茉谑覂?nèi)(比如餐廳)或室外(比如公園)，而且人們可用唱歌，聚餐，或者玩游戲來歡慶生日，與只持續(xù)數(shù)秒鐘的運動或用一幅圖片即可檢測出來的對象不同，復(fù)雜事件的持續(xù)時間從數(shù)分鐘至數(shù)小時不等。

雖然復(fù)雜事件檢測的難度很大，但在近幾年仍然受到人們的大量關(guān)注[2-3]。持續(xù)時間較長且類內(nèi)變化較大的視頻，包含的信息豐富復(fù)雜，而且單個特征無法有效刻畫視頻的整個信息。當(dāng)前研究認(rèn)為將多個特征進(jìn)行綜合是實現(xiàn)事件檢測的有效方法[4-6]。然而這些研究對特征進(jìn)行綜合的方式過于簡單，沒有考慮事件檢測時不同特征間的相關(guān)性。如果設(shè)法發(fā)掘出不同特征間的共享信息，便可更為有效地對多個特征加以利用。鑒于此，提出一種面向復(fù)雜事件檢測的多特征學(xué)習(xí)算法。該算法可有效挖掘不同特征間的相關(guān)性，然后聯(lián)合處理多個特征，最終提高事件檢測的穩(wěn)健性。

1 相關(guān)工作

復(fù)雜事件檢測是目前計算機(jī)視覺領(lǐng)域的研究熱點，人們已經(jīng)從特征或分類角度提出多種策略來提升檢測精度。文獻(xiàn)[7]提出一種基于多通道形態(tài)-流核描述符的事件檢測算法。Yang等[8]提出一種算法從多模態(tài)(multi-modality)信號中檢測出日期驅(qū)動概念，然后進(jìn)行稀疏視頻表示學(xué)習(xí)，進(jìn)而實現(xiàn)事件檢測。Natarajan等[5]提出通過綜合多模態(tài)的不同特征來提升多媒體事件檢測的性能。Tamrakar等[6]評估了多種主流特征對復(fù)雜事件檢測的性能。文獻(xiàn)[9]利用Fisher向量來融合低層描述符來表示視頻，然后實現(xiàn)復(fù)雜事件檢測。另一方面，Ma等[10]提出當(dāng)正性樣本數(shù)量較少時利用遷移學(xué)習(xí)實現(xiàn)復(fù)雜事件檢測。Liu等[11]提出一種局部專家森林模型來融合多個分類器的得分，然后實現(xiàn)復(fù)雜事件檢測。上述研究取得的進(jìn)展雖然振奮人心，但是大多沒有利用到事件特征的相關(guān)性，因此還有進(jìn)一步提升檢測性能的空間。

2 本文算法

2.1 多相關(guān)性水平學(xué)習(xí)

假設(shè)從視頻中提取了P個不同特征，本文將基于不確定性標(biāo)簽的多特征學(xué)習(xí)問題表述如下：

(1)

(2)

(3)

(4)

(5)

其中，

于是式(5)可簡化為：

(6)

(7)

(8)

對式(8)不等式約束引入拉格朗日變量dm≥0，上述問題可放松為：

(9)

其中，D表示d的可行集，且

調(diào)換maxα∈A和mind∈D等價于：

(10)

2.2 基于交叉特征選舉的標(biāo)簽候選更新

由于數(shù)據(jù)條件不夠平衡，所以無法獲得用于判定預(yù)測值的標(biāo)識為+1或-1的準(zhǔn)確閾值。為了將預(yù)測值離散化為標(biāo)簽集，本文并沒有只設(shè)置一個閾值(閾值一般為0)，而是利用其他特征的預(yù)測值來融合它們的信息，然后對預(yù)測值設(shè)置不同閾值來獲得標(biāo)簽候選集合。之所以設(shè)置不同閾值，是因為在數(shù)據(jù)不平衡條件下，預(yù)測值存在嚴(yán)重偏差。因此，需要設(shè)置不同閾值，然后生成更大規(guī)模的標(biāo)簽候選集。本文模型可選擇質(zhì)量較高的標(biāo)簽候選。

對于預(yù)測數(shù)據(jù)源，可以只利用上次迭代訓(xùn)練好的分類器所提供的預(yù)測值。然而，之前迭代時質(zhì)量較差的標(biāo)簽候選可能傳播到后續(xù)的標(biāo)簽候選中，進(jìn)而降低預(yù)測性能。尤其是在前幾次迭代時，標(biāo)簽候選的精度可能較低。因此，除了最后一次迭代生成的標(biāo)簽候選外，保留各次迭代時的標(biāo)簽候選。在整個迭代過程中利用標(biāo)簽候選來提高所生成的標(biāo)簽候選的穩(wěn)健性。

我們提出一種交叉特征選舉方法來更新標(biāo)簽候選，其中第p個特征的標(biāo)簽候選由其他特征選舉。本文方法可表述如下：

(11)

算法1：基于多特征的多相關(guān)性水平學(xué)習(xí)。

輸出：αp,dp,Yp

m←1;

m←1;

forp←1 toPdo

根據(jù)式(10)和Yp求解dp和dp；

獲得數(shù)據(jù)點xp的預(yù)測值zp；

設(shè)置zp的不同閾值，獲得滿足約束的標(biāo)簽候選集Qp；

end

forp←1 toPdo

Yp←Yp∪Qp′；

end

m←m+1

until終止條件；

2.3 中止準(zhǔn)則和收斂

2.4 時間復(fù)雜度

3 實 驗

3.1 數(shù)據(jù)集

為了驗證本文方法的性能，采用NIST從Youtube等互聯(lián)網(wǎng)主機(jī)網(wǎng)站上收集的大量視頻數(shù)據(jù)集(TRECVID MED)進(jìn)行了仿真實驗，它包含32 000多個測試視頻。總持續(xù)時間為1 200 h，體積約800 GB。TRECVID MED測試集中的事件包括“生日聚會(BP)”“更換車輛輪胎(CaVT)”“民眾集會(FMG)”“拆解汽車(GaVU)”“飼養(yǎng)動物(GaA)”“制作三明治(MaS)”“游行(PR)”“跑酷(PK)”“修理設(shè)備(RaA)”“縫紉(WaSP)”。NIST為每個事件提供的正性樣本數(shù)量從100～200個不等，相關(guān)性樣本數(shù)量約為150個。

我們在實驗中使用3種視頻特征[17]：密集軌跡、MoSIFT和彩色SIFT (CSIFT)，經(jīng)證明這些特征是TRECVID MED競賽中的最優(yōu)視覺特征。我們從視頻中提取這3種特征，然后為每個描述符生成尺寸為4 096的視覺詞表。視頻被映射到4 096維詞包中(BoWs)。我們采用1×1, 2×2和3×1空間網(wǎng)格來生成空間BoW。因此，每個特征有32 768維空間表示。根據(jù)文獻(xiàn)[4]可知，c2-核是視頻分析最為有效的內(nèi)核。因此，在本文算法的預(yù)處理階段對c2-核采用KPCA策略。

3.2 比較算法

根據(jù)TRECVID競賽中排名靠前隊伍的報告及事件檢測領(lǐng)域的近期研究[4-5,7]，支持向量機(jī)和核回歸(KR)是最為可靠的事件檢測算法。為了闡述相關(guān)性樣本的利用方式不同將會產(chǎn)生不同的結(jié)果，進(jìn)行如下實驗。首先，將所有相關(guān)樣本看成是正性標(biāo)簽，然后訓(xùn)練事件檢測器，并給出結(jié)果。我們分別將實驗表示為SVMNEG和KRNEG。與文獻(xiàn)[4]一致，我們對SVM和KR應(yīng)用c2-核。對于多特征融合算法，對這些特征進(jìn)行早期融合及晚期融合。對早期融合算法，采用平均早期融合策略。對晚期融合算法，采用平均晚期融合及LP-Boost融合策略[18]。

在本文算法中將參數(shù)C設(shè)置為1，對相關(guān)性水平設(shè)置R=4，然后要求高相關(guān)性視頻數(shù)量不得超過相關(guān)性視頻總量的20%。在比較時使用兩種評估指標(biāo)。一種是平均精度(AP)，另一種是TRECVID MED官方評估時采用的Pmiss。

3.3 單特征實驗結(jié)果

本文模型可獲得每個特征的預(yù)測值，下面給出了利用單特征時的檢測結(jié)果。為了表示利用相關(guān)性標(biāo)簽信息的有效性，我們與基于單特征的SVM、SVMPOS、SVMPOS、KR、KRPOS和KRNEG算法做比較。表1給出了不同算法在密集軌跡、MoSIFT和CSIFT指標(biāo)方面的檢測性能(取10個事件的平均精度)。從表1中可以看出，3個特征中無論采用哪種特征，本文算法的性能均顯著優(yōu)于其他算法。

表1 基于單特征的檢測性能比較(10個事件的平均AP)

10個事件的完整名稱見3.1節(jié)，Pmiss值越小表明性能越好，AP值越高表明性能越好。

圖1給出了不同算法對密集軌跡這一最優(yōu)特征的性能比較情況?？梢园l(fā)現(xiàn)，本文算法對不同事件的性能仍然始終優(yōu)于其他最新算法。具體來說，就Pmiss和AP指標(biāo)而言，除了事件MaS和RaA外，本文算法在10個事件中的8個事件顯示出來的性能均優(yōu)于其他所有算法。從以上的仿真結(jié)果還可以看出，如果對相關(guān)性樣本利用不當(dāng)，則有可能降低性能。例如，考慮3種特征時SVMPOS的性能低于SVM。對KR同樣如此：KRPOS的性能低于KR。這些結(jié)果表明，相關(guān)性樣本不得直接看成是正性樣本。從人類語義層面上定義的相關(guān)性未必一定接近于正性樣本。因此，為相關(guān)性樣本賦予正性標(biāo)簽或高置信度，對檢測性能不利。另一方面，我們可以發(fā)現(xiàn)SVMNEG的性能與SVM類似，KRNEG的性能與KR類似。這一現(xiàn)象可做如下解釋：擴(kuò)大陰性樣本的空間不會對性能產(chǎn)生重大影響。

圖1 不同算法采用密集軌跡單特征時的性能比較

3.4 多特征實驗結(jié)果

在上述的單特征比較實驗中，將相關(guān)性樣本作為正性或陰性樣本使用并不會提升SVM和KR的性能。在本小節(jié)實驗中，將本文基于多特征組合的事件檢測方法的仿真結(jié)果與平均晚期融合SVM(SVMlate)、平均晚期融合KR(KRlate)、平均早期融合SVM(SVMearly)、LPBoost融合SVM(SVMLP)和LPBoost融合KR(KRLP)算法進(jìn)行了比較。利用10個事件的平均Pmiss和平均精度值來衡量檢測性能，表2給出了檢測性能結(jié)果。從中可以看出，本文算法的性能優(yōu)于其他當(dāng)前最新多特征組合算法。為了與近期發(fā)表文獻(xiàn)中的結(jié)果做性能比較，我們給出了與采用文獻(xiàn)[19]中具有完全實驗配置的實驗結(jié)果。文獻(xiàn)[19]在MED數(shù)據(jù)集中組合了13種類型的圖像特征，及2種類型的視頻特征，其特征數(shù)量是本文的數(shù)倍之多。但是文獻(xiàn)[19]中10個事件的平均AP值為0.2178，而本文為0.2507。表2基于3個特征的檢測性能比較。給出10個事件的平均Pmiss值和平均AP值。Pmiss值越小表明性能越好，AP值越高表明性能越好。

表2 檢測性能結(jié)果

10個事件的完整名稱見3.1節(jié)，Pmiss值越小表明性能越好，AP值越高表明性能越好。

最后，圖2分別給出了各個事件的性能比較結(jié)果?？梢钥闯?，本文算法對各個事件的性能最優(yōu)，在10個事件中的7個事件具有最小Pmiss值和最高AP值。仔細(xì)分析其原因可知，這主要是因為本文算法中的有序標(biāo)簽使事件檢測器能夠區(qū)分“高相關(guān)性”和“低相關(guān)性”，因此提高了事件檢測的靈活性和穩(wěn)健性。另外，它遵守相鄰有序標(biāo)簽間的最大容限準(zhǔn)則，并為預(yù)測值設(shè)置不同閾值來更新標(biāo)簽候選，利用了多個特征的信息，因此取得了更好的檢測結(jié)果。

圖2 不同算法基于3個特征時的性能比較

4 結(jié) 語

本文研究了多特征場景下的復(fù)雜事件檢測這一棘手問題。采取自適應(yīng)策略來學(xué)習(xí)每個相關(guān)視頻的相關(guān)性水平，并將相關(guān)性水平看成是有序標(biāo)簽，利用最大容限準(zhǔn)則來區(qū)分高相關(guān)性和低相關(guān)性視頻。然后將問題描述為標(biāo)簽候選選擇問題，生成大量標(biāo)簽候選后在學(xué)習(xí)階段選擇最為合適的標(biāo)簽。從多特征預(yù)測值中選擇標(biāo)簽候選，在迭代期間融合新生成的候選，并在標(biāo)簽預(yù)測時設(shè)置不同閾值。本文方法將相關(guān)性水平學(xué)習(xí)問題嵌入多特征條件中，有效利用了相關(guān)性樣本包含的信息。利用TRECVID MED 11數(shù)據(jù)集進(jìn)行了全面的仿真實驗，結(jié)果表明本文算法的性能遠(yuǎn)優(yōu)于其他當(dāng)前最新算法，證明了本文算法的有效性。

[1] 李勁菊, 朱 青, 王耀南. 一種復(fù)雜背景下運動目標(biāo)檢測與跟蹤方法[J]. 儀器儀表學(xué)報, 2010 (10): 2242-2247.

[2] Jiang L, Hauptmann A G, Xiang G. Leveraging high-level and low-level features for multimedia event detection[C]//Proceedings of the 20th ACM international conference on Multimedia. Nara, Japan: ACM Press, 2012: 449-458.[3] Ma Z, Yang Y, Sebe N,etal. Multimedia event detection using a classifier-specific intermediate representation[J]. IEEE Transactions on Multimedia, 2013, 15(7): 1628-1637.

[4] Tang K, Fei-Fei L, Koller D. Learning latent temporal structure for complex event detection[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). RI, USA: IEEE Press, 2012: 1250-1257.

[5] Natarajan P, Wu S, Vitaladevuni S,etal. Multimodal feature fusion for robust event detection in web videos[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). RI, USA: IEEE Press, 2012: 1298-1305.

[6] Tamrakar A, Ali S, Yu Q,etal. Evaluation of low-level features and their combinations for complex event detection in open source videos[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). RI, USA : IEEE Press, 2012: 3681-3688.

[7] Natarajan P, Wu S, Vitaladevuni S,etal. Multi-channel shape-flow kernel descriptors for robust video event detection and retrieval[C]// 12th European Conference on Computer Vision(ECCV). Florence, Italy: IEEE Press, 2012: 301-314.

[8] Yang Y, Shah M. Complex events detection using data-driven concepts [C]// 12th European Conference on Computer Vision(ECCV). Florence, Italy: IEEE Press, 2012: 722-735.

[9] Oneata D, Verbeek J, Schmid C. Action and event recognition with Fisher vectors on a compact feature set[C]// 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia: IEEE Press, 2013: 1817-1824.

[10] Ma Z, Yang Y, Cai Y,etal. Knowledge adaptation for ad hoc multimedia event detection with few exemplars[C]//Proceedings of the 20th ACM international conference on Multimedia. Nara, Japan: ACM, 2012: 469-478.

[11] Liu J, McCloskey S, Liu Y. Local expert forest of score fusion for video event classification[M]// 12th European Conference on Computer Vision(ECCV). Florence, Italy: IEEE Press, 2012: 397-410.

[12] Tzelepis C, Gkalelis N, Mezaris V,etal. Improving event detection using related videos and relevance degree support vector machines[C]//Proceedings of the 21st ACM international conference on Multimedia. Barcelona, Spain: ACM Press, 2013: 673-676.

[13] Yang Y, Ma Z, Xu Z,etal. How related exemplars help complex event detection in web videos?[C]// 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia: IEEE Press, 2013: 2104-2111.

[14] Kim M. Accelerated max-margin multiple kernel learning[J]. Applied intelligence, 2013, 38(1): 45-57.

[15] Sun B Y, Li J, Wu D D,etal. Kernel discriminant learning for ordinal regression[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(6): 906-910.

[16] Kim S J, Boyd S. A minimax theorem with applications to machine learning, signal processing, and finance[J]. SIAM Journal on Optimization, 2008, 19(3): 1344-1367.

[17] Wang H, Kl?ser A, Schmid C,etal. Action recognition by dense trajectories[C]// 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). CO, USA, IEEE Press, 2011: 3169-3176.

[18] Gehler P, Nowozin S. On feature combination for multiclass object classification[C]// 2009 IEEE 12th International Conference on Computer Vision. Kyoto, Japan: IEEE Press, 2009: 221-228.

[19] Tang K, Yao B, Fei-Fei L,etal. Combining the right features for complex event recognition[C]// 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia: IEEE Press, 2013: 2696-2703.

A Complex Event Detection Algorithm Based on Cross-feature Learning

WUJun-fang1,GUOYing2

(1. Wanfang College of Science & Technology, Henan Polytechnic University, Zhengzhou 451400, China; 2. Nanyang Radio and TV University, Nanyang 473036, China)

It is difficult to realize the complex event detection using the relevant samples while multiple features are available. Relevant samples share certain positive elements of the event, but have no uniform pattern due to the huge variance of relevance levels among different relevant samples. The existing detection schemes lack consideration of the correlation between the event features, and weaken the accuracy of event detection. In this paper, an improved algorithm is proposed which adaptively utilizes the relevant samples by cross-feature learning. Firstly, the relevance levels are treated as ordinal labels, and we learn the model with the maximum margin criterion between the consecutive relevance labels from a label candidates set. Then the label weighting problem is formulated based on the multiple kernel learning theory, we update the label candidate set from the prediction of cross-feature. The procedure is repeated until convergence and the final unified detector is used for event detection. We test our algorithm using the large scale TRECVID 2011 dataset, experimental results show that the detection performance of the proposed algorithm is superior to other current algorithms in terms of average accuracy and Pmiss value.

complex event detection; relevant samples; cross-feature learning; label candidates set; average accuracy

2015-11-12

武俊芳(1979-)，女，河南西平人，碩士，講師，主要研究方向：圖像處理、云計算。Tel.:13949021815; E-mail:2459325@qq.com

TP 391

A

1006-7167(2016)05-0141-05