武俊芳， 郭 英

(1. 河南理工大學 萬方科技學院， 河南 鄭州 451400; 2. 南陽廣播電視大學， 河南 南陽 473036)

?

一種基于交叉特征學習的復雜事件檢測算法

武俊芳1， 郭 英2

(1. 河南理工大學 萬方科技學院， 河南 鄭州 451400; 2. 南陽廣播電視大學， 河南 南陽 473036)

提出一種改進的事件檢測算法，通過交叉特征學習實現(xiàn)相關樣本的自適應利用。首先將相關性水平看成是有序標簽，利用標簽候選集中相鄰兩個相關性標簽的最大容限準則進行模型學習。然后采用多核學習理論來定義標簽加權問題，通過交叉特征預測來更新標簽候選集合。重復上述步驟直到算法收斂為止，將最終獲得的統(tǒng)一檢測器用于事件檢測。利用大規(guī)模TRECVID 2011數(shù)據集來測試本文算法，實驗結果表明，就平均精度和Pmiss值而言，本文算法的檢測性能優(yōu)于當前其他算法。

復雜事件檢測； 相關樣本； 交叉特征學習； 標簽候選集； 平均精度

0 引 言

復雜事件是對較長視頻片斷更高層次的語義抽象，其語義抽象層次要高于運動、場景或對象[1]。例如，“生日聚會”事件可能包含人物、生日蛋糕、唱歌、歡呼、吹蠟燭等多種概念。此外，描述同一事件的視頻往往發(fā)生強烈的事件內部變化?！吧站蹠笨赡茉谑覂?比如餐廳)或室外(比如公園)，而且人們可用唱歌，聚餐，或者玩游戲來歡慶生日，與只持續(xù)數(shù)秒鐘的運動或用一幅圖片即可檢測出來的對象不同，復雜事件的持續(xù)時間從數(shù)分鐘至數(shù)小時不等。

雖然復雜事件檢測的難度很大，但在近幾年仍然受到人們的大量關注[2-3]。持續(xù)時間較長且類內變化較大的視頻，包含的信息豐富復雜，而且單個特征無法有效刻畫視頻的整個信息。當前研究認為將多個特征進行綜合是實現(xiàn)事件檢測的有效方法[4-6]。然而這些研究對特征進行綜合的方式過于簡單，沒有考慮事件檢測時不同特征間的相關性。如果設法發(fā)掘出不同特征間的共享信息，便可更為有效地對多個特征加以利用。鑒于此，提出一種面向復雜事件檢測的多特征學習算法。該算法可有效挖掘不同特征間的相關性，然后聯(lián)合處理多個特征，最終提高事件檢測的穩(wěn)健性。

1 相關工作

復雜事件檢測是目前計算機視覺領域的研究熱點，人們已經從特征或分類角度提出多種策略來提升檢測精度。文獻[7]提出一種基于多通道形態(tài)-流核描述符的事件檢測算法。Yang等[8]提出一種算法從多模態(tài)(multi-modality)信號中檢測出日期驅動概念，然后進行稀疏視頻表示學習，進而實現(xiàn)事件檢測。Natarajan等[5]提出通過綜合多模態(tài)的不同特征來提升多媒體事件檢測的性能。Tamrakar等[6]評估了多種主流特征對復雜事件檢測的性能。文獻[9]利用Fisher向量來融合低層描述符來表示視頻，然后實現(xiàn)復雜事件檢測。另一方面，Ma等[10]提出當正性樣本數(shù)量較少時利用遷移學習實現(xiàn)復雜事件檢測。Liu等[11]提出一種局部專家森林模型來融合多個分類器的得分，然后實現(xiàn)復雜事件檢測。上述研究取得的進展雖然振奮人心，但是大多沒有利用到事件特征的相關性，因此還有進一步提升檢測性能的空間。

2 本文算法

2.1 多相關性水平學習

假設從視頻中提取了P個不同特征，本文將基于不確定性標簽的多特征學習問題表述如下：

(1)

(2)

(3)

(4)

(5)

其中，

于是式(5)可簡化為：

(6)

(7)

(8)

對式(8)不等式約束引入拉格朗日變量dm≥0，上述問題可放松為：

(9)

其中，D表示d的可行集，且

調換maxα∈A和mind∈D等價于：

(10)

2.2 基于交叉特征選舉的標簽候選更新

由于數(shù)據條件不夠平衡，所以無法獲得用于判定預測值的標識為+1或-1的準確閾值。為了將預測值離散化為標簽集，本文并沒有只設置一個閾值(閾值一般為0)，而是利用其他特征的預測值來融合它們的信息，然后對預測值設置不同閾值來獲得標簽候選集合。之所以設置不同閾值，是因為在數(shù)據不平衡條件下，預測值存在嚴重偏差。因此，需要設置不同閾值，然后生成更大規(guī)模的標簽候選集。本文模型可選擇質量較高的標簽候選。

對于預測數(shù)據源，可以只利用上次迭代訓練好的分類器所提供的預測值。然而，之前迭代時質量較差的標簽候選可能傳播到后續(xù)的標簽候選中，進而降低預測性能。尤其是在前幾次迭代時，標簽候選的精度可能較低。因此，除了最后一次迭代生成的標簽候選外，保留各次迭代時的標簽候選。在整個迭代過程中利用標簽候選來提高所生成的標簽候選的穩(wěn)健性。

我們提出一種交叉特征選舉方法來更新標簽候選，其中第p個特征的標簽候選由其他特征選舉。本文方法可表述如下：

(11)

算法1：基于多特征的多相關性水平學習。

輸出：αp,dp,Yp

m←1;

m←1;

forp←1 toPdo

根據式(10)和Yp求解dp和dp；

獲得數(shù)據點xp的預測值zp；

設置zp的不同閾值，獲得滿足約束的標簽候選集Qp；

end

forp←1 toPdo

Yp←Yp∪Qp′；

end

m←m+1

until終止條件；

2.3 中止準則和收斂

2.4 時間復雜度

3 實 驗

3.1 數(shù)據集

為了驗證本文方法的性能，采用NIST從Youtube等互聯(lián)網主機網站上收集的大量視頻數(shù)據集(TRECVID MED)進行了仿真實驗，它包含32 000多個測試視頻?？偝掷m(xù)時間為1 200 h，體積約800 GB。TRECVID MED測試集中的事件包括“生日聚會(BP)”“更換車輛輪胎(CaVT)”“民眾集會(FMG)”“拆解汽車(GaVU)”“飼養(yǎng)動物(GaA)”“制作三明治(MaS)”“游行(PR)”“跑酷(PK)”“修理設備(RaA)”“縫紉(WaSP)”。NIST為每個事件提供的正性樣本數(shù)量從100～200個不等，相關性樣本數(shù)量約為150個。

我們在實驗中使用3種視頻特征[17]：密集軌跡、MoSIFT和彩色SIFT (CSIFT)，經證明這些特征是TRECVID MED競賽中的最優(yōu)視覺特征。我們從視頻中提取這3種特征，然后為每個描述符生成尺寸為4 096的視覺詞表。視頻被映射到4 096維詞包中(BoWs)。我們采用1×1, 2×2和3×1空間網格來生成空間BoW。因此，每個特征有32 768維空間表示。根據文獻[4]可知，c2-核是視頻分析最為有效的內核。因此，在本文算法的預處理階段對c2-核采用KPCA策略。

3.2 比較算法

根據TRECVID競賽中排名靠前隊伍的報告及事件檢測領域的近期研究[4-5,7]，支持向量機和核回歸(KR)是最為可靠的事件檢測算法。為了闡述相關性樣本的利用方式不同將會產生不同的結果，進行如下實驗。首先，將所有相關樣本看成是正性標簽，然后訓練事件檢測器，并給出結果。我們分別將實驗表示為SVMNEG和KRNEG。與文獻[4]一致，我們對SVM和KR應用c2-核。對于多特征融合算法，對這些特征進行早期融合及晚期融合。對早期融合算法，采用平均早期融合策略。對晚期融合算法，采用平均晚期融合及LP-Boost融合策略[18]。

在本文算法中將參數(shù)C設置為1，對相關性水平設置R=4，然后要求高相關性視頻數(shù)量不得超過相關性視頻總量的20%。在比較時使用兩種評估指標。一種是平均精度(AP)，另一種是TRECVID MED官方評估時采用的Pmiss。

3.3 單特征實驗結果

本文模型可獲得每個特征的預測值，下面給出了利用單特征時的檢測結果。為了表示利用相關性標簽信息的有效性，我們與基于單特征的SVM、SVMPOS、SVMPOS、KR、KRPOS和KRNEG算法做比較。表1給出了不同算法在密集軌跡、MoSIFT和CSIFT指標方面的檢測性能(取10個事件的平均精度)。從表1中可以看出，3個特征中無論采用哪種特征，本文算法的性能均顯著優(yōu)于其他算法。

表1 基于單特征的檢測性能比較(10個事件的平均AP)

10個事件的完整名稱見3.1節(jié)，Pmiss值越小表明性能越好，AP值越高表明性能越好。

圖1給出了不同算法對密集軌跡這一最優(yōu)特征的性能比較情況?？梢园l(fā)現(xiàn)，本文算法對不同事件的性能仍然始終優(yōu)于其他最新算法。具體來說，就Pmiss和AP指標而言，除了事件MaS和RaA外，本文算法在10個事件中的8個事件顯示出來的性能均優(yōu)于其他所有算法。從以上的仿真結果還可以看出，如果對相關性樣本利用不當，則有可能降低性能。例如，考慮3種特征時SVMPOS的性能低于SVM。對KR同樣如此：KRPOS的性能低于KR。這些結果表明，相關性樣本不得直接看成是正性樣本。從人類語義層面上定義的相關性未必一定接近于正性樣本。因此，為相關性樣本賦予正性標簽或高置信度，對檢測性能不利。另一方面，我們可以發(fā)現(xiàn)SVMNEG的性能與SVM類似，KRNEG的性能與KR類似。這一現(xiàn)象可做如下解釋：擴大陰性樣本的空間不會對性能產生重大影響。

圖1 不同算法采用密集軌跡單特征時的性能比較

3.4 多特征實驗結果

在上述的單特征比較實驗中，將相關性樣本作為正性或陰性樣本使用并不會提升SVM和KR的性能。在本小節(jié)實驗中，將本文基于多特征組合的事件檢測方法的仿真結果與平均晚期融合SVM(SVMlate)、平均晚期融合KR(KRlate)、平均早期融合SVM(SVMearly)、LPBoost融合SVM(SVMLP)和LPBoost融合KR(KRLP)算法進行了比較。利用10個事件的平均Pmiss和平均精度值來衡量檢測性能，表2給出了檢測性能結果。從中可以看出，本文算法的性能優(yōu)于其他當前最新多特征組合算法。為了與近期發(fā)表文獻中的結果做性能比較，我們給出了與采用文獻[19]中具有完全實驗配置的實驗結果。文獻[19]在MED數(shù)據集中組合了13種類型的圖像特征，及2種類型的視頻特征，其特征數(shù)量是本文的數(shù)倍之多。但是文獻[19]中10個事件的平均AP值為0.2178，而本文為0.2507。表2基于3個特征的檢測性能比較。給出10個事件的平均Pmiss值和平均AP值。Pmiss值越小表明性能越好，AP值越高表明性能越好。

表2 檢測性能結果

10個事件的完整名稱見3.1節(jié)，Pmiss值越小表明性能越好，AP值越高表明性能越好。

最后，圖2分別給出了各個事件的性能比較結果?？梢钥闯?，本文算法對各個事件的性能最優(yōu)，在10個事件中的7個事件具有最小Pmiss值和最高AP值。仔細分析其原因可知，這主要是因為本文算法中的有序標簽使事件檢測器能夠區(qū)分“高相關性”和“低相關性”，因此提高了事件檢測的靈活性和穩(wěn)健性。另外，它遵守相鄰有序標簽間的最大容限準則，并為預測值設置不同閾值來更新標簽候選，利用了多個特征的信息，因此取得了更好的檢測結果。

圖2 不同算法基于3個特征時的性能比較

4 結 語

本文研究了多特征場景下的復雜事件檢測這一棘手問題。采取自適應策略來學習每個相關視頻的相關性水平，并將相關性水平看成是有序標簽，利用最大容限準則來區(qū)分高相關性和低相關性視頻。然后將問題描述為標簽候選選擇問題，生成大量標簽候選后在學習階段選擇最為合適的標簽。從多特征預測值中選擇標簽候選，在迭代期間融合新生成的候選，并在標簽預測時設置不同閾值。本文方法將相關性水平學習問題嵌入多特征條件中，有效利用了相關性樣本包含的信息。利用TRECVID MED 11數(shù)據集進行了全面的仿真實驗，結果表明本文算法的性能遠優(yōu)于其他當前最新算法，證明了本文算法的有效性。

[1] 李勁菊, 朱 青, 王耀南. 一種復雜背景下運動目標檢測與跟蹤方法[J]. 儀器儀表學報, 2010 (10): 2242-2247.

[2] Jiang L, Hauptmann A G, Xiang G. Leveraging high-level and low-level features for multimedia event detection[C]//Proceedings of the 20th ACM international conference on Multimedia. Nara, Japan: ACM Press, 2012: 449-458.[3] Ma Z, Yang Y, Sebe N,etal. Multimedia event detection using a classifier-specific intermediate representation[J]. IEEE Transactions on Multimedia, 2013, 15(7): 1628-1637.

[4] Tang K, Fei-Fei L, Koller D. Learning latent temporal structure for complex event detection[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). RI, USA: IEEE Press, 2012: 1250-1257.

[5] Natarajan P, Wu S, Vitaladevuni S,etal. Multimodal feature fusion for robust event detection in web videos[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). RI, USA: IEEE Press, 2012: 1298-1305.

[6] Tamrakar A, Ali S, Yu Q,etal. Evaluation of low-level features and their combinations for complex event detection in open source videos[C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). RI, USA : IEEE Press, 2012: 3681-3688.

[7] Natarajan P, Wu S, Vitaladevuni S,etal. Multi-channel shape-flow kernel descriptors for robust video event detection and retrieval[C]// 12th European Conference on Computer Vision(ECCV). Florence, Italy: IEEE Press, 2012: 301-314.

[8] Yang Y, Shah M. Complex events detection using data-driven concepts [C]// 12th European Conference on Computer Vision(ECCV). Florence, Italy: IEEE Press, 2012: 722-735.

[9] Oneata D, Verbeek J, Schmid C. Action and event recognition with Fisher vectors on a compact feature set[C]// 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia: IEEE Press, 2013: 1817-1824.

[10] Ma Z, Yang Y, Cai Y,etal. Knowledge adaptation for ad hoc multimedia event detection with few exemplars[C]//Proceedings of the 20th ACM international conference on Multimedia. Nara, Japan: ACM, 2012: 469-478.

[11] Liu J, McCloskey S, Liu Y. Local expert forest of score fusion for video event classification[M]// 12th European Conference on Computer Vision(ECCV). Florence, Italy: IEEE Press, 2012: 397-410.

[12] Tzelepis C, Gkalelis N, Mezaris V,etal. Improving event detection using related videos and relevance degree support vector machines[C]//Proceedings of the 21st ACM international conference on Multimedia. Barcelona, Spain: ACM Press, 2013: 673-676.

[13] Yang Y, Ma Z, Xu Z,etal. How related exemplars help complex event detection in web videos?[C]// 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia: IEEE Press, 2013: 2104-2111.

[14] Kim M. Accelerated max-margin multiple kernel learning[J]. Applied intelligence, 2013, 38(1): 45-57.

[15] Sun B Y, Li J, Wu D D,etal. Kernel discriminant learning for ordinal regression[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(6): 906-910.

[16] Kim S J, Boyd S. A minimax theorem with applications to machine learning, signal processing, and finance[J]. SIAM Journal on Optimization, 2008, 19(3): 1344-1367.

[17] Wang H, Kl?ser A, Schmid C,etal. Action recognition by dense trajectories[C]// 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). CO, USA, IEEE Press, 2011: 3169-3176.

[18] Gehler P, Nowozin S. On feature combination for multiclass object classification[C]// 2009 IEEE 12th International Conference on Computer Vision. Kyoto, Japan: IEEE Press, 2009: 221-228.

[19] Tang K, Yao B, Fei-Fei L,etal. Combining the right features for complex event recognition[C]// 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, Australia: IEEE Press, 2013: 2696-2703.

A Complex Event Detection Algorithm Based on Cross-feature Learning

WUJun-fang1,GUOYing2

(1. Wanfang College of Science & Technology, Henan Polytechnic University, Zhengzhou 451400, China; 2. Nanyang Radio and TV University, Nanyang 473036, China)

It is difficult to realize the complex event detection using the relevant samples while multiple features are available. Relevant samples share certain positive elements of the event, but have no uniform pattern due to the huge variance of relevance levels among different relevant samples. The existing detection schemes lack consideration of the correlation between the event features, and weaken the accuracy of event detection. In this paper, an improved algorithm is proposed which adaptively utilizes the relevant samples by cross-feature learning. Firstly, the relevance levels are treated as ordinal labels, and we learn the model with the maximum margin criterion between the consecutive relevance labels from a label candidates set. Then the label weighting problem is formulated based on the multiple kernel learning theory, we update the label candidate set from the prediction of cross-feature. The procedure is repeated until convergence and the final unified detector is used for event detection. We test our algorithm using the large scale TRECVID 2011 dataset, experimental results show that the detection performance of the proposed algorithm is superior to other current algorithms in terms of average accuracy and Pmiss value.

complex event detection; relevant samples; cross-feature learning; label candidates set; average accuracy

2015-11-12

武俊芳(1979-)，女，河南西平人，碩士，講師，主要研究方向：圖像處理、云計算。Tel.:13949021815; E-mail:2459325@qq.com

TP 391

A

1006-7167(2016)05-0141-05