魯 琴, 武曉康, 羅武勝

(1.國(guó)防科學(xué)技術(shù)大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院,湖南 長(zhǎng)沙 410073;2.海軍工程大學(xué) 電力電子技術(shù)研究所,湖北 武漢 430033)

?

基于人臉角度估計(jì)的多觀察視頻合并*

魯 琴1, 武曉康2, 羅武勝1

(1.國(guó)防科學(xué)技術(shù)大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院,湖南 長(zhǎng)沙 410073;2.海軍工程大學(xué) 電力電子技術(shù)研究所,湖北 武漢 430033)

對(duì)特定人物進(jìn)行觀察記錄時(shí)，由于被觀察對(duì)象處于運(yùn)動(dòng)狀態(tài)，需要通過(guò)布置多個(gè)觀察源來(lái)充分采集其行為信息，這導(dǎo)致大量冗余信息的存儲(chǔ)，同時(shí)不利于后續(xù)對(duì)視頻的檢索和對(duì)被測(cè)對(duì)象行為的分析。為此，提出了一種基于人臉角度估計(jì)的多觀察視頻合并方法，通過(guò)對(duì)多個(gè)觀察視頻的拆分、人臉檢測(cè)、人臉角度估計(jì)和重組，獲得單一的包含被觀察對(duì)象正面行為的觀察視頻，然后進(jìn)行存儲(chǔ)。通過(guò)實(shí)驗(yàn)驗(yàn)證了算法的可行性，同時(shí)討論了多觀察源采集視頻不同步帶來(lái)的影響。

視頻觀察； 人臉角度估計(jì)； 視頻合并

0 引 言

觀察是人們認(rèn)識(shí)世界、獲取知識(shí)的一個(gè)重要途徑。與傳統(tǒng)基于觀察者人眼的方式相比，視頻觀察能夠讓被觀察對(duì)象的行為模式和順序“凍結(jié)”，這樣能夠反復(fù)觀看而不會(huì)丟失任何原始數(shù)據(jù)[1]，但同時(shí)視頻觀察帶來(lái)一個(gè)新的嚴(yán)峻問(wèn)題，即視頻觀察獲得的是包含大量冗余的數(shù)據(jù)，如果不對(duì)其進(jìn)行有效分析處理，僅僅是“囫圇吞棗”式的存儲(chǔ)，不僅難以從中得到觀察結(jié)果，也使后來(lái)的信息查閱者無(wú)從下手。為此，視頻分析處理技術(shù)是實(shí)現(xiàn)視頻觀察記錄的關(guān)鍵環(huán)節(jié)[2]。

由于被觀察對(duì)象處于運(yùn)動(dòng)狀態(tài)，布置多個(gè)觀察源能始終保持該人物的正面表情和行為處于一個(gè)觀察源監(jiān)控之下。為了便于后續(xù)對(duì)視頻的檢索和對(duì)被測(cè)對(duì)象行為的分析，本文提出一種基于人臉角度估計(jì)的多觀察視頻合并方法，即通過(guò)對(duì)多個(gè)觀察視頻的拆分、人臉檢測(cè)、人臉角度估計(jì)和重組，獲得單一的包含被觀察對(duì)象正面行為的觀察視頻，然后進(jìn)行存儲(chǔ)。本文主要研究多個(gè)觀察源下的人物觀察記錄應(yīng)用。

1 人臉角度檢測(cè)與估計(jì)

美國(guó)加利福尼亞計(jì)算機(jī)科學(xué)學(xué)院的研究人員采用真實(shí)世界中雜亂圖片來(lái)進(jìn)行人臉檢測(cè)、姿態(tài)估計(jì)，建立了基于帶有部分共享池的混合樹(shù)結(jié)構(gòu)的模型[3]。基于混合結(jié)構(gòu)樹(shù)的人臉角度估計(jì)算法的輸出結(jié)果有六個(gè)標(biāo)識(shí)，包括眼睛中心、鼻尖、兩個(gè)嘴角、嘴的中心、偏航方向的離散角度(-90°～90°，以15°為間隔)[4]。該模型雖然只用了幾百?gòu)埬樳M(jìn)行訓(xùn)練，但是取得了很好的效果[5]。為了檢測(cè)算法在觀察記錄中的可行性，對(duì)視頻觀察數(shù)據(jù)中一幅幀圖像進(jìn)行人臉檢測(cè)和角度估計(jì)的處理，如圖1所示。圖片尺寸大小為360 p×640 p。角度估計(jì)結(jié)果為偏轉(zhuǎn)60°，處理時(shí)間為9.3 s。

圖1 人臉角度估計(jì)實(shí)現(xiàn)

為了檢驗(yàn)算法的通用性，本文對(duì)100張具有不同場(chǎng)景的圖片進(jìn)行了處理。表1中給出了對(duì)不同尺寸圖片的處理效果，該算法檢測(cè)正確率達(dá)到90 %以上，且平均處理時(shí)間尚可接受。通過(guò)對(duì)表1中的處理結(jié)果分析可知，在圖片尺寸縮小后，圖片的處理時(shí)間也相應(yīng)倍數(shù)地減少，但單位區(qū)域的處理時(shí)間相差不大，這是因?yàn)樗惴ㄊ遣捎萌制ヅ涞姆绞焦烙?jì)姿態(tài)；在原始圖像對(duì)應(yīng)須采樣的2s.jpg，3s.jpg，5s.jpg，6s.jpg中人臉姿態(tài)估計(jì)的正確率明顯下降，說(shuō)明在進(jìn)行人臉姿態(tài)估計(jì)時(shí)，對(duì)圖像尺寸縮減來(lái)減少處理時(shí)間的方式要合理使用。

表1 人臉角度估計(jì)算法測(cè)試結(jié)果

Tab 1 Test results of face angle estimation algorithm

圖片名稱圖片尺寸(p)人臉數(shù)目估計(jì)到人臉角度的數(shù)目檢測(cè)耗時(shí)(s)單位耗時(shí)(s)1.jpg640×4262231.21.141s.jpg214×142224.91.612.jpg1024×6773377.91.122s.jpg342×2263110.51.363.jpg1600×120066214.71.123s.jpg534×4006323.21.094.jpg1034×6466667.31.014s.jpg620×9916677.11.255.jpg1205×90244133.11.235s.jpg402×3014319.41.606.jpg1711×76555158.01.216s.jpg856×3835341.91.28

2 基于人臉角度估計(jì)的多觀察視頻合并算法設(shè)計(jì)

當(dāng)?shù)玫蕉喾揭曨l觀察數(shù)據(jù)后，希望對(duì)多方數(shù)據(jù)融合使用，但又不希望對(duì)每一個(gè)觀察源的數(shù)據(jù)都做處理，事實(shí)上也沒(méi)有必要對(duì)每一個(gè)視頻源數(shù)據(jù)進(jìn)行處理。為此，設(shè)計(jì)了基于人臉角度估計(jì)的多方視頻重組記錄算法。算法的具體流程如下：

假設(shè)觀察記錄擁有m為觀察源數(shù)目、n個(gè)被觀察對(duì)象。使用n型人臉庫(kù)，建立n+1個(gè)分類集合即n個(gè)被觀察對(duì)象檢測(cè)結(jié)果{R1,R2，…，Rn}和一個(gè)未識(shí)別人員(unknow)集合Tn+1。

1)首先把m個(gè)視頻段{V1,V2,…,Vm} 分解為幀圖片到對(duì)應(yīng)的集合{A1,A2,…,Am}中。

2)在保證視頻同時(shí)性的情況下，從{V1,V2,…,Vm}主選一段視頻Vmain作為關(guān)鍵觀察數(shù)據(jù)。在一般情況下，不同觀察源得到的觀察記錄數(shù)據(jù)不是均勻分布的。顯然，正對(duì)觀察對(duì)象的攝像機(jī)會(huì)記錄更多的信息。將其作為主要的分析視頻，可以減少角度檢測(cè)的次數(shù)，從而可以減少數(shù)據(jù)處理時(shí)間。

3)對(duì)幀圖像集合{A1,A2,…,Am}分別對(duì)集合Ai中幀圖做背景減除和幀差除去冗余信息得到關(guān)鍵幀集合M={M1,M2,…,Mn}。

其中,Mi=Fx(Ai)={fkey1,fkey2,…}?Ai，選取其中一個(gè)集合為Mmain。

4)對(duì)Mmain中的幀圖fi按順序進(jìn)行人臉檢測(cè)[6]和角度估計(jì)。

5)根據(jù)角度估計(jì)的結(jié)果和攝像機(jī)布置的拓?fù)浣Y(jié)構(gòu)，切換到對(duì)應(yīng)的幀圖集合Mi。

6)對(duì)Mi和Mmain中相同序號(hào)的幀圖再做檢測(cè)，得到正面的人臉框圖。

7)對(duì)人臉框圖歸一化處理，提取人臉特征ν。

8)和觀察對(duì)象人臉庫(kù)進(jìn)行人臉特征U={u1,u2,…,un}匹配，把該幀分到對(duì)應(yīng)的結(jié)果集合Ri中。

9)循環(huán)上述步驟，直到幀圖片處理結(jié)束。

根據(jù)上節(jié)實(shí)驗(yàn)中得到的人臉角度估計(jì)的時(shí)間，如果對(duì)視頻每幀都進(jìn)行處理，會(huì)占用大量時(shí)間，為了提高實(shí)驗(yàn)效率，檢驗(yàn)算法可靠性，做了一定的精簡(jiǎn)，每秒鐘先只選取一張關(guān)鍵幀。具體的算法流程如圖2所示。

圖2 多觀察視頻重組記錄算法流程

3 測(cè)試與實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中，使用了兩個(gè)觀察源為1 080 p的200萬(wàn)像素?cái)z像頭A，B。觀察源采用矩形布置的方式，兩者的視場(chǎng)相互垂直。場(chǎng)景中只有一個(gè)觀察對(duì)象。圖3和圖4展示兩個(gè)觀察源下同時(shí)刻的畫面。算法實(shí)現(xiàn)基于32位的Matlab 2010b平臺(tái)。由于Matlab的程序?yàn)榻忉寛?zhí)行，在處理速度方面和其他高級(jí)程序有一定差距。為此，在某些計(jì)算環(huán)節(jié)使用了C++作為混合編程[7]。

實(shí)驗(yàn)?zāi)M了對(duì)人室內(nèi)活動(dòng)進(jìn)行觀察記錄的情景，共進(jìn)行了3次視頻觀察，觀察對(duì)象分別為Suliang，Sunbei，Tangshu。因?yàn)橛?個(gè)觀察源，所以共有6段視頻。視頻尺寸均為1 080 p×1 920 p。表2中展示了3組實(shí)驗(yàn)6段視頻的基本信息，包括每1段視頻的時(shí)長(zhǎng)、幀圖像數(shù)目、關(guān)鍵幀數(shù)目、關(guān)鍵幀中估計(jì)到人臉的幀圖像數(shù)目、處理時(shí)間。從表2中看出同一實(shí)驗(yàn)下的2段視頻的延時(shí)在2～3s，這表明兩個(gè)觀察源得到的視頻并沒(méi)有達(dá)到完全同步，這在物體移動(dòng)速度較慢時(shí)候影響不大，但在速度移動(dòng)較快時(shí)會(huì)造成一定影響。為了彌補(bǔ)視頻數(shù)據(jù)不同步帶來(lái)的誤差，只能對(duì)每個(gè)觀察源下的視頻數(shù)據(jù)進(jìn)行人臉角度估計(jì)，表3給出了實(shí)驗(yàn)中多觀察源均做處理的結(jié)果。表3中人臉角度數(shù)據(jù)的單位為(°)，人臉角度數(shù)據(jù)中void表示沒(méi)有檢測(cè)到人臉。沒(méi)有檢測(cè)到人臉的原因可能是圖片中沒(méi)有人物出現(xiàn)，也可能是人臉完全背對(duì)鏡頭。從檢測(cè)到人臉角度的數(shù)據(jù)上看，角度變化具有一定的連貫性，說(shuō)明提取的關(guān)鍵幀能夠代表視頻整體信息，可以很好地表達(dá)人在時(shí)間軸上的行為變化。

表2 實(shí)驗(yàn)視頻信息

Tab 2 Information of experimental videos

實(shí)驗(yàn)名稱視頻名稱時(shí)長(zhǎng)(s)總幀數(shù)關(guān)鍵幀數(shù)目檢測(cè)到人臉角度數(shù)目處理時(shí)間(s)實(shí)驗(yàn)一Suliang1Suliang220.2419.04506476201820151612.51455.9實(shí)驗(yàn)二Sunbei1Sunbei244.2041.2011051030444026373556.23239.3實(shí)驗(yàn)三Tangshu1Tangshu230.3027.40758684302624242431.42876.0

表3 實(shí)驗(yàn)結(jié)果

Tab 3 Experimental results

視頻名稱檢測(cè)到的人臉角度(°)Suliang1[-90,-60,-30,-30,0,45,75,90,90,75,15,-30,-30,-45,-60,-30,0,0,60,45]Suliang2[void,-90,-75,-45,-30,0,0,15,-30,-60,-90,-90,void,void,-60,-45,-30,0]Sunbei1[-30,-30,-15,-15,0,0,0,0,0,30,30,45,60,90,90,90,90,void,void,void,void,void,void,void,void,void,void,void,void,void,void,void,void,90,90,90,45,0,0,-30,0,90,void,void]Sunbei2[void,-90,-90,-90,-90,-60,-60,-60,-45,-45,-30,0,0,0,0,0,30,30,30,60,60,90,90,90,60,30,30,30,0,0,0,0,-30,-60,-75,void,void,-90,-30,90]Tangshu1[-30,0,0,-15,0,30,45,45,60,75,void,void,void,void,void,void,-30,90,30,30,30,0,0,0,0,15,60,60,90,90]Tangshu2[void,void,-90,-90,-90,-60,-30,0,0,0,0,30,30,-15,-45,-45,-45,-45,-60,-60,-60,-60,-45,-15,0,0]

圖3(a)檢測(cè)人臉為90°，圖3(b)是沒(méi)有檢測(cè)到人臉為void情況。圖4是對(duì)Sunbei1,Sunbei2兩個(gè)視頻處理后融合的效果。從處理結(jié)果看，圖4前11張小圖是在攝像機(jī)A下得到的正面信息，在圖4第12張小圖時(shí)，因觀察對(duì)象人臉角度偏轉(zhuǎn)超過(guò)一定區(qū)域范圍，被切換到另一個(gè)攝像機(jī)上。基于角度估計(jì)的視頻重組記錄算法能夠檢測(cè)出幀圖像中存在角度偏轉(zhuǎn)的人臉，通過(guò)分析觀察源之間的空間幾何關(guān)系，能夠使兩個(gè)觀察源下的視頻達(dá)到很好的融合效果。圖4中小圖的序號(hào)為001,026,051,076,101,126,151,176,201,226,251,251(2),276,301,326,351,376,401,426,451。重組記錄算法對(duì)數(shù)據(jù)處理的采樣間隔是25幀，圖4中的圖像序號(hào)表明算法對(duì)兩個(gè)觀察源的數(shù)據(jù)沒(méi)有漏檢。

圖3 人臉角度估計(jì)處理結(jié)果

4 結(jié) 論

本文描述了為了觀察記錄的全面性而存在的多源視頻數(shù)據(jù)處理的現(xiàn)實(shí)問(wèn)題，分析了用戶對(duì)視頻重組記錄的需求，介紹了加利福尼亞大學(xué)研究人員的人臉角度估計(jì)算法，采用該成果，設(shè)計(jì)并完成了基于人臉角度估計(jì)的多視頻重組記錄算法，在實(shí)驗(yàn)室現(xiàn)有的硬件條件下設(shè)計(jì)了實(shí)驗(yàn)過(guò)程，展示并分析了算法的測(cè)試結(jié)果。

[1] 雷玉堂.安防&智能化—視頻監(jiān)控系統(tǒng)智能化實(shí)現(xiàn)方案[M].北京:電子工業(yè)出版社，2013.

[2] 謝劍斌,陳章永,劉 通,等.視覺(jué)感知與智能視頻監(jiān)控[M].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué)出版社,2012.

[3] Zhu Xiangxin,Ramanan D.Face detection,pose estimation, and Landmark localization in the wild[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition,RI,USA,2012:2879-2886.

圖4 視頻合并處理結(jié)果

[4] Herbst E,Ren X,Fox D.Object discovery via multi-scene analy-sis[C]∥2011 IEEE International Conference on Intelligent Robots and Systems,2011:4850-4856.

[5] Yang Y,Ramanan D.Articulated pose estimation using flexible mixtures of parts[C]∥CVPR 2011,2011:1385-1392.

[6] Wu Xiaokang,Xie Chenggang,Lu Qin.Algorithm of video decomposition and video abstraction generation based on face detection and recognition[C]∥2014 International Conference on Machine Tool Technology and Mechatronics Engineering,2014:4620-4623.

[7] 趙小川.Matlab圖像處理：程序?qū)崿F(xiàn)與模塊化仿真[M].北京:北京航空航天大學(xué)出版社,2014.

Combination of multiple observation videos based on face angle estimation*

LU Qin1, WU Xiao-kang2, LUO Wu-sheng1

(1.College of Mechatronics Engineering and Automation,National University of Defense Technology,Changsha 410073,China; 2.Research Institute of Power Electronics Technology,Naval University of Engineering,Wuhan 430033,China)

While observing and recording specific people,multiple videos are needed for sufficient information gathering,which leads to storage of abundant useless data and results in difficulty for searching and analyzing of observation videos.A combination method of multiple observation videos based on face angle estimation is proposed to solve this problem.A single video which only contains facing scenes of moving people is obtained and stored by splitting multiple observation videos,detecting face and recombining based on the face angle estimation.Experiments verify the feasibility of this method and the influence of asynchronous videos is discussed.

video observation; face angle estimation; video combination

2015—06—13

國(guó)家自然科學(xué)基金資助項(xiàng)目(61171136)

10.13873/J.1000—9787(2015)09—0017—03

TP 391

A

1000—9787(2015)09—0017—03

魯 琴(1980-)，女，湖北武漢人，博士，講師，主要研究方向?yàn)闊o(wú)線多媒體傳感器網(wǎng)絡(luò)、視頻感知與智能處理。