宮宇

（東北財(cái)經(jīng)大學(xué) 實(shí)驗(yàn)教學(xué)中心，遼寧 大連 116025）

人體運(yùn)動(dòng)的視覺分析是計(jì)算機(jī)視覺領(lǐng)域中最為活躍的研究課題之一，其核心是運(yùn)用計(jì)算機(jī)視覺技術(shù)從圖像序列中進(jìn)行檢測、跟蹤、識(shí)別、并對(duì)之進(jìn)行行為理解[1]。運(yùn)動(dòng)檢測的目的是從序列圖像中將變化區(qū)域從背景圖像中提取出來，運(yùn)動(dòng)區(qū)域的有效分割對(duì)于跟蹤與行為理解等后期處理非常重要。目前運(yùn)動(dòng)人體檢測的算法主要包括3類：光流法[2]、幀差法[3]、減背景法[4]。光流法的特點(diǎn)是能夠檢測獨(dú)立的運(yùn)動(dòng)的對(duì)象，不需要預(yù)先知道場景的任何信息，其缺點(diǎn)是計(jì)算復(fù)雜、耗時(shí)、很難實(shí)時(shí)檢測。幀差法是在連續(xù)的圖像序列中將2～3個(gè)相鄰幀間采用基于像素的時(shí)間差分，然后通過設(shè)定閾值來提取出圖像中的運(yùn)動(dòng)區(qū)域，該方法對(duì)動(dòng)態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)性，但對(duì)運(yùn)動(dòng)區(qū)域的提取不完全，容易在運(yùn)動(dòng)實(shí)體內(nèi)部產(chǎn)生空洞現(xiàn)象。減背景法是利用當(dāng)前圖像與背景圖像的差分來檢測運(yùn)動(dòng)區(qū)域的一種技術(shù)，一般能提供最完全的特征數(shù)據(jù)，但對(duì)于動(dòng)態(tài)場景的變化，如光照和外來無關(guān)的時(shí)間干擾等特別敏感。

針對(duì)上述運(yùn)動(dòng)人體檢測方法的優(yōu)缺點(diǎn)，本文提出利用幀差法與減背景法相結(jié)合的方法來提供運(yùn)動(dòng)人體的檢測。針對(duì)檢測到的運(yùn)動(dòng)人體區(qū)域，本文采用APAR區(qū)域法[5]實(shí)現(xiàn)運(yùn)動(dòng)人體關(guān)鍵點(diǎn)的提取，所謂APAR區(qū)域法就是通過兩條反向平行線構(gòu)成的矩形區(qū)域，檢測到的關(guān)鍵點(diǎn)就是APAR區(qū)域中線的端點(diǎn)。

1 運(yùn)動(dòng)人體區(qū)域檢測

本文的運(yùn)動(dòng)人體檢測的過程主要分為以下兩個(gè)步驟：首先，運(yùn)用幀差法構(gòu)建背景模型；其次，用減背景法提取出運(yùn)動(dòng)人體區(qū)域。

1.1 背景模型的建立

首先將截取的包含運(yùn)動(dòng)人體視頻序列的每一幀圖像進(jìn)行中值濾波消除電子噪聲的影響。接著進(jìn)行背景初始化與背景維持的操作，將視頻序列的RGB圖像按其中的R、G、B分量分別進(jìn)行如下步驟的處理：首先將視頻序列的第一幀I0作為初始背景幀 B0。針對(duì)后面每一幀 Ii（其中 i=1，2，3……，i表示相應(yīng)的幀號(hào)），將相鄰幀的像素值 I（x，y，i）與 I（x，y，i－1）進(jìn)行絕對(duì)值相減得到 DW（x，y，i），然后設(shè)定閾值 T（T 由經(jīng)驗(yàn)值得出）按式（1）確定對(duì)應(yīng)幀的變化區(qū)域，將變化區(qū)域檢測出來。每一幀的變化區(qū)域如圖1所示，P和Q表示相鄰幀圖像對(duì)應(yīng)的運(yùn)動(dòng)人體所覆蓋的區(qū)域，即前一幀中的運(yùn)動(dòng)人體的覆蓋區(qū)域，當(dāng)前幀中運(yùn)動(dòng)人體的覆蓋區(qū)域?yàn)镼，此時(shí)相鄰兩幀差值在 P和 Q 的位置上的 DW（x，y，i）就為 1，即當(dāng)前幀的變化區(qū)域包括P和Q。

其中 DW（x，y，i）對(duì)應(yīng)的是相鄰兩幀的差分圖像，T是設(shè)定的閾值。

圖1 運(yùn)動(dòng)人體覆蓋區(qū)域說明圖Fig.1 Digram of human motion coverage

通過上述過程分析的是視頻序列每一幀對(duì)應(yīng)的變化區(qū)域按照式（2）構(gòu)建第 i幀對(duì)應(yīng)的背景模型 B（x，y，i）。 若 DW（x，y，i）等于 1，則對(duì)應(yīng)的是當(dāng)前幀的變化區(qū)域，此時(shí)應(yīng)該用前一幀的背景 B（x，y，i-1）填充相應(yīng)的變化區(qū)域。若 DW（x，y，i）等于 0，則應(yīng)用當(dāng)前幀 I（x，y，i）與前一幀的背景模型 B（x，y，i-1）按照一定的學(xué)習(xí)速率進(jìn)行疊加構(gòu)建包含運(yùn)動(dòng)人體視頻序列每一幀對(duì)應(yīng)的背景模型[6]。

上述構(gòu)建的背景模型是在R、G、B分量下分別計(jì)算的結(jié)果，將上述分量疊加便構(gòu)成相應(yīng)的色彩模型。如圖2所示，圖2（a）至圖 2（d）是截取的視頻序列的幀圖像。 圖 2（e）至圖 2（h）依次是圖 2（a）至圖 2（d）對(duì)應(yīng)幀的背景模型。 圖 2（a）與圖2（d）對(duì)應(yīng)的背景模型均包含運(yùn)動(dòng)人體，出現(xiàn)這種情況的原因在于本文將視頻序列首幀圖2（a）設(shè)定為對(duì)應(yīng)的背景幀，同時(shí)由于相鄰兩幀中運(yùn)動(dòng)人體的所覆蓋的區(qū)域太過接近，計(jì)算過程中會(huì)將圖2（a）的相應(yīng)區(qū)域填充到圖2（b）中區(qū)，從而使圖2（b）對(duì)應(yīng)的背景模型包含運(yùn)動(dòng)人體。

圖2 視頻序列及其相應(yīng)的背景圖Fig.2 Video sequence and corresponding background

1.2 運(yùn)動(dòng)人體的提取

運(yùn)用減背景法將每一幀的背景模型與相應(yīng)的幀圖像進(jìn)行差分，按式（3）求得。表示第幀的灰度圖像，表示相應(yīng)的背景的灰度圖像，相減之后的結(jié)果是一個(gè)包含光照、噪聲和陰影的區(qū)域。為了進(jìn)一步地確定運(yùn)動(dòng)人體區(qū)域，的結(jié)果可以通過與設(shè)定閾值進(jìn)行比較，按式（4）得到二值掩碼圖像，即更加精確地運(yùn)動(dòng)人體區(qū)域。其中小于值對(duì)應(yīng)的是背景區(qū)域灰度值，大于值對(duì)應(yīng)的是運(yùn)動(dòng)人體區(qū)域灰度值，其中是通過的灰度直方圖得出。

2 APAR區(qū)域法二維關(guān)鍵點(diǎn)提取

本文所述的APAR區(qū)域指的是由于兩條反向平行線構(gòu)成的一條矩形區(qū)域。將第1部分所檢測到的運(yùn)動(dòng)人體區(qū)域用APAR區(qū)域近似標(biāo)定，通過APAR區(qū)域中線的端點(diǎn)即是所求得二維關(guān)鍵點(diǎn)。具體步驟分為：1）人體輪廓矢量化；2）APAR區(qū)域的檢測與篩選；3）二維特征點(diǎn)檢測。

2.1 人體輪廓矢量化

依據(jù)人體區(qū)域輪廓線上的點(diǎn)鏈碼[7]方向變化，提取出待篩選的拐點(diǎn)；然后將其中拐點(diǎn)用直線段擬合，去除多余的拐點(diǎn)，即完成輪廓的矢量化，實(shí)現(xiàn)特征拐點(diǎn)的提取。

輪廓矢量化操作求得特征拐點(diǎn)。將獲得的輪廓拐點(diǎn)通過輪廓矢量化繼續(xù)求得特征拐點(diǎn)，以達(dá)到所需要的特征拐點(diǎn)。此時(shí)需要通過兩個(gè)參數(shù)來實(shí)現(xiàn)運(yùn)動(dòng)人體輪廓的矢量化，長度閾值來控制拐點(diǎn)的疏密程度，另一個(gè)是角度閾值參數(shù)，用來控制擬合直線的方向。這兩個(gè)參數(shù)共同控制矢量化后直線的長度和方向[8]。

1）首先，從鏈碼起始點(diǎn)O開始，沿輪廓的逆時(shí)針方向進(jìn)行跟蹤，計(jì)算鏈碼起始點(diǎn)O與第一個(gè)拐點(diǎn)間輪廓線的長度設(shè)為L，比較L與TL的大小，如果L小于TL，則按順序繼續(xù)搜索后面的拐點(diǎn)與起始點(diǎn)的距離。直到這一長度值大于給定的長度閾值TL為止，此時(shí)將滿足條件的拐點(diǎn)記作N0；然后，繼續(xù)計(jì)算N0與O點(diǎn)的傾角，設(shè)為θ0。繼續(xù)跟蹤以后的拐點(diǎn)，并同樣計(jì)算這些拐點(diǎn)與起始點(diǎn)O間直線與水平方向的傾角，記為θt。 記 θt-θ0的絕對(duì)值為 abs（θ0-θt）。 如果 abs（θ0-θt）＜Tθ，則繼續(xù)跟蹤后面的拐點(diǎn)，直到拐點(diǎn)與起始點(diǎn)間直線的傾角θT與θ0差值的絕對(duì)值 abs（θ0-θt）大于 Tθ為止，最后將當(dāng)前拐點(diǎn)的前一點(diǎn)作為第一條適量化直線的終點(diǎn)。

2）把該終點(diǎn)作為起始點(diǎn)，重復(fù)上述過程，直到鏈碼終點(diǎn)為止。這樣，人體區(qū)域的輪廓線就被擬合成若干條矢量化直線，而這些矢量化直線的端點(diǎn)即為特征拐點(diǎn)，其直線的方向是從起始點(diǎn)指向終點(diǎn)。

2.2 APAR區(qū)域的檢測與篩選

將特征拐點(diǎn)擬合而成矢量直線段，再以這些直線段為基礎(chǔ)就可以開始APAR區(qū)域的檢測過程。檢測的方法是首先從第1條直線段開始。從連續(xù)的直線段中尋找與該直線段方向相反的第一條直線段作為APAR的種子對(duì)；然后，以此種子對(duì)為基礎(chǔ)，開始一個(gè)APAR的生長過程，即從兩條直線段的端點(diǎn)開始，依次判斷與這兩條直線段相接的兩條直線段是否為一對(duì)反向的平行線，如果是，則將這兩條直線段同APAR種子對(duì)的直線段相連，否則該種子對(duì)的生長過程結(jié)束；最后從兩線段的端點(diǎn)開始，繼續(xù)檢測新的APAR種子對(duì)，重復(fù)上述過程，直到無法檢測出新的APAR種子對(duì)，并且全部APAR種子對(duì)停止生長為止。圖3對(duì)應(yīng)的是APAR區(qū)域確定的流程圖。

圖3 APAR區(qū)域確定的流程圖Fig.3 Flow chart of extacted APAR area

理想條件下，兩條反向且平行的直線段，其分別與水平方向的夾角的差值應(yīng)為180°，但是由于兩種情況通常很少發(fā)生，規(guī)定兩條直線段分別與水平方向的夾角之差的絕對(duì)值介于150～210，則可以認(rèn)為這兩條直線段是反向且平行的。

APAR區(qū)域的篩選。當(dāng)所有的APAR種子對(duì)被檢測出，且停止生長以后，還需要判斷這些APAR種子對(duì)是否能構(gòu)成一個(gè)真正的APAR子區(qū)域，而不能構(gòu)成真正APAR子區(qū)域的種子對(duì)，則要排除。由于每一個(gè)APAR種子對(duì)由兩組直線段組成，因此被排除的APAR種子對(duì)，需要滿足如下兩個(gè)條件：

1）線段的長度不平衡，其中的一組直線段長度大于另一組直線段長度的4倍。

2）線段的起點(diǎn)與另外一條直線段的起點(diǎn)之間的距離大于其中較短的直線段長度的2倍。

2.3 二維關(guān)鍵點(diǎn)檢測

當(dāng)所有滿足上述兩個(gè)條件的APAR種子對(duì)被排除后，剩下的APAR種子對(duì)即可構(gòu)成多個(gè)APAR子區(qū)域，這些區(qū)域需要與身體的各個(gè)部位相對(duì)應(yīng)。

特征點(diǎn)提取。特征點(diǎn)由上述APAR區(qū)域確定，可以通過每個(gè)APAR區(qū)域?qū)?yīng)的中線兩端點(diǎn)實(shí)現(xiàn)特征點(diǎn)的提取，其中圖4所示為兩個(gè)反向箭頭平行線組成的APAR區(qū)域。虛線表示這個(gè)區(qū)域的中線，其中虛線的兩個(gè)黑色端點(diǎn)就是我們要求得的二維關(guān)鍵點(diǎn)。

圖4 APAR區(qū)域關(guān)鍵點(diǎn)檢測圖Fig.4 Digram of APAR area key dectection

3 實(shí)驗(yàn)結(jié)果說明

為驗(yàn)證本文所提出的方法的可行性以及準(zhǔn)確性，分別對(duì)運(yùn)動(dòng)人體區(qū)域的檢測和采用APAR區(qū)域?qū)崿F(xiàn)關(guān)鍵點(diǎn)的檢測通過實(shí)驗(yàn)結(jié)果進(jìn)行說明。

對(duì)運(yùn)動(dòng)人體區(qū)域檢測采用的視頻其中包括了室內(nèi)與室外兩種情況的運(yùn)動(dòng)人體檢測。實(shí)驗(yàn)設(shè)定每隔10幀采集一幀圖像，室內(nèi)環(huán)境中每幀圖像的大小為240像素340像素，室外環(huán)境采集的幀圖像的大小是288像素352像素。最終結(jié)果如圖5所示。圖5（a）、5（b）室內(nèi)環(huán)境下拍攝的視頻序列的某一幀，圖 5（c）為室外視頻序列中一幀，圖 5（d）到圖 5（f）為依次對(duì)應(yīng)的運(yùn)動(dòng)人體二值圖像。

對(duì)檢測到的運(yùn)動(dòng)人體區(qū)域采用APAR區(qū)域法實(shí)現(xiàn)對(duì)應(yīng)關(guān)鍵點(diǎn)的提取，如圖6所示。其中圖6（a）對(duì)應(yīng)的是運(yùn)動(dòng)人體二值化圖像，圖 6（b）是對(duì)應(yīng)的邊緣輪廓，圖 6（c）是運(yùn)動(dòng)人體的帶篩選的拐點(diǎn)圖像，圖 6（d）對(duì)應(yīng)的是邊緣輪廓圖，6（e）對(duì)應(yīng)的是APAR區(qū)域組成的人體區(qū)域，圖6（f）為運(yùn)動(dòng)人體的二維特征點(diǎn)。

圖5 運(yùn)動(dòng)人體檢測結(jié)果Fig.5 The result of human motion detection

圖6 APAR區(qū)域法的實(shí)驗(yàn)結(jié)果Fig.6 The result of APAR area way

4 結(jié) 論

本文通過幀差法實(shí)現(xiàn)自適應(yīng)背景模型的創(chuàng)建，運(yùn)用減背景法實(shí)現(xiàn)運(yùn)動(dòng)人體區(qū)域的提取，通過實(shí)驗(yàn)證明該方法能夠快速的建立和更新背景模型，同時(shí)可以準(zhǔn)確的檢測運(yùn)動(dòng)人體區(qū)域。缺點(diǎn)是對(duì)客觀環(huán)境有一定的限制，在運(yùn)動(dòng)人體周圍的環(huán)境光照均勻的條件下效果較好，并且要求運(yùn)動(dòng)人體的像素值與背景的像素值有一定的差異，否則提取出的運(yùn)動(dòng)人體區(qū)域會(huì)出現(xiàn)空洞現(xiàn)象，同時(shí)由于光照造成的陰影區(qū)域?qū)\(yùn)動(dòng)人體檢測也會(huì)造成影響。

對(duì)于采用APAR區(qū)域法是實(shí)現(xiàn)運(yùn)動(dòng)人體關(guān)鍵點(diǎn)的提取，可以通過實(shí)驗(yàn)證明該方法在運(yùn)動(dòng)人體區(qū)域的關(guān)鍵點(diǎn)的提取較為準(zhǔn)確，但是對(duì)于具有自遮擋的運(yùn)動(dòng)人體區(qū)域的關(guān)鍵點(diǎn)檢測的存在缺失，可以通過計(jì)算機(jī)視覺中的攝像機(jī)標(biāo)定技術(shù)實(shí)現(xiàn)運(yùn)動(dòng)人體的關(guān)鍵點(diǎn)到三維空間的映射，從而解決因APAR區(qū)域法對(duì)因動(dòng)作自遮擋所產(chǎn)生的對(duì)關(guān)鍵點(diǎn)檢測缺失的現(xiàn)象。

[1]王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺分析綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002，25（3）:255－237.

WANG Liang，HU Wei-ming，TAN Tie-niu.A survey of visual analysis of human motion[J].Chinese Journal of Computers，2002，25（3）:255－237.

[2]Gavrila D M.The visual analysis of human[J].Computer Vision and Image Understanding，1999，73（1）:82－98.

[3]Maybank S，Tan T.Introduction special section on visual surveillance[J].International Journal of computer Vision，2000，37（2）:173.

[4]Haritaoglu I，Harwood D， Davis L W.Real-time surveillance of people and their activities[J].IEEE Trans Pattern Analysis and Machine Intelligence，2000，22（8）:809－830.

[5]Leung M K，Yang Y H.A region based approach for human body motion analysis[J].Pattern Recognition，1987，20（3）:321－339.

[6]吳眾山，雷蘊(yùn)奇，吳綠方.一種實(shí)用的背景提取與更新算法[J].廈門大學(xué)學(xué)報(bào)，2008，47（3）：348－350.

WU Zhong-shan， LEI Yun-qi， WU Lv－fang.An algorithm for extraction and update of background[J].Journal of Xiamen University，2008，47（3）：348－350.

[7]岡薩雷斯.數(shù)字圖像處理Matlab版[M].北京：電子工業(yè)出版社，2005.

[8]孫怡，王洪亮，安宏杰.基于2－D模型的人體運(yùn)動(dòng)跟蹤[J].中國圖像圖形學(xué)報(bào)，2002，7（7）:628－630.

SUN Yi，WANG Hong-liang，AN Hong-jie.2－D model based tracking of human motion[J].Chinese Journal of Image and Graphics，2002，7（7）:628－630.