何登平，黃凌云

(1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065；2.重慶信科設(shè)計(jì)有限公司)

?

何登平1,2，黃凌云1

(1.重慶郵電大學(xué) 通信新技術(shù)應(yīng)用研究中心，重慶 400065；2.重慶信科設(shè)計(jì)有限公司)

摘要:針對(duì)傳統(tǒng)人臉檢測(cè)跟蹤算法在復(fù)雜環(huán)境中準(zhǔn)確率不高，以及在跟蹤過(guò)程中易受到周圍相似色物體干擾、遮擋丟失等問(wèn)題，提出了一種改進(jìn)型自適應(yīng)人臉檢測(cè)跟蹤算法。該算法通過(guò)人臉檢測(cè)(Adaboost)與主動(dòng)形狀建模(ASM)算法相結(jié)合，降低了復(fù)雜環(huán)境中的人臉誤檢率；通過(guò)對(duì)運(yùn)動(dòng)目標(biāo)跟蹤(Camshift)算法提取H-S二維顏色概率直方圖，并結(jié)合Kalman濾波器有效解決了相似色干擾及遮擋丟失問(wèn)題。實(shí)驗(yàn)證明，改進(jìn)型算法不僅在復(fù)雜環(huán)境中人臉檢測(cè)率高、抗干擾能力強(qiáng)，且滿足實(shí)時(shí)性的需求，是一種建立實(shí)時(shí)智能監(jiān)控系統(tǒng)的實(shí)用方法。

關(guān)鍵詞:人臉檢測(cè)跟蹤算法；二維顏色概率直方圖；Kalman濾波器；TMS320DM3730

引言

隨著當(dāng)前視頻監(jiān)控技術(shù)的愈發(fā)成熟和應(yīng)用領(lǐng)域的逐步擴(kuò)大，智能視頻監(jiān)控系統(tǒng)順應(yīng)社會(huì)的需求應(yīng)運(yùn)而生[1]。在智能監(jiān)控系統(tǒng)的一些應(yīng)用場(chǎng)景中，例如刑事偵查、人臉檢測(cè)識(shí)別ATM機(jī)、入境通關(guān)等[2]，都要求系統(tǒng)在保證視頻實(shí)時(shí)性的前提下盡可能地提高人臉檢測(cè)跟蹤的準(zhǔn)確率。然而傳統(tǒng)的人臉檢測(cè)跟蹤算法在復(fù)雜環(huán)境中極易將類似于人臉的區(qū)域誤檢為人臉，導(dǎo)致檢測(cè)準(zhǔn)確率不高，并且在跟蹤過(guò)程中無(wú)法避免相似色干擾以及遮擋后跟蹤丟失等問(wèn)題，實(shí)際應(yīng)用的效果不理想，無(wú)法滿足監(jiān)控的要求。因此，結(jié)合嵌入式平臺(tái)實(shí)現(xiàn)更準(zhǔn)確有效的人臉檢測(cè)跟蹤是本文研究的重點(diǎn)。

本文根據(jù)項(xiàng)目中的具體需求，選用了基于DaVinci架構(gòu)的ARM+DSP高性能雙核微處理器TMS320DM3730，結(jié)合CMOS傳感器OV2715以及周邊一些基礎(chǔ)硬件模塊，共同搭建了該系統(tǒng)的硬件平臺(tái)。

1系統(tǒng)硬件平臺(tái)

本系統(tǒng)硬件平臺(tái)由TMS320DM3730、OV2715以及配套硬件模塊構(gòu)成，系統(tǒng)硬件框架如圖1所示。

圖1　系統(tǒng)硬件框架示意圖

1.1TMS320DM3730開(kāi)發(fā)平臺(tái)

TMS320DM3730(以下簡(jiǎn)稱DM3730)處理器是專門(mén)針對(duì)智能監(jiān)控產(chǎn)品市場(chǎng)推出的ARM+DSP高性能雙核處理器，其中ARM單元主要負(fù)責(zé)視頻數(shù)據(jù)的采集、編碼、傳輸?shù)攘鞒炭刂乒δ?，DSP單元主要負(fù)責(zé)對(duì)采集的視頻數(shù)據(jù)進(jìn)行算法處理，兩者通過(guò)DSP Link相互通信協(xié)同工作[4]。該處理器能夠解決以往微處理器利用復(fù)雜算法處理高速高清數(shù)據(jù)時(shí)運(yùn)算能力不足的問(wèn)題。

1.2OV2715圖像傳感器

智能監(jiān)控系統(tǒng)的前端采集模塊采用OmniVision公司生產(chǎn)的高清彩色CMOS傳感器OV2715。該傳感器最大能支持1080p的視頻采集，而且支持自動(dòng)白平衡、自動(dòng)曝光補(bǔ)償以及有損圖像糾正等功能，非常符合實(shí)際的設(shè)計(jì)需求。DM3730通過(guò)ISP接口與OV2715相連接，并通過(guò)I2C總線實(shí)現(xiàn)對(duì)OV2715芯片的訪問(wèn)及讀寫(xiě)控制。

2系統(tǒng)軟件平臺(tái)

系統(tǒng)首先通過(guò)OV2715采集720p的高清視頻數(shù)據(jù)，在此過(guò)程中會(huì)進(jìn)行A/D轉(zhuǎn)換、去噪、有損糾正等一系列前期處理。然后DM3730的ARM單元將前期處理后的視頻數(shù)據(jù)通過(guò)DSP Link送至DSP單元，并調(diào)用DSP中移植好的改進(jìn)型自適應(yīng)人臉檢測(cè)跟蹤算法對(duì)其進(jìn)行處理，此時(shí)可以通過(guò)LCD顯示器實(shí)時(shí)顯示算法處理后的視頻數(shù)據(jù)，與此同時(shí)也可以通過(guò)X264編碼器對(duì)其進(jìn)行編碼壓縮，編碼后的視頻碼流可以轉(zhuǎn)入硬盤(pán)存儲(chǔ)或者送至網(wǎng)絡(luò)模塊。最后，網(wǎng)絡(luò)模塊利用jrtplib流媒體庫(kù)對(duì)視頻碼流進(jìn)行RTP打包封裝，通過(guò)Internet發(fā)送給遠(yuǎn)程客戶端,客戶端解碼還原接收的碼流包并實(shí)時(shí)顯示。系統(tǒng)軟件流程如圖2所示。

圖2　系統(tǒng)軟件流程圖

智能化處理單元為本系統(tǒng)的核心組成單元和研究重點(diǎn)，直觀體現(xiàn)了整個(gè)監(jiān)控系統(tǒng)的智能化程度。系統(tǒng)的智能化處理單元由改進(jìn)型自適應(yīng)人臉檢測(cè)跟蹤算法構(gòu)成，包括人臉檢測(cè)部分和人臉跟蹤部分[5]。其中人臉檢測(cè)部分采用Adaboost人臉檢測(cè)算法與ASM主動(dòng)模型建模算法相結(jié)合；人臉跟蹤部分采用Camshift運(yùn)動(dòng)目標(biāo)跟蹤算法，通過(guò)對(duì)其提取H-S二維顏色概率直方圖，并引入Kalman濾波器對(duì)檢測(cè)到的人臉進(jìn)行跟蹤。本文希望通過(guò)改進(jìn)型算法解決傳統(tǒng)人臉檢測(cè)跟蹤算法在復(fù)雜環(huán)境中誤檢率高、易受相似色干擾以及遮擋丟失問(wèn)題，并且能夠針對(duì)復(fù)雜環(huán)境自適應(yīng)地調(diào)整，提升監(jiān)控系統(tǒng)的智能檢測(cè)跟蹤性能。

3系統(tǒng)算法設(shè)計(jì)

3.1人臉檢測(cè)

3.1.1Adaboost人臉檢測(cè)算法

Adaboost人臉檢測(cè)算法[6]是通過(guò)對(duì)人臉圖像進(jìn)行積分運(yùn)算得出特征并訓(xùn)練構(gòu)成級(jí)聯(lián)檢測(cè)器的迭代方法，該方法能夠準(zhǔn)確快速地檢測(cè)出正面人臉。算法的核心步驟略——編者注。

利用訓(xùn)練獲得的若干強(qiáng)分類器組成級(jí)聯(lián)分類器，檢測(cè)得到視頻序列的每幀圖像中人臉的位置。

3.1.2ASM主動(dòng)形狀建模

主動(dòng)形狀建模(Active Shape Model,ASM)[7]是一種基于統(tǒng)計(jì)選定模型的特征匹配方法，主要由訓(xùn)練模塊和定位模塊構(gòu)成。其中訓(xùn)練模塊針對(duì)若干訓(xùn)練樣本進(jìn)行特征點(diǎn)標(biāo)定，提取目標(biāo)對(duì)象的輪廓信息并建立樣本的統(tǒng)計(jì)形狀模型和局部紋理模型；定位模塊則根據(jù)訓(xùn)練模塊的結(jié)果對(duì)目標(biāo)進(jìn)行特征點(diǎn)搜索與匹配，主要流程為確定目標(biāo)形狀的初始位置、計(jì)算新位置、計(jì)算形狀和姿態(tài)參數(shù)、根據(jù)計(jì)算結(jié)果更新統(tǒng)計(jì)形狀模型的參數(shù)[8]，反復(fù)循環(huán)，最終使模型與實(shí)際目標(biāo)的輪廓相匹配，實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確定位。

3.1.3基于Adaboost和ASM的人臉檢測(cè)算法

大量實(shí)踐證明，Ababoost算法雖然能夠快速檢測(cè)到視頻圖像序列中的正面人臉，但都是在簡(jiǎn)單環(huán)境下才能達(dá)到此效果。而針對(duì)視頻監(jiān)控中的復(fù)雜環(huán)境，Adaboost算法的檢測(cè)效果并不理想，極易將背景中類似于人臉的區(qū)域誤檢為人臉，從而導(dǎo)致誤檢率較高。因此，為了更準(zhǔn)確、穩(wěn)定地檢測(cè)出實(shí)時(shí)視頻中的人臉，本文提出了一種基于Adaboost算法和ASM算法相結(jié)合的人臉檢測(cè)算法。算法步驟如下：

① 利用大量的人臉樣本訓(xùn)練人臉形狀統(tǒng)計(jì)模型和局部紋理模型。

② 采用Adaboost算法檢測(cè)視頻監(jiān)控區(qū)域中的人臉區(qū)域，并將檢測(cè)到的人臉區(qū)域作為ASM算法的初始搜索區(qū)域。

③ 在搜索區(qū)域內(nèi)進(jìn)行特征點(diǎn)位置搜索，選取距離局部紋理模型最小的位置為該特征點(diǎn)的最佳位置，并根據(jù)統(tǒng)計(jì)形狀模型更新形狀姿態(tài)參數(shù)。

④ 反復(fù)循環(huán)上述步驟，直至多數(shù)特征點(diǎn)的最佳位置與當(dāng)前規(guī)定像素的距離小于設(shè)定的閾值，則認(rèn)為此區(qū)域?yàn)槿四槄^(qū)域；否則判定此區(qū)域?yàn)榉侨四槄^(qū)域，屬于算法誤檢造成，故排除此區(qū)域。

3.2人臉跟蹤

3.2.1Camshift運(yùn)動(dòng)目標(biāo)跟蹤算法

Camshift運(yùn)動(dòng)目標(biāo)跟蹤算法[9]是一種基于目標(biāo)顏色概率分布直方圖的方法，具有跟蹤速度快、計(jì)算量小、實(shí)時(shí)性強(qiáng)的特點(diǎn)，且在跟蹤過(guò)程中能夠?qū)崟r(shí)自動(dòng)調(diào)整跟蹤區(qū)域的大小，連續(xù)跟蹤目標(biāo)。Camshift算法的核心步驟略——編者注。

3.2.2構(gòu)建H-S二維顏色概率直方圖

傳統(tǒng)Camshift算法通過(guò)對(duì)運(yùn)動(dòng)目標(biāo)在HSV色域空間中的H分量進(jìn)行采樣統(tǒng)計(jì)，建立H分量一維顏色概率直方圖。這在監(jiān)控環(huán)境單一、顏色辨別度高的情況下效果較理想；但監(jiān)控環(huán)境較為復(fù)雜時(shí)，H分量極易受到周圍相似色干擾，從而造成Camshift算法跟蹤效果不佳。因此，本文設(shè)想通過(guò)構(gòu)建H-S二維顏色概率直方圖來(lái)避免相似色干擾問(wèn)題。通過(guò)顏色相似度來(lái)衡量目標(biāo)區(qū)域與周圍環(huán)境的顏色差異，并對(duì)比設(shè)定的顏色閾值，判斷是否存在相似色干擾，從而選擇采用H分量還是H-S二維分量顏色概率直方圖來(lái)計(jì)算反向投影圖。

設(shè)兩像素點(diǎn)的色域空間矢量坐標(biāo)分別為Ai=(hi,si,vi),Bj=(hj,sj,vj)，則Ai、Bj兩點(diǎn)間的顏色歐式距離[9]為：

同時(shí)定義S(Ai,Bj)為Ai、Bj兩點(diǎn)的顏色相似度系數(shù)為：

其中d表示顏色歐式距離Dij，k、l為常數(shù)，由此可以得出隨著d增大，S(Ai,Bj)單調(diào)遞減，Ai、Bj兩點(diǎn)顏色區(qū)分越明顯。當(dāng)d=0時(shí)，S(Ai,Bj)=1，表示Ai、Bj兩點(diǎn)顏色近似相同。

3.2.3結(jié)合Kalman濾波的預(yù)測(cè)型Camshift算法

當(dāng)跟蹤過(guò)程中目標(biāo)被瞬間遮擋時(shí)，傳統(tǒng)Camshift算法并不能準(zhǔn)確地預(yù)測(cè)目標(biāo)的運(yùn)動(dòng)趨勢(shì)，從而導(dǎo)致跟蹤窗口偏離，甚至丟失跟蹤目標(biāo)。因此，本文引入Kalman濾波器[10]與Camshift算法相結(jié)合，解決目標(biāo)被瞬間遮擋時(shí)跟蹤丟失的問(wèn)題。

Kalman濾波在時(shí)域內(nèi)采用遞歸原則對(duì)動(dòng)態(tài)系統(tǒng)的序列進(jìn)行最小均值誤差估計(jì)的方法，其實(shí)質(zhì)是由觀測(cè)值反復(fù)修正估計(jì)值的狀態(tài)向量，利用計(jì)算得到的目標(biāo)運(yùn)動(dòng)信息預(yù)測(cè)下一時(shí)刻的目標(biāo)運(yùn)動(dòng)狀態(tài)。Kalman濾波的數(shù)學(xué)建模過(guò)程略——編者注。

3.2.4自適應(yīng)人臉跟蹤算法

由于傳統(tǒng)Camshift算法在跟蹤過(guò)程中存在抗相似色干擾能力弱、目標(biāo)遮擋丟失問(wèn)題。因此，為了解決Camshift算法的不足，使跟蹤過(guò)程更加準(zhǔn)確，本文提出了一種基于H-S二維顏色概率直方圖并結(jié)合Kalman濾波器的自適應(yīng)人臉跟蹤算法。算法的核心步驟如下：

① 利用人臉檢測(cè)算法檢測(cè)到的人臉窗口作為初始化搜索窗口，并將視頻圖像序列轉(zhuǎn)換為HSV色域空間。

② 通過(guò)對(duì)比顏色相似度Q與設(shè)定閾值ρ的大小，判斷是否存在相似色干擾。若Q<ρ，則不存在較嚴(yán)重的相似色干擾，建立H分量一維顏色概率直方圖來(lái)生成反向投影圖；若Q≥ρ，則存在嚴(yán)重相似色干擾，建立H-S二維分量顏色概率直方圖來(lái)生成反向投影圖。

③ 利用Kalman濾波器預(yù)測(cè)當(dāng)前幀中人臉的位置和大小，并用實(shí)際得到的觀測(cè)值來(lái)修正之前的預(yù)測(cè)值，將修正后獲得的人臉窗口作為下一幀的初始化搜索窗口，如此反復(fù)循環(huán)執(zhí)行，最終實(shí)現(xiàn)準(zhǔn)確跟蹤人臉。

3.3改進(jìn)型自適應(yīng)人臉檢測(cè)跟蹤算法

人臉檢測(cè)算法與人臉跟蹤算法相結(jié)合的改進(jìn)型自適應(yīng)人臉檢測(cè)跟蹤算法，能夠準(zhǔn)確檢測(cè)監(jiān)控區(qū)域內(nèi)出現(xiàn)的人臉并自適應(yīng)地跟蹤人臉。算法的具體流程如圖3所示。

圖3　自適應(yīng)人臉檢測(cè)跟蹤算法流程圖

4系統(tǒng)實(shí)驗(yàn)結(jié)果分析

(1) 人臉檢測(cè)部分

為了驗(yàn)證本文提出的人臉檢測(cè)算法在復(fù)雜環(huán)境下的檢測(cè)性能，本文分別通過(guò)FERET人臉庫(kù)、自采集人臉庫(kù)、720p監(jiān)控視頻流對(duì)改進(jìn)型算法進(jìn)行測(cè)試，并對(duì)比傳統(tǒng)Adaboost算法驗(yàn)證其改進(jìn)效果。人臉檢測(cè)結(jié)果如表1所列。

表1　人臉檢測(cè)結(jié)果

檢測(cè)結(jié)果表明，本文提出的人臉檢測(cè)算法不僅在正確檢測(cè)率上優(yōu)于Adaboost算法，同時(shí)大幅降低了人臉誤檢數(shù)，且檢測(cè)速度達(dá)到22 fps，基本滿足視頻實(shí)時(shí)性的需求，并將其應(yīng)用在人臉跟蹤算法上，能夠間接提高跟蹤的準(zhǔn)確度。

(2) 人臉跟蹤部分

在本實(shí)驗(yàn)中，由于人臉與脖子、手臂之間存在嚴(yán)重的相似色干擾，同時(shí)在人臉移動(dòng)過(guò)程中采用書(shū)本瞬間遮擋人臉。通過(guò)上述環(huán)境來(lái)驗(yàn)證本文提出的改進(jìn)型人臉跟蹤算法能否解決傳統(tǒng)Camshift算法抗相似色干擾能力弱、遮擋丟失問(wèn)題。本文分別提取實(shí)時(shí)視頻流中具有代表性的4幀視頻圖像進(jìn)行對(duì)比,人臉跟蹤算法改進(jìn)前后的效果圖略——編者注。

通過(guò)對(duì)比這4幀視頻圖像中的人臉跟蹤效果可以看出，改進(jìn)后的算法有效解決了原算法易受相似色干擾以及人臉遮擋丟失的問(wèn)題，極大地提高了算法的精準(zhǔn)性和魯棒性，實(shí)現(xiàn)了在復(fù)雜環(huán)境中對(duì)人臉的準(zhǔn)確自適應(yīng)跟蹤。

結(jié)語(yǔ)

本文分析了基于人臉跟蹤檢測(cè)的智能監(jiān)控系統(tǒng)普遍存在的問(wèn)題，提出了有針對(duì)性的算法改進(jìn)意見(jiàn)。在Adaboost人臉檢測(cè)算法中引入了ASM主動(dòng)形狀建模算法，結(jié)合兩類算法的優(yōu)勢(shì)，使其互為補(bǔ)充，在提升人臉檢測(cè)率的同時(shí)大幅降低了誤檢率；并通過(guò)對(duì)Camshift算法提取H-S二維顏色概率直方圖以及與Kalman濾波器相結(jié)合的自適應(yīng)人臉跟蹤算法，增強(qiáng)了抗相似色干擾能力和遮擋時(shí)能夠預(yù)測(cè)跟蹤；最后將改進(jìn)算法在以DM3730為核心的嵌入式平臺(tái)上得以實(shí)現(xiàn),驗(yàn)證了實(shí)時(shí)性問(wèn)題。實(shí)際性能測(cè)試證明，結(jié)合了改進(jìn)算法的智能監(jiān)控系統(tǒng)在復(fù)雜環(huán)境中能夠?qū)崟r(shí)、準(zhǔn)確、自適應(yīng)地檢測(cè)跟蹤視頻場(chǎng)景中的人臉，可以廣泛應(yīng)用于交通、銀行等對(duì)視頻智能分析有需求的領(lǐng)域。

編者注：本文為期刊縮略版，全文見(jiàn)本刊網(wǎng)站www.mesnet.com.cn。

參考文獻(xiàn)

[1] 黃凱奇,陳曉棠,康運(yùn)鋒,等.智能視頻監(jiān)控技術(shù)綜述[J].計(jì)算機(jī)學(xué)報(bào),2015,45(6):1093-1118.

[2] 蔣巍,張健,曾浩.基于智能視頻監(jiān)控系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤[J].電視技術(shù),2012,36(5):110-114.

[3] 桑海峰,吳丹陽(yáng),王會(huì).視頻監(jiān)控下的人臉跟蹤與識(shí)別系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(12):175-179.

[4] 徐盛,胡劍凌.TMS320 DSP算法標(biāo)準(zhǔn)[M].北京:清華大學(xué)出版社,2007:12-16．

[5] 朱建清.智能視頻監(jiān)控系統(tǒng)中的人臉檢測(cè)和人臉跟蹤技術(shù)的研究[D].廈門(mén):華僑大學(xué),2012.

[6] Guo L,Ge P S,Zhang M H,et al.Pedestrian dete- ction for intelligent transportation systems combi- ning AdaBoost algorithm and support vector mac- hine[J].Expert Systems with Applications,2012,39(4):4274-4286.

[7] 劉力銘.改進(jìn)的主動(dòng)形狀模型方法在人臉特征點(diǎn)定位中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件,2014, 31(3):175-178.

[8] Bing H,Xianfeng H,Ruizhen H.Research of Face Detection Based on AdaBoost and ASM[J].Open Cybernetics & Systemics Journal,2014,8(6):183-190.

[9] 劉明,趙孝磊.一種改進(jìn)的Camshift目標(biāo)跟蹤算法[J].南京理工大學(xué)學(xué)報(bào),2013,37(5):755-760.

[10] Hsia K H,Lien S F,Su J P.Moving Target Tracki- ng Based on CamShift Approach and Kalman filter[J].Int J Appl Math Inf Sci,2013,7(1):193-200.

何登平(高級(jí)工程師)，主要研究方向?yàn)榍度胧揭曨l開(kāi)發(fā)、智能監(jiān)控系統(tǒng)；黃凌云(碩士研究生)，主要研究方向?yàn)橹悄鼙O(jiān)控技術(shù)、人臉檢測(cè)跟蹤算法。

(責(zé)任編輯：薛士然收修改稿日期：2015-12-07)>

He Dengping1,2,Huang Lingyun1

(1.Research Center for Application of New Communication Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China;2.Chongqing Information Technology Designing Co.,Ltd.)

Abstract：Aiming at the problems of the traditional face detection and tracking algorithm in complex environment such as the face detection accuracy is not high,it is easily affected by the surrounding similar color object interference in the process of tracking and shielding loss etc,so an improved adaptive face detecting and tracking algorithm is proposed.The algorithm combines the face detection and the active shape model algorithm,so the false detection rate of faces in a complex environment is reduced.The H-S two-dimensional color probability histogram is extracted based on the moving target tracking algorithm,which combines the Kalman filter to solve the similar color interference and shielding loss.The experiment results show that the improved algorithm not only has the high rate of face detection,strong anti-interference ability in the complex environment,but also meets the real-time requirement,so it is a kind of practical method of the real-time intelligent monitoring system.

Key words:face detection and tracking algorithm;two-dimensional color probability histogram;Kalman filter;TMS320DM3730

中圖分類號(hào):TN919.8；TP391

文獻(xiàn)標(biāo)識(shí)碼:A