黃敦博，林志賢，姚劍敏，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002)

?

基于自適應(yīng)提取和改進(jìn)CAMSHIFT單目手勢(shì)跟蹤

黃敦博，林志賢，姚劍敏，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002)

為了解決復(fù)雜背景下手勢(shì)提取與手勢(shì)跟蹤準(zhǔn)確度受影響的問題，提出了一種基于自適應(yīng)提取和改進(jìn)CAMSHIFT(ContinuouslyAdaptiveMeanShift)單目手勢(shì)跟蹤算法。該算法通過自適應(yīng)手部提取方法識(shí)別手部完成對(duì)跟蹤目標(biāo)的初始化，以運(yùn)動(dòng)歷史矩陣為掩模提取圖像中的感興趣區(qū)域，在該區(qū)域內(nèi)使用CAMSHIFT算法跟蹤目標(biāo)，并通過傅里葉描述子對(duì)跟蹤目標(biāo)輪廓進(jìn)行實(shí)時(shí)反饋，完成對(duì)動(dòng)態(tài)手勢(shì)的精確跟蹤。該方法能夠在手部經(jīng)過膚色區(qū)域的情境中實(shí)現(xiàn)準(zhǔn)確跟蹤，與經(jīng)典CAMSHIFT算法相比，跟蹤正確率提高了80%，實(shí)現(xiàn)了復(fù)雜背景下動(dòng)態(tài)手勢(shì)的準(zhǔn)確跟蹤。

動(dòng)態(tài)手勢(shì)跟蹤；自適應(yīng)手部提?。贿\(yùn)動(dòng)歷史矩陣；改進(jìn)CAMSHIFT

隨著科技的迅猛發(fā)展，與計(jì)算機(jī)打交道成為人們?nèi)粘Ｉ畹囊徊糠?，人機(jī)交互成為科研領(lǐng)域的熱點(diǎn)問題?；谝曈X的手勢(shì)識(shí)別技術(shù)使操作者以更加自然的方式進(jìn)行人機(jī)交互，用于動(dòng)畫制作、智能家電設(shè)備研發(fā)、游戲娛樂和政府及其企業(yè)的公共服務(wù)等設(shè)施，給人們的生活帶來了極大的便利[1]。

基于視覺的動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)中對(duì)動(dòng)態(tài)手勢(shì)的跟蹤是一個(gè)重要環(huán)節(jié)。動(dòng)態(tài)手勢(shì)跟蹤其跟蹤目標(biāo)是直接在圖像中提取手部信息，所以手部信息的提取效果會(huì)直接影響到跟蹤的精度。目前手部信息提取方法主要有傳統(tǒng)的手部標(biāo)定、基于膚色提取、基于運(yùn)動(dòng)提取、多模式提取等[2]，以上方法在手部跟蹤目標(biāo)提取的準(zhǔn)確度、應(yīng)用環(huán)境、人機(jī)交互的自然性等方面都存在一定程度的局限性[3-4]。文獻(xiàn)[5]采用多特征融合的手勢(shì)檢測(cè)提取方案，取得了較好的效果。另外，現(xiàn)有動(dòng)態(tài)手勢(shì)跟蹤算法如基于Kalman動(dòng)態(tài)模型法、粒子濾波(ParticleFilter)法、CAMSHIFT法、MeanShift等[6-7]，在出現(xiàn)大面積類膚色干擾或手與面部等其他膚色區(qū)域重疊時(shí)，跟蹤準(zhǔn)確性無法保證。真實(shí)環(huán)境中動(dòng)態(tài)手勢(shì)跟蹤時(shí)，不可避免會(huì)出現(xiàn)跟蹤錯(cuò)誤的情況，為了提高跟蹤精度，應(yīng)盡量使跟蹤與手部特征相結(jié)合。目前常見方法中，在復(fù)雜背景下，手勢(shì)提取方法抗干擾能力差，動(dòng)態(tài)手勢(shì)跟蹤精度和實(shí)時(shí)性欠佳[8]。

針對(duì)現(xiàn)有單目動(dòng)態(tài)手勢(shì)跟蹤算法在復(fù)雜背景下手勢(shì)目標(biāo)提取效果不佳及固有的局限性，同時(shí)為了提高復(fù)雜背景下動(dòng)態(tài)手勢(shì)跟蹤精度，本文提出一種基于自適應(yīng)提取和歷史矩陣的CAMSHIFT單目手勢(shì)跟蹤算法，通過自適應(yīng)提取方法精確提取手部，初始化跟蹤目標(biāo)，引入運(yùn)動(dòng)歷史矩陣和傅里葉描述子反饋對(duì)CAMSHIFT跟蹤算法進(jìn)行改進(jìn)，在復(fù)雜環(huán)境下單目動(dòng)態(tài)手勢(shì)跟蹤的準(zhǔn)確性有明顯提高。

1　CAMSHIFT算法及問題分析

CAMSHIFT跟蹤算法是一種經(jīng)典動(dòng)態(tài)目標(biāo)跟蹤方法。該算法利用顏色概率模型與MeanShift結(jié)合，逐幀更新搜索窗口，實(shí)現(xiàn)目標(biāo)跟蹤。該算法以其較好的魯棒性被普遍應(yīng)用于簡單背景下的目標(biāo)跟蹤。

經(jīng)典CAMSHIFT手勢(shì)跟蹤流程如圖1所示，在CAMSHIFT目標(biāo)跟蹤算法中，目標(biāo)初始化需要在第一幀

內(nèi)手動(dòng)標(biāo)定跟蹤目標(biāo)或者事先保存跟蹤模板，無法自動(dòng)初始化跟蹤目標(biāo)[9]。同時(shí)，由于該方法采用顏色概率模型對(duì)目標(biāo)進(jìn)行識(shí)別，當(dāng)背景中有大量類膚色信息干擾時(shí)，跟蹤容易失敗[10]。而且，經(jīng)典CAMSHIFT算法沒有跟蹤目標(biāo)的檢測(cè)反饋階段，一旦跟蹤出錯(cuò)不能有效校正。

圖1　經(jīng)典CAMSHIFT手勢(shì)跟蹤流程

本文針對(duì)以上不足，將自適應(yīng)手部提取方法與歷史矩陣相結(jié)合改進(jìn)CAMSHIFT，如圖2所示。首先，提出一種自適應(yīng)手部提取方法，自動(dòng)初始化手部跟蹤目標(biāo)，利用動(dòng)態(tài)色彩直方圖精確分割圖像中的膚色區(qū)域，與傅里葉描述子結(jié)合，直接匹配提取膚色區(qū)域中的手部區(qū)域；其次，引入運(yùn)動(dòng)歷史矩陣，記錄手部運(yùn)動(dòng)區(qū)域，在掩模區(qū)域內(nèi)使用CAMSHIFT縮小目標(biāo)采樣范圍，減少復(fù)雜背景干擾；最后，對(duì)每幀跟蹤到的目標(biāo)信息，利用傅里葉描述子進(jìn)行判斷反饋，及時(shí)校正跟蹤目標(biāo)。

圖2　本文算法手勢(shì)跟蹤流程

2　自適應(yīng)提取CAMSHIFT跟蹤目標(biāo)策略

2.1自適應(yīng)手部提取算法

目標(biāo)跟蹤算法中的自動(dòng)手部提取，最終目的是在圖像中分割出手勢(shì)并獲取手勢(shì)特征，標(biāo)記手部位置。通常，利用膚色的靜態(tài)特征，采用膚色識(shí)別提取，但單純的膚色識(shí)別單純膚色識(shí)別易受背景、光照及類膚色等因素影響，手部提取效果并不理想[11]。而手勢(shì)特征的提取往往是在手勢(shì)分割之后進(jìn)行，存在特征提取結(jié)果依賴于手勢(shì)分割效果的缺陷[12]。

本文利用膚色的動(dòng)態(tài)特征，并融合手勢(shì)特征，提出一種自適應(yīng)手部提取算法，初始化手部跟蹤目標(biāo)，算法流程如圖3所示。該方法利用HSV膚色模型對(duì)圖像中的膚色區(qū)域進(jìn)行提取，同時(shí)對(duì)提取出的膚色區(qū)域建立色彩直方圖；對(duì)每幀都進(jìn)行膚色區(qū)域識(shí)別，對(duì)相鄰幀間的膚色區(qū)域做差分處理，使用該結(jié)果對(duì)色彩直方圖進(jìn)行更新；通過動(dòng)態(tài)色彩直方圖獲取圖像中膚色區(qū)域后，提取膚色區(qū)域上半部分輪廓信息，利用傅里葉描述子分析得到的輪廓信息并與模板進(jìn)行匹配，記錄手部位置。

圖3　自適應(yīng)手部提取算法

自適應(yīng)手部提取算法中，動(dòng)態(tài)色彩直方圖膚色檢測(cè)方法將HSV膚色模型與膚色區(qū)域幀間差分融合，可根據(jù)視頻中人的膚色自適應(yīng)地調(diào)節(jié)膚色閾值，減小由周圍環(huán)境和光照產(chǎn)生的噪聲，提高人體膚色區(qū)域提取的準(zhǔn)確率。其中，幀間差分處理只在膚色區(qū)域進(jìn)行，減小計(jì)算量。獲取膚色區(qū)域后，提取膚色區(qū)域上半部分輪廓，只對(duì)輪廓上半部分采用傅里葉描述子進(jìn)行匹配，能有效避免手臂的干擾。直接利用傅里葉描述子匹配提取膚色區(qū)域中的手部特征，摒棄先分割手勢(shì)再特征提取的傳統(tǒng)思想，克服特征提取對(duì)手勢(shì)分割的依賴，同時(shí)，手部提取算法可并行化處理，使得手部提取更快速、更準(zhǔn)確。

2.2算法實(shí)現(xiàn)步驟

1)檢測(cè)膚色區(qū)域

本文利用動(dòng)態(tài)色彩直方圖膚色檢測(cè)方法，利用HSV膚色模型，結(jié)合幀間差分，可自動(dòng)調(diào)整膚色閾值提取膚色區(qū)域。假設(shè)攝像頭獲取的第i幀圖像用Pi標(biāo)記，其中i=1，2，…，n。

首先，初始化色彩直方圖。將攝像頭采集到第一幀圖像P1轉(zhuǎn)換為HSV色彩圖像，使用經(jīng)典H分量的膚色模型識(shí)別膚色區(qū)域C1，初始化色彩直方圖H1。其次，在下一幀圖像中用已經(jīng)建立的色彩直方圖進(jìn)行膚色檢測(cè)，同時(shí)更新色彩直方圖。P2幀圖像同樣轉(zhuǎn)換為HSV色彩圖像，使用經(jīng)典膚色模型對(duì)P2幀圖像做膚色區(qū)域檢測(cè)，得到膚色區(qū)域C2，在C1與C2間做差分處理，得到相鄰幀中膚色區(qū)域間的差分色彩直方圖HM，并利用式(1)，將HM疊加到H2中，得到更新后的色彩直方圖H2。式(1)為

Hi+1=(1-A)Hi+AHM

(1)

式中：A為融合系數(shù)，取值為0～1，代表最新得到的膚色樣本在整體膚色樣本中的比重。

A取值過大可能出現(xiàn)手部提取不完整，而取值過小可能導(dǎo)致提取出的手部干擾信息增多，在實(shí)際應(yīng)用中，本文取0.2。用不斷更新的色彩直方圖檢測(cè)下一幀圖像的膚色區(qū)域，同時(shí)再次更新色彩直方圖，不斷更新提取視頻中的膚色區(qū)域。

2)提取手部特征

對(duì)獲取到的膚色區(qū)域提取輪廓；對(duì)各輪廓曲線進(jìn)行歷遍，保留輪廓上半部分曲線數(shù)據(jù)，并相應(yīng)地采用經(jīng)典傅里葉描述子進(jìn)行計(jì)算；將得到的各輪廓與事先準(zhǔn)備好的若干手勢(shì)輪廓模板計(jì)算差異程度，選擇在閾值內(nèi)最相似的模板，完成手勢(shì)匹配識(shí)別，保留該輪廓位置及與其匹配的手勢(shì)特征。

3　自適應(yīng)提取和歷史矩陣CAMSHIFT手勢(shì)跟蹤策略

經(jīng)典CAMSHIFT算法只對(duì)顏色信息敏感，復(fù)雜背景下跟蹤容易出錯(cuò)，且無法重新定位目標(biāo)。本文引入運(yùn)動(dòng)歷史矩陣，屏蔽干擾區(qū)域，解決運(yùn)動(dòng)手勢(shì)與膚色區(qū)域重疊時(shí)跟蹤出錯(cuò)問題；將跟蹤與手部形態(tài)特征結(jié)合，加入傅里葉描述子進(jìn)行跟蹤反饋，有效發(fā)現(xiàn)跟蹤錯(cuò)誤，及時(shí)重新定位跟蹤目標(biāo)。

3.1運(yùn)動(dòng)歷史矩陣

本文提出運(yùn)動(dòng)歷史矩陣概念，運(yùn)動(dòng)歷史矩陣是一個(gè)與獲取的視頻圖像相同大小的二維矩陣，采用幀間差分與歷史運(yùn)動(dòng)像素點(diǎn)值隨時(shí)間衰減方式來記錄最近時(shí)間段內(nèi)運(yùn)動(dòng)像素點(diǎn)的歷史。

運(yùn)動(dòng)歷史圖像矩陣的生成原理如圖4所示，其基本思想：認(rèn)為當(dāng)前的運(yùn)動(dòng)像素點(diǎn)是最有價(jià)值的，故在運(yùn)動(dòng)歷史矩陣中置為初始值且值最大；在最近時(shí)間段內(nèi)曾經(jīng)發(fā)生過運(yùn)動(dòng)的像素點(diǎn)，有一定的價(jià)值，稱為歷史運(yùn)動(dòng)點(diǎn)，其對(duì)應(yīng)在運(yùn)動(dòng)歷史矩陣中的值會(huì)隨時(shí)間而衰減；當(dāng)歷史運(yùn)動(dòng)點(diǎn)值衰減到最小閾值時(shí)，則認(rèn)為是太早發(fā)生過的動(dòng)作，沒有記錄價(jià)值，對(duì)應(yīng)歷史矩陣中的值置0。該矩陣用不同數(shù)值記錄不同時(shí)刻的運(yùn)動(dòng)像素點(diǎn)，時(shí)間越早的像素點(diǎn)，其運(yùn)動(dòng)歷史矩陣中的記錄數(shù)值越小。

圖4　運(yùn)動(dòng)歷史矩陣示意圖

記錄運(yùn)動(dòng)像素點(diǎn)的值的運(yùn)動(dòng)歷史矩陣公式為

(2)

式中：D=Pi-Pi-1表示相鄰幀的差分圖像，D(x,y)為D中的像素點(diǎn)值；Z為運(yùn)動(dòng)歷史矩陣，Z(x,y)為Z中元素值；a為初始值；Dmin為最小閾值。

在本文中，a取255，Dmin與要保存的運(yùn)動(dòng)歷史時(shí)間相關(guān)，需要結(jié)合每秒處理幀數(shù)來進(jìn)行設(shè)置，保存的運(yùn)動(dòng)歷史時(shí)間越長，Dmin值越小。視頻圖像幀間差分處理得到D，如果像素點(diǎn)D(x,y)≠0，表明該像素點(diǎn)當(dāng)前時(shí)刻為運(yùn)動(dòng)點(diǎn)，在運(yùn)動(dòng)歷史圖像矩陣的相應(yīng)位置Z(x,y)置為a進(jìn)行標(biāo)記；如果差分圖像中，像素點(diǎn)D(x,y)=0，表明該像素點(diǎn)當(dāng)前時(shí)刻為非運(yùn)動(dòng)點(diǎn)，但仍需檢測(cè)該像素點(diǎn)對(duì)應(yīng)在運(yùn)動(dòng)歷史圖像矩陣中Z(x,y)的值，當(dāng)時(shí)Z(x,y)=0，表明該像素點(diǎn)曾經(jīng)運(yùn)動(dòng)過但在當(dāng)前時(shí)刻未運(yùn)動(dòng)，該點(diǎn)值Z(x,y)

3.2運(yùn)動(dòng)歷史矩陣改進(jìn)CAMSHIFT策略

首先，利用運(yùn)動(dòng)歷史矩陣提取感興趣區(qū)域，在感興趣區(qū)域內(nèi)使用CAMSHIFT算法跟蹤手部。提取感興趣區(qū)域方法公式為

(3)

式中：Pi(x,y)為Pi幀圖像x行y列像素點(diǎn)色彩值；Z(x,y)為運(yùn)動(dòng)歷史矩陣x行y列的元素。

由式(3)可知，由于運(yùn)動(dòng)歷史矩陣存儲(chǔ)了近段時(shí)間的歷史運(yùn)動(dòng)點(diǎn)，采用將運(yùn)動(dòng)歷史矩陣作為掩模提取視頻圖像中的感興趣區(qū)域，能夠保證感興趣區(qū)域內(nèi)圖像像素值保持不變，而區(qū)域外圖像像素值都為0，故得到的新圖像是與運(yùn)動(dòng)歷史區(qū)域所對(duì)應(yīng)的區(qū)域圖像，能有效防止在運(yùn)動(dòng)手部與膚色區(qū)域重疊時(shí)CAMSHIFT算法對(duì)手部范圍判斷的失誤，同時(shí)減少跟蹤過程CAMSHIFT算法的迭代次數(shù)以保證算法實(shí)時(shí)性。

其次，加入傅里葉描述子對(duì)跟蹤得到的手部輪廓進(jìn)行檢測(cè)反饋。加入運(yùn)動(dòng)歷史圖像矩陣并不能完全避免手部與膚色區(qū)域重疊時(shí)反向投影跟蹤算法跟蹤錯(cuò)誤的狀況，當(dāng)傅里葉描述子檢測(cè)CAMSHIFT跟蹤出錯(cuò)時(shí)，則使用自適應(yīng)手部提取算法重新提取手部區(qū)域，作為新的跟蹤目標(biāo)。加入傅里葉描述子進(jìn)行跟蹤反饋，能極大提升手部跟蹤的準(zhǔn)確性。

3.3自適應(yīng)提取和歷史矩陣CAMSHIFT手勢(shì)跟蹤

本文提出的改進(jìn)CAMSHIFT算法，使用自適應(yīng)手部提取算法識(shí)別手部，保存手部信息后使用運(yùn)動(dòng)歷史矩陣改進(jìn)CAMSHIFT策略對(duì)手部進(jìn)行跟蹤，傅里葉描述子對(duì)跟蹤得到的手部輪廓進(jìn)行判斷反饋，從而將自適應(yīng)手部提取與歷史矩陣CAMSHIFT策略有效融合，整個(gè)算法形成閉環(huán)回路，提高手勢(shì)識(shí)別跟蹤準(zhǔn)確性。算法流程如下：

步驟1，攝像頭獲取實(shí)時(shí)圖像，判斷圖像中的手部跟蹤信息，若是不存在，則轉(zhuǎn)到步驟2，否則轉(zhuǎn)到步驟3。

步驟2，利用自適應(yīng)手部提取方法，通過幀間差分圖像更新色彩直方圖后對(duì)膚色區(qū)域進(jìn)行提取，得到若干輪廓，轉(zhuǎn)到步驟5。

步驟3，使用幀間差分圖像更新運(yùn)動(dòng)歷史矩陣，并使用該運(yùn)動(dòng)歷史矩陣為掩模提取當(dāng)前幀的感興趣區(qū)域。

步驟4，在感興趣區(qū)域內(nèi)以手部跟蹤信息為模板，以運(yùn)動(dòng)歷史矩陣最大值區(qū)域重心為起點(diǎn)，進(jìn)行CAMSHIFT跟蹤，并得到手部輪廓。

步驟5，將輪廓分別與傅里葉描述子進(jìn)行匹配，若為手部則更新并儲(chǔ)存手部跟蹤信息，否則清空刪除手部跟蹤信息，接著轉(zhuǎn)到步驟1繼續(xù)進(jìn)行跟蹤。

4　實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，本文實(shí)驗(yàn)使用羅技C270攝像頭，在PC機(jī)上進(jìn)行測(cè)試，攝像頭分辨率為640×480，使用OpenCV進(jìn)行編程，并與經(jīng)典CAMSHIFT算法進(jìn)行對(duì)比。算法迭代精度均為Δ=10，當(dāng)前后兩次迭代得到的手勢(shì)中心間距小于(或等于)Δi(i=1,2)時(shí)，認(rèn)為當(dāng)前點(diǎn)為手勢(shì)中心點(diǎn)。本文算法以運(yùn)動(dòng)歷史矩陣中最大值區(qū)域的重心作為搜索中心，以上一幀包含跟蹤目標(biāo)的最小矩形作為搜索窗口大小。

4.1算法精度對(duì)比

在有較多膚色區(qū)域的復(fù)雜環(huán)境下，本文算法與經(jīng)典CAMSHIFT算法動(dòng)態(tài)手部跟蹤效果如圖5和圖6所示。

通過對(duì)比試驗(yàn)，圖6中經(jīng)典CAMSHIFT算法需要在跟蹤初始階段人為標(biāo)定手部位置，采集樣本建立跟蹤目標(biāo)，在手部運(yùn)動(dòng)較快或者與人臉等其他裸露身體部位重疊時(shí)，跟蹤精度已不能得到保證，手部跟蹤出

圖5　本文算法

圖6　經(jīng)典CAMSHIFT

錯(cuò)。而圖5中，本文算法使用自適應(yīng)手部提取自動(dòng)建立跟蹤目標(biāo)，改進(jìn)CAMSHIFT能在膚色重疊區(qū)域正確跟蹤手部。為了充分證明本文算法跟蹤準(zhǔn)確度的提高，在圖5和圖6的環(huán)境背景下，分別測(cè)試運(yùn)動(dòng)手部與面部等膚色區(qū)域重合、運(yùn)動(dòng)手部與膚色區(qū)域不重合兩種情況，不同情況下兩種算法各進(jìn)行15次手部跟蹤試驗(yàn)，每次跟蹤持續(xù)30 s，統(tǒng)計(jì)結(jié)果如表1所示。

表1不同手部運(yùn)動(dòng)情況下實(shí)驗(yàn)對(duì)比

運(yùn)動(dòng)情況跟蹤算法成功次數(shù)反饋次數(shù)成功率/%動(dòng)態(tài)手勢(shì)與膚色區(qū)域不重疊本文算法151100經(jīng)典CAMSHIFT13—86.67動(dòng)態(tài)手勢(shì)與膚色區(qū)域重疊本文算法14793.33經(jīng)典CAMSHIFT2—13.33

由表1可以看出，在動(dòng)態(tài)手部與面部有重合的情況下，本文跟蹤成功率較經(jīng)典CAMSHIFT算法提高了80%。在動(dòng)態(tài)手部與面部不重合的情況下，由于所用背景有部分類膚色區(qū)域，經(jīng)典CAMSHIFT算法依然有一定的失敗率，而本文跟蹤成功率則為100%，提高13.33%。

4.2算法運(yùn)行時(shí)間對(duì)比

經(jīng)典CAMSHIFT算法與本文算法在跟蹤過程中的每幀平均耗時(shí)如表2所示。 本文算法雖然跟蹤消耗的時(shí)間略高于傳統(tǒng)CAMSHIFT，但在高收斂精度的條件下，依然能夠?qū)崿F(xiàn)實(shí)時(shí)跟蹤。

表2運(yùn)行時(shí)間對(duì)比

算法幀數(shù)1～30f/ms31～60f/ms61～90f/ms91～120f/ms經(jīng)典CAMSHIFT6.210.14.87.2本文算法13.611.211.99.8

5　結(jié)論

本文提出并實(shí)現(xiàn)了一種基于自適應(yīng)提取和歷史矩陣的CAMSHIFT手勢(shì)跟蹤方法，該方法用自適應(yīng)手部提取代替了手動(dòng)標(biāo)記跟蹤目標(biāo)的傳統(tǒng)方法，精確提取手部信息，獲得跟蹤目標(biāo)。相比經(jīng)典CAMSHIFT算法，本文利用運(yùn)動(dòng)歷史矩陣和傅里葉描述子跟蹤反饋對(duì)其進(jìn)行改進(jìn)，在運(yùn)動(dòng)手部經(jīng)過面部的情況下，跟蹤準(zhǔn)確率提高80%；在背景中存在大量類膚色區(qū)域情況下，跟蹤準(zhǔn)確率提高13.33%。本文算法之所以能有效提高跟蹤精確率，是因?yàn)檫\(yùn)動(dòng)歷史矩陣實(shí)現(xiàn)了對(duì)大部分干擾區(qū)域的屏蔽，同時(shí)對(duì)CAMSHIFT搜索窗口進(jìn)行預(yù)測(cè)，在跟蹤出錯(cuò)時(shí)能利用傅里葉描述子及時(shí)反饋，重新定位手部。本文算法能保證在高收斂精度條件下，實(shí)現(xiàn)精確跟蹤。該方法適用于復(fù)雜背景環(huán)境中對(duì)動(dòng)態(tài)手勢(shì)的跟蹤，并取得了較好的效果。

[1]RAUTARAY S S，AGRAWAL A．Vision based hand gesture recognition for human computer interaction：a survey[J]．Artificial intelligence review，2015，43(1)：1-54．

[2]林燕，馮志全，朱德良，等．以多模型融合為特征的三維手勢(shì)跟蹤算法[J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25(4)：450-459．

[3]HASAN H，ABDUL-KAREEM S．Static hand gesture recognition using neural networks[J]．Artificial intelligence review，2014，41(2)：147-181．

[4]NAYAK M K，TALUKDAR A K，SARMA K K．Hand segmentation and tracking of continuous hand posture using morphological processing [J]．International journal of electronics signals and systems，2013，3(1)：82-86．

[5]沙亮，王貴錦，林行剛，等．基于多特征融合的穩(wěn)健手勢(shì)檢測(cè)方法[J]．電視技術(shù)，2010，34(8)：110-113．

[6]馮志全，楊波，李毅，等．以時(shí)間優(yōu)化為目標(biāo)的粒子濾波手勢(shì)跟蹤方法研究[J]．電子學(xué)報(bào)，2009，37(9)：1989-1995．

[7]王宇．基于Mean Shift的序列圖像手勢(shì)跟蹤算法[J]．電視技術(shù)，2010，34(6)：97-99.

[8]OHN-BAR E，TRIVEDI M M．Hand gesture recognition in real time for automotive interfaces：a multimodal vision-based approach and evaluations[J]. IEEE transactions on intelligent transportation systems，2014，15(6)：2368-2377．

[9]張春林，李小堅(jiān)．基于幀間差分和背景差分結(jié)合的Camshift目標(biāo)跟蹤算法[J]．工業(yè)控制計(jì)算機(jī)，2014 (6)：118-120．

[10]張秋余，胡建強(qiáng)，張墨逸，等．基于區(qū)域生長的Mean shift動(dòng)態(tài)變形手勢(shì)跟蹤算法[J]．模式識(shí)別與人工智能，2010，23(4)：580-585．

[11]BOUCHRIKA T，ZAIED M，JEMAI O，et al．Neural solutions to interact with computers by hand gesture recognition[J]．Multimedia tools and applications，2014，72(3)：2949-2975.

[12]張國亮，王展妮，王田．應(yīng)用計(jì)算機(jī)視覺的動(dòng)態(tài)手勢(shì)識(shí)別綜述[J]．華僑大學(xué)學(xué)報(bào)，2014，35(6)：653-658．

黃敦博(1991— )，碩士生，主研光電信息處理；

林志賢(1975— )，教授，博士，碩士生導(dǎo)師，主要研究領(lǐng)域?yàn)槠桨屣@示器件驅(qū)動(dòng)技術(shù)和圖像處理技術(shù)等；

姚劍敏(1978— )，副研究員，博士，主要研究方向?yàn)槟Ｊ阶R(shí)別、三維顯示技術(shù)等；

郭太良(1963— )，研究員，博士生導(dǎo)師，主要研究方向?yàn)镕ED顯示器等。

責(zé)任編輯：閆雯雯

MonoculargesturetrackingbasedonadaptiveextractionandimprovedCAMSHIFT

HUANGDunbo，LINZhixian，YAOJianmin，GUOTailiang

(College of Physics and Information Engineering，F(xiàn)uzhou University，F(xiàn)uzhou 350002，China)

Inordertosolvegestureextractionandgesturetrackingaccuracyaffectedbytheproblemofcomplexbackground，amonoculargesturetrackingalgorithmbasedontheadaptiveextractionandimprovedCAMSHIFT(ContinuouslyAdaptiveMeanShift)strategyisproposedinthispaper.Themethodisautomaticallyaccomplishedbytheadaptivehandextractionmethodidentifyingthehand．TheCAMSHIFTalgorithmisusedtotrackthetargetintheareathatisextractedbythemotionhistorymatrixasamask，thenFourieroperatorcalculatesthetrackeddynamicgesturesasreal-timefeedbacktocompletetheprecisetrackingofthedynamicgesture．Theproposedmethodcantrackthedynamicgestureaccuratelyundertheconditionthatthemotiongesturesandfacialoverlappedeachother．Therateoftrackingprecisionrises80%whichcompareswiththetraditionalCAMSHIFTalgorithm．Themethodrealizestheprecisiondynamictrackingunderthecomplexbackground．

dynamicgesturetracking；adaptivehandextraction；motionhistorymatrix；improvedCAMSHIFT

TP391

ADOI：10.16280/j.videoe.2016.07.024

國家科技部“863”重大專項(xiàng)(2013AA030601)；福建省科技重大專項(xiàng)(2014HZ0003-1)；福建省資助省屬高校專項(xiàng)課題項(xiàng)目(JK2014002)

2015-10-19

文獻(xiàn)引用格式：黃敦博，林志賢，姚劍敏，等.基于自適應(yīng)提取和改進(jìn)CAMSHIFT單目手勢(shì)跟蹤[J].電視技術(shù)，2016，40(7)：107-112.

HUANGDB，LINZX，YAOJM,etal.MonoculargesturetrackingbasedonadaptiveextractionandimprovedCAMSHIFT[J].Videoengineering，2016，40(7)：107-112.