關(guān)秋菊 羅曉牧 郭雪梅 王國(guó)利

基于隱馬爾科夫模型的人體動(dòng)作壓縮紅外分類(lèi)

關(guān)秋菊1羅曉牧2郭雪梅3王國(guó)利3

人體動(dòng)作產(chǎn)生的輻射能量變化(Infrared radiation changes,IRC)信號(hào)是動(dòng)作識(shí)別的重要線索,本文提出了一種基于隱馬爾科夫模型的人體動(dòng)作壓縮紅外分類(lèi)新方法.針對(duì)人體動(dòng)作的自遮擋問(wèn)題,建立基于正交視角的壓縮紅外測(cè)量系統(tǒng),獲取人體動(dòng)作在主投影面和輔助投影面的IRC壓縮信號(hào);然后,采用隱馬爾科夫模型(Hidden Markov model,HMM)雙層特征建模算法進(jìn)行壓縮域動(dòng)作分類(lèi).實(shí)驗(yàn)結(jié)果表明雙層特征建模的平均正確分類(lèi)率高于主層特征建模,平均正確分類(lèi)率可達(dá)95.71%.該方法為環(huán)境輔助生活系統(tǒng)提供了人體動(dòng)作識(shí)別的新途徑.

環(huán)境輔助生活,隱馬爾科夫模型,壓縮感知,熱釋電紅外傳感器,動(dòng)作分類(lèi)

環(huán)境輔助生活(Ambient assisted living,AAL)系統(tǒng)是輔助居家老人延長(zhǎng)獨(dú)立生活的智能系統(tǒng)[1?2].人機(jī)物(環(huán)境)深度融合是“以人為中心”AAL系統(tǒng)的顯著特征,而人體行為理解是實(shí)現(xiàn)人機(jī)物深度融合的重要紐帶,只有當(dāng)系統(tǒng)能正確理解人體行為,才能更好地給予老人生活協(xié)助.行為理解是利用AAL技術(shù)應(yīng)對(duì)日益嚴(yán)重的人口老齡化社會(huì)問(wèn)題中需要解決的基礎(chǔ)課題.因其巨大的潛在應(yīng)用前景和固有的科學(xué)挑戰(zhàn),開(kāi)展行為理解基礎(chǔ)研究有著重要的學(xué)術(shù)價(jià)值和實(shí)際意義.其中,人體目標(biāo)的動(dòng)作識(shí)別是實(shí)現(xiàn)行為理解的基礎(chǔ)和關(guān)鍵技術(shù)要素.

目前,人體動(dòng)作識(shí)別研究主要有兩個(gè)方向:基于視覺(jué)傳感的動(dòng)作識(shí)別和基于非視覺(jué)傳感的動(dòng)作識(shí)別.基于視覺(jué)傳感的動(dòng)作識(shí)別是使用最為廣泛的方法,它通過(guò)視覺(jué)傳感器采集人體動(dòng)作視頻或數(shù)字化圖像序列,再利用計(jì)算機(jī)視覺(jué)技術(shù)處理和分析圖像數(shù)據(jù),進(jìn)而實(shí)現(xiàn)動(dòng)作識(shí)別[3?6].該方法通過(guò)從圖像數(shù)據(jù)中提取出與運(yùn)動(dòng)線索相關(guān)的有用信息,形成基于光流、軌跡、外觀、形狀或輪廓等線索或其組合策略的多種動(dòng)作特征提取及識(shí)別方法.值得關(guān)注的是, Johansson等的經(jīng)典實(shí)驗(yàn)證實(shí),生物視覺(jué)通過(guò)觀察放置在肢體關(guān)節(jié)處的點(diǎn)光源的運(yùn)動(dòng)狀態(tài),能自然地推斷出步態(tài)的模式[7].這表明,視覺(jué)傳感以同構(gòu)成像方式獲得的高維圖像數(shù)據(jù)中含有相當(dāng)規(guī)模的信息與行為感知無(wú)關(guān).傳統(tǒng)奈奎斯特規(guī)則支配的視覺(jué)傳感模式耗費(fèi)網(wǎng)絡(luò)資源產(chǎn)生的大數(shù)據(jù),與面向動(dòng)作識(shí)別任務(wù)的信息處理模式對(duì)特征數(shù)據(jù)簡(jiǎn)潔化的約束,兩者之間存在嚴(yán)重不對(duì)稱(chēng)的數(shù)據(jù)鴻溝.

基于非視覺(jué)傳感的動(dòng)作識(shí)別可進(jìn)一步分為基于人體穿戴式傳感和基于環(huán)境部署式傳感兩類(lèi).基于人體穿戴式傳感的動(dòng)作識(shí)別系統(tǒng),利用部署在人體上的動(dòng)作傳感器,獲取人體動(dòng)作產(chǎn)生的位移、關(guān)節(jié)彎曲角度或加速度等運(yùn)動(dòng)信號(hào),并進(jìn)行特征提取與分析,實(shí)現(xiàn)動(dòng)作的分析與理解.常用的動(dòng)作傳感器有陀螺儀、加速度計(jì)和角速率計(jì)等[8?9].其中,加速度傳感器是最常用的穿戴式動(dòng)作傳感器,特別適用于走、跑、爬樓梯等周期重復(fù)性動(dòng)作的識(shí)別.但是,穿戴式傳感器測(cè)量時(shí)可能在人體表面滑動(dòng),這不僅引入測(cè)量數(shù)據(jù)誤差,有時(shí)還會(huì)限制人體動(dòng)作,在一定程度上影響了用戶(hù)體驗(yàn).基于環(huán)境部署式傳感的動(dòng)作識(shí)別,通常是在人體所處物理空間中(如,墻壁、走廊或室內(nèi)天花板)部署大量低成本、低功耗的微型傳感器,通過(guò)監(jiān)測(cè)人體動(dòng)作引起的環(huán)境狀態(tài)變化,識(shí)別人體動(dòng)作.該方法基于“人–物交互”現(xiàn)象:人體動(dòng)作時(shí),必然會(huì)和周邊環(huán)境中的物體產(chǎn)生交互,而這種交互會(huì)引起環(huán)境中某些物理量狀態(tài)的變化.常用的動(dòng)作傳感器有接觸開(kāi)關(guān)、壓力傳感器、熱釋電紅外(Pyroelectric infrared,PIR)傳感器等.其中, PIR傳感器能以非接觸的方式探測(cè)環(huán)境中人體運(yùn)動(dòng)引起的輻射場(chǎng)能量變化.2006年,Burchett等采用3個(gè)PIR傳感單元組合的頂視感知方式,測(cè)量人體運(yùn)動(dòng)產(chǎn)生的熱輻射變化信號(hào),并基于主成分回歸方法,識(shí)別出常速走、慢走和揮臂三類(lèi)典型人體動(dòng)作[10].基于環(huán)境部署式傳感的動(dòng)作識(shí)別方式,便于進(jìn)行大規(guī)模網(wǎng)絡(luò)部署,且使人體運(yùn)動(dòng)更自然,尤其適用于AAL系統(tǒng).

壓縮感知(Compressive sensing,CS)是一種壓縮與采樣合并進(jìn)行的信息獲取新理論[11?12],它以遠(yuǎn)低于奈奎斯特頻率進(jìn)行采樣,采用非自適應(yīng)線性投影保持信號(hào)的原始結(jié)構(gòu).人體作為紅外輻射源,運(yùn)動(dòng)產(chǎn)生的輻射能量變化(Infrared radiation changes,IRC)信息是動(dòng)作識(shí)別的重要線索.PIR傳感器是獲取人體動(dòng)作IRC的被動(dòng)式傳感手段,與幾何參考結(jié)構(gòu)相結(jié)合,形成壓縮感知支配的非同構(gòu)被動(dòng)光學(xué)成像機(jī)制,即紅外動(dòng)作的參考結(jié)構(gòu)層析成像技術(shù)[13?14].由此形成的壓縮紅外感知機(jī)制,可以直接面向特征信息進(jìn)行壓縮采樣與處理,避免了傳統(tǒng)奈奎斯特規(guī)則支配的視覺(jué)模式下信息獲取與處理之間的數(shù)據(jù)鴻溝.

基于CS的壓縮分類(lèi)是一種新的信息處理方法,它通過(guò)分析處理低維壓縮域測(cè)量值間接實(shí)現(xiàn)高維原始數(shù)據(jù)的分類(lèi)[15?16].這種新的信息獲取與處理機(jī)制能有效避免無(wú)效或冗余信息的產(chǎn)生和處理過(guò)程,有助于降低傳感系統(tǒng)的復(fù)雜度和硬件成本,易形成輕量的信息處理算法,便于構(gòu)建資源受限的無(wú)線傳感器網(wǎng)絡(luò).

目前采用壓縮紅外感知技術(shù)手段識(shí)別人體動(dòng)作已有一些初步研究.2012年,Luo等通過(guò)在天花板上安裝IRC壓縮感知模塊(由7個(gè)PIR傳感器和幾何參考結(jié)構(gòu)組成),將目標(biāo)空間劃分為17個(gè)采樣胞元,利用PIR傳感數(shù)據(jù)流的特征分析,識(shí)別人體摔倒動(dòng)作[17].2014年,Sun等在室內(nèi)布置4個(gè)IRC測(cè)量節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)由4個(gè)PIR傳感器和幾何參考結(jié)構(gòu)組合而成,用于獲取輻射場(chǎng)空間14個(gè)采樣胞元內(nèi)的IRC信息,基于傳感輸出信號(hào),實(shí)現(xiàn)人體運(yùn)動(dòng)場(chǎng)景識(shí)別[18].上述研究中,人體紅外測(cè)量系統(tǒng)對(duì)感知空間的觀測(cè)為粗粒度形態(tài),適用于人體移動(dòng)層的運(yùn)動(dòng)識(shí)別.2014年,Guan等采用單個(gè)PIR傳感陣列和幾何參考結(jié)構(gòu)組合的形式,將輻射場(chǎng)空間劃分為64個(gè)采樣胞元,基于壓縮測(cè)量數(shù)據(jù)進(jìn)行10類(lèi)平面動(dòng)作的識(shí)別[19].該研究提高了感知空間的觀測(cè)粒度,易于實(shí)現(xiàn)肢體動(dòng)作層識(shí)別;但由于單一視角的限制,僅適用于平面動(dòng)作識(shí)別.

本文針對(duì)人體動(dòng)作IRC信號(hào)的特點(diǎn),結(jié)合壓縮分類(lèi)理論,提出一種新的紅外輻射場(chǎng)人體動(dòng)作分類(lèi)方法.在動(dòng)作信號(hào)獲取方面,利用PIR傳感陣列和掩膜陣列組合來(lái)實(shí)現(xiàn)紅外動(dòng)作壓縮感知,該機(jī)制不僅提高了人體紅外輻射場(chǎng)空間IRC信息的觀測(cè)粒度,還兼具數(shù)據(jù)降維效果;采用正交視角融合的壓縮紅外感知方式獲取IRC信息,解決三維動(dòng)作自遮擋問(wèn)題.在動(dòng)作信號(hào)分析方面,針對(duì)紅外動(dòng)作IRC信號(hào)的時(shí)序特點(diǎn),在低維壓縮測(cè)量域采用隱馬爾科夫模型進(jìn)行動(dòng)作模式分類(lèi).

1 理論基礎(chǔ)

1.1 壓縮分類(lèi)

壓縮分類(lèi)是壓縮域信號(hào)處理的基本問(wèn)題之一,它的基本思想在于,利用測(cè)量矩陣的限制等距性質(zhì)(Restricted isometry property,RIP),將高維空間的信號(hào)分類(lèi)問(wèn)題,映射到低維測(cè)量空間來(lái)求解[16].下面簡(jiǎn)要介紹壓縮分類(lèi)建模過(guò)程.

假設(shè)高維目標(biāo)空間 RN中有 L類(lèi)源信號(hào){s1,s2,···,sL},目標(biāo)信號(hào)x的類(lèi)別未知,但已知它屬于這L類(lèi)信號(hào)中的其中一類(lèi).建模目的是確定目標(biāo)信號(hào)x的類(lèi)別,即從L種假設(shè)情形中推斷信號(hào)x的真實(shí)類(lèi)別:

在高維目標(biāo)空間內(nèi),構(gòu)造統(tǒng)計(jì)量: ti=‖x?si‖2,即目標(biāo)信號(hào)和源信號(hào)的距離.根據(jù)最近鄰分類(lèi)準(zhǔn)則:

x即為上式取最小值時(shí)對(duì)應(yīng)的第i個(gè)信號(hào).但是,在高維目標(biāo)空間中直接進(jìn)行信號(hào)分類(lèi)帶來(lái)的巨大計(jì)算量,不容忽視.

為了降低計(jì)算量,可以考慮在低維的壓縮測(cè)量域構(gòu)造統(tǒng)計(jì)量進(jìn)行信號(hào)分類(lèi).

采用具有 RIP的投影矩陣 Φ ∈ RM×N, M ? N,把源信號(hào)從目標(biāo)空間RN投影至低維空間RM,這樣,L類(lèi)信號(hào)的壓縮投影值分別為Φs1,Φs2,···,ΦsL,目標(biāo)信號(hào)x的壓縮投影值y=Φx.同樣的,壓縮信號(hào)y的類(lèi)別也有L種可能情形:

假設(shè)以上情形等概率發(fā)生,可以構(gòu)造統(tǒng)計(jì)量[20]

分析信號(hào)y的類(lèi)別.特別的,當(dāng)Φ為正交矩陣(或其行向量互相正交)時(shí),ΦΦT=E,則式(4)可化簡(jiǎn)為在低維壓縮域中,依最近鄰原則:

壓縮測(cè)量信號(hào)y得以識(shí)別.

實(shí)際上,利用投影矩陣Φ的RIP,可使信號(hào)之間的距離在投影前后近似保持不變,即‖x?si‖2≈‖y?Φsi‖2,從而實(shí)現(xiàn)將高維空間的分類(lèi)問(wèn)題投影到低維空間求解的目的.

1.2 基于GMHMM的壓縮紅外分類(lèi)

利用紅外壓縮測(cè)量,人體動(dòng)作在高維紅外輻射場(chǎng)空間產(chǎn)生的IRC可被壓縮投影至低維測(cè)量空間.人體動(dòng)作產(chǎn)生的IRC是一個(gè)動(dòng)態(tài)連續(xù)過(guò)程.相應(yīng)的,在低維測(cè)量空間,PIR傳感數(shù)據(jù)是連續(xù)的電壓時(shí)序信號(hào).隱馬爾科夫模型(Hidden Markov model, HMM)具有很強(qiáng)的時(shí)序推演建模能力,是分析時(shí)間序列的有利工具,已廣泛用于語(yǔ)音[21]、視頻時(shí)序信號(hào)處理[22].本文選用連續(xù)型的高斯混合隱馬爾科夫模型(Gaussian mixture HMM,GMHMM)對(duì)紅外動(dòng)作在低維壓縮測(cè)量域進(jìn)行模式分類(lèi).

首先定義GMHMM中的模型參數(shù).已知人體動(dòng)作是由一系列靜止姿態(tài)在時(shí)域上動(dòng)態(tài)變化而形成的.這里,將具有代表性的靜止姿態(tài)定義為GMHMM的隱狀態(tài),一個(gè)動(dòng)作所包含的代表性靜止姿態(tài)的數(shù)目,即GMHMM隱狀態(tài)數(shù)目.連續(xù)動(dòng)作,從一個(gè)靜止姿態(tài)變化轉(zhuǎn)移到另一個(gè)靜止姿態(tài)時(shí),會(huì)導(dǎo)致時(shí)空域輻射能量變化,并以PIR傳感器陣列輸出時(shí)序信號(hào)的形式呈現(xiàn),即GMHMM的觀測(cè)值序列.連續(xù)動(dòng)作各個(gè)隱狀態(tài)之間的轉(zhuǎn)移模式會(huì)在觀測(cè)值序列中體現(xiàn)出來(lái).因此,利用觀測(cè)值序列作為樣本進(jìn)行模型訓(xùn)練,可以得到各個(gè)動(dòng)作的GMHMM模型,它們可以很好地解釋特定動(dòng)作類(lèi)別中的樣本.一個(gè)GMHMM可簡(jiǎn)記為λ=(H,MG,A,B,Π),各參數(shù)意義如下:

1)H:模型的隱狀態(tài)數(shù)目;

2)MG:高斯概率密度函數(shù)的數(shù)目,這里利用高斯概率密度函數(shù)來(lái)擬合隱狀態(tài)被觀測(cè)值觀察到的概率分布,同時(shí)為了提高擬合的準(zhǔn)確性,可以采用多個(gè)高斯概率密度函數(shù)混合表示輸出觀測(cè)值的概率分布;

3)A={aij}:隱狀態(tài)轉(zhuǎn)移概率分布矩陣, A∈RH×H,其中,

表示從隱狀態(tài)Si到Sj的轉(zhuǎn)移概率,其中qt為t時(shí)刻的隱狀態(tài),隱狀態(tài)轉(zhuǎn)移概率分布滿(mǎn)足:aij≥0且

4)B={bi(V)}:觀測(cè)值序列的概率密度分布, B∈RH×MG,當(dāng)隱狀態(tài)為Si時(shí),模型輸出觀測(cè)值V的概率為

其中,G為高斯概率密度函數(shù),cim為在隱狀態(tài)Si下,第m個(gè)高斯函數(shù)的權(quán)重因子,滿(mǎn)足cim≥0和和Σim分別為該高斯函數(shù)的均值向量和協(xié)方差矩陣;

5)Π={πi}:初始狀態(tài)矢量,Π ∈RH×1,其中,

其次,基于GMHMM建模的紅外動(dòng)作分類(lèi)基本步驟如下:1)動(dòng)作模型訓(xùn)練:假設(shè)共有L類(lèi)紅外動(dòng)作,確定模型參數(shù)H,MG后,利用部分觀測(cè)值序列作為訓(xùn)練樣本,對(duì)GMHMM進(jìn)行訓(xùn)練,得到各個(gè)動(dòng)作的模型λi,i=1,2,···,L;2)測(cè)試動(dòng)作識(shí)別:根據(jù)輸入的未知?jiǎng)幼鲏嚎s投影觀測(cè)值V,計(jì)算每個(gè)GMHMM λ輸出觀測(cè)值V的似然概率;V被歸類(lèi)為產(chǎn)生最大似然概率的模型對(duì)應(yīng)的動(dòng)作類(lèi)別,即

2 壓縮紅外動(dòng)作信號(hào)獲取及GMHMM動(dòng)作建模

2.1 基于正交視角的壓縮紅外動(dòng)作測(cè)量

紅外動(dòng)作信號(hào)測(cè)量系統(tǒng)基于IRC壓縮測(cè)量模塊進(jìn)行,該模塊主要由PIR傳感器陣列、掩膜陣列和無(wú)線收發(fā)模塊構(gòu)成[19].基于正交視角的壓縮紅外動(dòng)作測(cè)量系統(tǒng)共采用兩個(gè)這樣的模塊.主投影面內(nèi)的壓縮測(cè)量模塊作為正視測(cè)量節(jié)點(diǎn),用于IRC主層特征的壓縮投影,PIR傳感器陣列和掩膜陣列聯(lián)合實(shí)現(xiàn)64×9維壓縮投影矩陣,其中的掩膜陣列將感知區(qū)域剖分為64個(gè)感知胞元,采用9個(gè)PIR傳感器對(duì)這些胞元內(nèi)的IRC進(jìn)行壓縮測(cè)量.輔助投影面內(nèi)的壓縮測(cè)量模塊作為頂視測(cè)量節(jié)點(diǎn),用于IRC輔助層特征的壓縮投影,PIR傳感器陣列和掩膜陣列聯(lián)合實(shí)現(xiàn)16×5維壓縮投影矩陣.利用上述面向雙層特征獲取的3D動(dòng)作壓縮紅外測(cè)量系統(tǒng),輻射場(chǎng)空間64×16維動(dòng)作特征經(jīng)壓縮投影,轉(zhuǎn)換為低維空間14維特征向量序列.

圖1所示為3D動(dòng)作壓縮紅外測(cè)量實(shí)驗(yàn)場(chǎng)景:正視測(cè)量節(jié)點(diǎn)位于主投影面(xy平面),與人體的水平間距為150 cm;頂視測(cè)量節(jié)點(diǎn)位于輔助投影面(yz平面),掛頂方式部署在人體正上方的天花板,距離地面300 cm;匯聚節(jié)點(diǎn)放置在桌面上方,將接收到的傳感數(shù)據(jù)實(shí)時(shí)傳送給上位機(jī).實(shí)驗(yàn)中,測(cè)試對(duì)象在限定空間范圍內(nèi)動(dòng)作,且人體正面朝向正視測(cè)量節(jié)點(diǎn).

人體動(dòng)作識(shí)別研究中,由于缺乏統(tǒng)一動(dòng)作數(shù)據(jù)集,很多研究者通常在各自設(shè)計(jì)的數(shù)據(jù)集上驗(yàn)證動(dòng)作識(shí)別方法,這些數(shù)據(jù)集包含不同種類(lèi)和數(shù)目的動(dòng)作.經(jīng)對(duì)比分析現(xiàn)有動(dòng)作數(shù)據(jù)集,我們從中選擇參考了文獻(xiàn)[23]的數(shù)據(jù)集,該動(dòng)作集在受試者數(shù)目、動(dòng)作類(lèi)型數(shù)目和樣本量等方面均具有合理的規(guī)模.參照該數(shù)據(jù)集,我們邀請(qǐng)5名受試者(4名男性,1名女性,平均身高170 cm,平均體重55 kg)參與實(shí)驗(yàn),建立紅外動(dòng)作數(shù)據(jù)集.其中3名受試者,每人每個(gè)動(dòng)作做10遍,共有300個(gè)動(dòng)作樣本,用于建立動(dòng)作模型的訓(xùn)練集.另外2名受試者,每人每個(gè)動(dòng)作做20遍,共有400個(gè)動(dòng)作樣本,用于建立動(dòng)作識(shí)別的測(cè)試集.本文建立的動(dòng)作集包含10類(lèi)上肢動(dòng)作:揮右臂(m1)、揮左臂(m2)、揮雙臂(m3)、舉右臂(m4)、舉左臂(m5)、舉雙臂(m6)、左臂下右臂上(m7)、左臂上右臂下(m8)、左臂前右臂后(m9)和左臂后右臂前(m10).其中,前8類(lèi)(m1～m8)選自文獻(xiàn)[23]中的動(dòng)作類(lèi)型;為了進(jìn)一步驗(yàn)證本文提出的動(dòng)作識(shí)別方法對(duì)不同維度方向動(dòng)作的辨別力,我們?cè)跀?shù)據(jù)集中添加了兩類(lèi)動(dòng)作:左臂前右臂后(m9)、左臂后右臂前(m10).總之,這些動(dòng)作具有不同維度的代表性,既包含平行于xy平面的動(dòng)作(m1、m2和m3),平行于xz平面的動(dòng)作(m7、m8、m9和m10),也包含xyz三維空間內(nèi)的動(dòng)作(m4、m5和m6).圖2是一名受試者重復(fù)做5遍動(dòng)作m3“揮雙臂”時(shí)的IRC壓縮信號(hào)時(shí)域波形,橫軸表示采樣時(shí)間,縱軸表示PIR傳感器的輸出電壓值.

圖1 紅外動(dòng)作識(shí)別實(shí)驗(yàn)場(chǎng)景Fig.1 The experiment scenario for infrared motion classi fi cation

2.2 基于雙層特征的GMHMM動(dòng)作建模

特征選取是信號(hào)分類(lèi)的前提,應(yīng)首先予以分析檢驗(yàn).在GMHMM紅外動(dòng)作特征建模中,為了避免模型過(guò)擬合或欠擬合問(wèn)題,需要采取措施提高模型泛化能力:訓(xùn)練集選取中,3名受試對(duì)象具有不同的體型特征(身高:164～176 cm;體重:50～73 kg),其動(dòng)作具有多樣性的樣本分布特點(diǎn),更符合實(shí)際的數(shù)據(jù)分布情況;初始參數(shù)也會(huì)影響訓(xùn)練效果,通過(guò)設(shè)置不同的參數(shù)組合(隱狀態(tài)數(shù)目、高斯模型數(shù)目等),比較模型輸出似然概率,選擇能產(chǎn)生似然概率最高的模型.本文中,正視測(cè)量節(jié)點(diǎn)采用9個(gè)傳感器,頂視測(cè)量節(jié)點(diǎn)采用5個(gè)傳感器,即,數(shù)據(jù)集中主層特征的壓縮特征向量為9維,雙層特征的壓縮特征向量為14維.

1)基于不同特征層的動(dòng)作模型訓(xùn)練

利用動(dòng)作集中300個(gè)訓(xùn)練樣本,分別訓(xùn)練出兩組HMM模型:基于主層特征的主層GMHMM和基于雙層特征的雙層GMHMM.模型訓(xùn)練階段的主要任務(wù)是模型λ=(H,MG,A,B,Π)參數(shù)的確定.

下面先觀察參數(shù)隱狀態(tài)數(shù)目H、高斯模型數(shù)目MG對(duì)模型輸出似然概率的影響.對(duì)于使用不同的參數(shù)組合,動(dòng)作m1的主層GMHMM建模平均似然概率輸出,如圖3(a)所示;雙層GMHMM建模平均似然概率輸出,如圖3(b)所示.可以發(fā)現(xiàn),H和MG不同參數(shù)值組合下,模型輸出的平均似然概率不同.即,基于GMHMM建模的動(dòng)作分類(lèi)中,隱狀態(tài)數(shù)目H和高斯模型數(shù)目MG參數(shù)變化,對(duì)模型的識(shí)別性能影響較大.

為了保證動(dòng)作分類(lèi)的準(zhǔn)確度,基于每個(gè)動(dòng)作模型的輸出似然概率性能曲線,選擇可以使模型輸出似然概率最大的隱狀態(tài)數(shù)目H 和高斯模型數(shù)目MG.各動(dòng)作模型的最優(yōu)配置參數(shù)如表1所示.

值得注意的是,訓(xùn)練樣本直接影響模型最優(yōu)參數(shù)的取值.為了正確選擇最優(yōu)參數(shù),我們?cè)诮颖炯瘯r(shí)主要從三方面考慮:樣本量、樣本分布和樣本質(zhì)量.在樣本量較少情況下,最優(yōu)參數(shù)受影響顯著,這就要求樣本量應(yīng)足夠多,確保建模的準(zhǔn)確性和穩(wěn)定性;從樣本分布角度看,需要采集一個(gè)能夠覆蓋動(dòng)作模式所有種類(lèi)的樣本集;從樣本質(zhì)量角度看,動(dòng)作執(zhí)行相對(duì)規(guī)范的樣本質(zhì)量較高,更有利于準(zhǔn)確建模.

圖2 人體動(dòng)作壓縮紅外測(cè)量信號(hào)(“m3揮雙臂”動(dòng)作)Fig.2 The PIR sensors output recorded for the motion of“waving two hands”(m3)

圖3 GMHMM建模中隱狀態(tài)數(shù)目、高斯模型數(shù)目對(duì)平均對(duì)數(shù)似然值的影響(動(dòng)作m1)Fig.3 The in fl uences of the HMM parameters on the average log likelihood(motion m1)

表1 GMHMMs參數(shù)配置Table 1 The speci fi cation of GMHMMs

2)特征層的分類(lèi)性能對(duì)比

完成上述GMHMM訓(xùn)練后,對(duì)動(dòng)作的測(cè)試樣本進(jìn)行識(shí)別.觀察同一個(gè)測(cè)試樣本(m9)在不同GMHMM下的識(shí)別結(jié)果:圖4為在10類(lèi)動(dòng)作主層GMHMM下的輸出似然概率,圖5為在10類(lèi)動(dòng)作的雙層GMHMM下的輸出似然概率.對(duì)比發(fā)現(xiàn),對(duì)同一個(gè)測(cè)試動(dòng)作,雙層GMHMM輸出似然概率普遍高于主層GMHMM,而且雙層GMHMM對(duì)測(cè)試動(dòng)作的區(qū)分度也更顯著.

圖4 動(dòng)作m9的一個(gè)測(cè)試樣本在主層GMHMM下的對(duì)數(shù)似然概率Fig.4 Log likelihoods of a test sequence of motion m9 using main-layer GMHMM

圖5 動(dòng)作m9的一個(gè)測(cè)試樣本在雙層GMHMM下的對(duì)數(shù)似然概率Fig.5 Log likelihoods of a test sequence of motion m9 using double-layer GMHMM

3 實(shí)驗(yàn)及結(jié)果分析

測(cè)量維數(shù)和測(cè)量視角是壓縮紅外動(dòng)作測(cè)量系統(tǒng)配置的兩個(gè)關(guān)鍵參數(shù),它們不僅影響測(cè)量系統(tǒng)的復(fù)雜度,還會(huì)直接影響動(dòng)作分類(lèi)的性能.實(shí)驗(yàn)中,采用正交視角紅外動(dòng)作測(cè)量平臺(tái)獲取實(shí)驗(yàn)數(shù)據(jù),基于GMHMM進(jìn)行動(dòng)作特征建模,通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比來(lái)分析測(cè)量維數(shù)和測(cè)量視角對(duì)3D動(dòng)作分類(lèi)性能的影響.

3.1 測(cè)量維數(shù)對(duì)動(dòng)作識(shí)別性能的影響實(shí)驗(yàn)

測(cè)量維數(shù)(PIR傳感器數(shù)目)是體現(xiàn)傳感效率的一個(gè)關(guān)鍵參數(shù).這里,我們通過(guò)實(shí)驗(yàn)來(lái)分析測(cè)量維數(shù)對(duì)正確分類(lèi)率(Correct classi fi cation rate,CCR)和分類(lèi)時(shí)間的影響.利用動(dòng)作數(shù)據(jù)集中的400個(gè)測(cè)試樣本和GMHMM分類(lèi)方法,得到如下的分析結(jié)果.

實(shí)驗(yàn)中,針對(duì)任一測(cè)量維數(shù)M,傳感器組合的選擇及相應(yīng)CCR計(jì)算分為兩種情況.單一測(cè)量視角(正視或頂視)時(shí),從傳感陣列中遍歷選擇M個(gè)傳感器組合(正視有

95式),對(duì)所有組合形式下的正確分類(lèi)率求均值;正交視角時(shí),正視傳感陣列的9個(gè)傳感器全部選用,同時(shí)從頂視傳感陣列中遍歷選擇M?9個(gè)傳感器組合種形式,頂視有種形(共有種形式),二者進(jìn)行數(shù)據(jù)融合后計(jì)算正確分類(lèi)率,并對(duì)所有組合形式下的正確分類(lèi)率求均值.

圖6 測(cè)量維數(shù)對(duì)正確分類(lèi)率的影響Fig.6 The in fl uence of the measurement dimension on the CCR

圖6為測(cè)量維數(shù)M增加時(shí)CCR的變化曲線.從整體上看,1≤M≤14范圍內(nèi)的CCR呈指數(shù)增長(zhǎng)并趨于穩(wěn)定.進(jìn)一步觀察圖中相應(yīng)曲線,可發(fā)現(xiàn):僅用正視測(cè)量節(jié)點(diǎn)時(shí),當(dāng)1≤M ≤6時(shí),CCR隨M增加而迅速升高,當(dāng)6≤M≤9時(shí),CCR進(jìn)一步緩慢提高;僅用頂視測(cè)量節(jié)點(diǎn)時(shí),當(dāng)1≤M ≤5時(shí),CCR隨M增加而迅速升高;當(dāng)正視、頂視測(cè)量節(jié)點(diǎn)協(xié)同工作時(shí),即10≤M ≤14,可以得到較滿(mǎn)意且穩(wěn)定的正確分類(lèi)率.

為了考察動(dòng)作分類(lèi)的實(shí)時(shí)性問(wèn)題,需要統(tǒng)計(jì)模型訓(xùn)練時(shí)間和分類(lèi)識(shí)別時(shí)間.模型訓(xùn)練階段,當(dāng)PIR傳感器輸出的14維壓縮測(cè)量數(shù)據(jù)全部用來(lái)訓(xùn)練時(shí),建模所需時(shí)間為7.583 s.從圖7中可以看出,動(dòng)作分類(lèi)時(shí)間隨測(cè)量維數(shù)的增加而略有延長(zhǎng),但基本上可以滿(mǎn)足動(dòng)作分類(lèi)的實(shí)時(shí)性需求.

測(cè)量維數(shù)的實(shí)際選擇中,須在保證CCR需求的前提下,兼顧傳感效率(測(cè)量維數(shù)M)、識(shí)別時(shí)間(t)以及測(cè)量系統(tǒng)的可靠性(如,個(gè)別PIR傳感器出現(xiàn)異常的情況).

圖7 測(cè)量維數(shù)對(duì)分類(lèi)時(shí)間的影響Fig.7 The in fl uence of the measurement dimension on the running time

3.2 測(cè)量視角對(duì)CCR影響實(shí)驗(yàn)

首先,考察正視、頂視和正交視角三種測(cè)量視角下的整體動(dòng)作識(shí)別效果.如表2所示,正視視角下,基于主層特征的GMHMM動(dòng)作建模,CCR可達(dá)94.81%;頂視視角下,基于輔助投影面特征的GMHMM動(dòng)作建模,CCR偏低(87.23%);當(dāng)采用正交視角獲取雙層特征時(shí),CCR最高達(dá)95.71%.可以發(fā)現(xiàn),從整體識(shí)別效果來(lái)看,頂視測(cè)量視角對(duì)提高CCR的貢獻(xiàn)并不大,這是因?yàn)?面向輔助投影面特征獲取的頂視測(cè)量節(jié)點(diǎn)只具有粗粒度的觀測(cè)效果,而本實(shí)驗(yàn)動(dòng)作集中的動(dòng)作特征投影大多位于主投影面.

表2 測(cè)量視角對(duì)CCR的影響Table 2 Sensing view vs.CCR

其次,進(jìn)一步具體分析測(cè)量視角對(duì)單個(gè)動(dòng)作的分類(lèi)性能影響.從圖8所示的三維混淆矩陣中可發(fā)現(xiàn),正視視角下動(dòng)作m1～m8的CCR較高,而m9和m10的CCR偏低.這是因?yàn)榍?個(gè)動(dòng)作基本平行于主投影面,即正視測(cè)量節(jié)點(diǎn)感知區(qū)域的敏感視場(chǎng)內(nèi);而動(dòng)作m9和m10在x和z兩個(gè)方向上,IRC特征無(wú)法全部投影至主投影面.正視測(cè)量節(jié)點(diǎn)單獨(dú)測(cè)量時(shí),只能獲取m9、m10的x方向特征數(shù)據(jù).再觀察圖8(b),頂視測(cè)量節(jié)點(diǎn)單獨(dú)測(cè)量時(shí),m9和m10的CCR同樣偏低;這是因?yàn)檩o助投影面的頂視傳感陣列只能獲取m9、m10的z方向動(dòng)作特征.從圖8(c)中可以發(fā)現(xiàn),采用正交視角測(cè)量后,動(dòng)作m9和m10的CCR得到顯著提高.同時(shí),也可以觀察到在動(dòng)作m7和m8的識(shí)別中,正交視角相對(duì)單獨(dú)正視視角的的改善效果.

圖8 測(cè)量視角對(duì)正確識(shí)別率的影響Fig.8 The in fl uences of the sensing view on the CCR

可以看出,對(duì)平面動(dòng)作,在動(dòng)作投影面內(nèi)布置單個(gè)測(cè)量節(jié)點(diǎn),即可達(dá)到滿(mǎn)意的CCR;對(duì)3D動(dòng)作,基于正交視角測(cè)量方式獲取的雙層特征進(jìn)行GMHMM動(dòng)作建模分類(lèi),更有助于提高CCR.

4 結(jié)論

針對(duì)紅外輻射場(chǎng)空間三維動(dòng)作的自遮擋現(xiàn)象,提出基于雙層特征GMHMM建模的人體動(dòng)作壓縮紅外分類(lèi)方法.該方法利用PIR傳感陣列和參考結(jié)構(gòu)組合構(gòu)建的兩個(gè)測(cè)量節(jié)點(diǎn),聯(lián)合實(shí)現(xiàn)壓縮紅外正交投影測(cè)量系統(tǒng),該系統(tǒng)下,三維動(dòng)作64×16維特征向量,投影為測(cè)量空間14維特征向量.基于測(cè)量系統(tǒng)獲取的壓縮紅外測(cè)量值,利用雙層特征GMHMM動(dòng)作建模來(lái)實(shí)現(xiàn)壓縮域動(dòng)作識(shí)別.實(shí)驗(yàn)結(jié)果表明,正交投影測(cè)量方式下,采用雙層特征建模得到的CCR達(dá)到95.71%,本文建立的動(dòng)作識(shí)別系統(tǒng)可直接應(yīng)用于固定位置的人機(jī)交互場(chǎng)景.需要指出的是,本系統(tǒng)的傳感節(jié)點(diǎn)部署在有限空間的固定位置,要求受試者在相應(yīng)視場(chǎng)內(nèi)接受動(dòng)作識(shí)別.這里,視場(chǎng)受限的問(wèn)題可以通過(guò)網(wǎng)絡(luò)化分布式部署傳感節(jié)點(diǎn)加以解決,通過(guò)擴(kuò)展傳感視場(chǎng)滿(mǎn)足實(shí)際的應(yīng)用需求.

1 Wichert R,Eberhardt B.Ambient assisted living.Advanced Technologies&Societal Change.Berlin,Germany: Springer-Verlag Berlin Heidelberg,2012.1145?1148

2 Chen L M,Hoey J,Nugent C D,Cook D J,Yu Z W.Sensorbased activity recognition.IEEE Transactions on Systems, Man,and Cybernetics,Part C(Applications and Reviews), 2012,42(6):790?808

3 Aggarwal J K,Ryoo M S.Human activity analysis:a review.ACM Computing Surveys,2011,43(3):16

4 Hu W M,Tan T N,Wang L,Maybank S.A survey on visual surveillance of object motion and behaviors.IEEE Transactions on Systems,Man,and Cybernetics,Part C(Applications and Reviews),2004,34(3):334?352

5 Moeslund T B,Hilton A,Kru¨ger V.A survey of advances in vision-based human motion capture and analysis.Computer Vision and Image Understanding,2006,104(2?3):90?126

6 Turaga P,Chellappa R,Subrahmanian V S,Udrea O.Machine recognition of human activities:a survey.IEEE Transactions on Circuits and Systems for Video Technology,2008, 18(11):1473?1488

7 Johansson G.Visual perception of biological motion and a model for its analysis.Perception&Psychophysics,1973, 14(2):201?211

8 Shi G Y,Chan C S,Li W J,Leung K S,Zou Y X,Jin Y F.Mobile human airbag system for fall protection using MEMS sensors and embedded SVM classi fi er.IEEE Sensors Journal,2009,9(5):495?503

9 Yang A Y,Jafari R,Sastry S S,Bajcsy R.Distributed recognition of human actions using wearable motion sensor networks.Journal of Ambient Intelligence and Smart Environments,2009,1(2):103?115

10 Burchett J,Shankar M,Hamza A B,Guenther B D,Pitsianis N,Brady D J.Lightweight biometric detection system for human classi fi cation using pyroelectric infrared detectors.Applied Optics,2006,45(13):3031?3037

11 Cand`es E J,Wakin M B.Wakin.An introduction to compressive sampling.IEEE Signal Processing Magazine,2008, 25(2):21?30

12 Duarte D F,Eldar Y C.Structured compressed sensing: from theory to applications.IEEE Transactions on Signal Processing,2011,59(9):4053?4085

13 Brady D J,Pitsianis N P,Sun X B.Reference structure tomography.Journal of the Optical Society of America A, 2004,21(7):1140?1147

14 Peng M,Xiao Y.A survey of reference structure for sensor systems.IEEE Communications Surveys&Tutorials,2012, 14(3):897?910

15 Wimalajeewa T,Chen H,Varshney P K.Performance limits of compressive sensing-based signal classi fi cation.IEEE Transactions on Signal Processing,2012,60(6):2758?2770

16 Davenport M A,Boufounos P T,Wakin M B,Baraniuk R G.Signal processing with compressive measurements.IEEE Journal of Selected Topics in Signal Processing,2010,4(2): 445?460

17 Luo X M,Liu T,Liu J,Guo X M,Wang G L.Design and implementation of a distributed fall detection system based on wireless sensor networks.EURASIP Journal on Wireless Communications and Networking,2012,2012(1):118

18 Sun Q Q,Hu F,Hao Q.Mobile target scenario recognition via low-cost pyroelectric sensing system:Toward a context-enhanced accurate identi fi cation.IEEE Transactions on Systems,Man,and Cybernetics:Systems,2014, 44(3):375?384

19 Guan Q J,Li C Y,Guo X M,Wang G L.Compressive classifi cation of human motion using pyroelectric infrared sensors. Pattern Recognition Letters,2014,49:231?237

20 Kay S M.Fundamentals of Statistical Signal Processing:Detection Theory.Englewood Cli ff s,NJ:Prentice-Hall,1998.

21 Gales M J F.Maximum likelihood linear transformations for HMM-based speech recognition.Computer Speech&Language,1998,12(2):75?98

22 Babu R V,Anantharaman B,Ramakrishnan K R,Srinivasan S H.Compressed domain action classi fi cation using HMM.Pattern Recognition Letters,2002,23(10): 1203?1213

23 Li H,Greenspan M.Model-based segmentation and recognition of dynamic gestures in continuous video streams.Pattern Recognition,2011,44(8):1614?1628

Compressive Infrared Classi fi cation of Human Motion Using HMM

GUAN Qiu-Ju1LUO Xiao-Mu2GUO Xue-Mei3WANG Guo-Li3

Infrared radiation changes(IRC)induced by human motion can provide important clue for motion classi fi cation.This paper presents a hidden Markov model(HMM)-based compressive infrared classi fi cation method to recognize human motions.In order to solve the problem of self-occlusion,an orthogonal-view based compressive infrared sensing system is implemented for projecting the IRC to two orthogonal planes in the infrared radiation fi eld.Then,a doublelayer feature model using HMM classi fi er is trained to carry out motion recognition with the compressive measurements. Experimental results show that the mean correct classi fi cation rate with double-layer feature is 95.71%,which is better than that with main-layer feature.This method provides a new approach to classi fi cation of human motions for ambient assisted system.

Ambient assisted living(AAL),hidden Markov model(HMM),compressive sensing,pyroelectric infrared sensors,motion classi fi cation

關(guān)秋菊 仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院講師.主要研究方向?yàn)榛谥苓呏悄墉h(huán)境的人體運(yùn)動(dòng)行為識(shí)別.E-mail:qiuju95@126.com(GUAN Qiu-Ju Lecturer at the College of Mechanical and Electrical Engineering,Zhongkai University of Agriculture and Engineering.Her main research interest is physical activity recognition based on ambient intelligence environment.)

羅曉牧 廣州中醫(yī)藥大學(xué)醫(yī)學(xué)信息工程學(xué)院講師.2012年獲得中山大學(xué)通信與信息系統(tǒng)專(zhuān)業(yè)博士學(xué)位.主要研究方向?yàn)闊o(wú)線傳感器網(wǎng)絡(luò),人體動(dòng)作識(shí)別和機(jī)器學(xué)習(xí).E-mail:woodwood2000@163.com (LUO Xiao-Mu Lecturer at theSchool of Medical Information Engineering,GuangzhouUniversity of Chinese Medicine.He received his Ph.D.degree from Sun Yat-Sen University in 2012.His research interest covers wireless sensor networks,human activity recognition and machine learning.)

郭雪梅 中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院副教授.主要研究方向?yàn)榍度胧较到y(tǒng)與移動(dòng)計(jì)算,信息獲取與信息處理.E-mail:guoxuem@mail.sysu.edu.cn(GUO Xue-Mei Associate professor at the School of Data and Computer Science,Sun Yat-Sen University.Her research interest covers embedded system,mobile computing,information acquisition and processing.)

王國(guó)利 中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院教授.主要研究方向是周邊智能及周邊智能感知輔助實(shí)現(xiàn)的人機(jī)協(xié)作.本文通信作者.E-mail:isswgl@mail.sysu.edu.cn(WANG Guo-Li Professor at the School of Data and Computer Science, Sun Yat-Sen University.His research interest covers ambient intelligence and ambient assisted human-robot collaboration.Corresponding author of this paper.)

關(guān)秋菊,羅曉牧,郭雪梅,王國(guó)利.基于隱馬爾科夫模型的人體動(dòng)作壓縮紅外分類(lèi).自動(dòng)化學(xué)報(bào),2017,43(3): 398?406

Guan Qiu-Ju,Luo Xiao-Mu,Guo Xue-Mei,Wang Guo-Li.Compressive infrared classi fi cation of human motion using HMM.Acta Automatica Sinica,2017,43(3):398?406

2016-02-03 錄用日期2016-09-30

Manuscript received February 3,2016;accepted September 30, 2016

國(guó)家自然科學(xué)基金(61375080,61301294,61601523),廣東省自然科學(xué)基金(2015A030311049,2016A030310238),廣東省教育廳青年創(chuàng)新人才項(xiàng)目(2015KQNCX068)資助

Supported by National Natural Science Foundation of China (61375080,61301294,61601523),Natural Science Foundation of Guangdong Province(2015A030311049,2016A030310238),and Young Creative Talents Project of Guangdong Province Education Department(2015KQNCX068)

本文責(zé)任編委王啟寧

Recommended by Associate Editor WANG Qi-Ning

1.仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院 廣州510225 2.廣州中醫(yī)藥大學(xué)醫(yī)學(xué)信息工程學(xué)院廣州510006 3.中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院廣州510006

1.College of Mechanical and Electrical Engineering,Zhongkai University of Agriculture Engineering,Guangzhou 510225 2. School of Medical Information Engineering,Guangzhou University of Chinese Medicine,Guangzhou 510006 3.School of Data and Computer Science,Sun Yat-Sen University,Guangzhou 510006

DOI10.16383/j.aas.2017.c160130