程 添，楊思思，馮 蓉，周 泓

(浙江大學(xué) 生物醫(yī)學(xué)工程與儀器學(xué)院，浙江 杭州 310027)

計算與測試

基于雙目標(biāo)定的獨居老人摔倒檢測算法

程 添，楊思思，馮 蓉，周 泓

(浙江大學(xué) 生物醫(yī)學(xué)工程與儀器學(xué)院，浙江 杭州 310027)

獨居老人摔倒已成為一個備受關(guān)注的問題。為快速有效獲取摔倒信息從而使老人得到及時救助，提出一種基于雙目標(biāo)定的獨居老人摔倒檢測算法。該算法通過色彩不變性分割前景目標(biāo)(老人)，采用雙目視覺標(biāo)定計算人體在三維坐標(biāo)中高度作為特征信息，能夠有效區(qū)分易混淆動作，防止誤判，提高檢測準確率。實驗結(jié)果表明：該算法易于實現(xiàn)，具有較好的魯棒性和實時性。

雙目標(biāo)定；色彩不變性；摔倒檢測

0 引 言

隨著中國步入老齡化社會，人口老齡化引起了廣泛關(guān)注[1],一個不容忽視的問題是如何降低意外摔倒給老人帶來的健康威脅。因此，恰當(dāng)?shù)貙先说娜粘Ｉ钸M行看護，研發(fā)摔倒報警系統(tǒng)具有重要意義。

國內(nèi)外現(xiàn)有的許多摔倒檢測系統(tǒng)都是通過佩戴或攜帶式的傳感器實現(xiàn)的：汪穎翔等人[2]研發(fā)了一種基于壓力傳感器的系統(tǒng)，通過檢測摔倒時的壓力來判別摔倒事件發(fā)生；王榮等人[3]則提出一種基于三軸加速度傳感器的人體跌倒檢測系統(tǒng),利用姿態(tài)角作為跌倒判斷標(biāo)準；Porteus J等人[4]提出一種自動報警檢測儀，當(dāng)老人摔倒時，需手動按下這個按鈕來實現(xiàn)報警功能。佩戴裝置的高成本和不方便限制了這些系統(tǒng)的普及。相比之下，視覺信號具有更寬的探測范圍、更完整的目標(biāo)信息、更高的性價比，易于實現(xiàn)非接觸性，而且更符合人的認知習(xí)慣，特別在行人檢測、行為識別等方面具有無法替代的優(yōu)勢。

在此背景下，本文提出一種基于雙目標(biāo)定的獨居老人摔倒檢測算法，創(chuàng)新性地應(yīng)用了Kubelka-Munk[5]理論來實現(xiàn)前景的分割；通過雙目標(biāo)定計算三維坐標(biāo)中人體的高度作為特征信息，利用隱馬爾可夫模型(HMM)分類器判別摔倒事件的發(fā)生。該算法易于實現(xiàn)，能夠達到較高的檢測率。

1 算法設(shè)計與視頻獲取

基于雙目標(biāo)定的獨居老人摔倒檢測算法流程如圖1，包括以下幾部分：基于Kubelka-Munk理論的目標(biāo)提取、雙目攝像機標(biāo)定、高度特征參數(shù)的獲取以及HMM對特征信息進行檢測判斷是否發(fā)生摔倒事件[6]。

視頻的獲取采用普通的雙路工業(yè)攝像機，先后拍攝20組標(biāo)準棋盤格圖像和人體動作視頻，分別用來實現(xiàn)雙目標(biāo)定與算法實現(xiàn)，圖像分辨率為352×288。

2 算法的實現(xiàn)

2.1 目標(biāo)提取

要判斷老人是否發(fā)生了摔倒事件，首先需要將老人從環(huán)境背景中分離出來。但由于環(huán)境中光照的突然變化，人體衣服顏色與背景的顏色相近等情況會給目標(biāo)提取帶來干擾，導(dǎo)致目標(biāo)提取不完整，存在孔洞等現(xiàn)象[7]。針對上述問題，本文提出基于Kubelka-Munk色彩不變參數(shù)原理的前景提取方法：通過對圖像中每個像素按照H,Wx,Wy特征進行高斯建模，利用背景減除法實現(xiàn)目標(biāo)提取。具體實現(xiàn)如下：

圖1 摔倒檢測算法流程圖Fig 1 Flow chart of algorithm for falling down detection

1)根據(jù)公式(1)，實現(xiàn)RGB色彩空間到高斯色彩空間的轉(zhuǎn)換

(1)

其中，E,Eλ,Eλλ分別為對應(yīng)RGB色彩空間的R，G，B信息。

2)計算高斯色彩空間中的特征平面H,Wx,Wy

(2)

其中,E,Eλ,Eλλ,x,y,分別為高斯色彩模型中某特定波長的入射光在σλ，σx,σy尺度空間下的高斯色彩模型，具體計算方法參見文獻[8,9]。

3)選取連續(xù)20幀背景圖像在H,Wx,Wy3個平面特征內(nèi)對每個像素進行單高斯分布建模，得到其均值和方差參數(shù)信息，然后通過減除法公式(3)判斷該像素點是前景還是背景

HΔ(i,j)=|h(i,j)-μH(i,j)|-t·σH(i,j),

WxΔ(i,j)=|wx(i,j)-μWx(i,j)|-t·σWx(i,j),

WyΔ(i,j)=|wy(i,j)-μWy(i,j)|-t·σWy(i,j),

(3)

最后，按式(4)融合3個特征平面值的信息，得到最后的提取結(jié)果。整個前景分割實現(xiàn)過程如圖2所示，其中,圖2(b)～(d)別為H,Ws,Wy3個平面分割結(jié)果，圖2(e)為融合后的圖像

Δ(i,j)=CH(i,j)∪CWx(i,j)∪CWy(i,j),

(4)

圖2 前景提取的過程Fig 2 Process of object extraction

2.2 高度參數(shù)標(biāo)定

摔倒定義為人體突然向下運動并且長時間無法復(fù)原[6]。據(jù)此，本文采用人體高度信息作為區(qū)分摔倒與否的特征參數(shù)。由于攝像機一般都安裝在較高的地方以一定角度拍攝，會使得在圖像的二維空間上系鞋帶和面向攝像機摔倒的動作高度是一致的，如圖3中劃線部分標(biāo)記。為解決該問題，本文通過雙目攝像機標(biāo)定技術(shù)來計算世界坐標(biāo)系下的高度。

圖3 系鞋帶和面向攝像機摔倒Fig 3 Pictures of tying shoes and falling down facing to the camera

為獲得人體高度，需對圖4所示的雙目成像系統(tǒng)進行標(biāo)定。其中，O1和O2代表左右2個攝像機的坐標(biāo)系原點，X1Y1Z1和X2Y2Z2分別為左右2個攝像機的像平面。

圖4 雙目成像原理圖Fig 4 Theory diagram of binocular imaging

由成像原理[9]，可以得到

(5)

式中Ml和Mr分別為左右矩陣的投影矩陣，u和v為圖像坐標(biāo)系，x,y和z為世界坐標(biāo)系。下標(biāo)l和r分別為左相機和右相機。用x,y和z替換ul,vl,ur和vr，表達式為

(6)

公式(6)進一步簡化成公式(7)

AP=b.

( 7)

其中

P=[xyz]T,

由式(7)兩邊均左乘AT，可以求得

P=(ATA)-1ATb.

(8)

左右相機的內(nèi)外參數(shù)由Camera Calibration Toolbox for Matlab得到，然后將分割結(jié)果的最高點標(biāo)記為(ult,vlt)和(urt,vrt)，最低點標(biāo)記為(ulb,vlb)和(urb,vrb)，根據(jù)公式(8)可分別求得最高點和最低點在世界坐標(biāo)系中的高度zt和zb從而獲得人體在三維坐標(biāo)中的高度信息。如圖5，矩形是人體的外接矩形，中間的劃線連接的是該外接矩形最高和最低點的連線。

圖5 標(biāo)記外接輪廓和最高最低點的過程Fig 5 Marking the highest and lowest points in the camera video of stooping

2.3 HMM分類

HMM具有學(xué)習(xí)和訓(xùn)練觀測數(shù)據(jù)序列的能力，故常被用為模式識別的方法。一個HMM可以定義為五元組，在本文中不同的元組對應(yīng)摔倒事件中不同的參數(shù)定義。通過訓(xùn)練圖像樣本序列，根據(jù)Baum-Welch Algorithm[11]方法計算得到其5個參數(shù)，從而獲得檢測程序中所需的HMM分類器。

在檢測過程中，只需將輸入視頻幀圖像提取到的特征參數(shù)輸入該HMM分類器，即可對該圖像中行為實現(xiàn)二分類，判別是否發(fā)生了摔倒事件。

3 實驗結(jié)果與分析

本文使用2臺ALW—641CX攝像機從左右2個方向?qū)崟r采集視頻圖像。為驗證用來判別摔倒事件特征的有效性，對彎腰和系鞋帶2組容易混淆的動作做了對比。同時設(shè)計了面向攝像機摔倒和垂直于攝像機摔倒的動作，取前200幀圖像計算得到不同行為人體高度曲線如圖6，從圖中很明顯看出本文算法可以有效區(qū)別不同動作，有助于后續(xù)摔倒行為的識別。

圖6 標(biāo)定后不同動作人體高度曲線圖Fig 6 Human height curve of different actions after calibration

為從整體上評估算法的可靠性和準確性，本文設(shè)計了站、坐和躺3種行為，每種包括2組摔倒和2組不摔倒的情況。其中，一組作為HMM算法的訓(xùn)練組，另一組作為測試組，實驗結(jié)果得出:該算法檢測準確率高達到93.3 %。

經(jīng)過圖7～圖11與GMM[12]，Codebook[13]和FCFF[7]方法的處理結(jié)果比較，明顯可以看出:本文算法具有更好的魯棒性，能夠有效解決陰影和慢速移動帶來的重影等問題，獲得完整準確的前景目標(biāo)。其中,圖7是視頻源文件，圖8～圖10分別是GMM,codebook 和 FCFF的處理結(jié)果，圖11為本算法的處理結(jié)果。

圖7 視頻源文件Fig 7 Source video images

圖8 GMM背景減法處理效果Fig 8 Results of GMM

圖9 Codebook背景減法處理效果Fig 9 Results of codebook

圖10 FCFF背景減法處理效果Fig 10 Results of FCFF

圖11 本文算法背景減法處理效果Fig 11 Results of this paper algorithm

除準確率與魯棒性，實時性也是衡量算法的重要指標(biāo)。表1中顯示了本文算法與GMM,Codebook和 FCFF算法的處理時間對比?？梢钥闯霰疚乃惴ň哂辛己玫膶崟r性，更適用于嵌入式系統(tǒng)的實現(xiàn)。

表1 幾種不同前景提取算法的效率比較Tab 1 Efficiency comparison of different foreground extraction algorithm

4 結(jié) 論

本文設(shè)計了一種基于雙目標(biāo)定的老人摔倒檢測算法，該算法通過色彩不變性分割前景目標(biāo)，采用雙目視覺標(biāo)定計算人體在三維坐標(biāo)中高度作為特征信息，通過HMM分類器進行行為識別，能夠有效區(qū)分易混淆動作，防止誤判，準確率高達93.9 %。實驗結(jié)果表明:該算法易于實現(xiàn)，具有較好的魯棒性和實時性，為遠程醫(yī)療與監(jiān)護系統(tǒng)的實現(xiàn)奠定了基礎(chǔ)。

[1] 中國科學(xué)院離休干部工作局.國外如何解決人口老齡化問題[EB/OL].[2009—04—27].http:∥www.lt.cas.cn/kykw/kyjq/200905/t20090520_203512.html.

[2] 汪穎翔,劉 芹,蘆 珊.傳感器在檢測老年人摔倒中的應(yīng)用[J].魅力中國,2011 (5):396-396.

[3] 王 榮,章 韻,陳建新.基于三軸加速度傳感器的人體跌倒檢測系統(tǒng)設(shè)計與實現(xiàn)[J].計算機應(yīng)用,2012,32(5):1450.

[4] Porteus J,Brownsell S J.Exploring technologies for independent living for older people[R].A report on the Anchor Trust/BT Telecare Research Project,Anchor Trust,2000.

[5] Geusebroek J M,Van den Boomgaard R,Smeulders A W M,et al.Color Invariance[J].IEEE Transactions on,Pattern Analysis and Machine Intelligence,2001,23(12):1338-1350.

[6] 馮 蓉.老人和殘疾人智能家庭的算法設(shè)計和實現(xiàn)[D].杭州：浙江大學(xué),2013.

[7] Benezeth Y,Jodoin P M,Emile B,et al.Comparative study of background subtraction algorithms[J].Journal of Electronic Imaging,2010,19(3):033003—03—033003—12.

[8] Florack L M J,Ter Haar Romeny B M,Koenderink J J,et al.Scale and the differential structure of images[J].Image and Vision Computing,1992,10(6):376-388.

[9] Lowe D G. Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[10] 王彥霞,王震洲,劉教民.基于雙目立體視覺的三維建模算法[J].河北科技大學(xué)學(xué)報,2008,29(3):219-222.

[11] Yamato J,Ohya J,Ishii K.Recognizing human action in time-sequential images using hidden Markov model[C]∥Recognitions of Computer Vision and Pattern Proceeding CVPR’92.,1992 IEEE Computer Society Conference on.IEEE,1992:379-385.

[12] Zhou D,Zhang H.2d shape measurement of multiple moving objects by gmm background modeling and optical flow[M]∥Image Analysis and Recognition.Berlin Heidelberg:Springer：2005:789-795.

[13] Kim K,Chalidabhongse T H,Harwood D,et al.Real-time foreground-background segmentation using codebook model[J].Real-time Imaging,2005,11(3):172-185.

Algorithm for falling down detection of solitary elderly person based on binocular vision calibration

CHENG Tian，YANG Si-si, FENG Rong, ZHOU Hong

(College of Biomedical Engineering & Instrument Science,Zhejiang University,Hangzhou,310027,China)

Falling down of solitary elderly person has become a concerned problem.In order to get information of falling down of elderly person quickly and efficiently,a method for falling down detection of solitary elderly person based on binocular vision calibration is proposed.The algorithm segments foreground objects(elderly person) by color variation;uses binocular vision calibration to calculate person height in 3D coordinate as feature information,which can effectively distinguish confused behavior,prevent misjudgments and increase accuracy of detection.Experimental results show that the proposed algorithm is easy to implement with good robustness and real-time.

binocular vision calibration; color invariant; falling down detection

10.13873/J.1000—9787(2014)10—0100—04

2014—03—15

TP 391

A

1000—9787(2014)10—0100—04

程 添(1989-),男，浙江溫州人，碩士研究生，主要從事嵌入式系統(tǒng)和圖像處理研究。