陳 涵,余 磊,彭泗田,聶 宏,歐巧鳳,熊邦書
基于紅外圖像和逆向投影算法的室內(nèi)人體跌倒檢測方法
陳 涵1,余 磊1,彭泗田1,聶 宏2,歐巧鳳1,熊邦書1
(1. 南昌航空大學(xué) 圖像處理與模式識別江西省重點(diǎn)實(shí)驗(yàn)室,江西 南昌 330063;2. 北愛荷華大學(xué) 技術(shù)系,美國 愛荷華州 50614-0178)
研究表明跌倒是我國老年人傷害的主要原因,縮短跌倒到救治的時(shí)間能降低跌倒造成的傷害。為此,室內(nèi)老年人跌倒檢測需求逐年增加。紅外傳感器具有受光照影響小,保護(hù)隱私等優(yōu)點(diǎn),越來越廣泛地應(yīng)用于室內(nèi)人體跌倒檢測中。然而,由于紅外圖像存在分辨率低、信噪比差等缺陷,導(dǎo)致傳統(tǒng)方法的檢測精度較低。針對這個(gè)問題,本文提出一種基于逆向投影算法的室內(nèi)人體跌倒檢測方法。首先,通過人體溫度計(jì)算出人體與傳感器之間的距離;其次,結(jié)合圖像信息,逆推出人體在真實(shí)世界的高度;最后,對獲取的人體真實(shí)高度數(shù)據(jù)進(jìn)行平滑處理,并根據(jù)其變化情況進(jìn)行跌倒檢測。實(shí)驗(yàn)結(jié)果表明,本文所提方法的檢測準(zhǔn)確率達(dá)到98.57%,優(yōu)于傳統(tǒng)非逆向投影方法,其性能完全可以應(yīng)用于實(shí)際檢測中。
人體跌倒檢測;逆向投影算法;紅外圖像;人體定位;特征平滑
由于我國老齡化趨勢日益加劇以及家庭子女外出工作等原因,空巢老人的數(shù)量逐漸增加,對于老年人健康安全監(jiān)護(hù)的需求也日益提升[1]。據(jù)世界衛(wèi)生組織報(bào)道,每年全世界有64.6萬人因跌倒沒有得到及時(shí)救治而死亡,其中65歲以上老年人所占比例最大[2]。跌倒是導(dǎo)致老年人,尤其是獨(dú)居老年人受傷甚至死亡的主要原因。因此,設(shè)計(jì)一種室內(nèi)人體跌倒自動檢測方法,縮短從跌倒到救治的時(shí)間,能夠有效減少由跌倒造成的傷害,提高老年人生活品質(zhì),同時(shí)減少看護(hù)的人力成本[3-4],具有重要的理論研究意義和實(shí)際應(yīng)用價(jià)值。
目前,國內(nèi)外跌倒檢測方法的研究可以大致分為穿戴和非穿戴兩類?;诳纱┐髟O(shè)備的識別方法通過使用者佩戴的傳感器獲取人體位置和運(yùn)動姿態(tài)等關(guān)鍵特征,并利用模式識別分類來對人體跌倒情況進(jìn)行檢測。Giuffrida等人[5]提出了一種基于可穿戴傳感器和機(jī)器學(xué)習(xí)的跌倒檢測系統(tǒng),通過提取信號部分的特征,利用SVM分類器判決跌倒或日?;顒?。Kumar等人[6]提出利用加速度計(jì)和陀螺儀獲取信號,通過SVM分類器判斷是否跌倒。Mehmood等人[7]提出了一種使用可穿戴式Shimmer傳感器的新型跌倒檢測方法,通過實(shí)時(shí)數(shù)據(jù)上的馬氏距離來識別跌倒事件。Kerdjidj等人[8]提出利用壓縮感測方法和穿戴的Shimmer設(shè)備進(jìn)行人體跌倒與活動識別,壓縮感測方法可以減小發(fā)送數(shù)據(jù)的大小并最小化能量消耗。上述基于可穿戴設(shè)備的檢測方法雖然精度較高,但傳感器設(shè)備必須定期充電或者更換電池,使用不便;此外,長時(shí)間穿戴這種設(shè)備還會引起身體不適。因此,更為友好的非穿戴檢測系統(tǒng)得到了越來越多的研究和應(yīng)用。
傳統(tǒng)的非穿戴檢測系統(tǒng)主要使用光學(xué)相機(jī)采集視頻或圖像,并在圖像中提取人體特征數(shù)據(jù),進(jìn)而進(jìn)行跌倒檢測。Min等人[9]提出使用快速區(qū)域卷積網(wǎng)絡(luò)檢測人體形狀的縱橫比、質(zhì)心和運(yùn)動速度,通過這些特征隨時(shí)間的變化關(guān)系來判斷動作行為是否為跌倒。Kong等人[10]提出一種基于計(jì)算機(jī)視覺的框架,采用背景減法和等級池分別對視頻中的空間和時(shí)間表示建模,利用卷積神經(jīng)網(wǎng)絡(luò)作為事件分類器,通過對事件分類的結(jié)果進(jìn)行投票,進(jìn)行多攝像機(jī)跌倒檢測。Qiu等人[11]提出通過對目標(biāo)檢測算法和目標(biāo)跟蹤算法的分析,利用Deep-sort和YOLO v3算法對監(jiān)控視頻進(jìn)行實(shí)時(shí)跌倒檢測。Fan等人[12]提出了一種基于慢特征分析的框架,用于房屋護(hù)理環(huán)境中的跌倒檢測,實(shí)現(xiàn)自動檢測視頻序列中的跌倒?;谝曨l或圖像的跌倒檢測方法具有使用方便、能夠同時(shí)對多個(gè)事件進(jìn)行檢測等優(yōu)點(diǎn);然而,這種方法不可避免地侵犯了個(gè)人隱私;此外,在光照不足時(shí)檢測精度會大幅下降。
針對以上問題,非穿戴,不受光照影響,且不侵犯隱私的熱成像陣列傳感器逐漸成為當(dāng)下的研究熱點(diǎn)。Shota等人[13]通過運(yùn)動的連續(xù)幀、連續(xù)幀中溫度變化的最大像素、運(yùn)動檢測過程中溫度最大變化范圍和運(yùn)動前后的最高溫度像素點(diǎn)距離等4個(gè)特征對人體跌倒進(jìn)行檢測。楊任兵等人[14]通過從低分辨率的紅外圖像中,提取出4種對跌倒敏感的特征,同時(shí)使用K近鄰算法進(jìn)行分類來判斷是否發(fā)生跌倒。王召軍等人[15]通過從采集到的溫度分布信息中提取特征并采用K近鄰算法實(shí)現(xiàn)跌倒識別。上述方法通過提取紅外圖像人體特征,根據(jù)圖像中人體特征量的變化,利用多特征聯(lián)合判決人體跌倒,判決算法復(fù)雜。同時(shí),紅外圖像分辨率低、信噪比差,許多行為會互相混淆,檢測精度相對較低。Liang等人[16]通過消除固定噪聲、二值化、提取連通域以及特征點(diǎn)定位等操作對獲取的紅外圖像進(jìn)行預(yù)處理,利用縱向位移與橫向位移聯(lián)合判斷人體跌倒。該算法對跌倒的漏判率較低;然而,當(dāng)人體快速坐下或蹲下時(shí),常被誤判為跌倒,導(dǎo)致其對跌倒的誤判率較高。
綜上,為簡化判決算法設(shè)計(jì),提高人體跌倒檢測精度,本文提出一種基于逆向投影算法的室內(nèi)人體跌倒檢測方法。該方法首先使用一個(gè)分辨率為80×64像素的熱成像陣列傳感器獲取紅外圖像,然后借鑒類卡爾曼濾波思想進(jìn)行人體定位,并通過逆向投影算法獲得人體在真實(shí)世界的高度,最后依據(jù)判決法則對跌倒行為進(jìn)行檢測。
本文采用HEIMANN Sensor GmbH公司制造的HTPA 80×64 dR1L5.0/1.0熱成像陣列傳感器,該傳感器的分辨率為80×64像素,視場為88°×70°。
目前,研究者常把傳感器擺放在屋頂[13-15]。然而,當(dāng)傳感器擺放于屋頂時(shí),人體身高與體型對成像結(jié)果有較大影響。如圖1所示,一位身材較高且健壯的男士在跌倒時(shí)的圖像與一位身材較矮且苗條的女士在站立時(shí)的圖像較為接近,這導(dǎo)致難以進(jìn)行準(zhǔn)確的判決。
圖1 屋頂傳感器采集實(shí)驗(yàn)結(jié)果圖
為解決上述擺放問題,一些研究者嘗試把傳感器擺放在墻側(cè)進(jìn)行實(shí)驗(yàn)[16]。該擺放位置雖能解決人體身高和體型對實(shí)驗(yàn)結(jié)果的影響,但如圖2所示,傳感器視場盲區(qū)較大。
圖2 墻側(cè)傳感器安裝示意圖
Fig.2 Schematic diagram of sensor installation on the wall
綜上所述,為盡可能減少視場盲區(qū)并兼顧圖像保真度,本文選擇將紅外傳感器安置于距離地面1.8m的墻角處。如圖3所示,傳感器在水平方向的夾角為88°,在垂直方向的夾角為77°。由圖3可知,在88°以下的區(qū)域中,除了陰影部分,其余均在視場范圍內(nèi)。
圖3 墻角傳感器安裝示意圖
本文所提的跌倒檢測算法主要包括圖像預(yù)處理、人體連通域定位、逆向投影、跌倒檢測等4個(gè)步驟,算法流程如圖4所示。接下來將對上述步驟進(jìn)行詳細(xì)論述。
圖4 跌倒檢測算法流程圖
熱成像陣列傳感器獲取的原始圖像如圖5(a)所示:圖中黃色表示高溫區(qū)域,紫色表示低溫區(qū)域。原始圖像包含兩種類型的噪聲:①固定噪聲:如圖5(a)中黑色圓圈標(biāo)記區(qū)域所示;這類噪聲是獲取或標(biāo)定圖像時(shí)的系統(tǒng)誤差所造成的,它在每幀圖像的相同位置反復(fù)出現(xiàn)。②隨機(jī)噪聲:如圖5(a)中紅色圓圈標(biāo)記區(qū)域所示;這類噪聲在部分幀中隨機(jī)出現(xiàn)于不同位置。本文采用文獻(xiàn)[16]的方法,利用一階濾波器去除固定噪聲,去噪后的圖像如圖5(b)所示。
2.2.1 人體連通域預(yù)測
在去除固定噪聲后,對圖像進(jìn)行二值化,并使用八連通法提取每幀圖像中所有的連通域。從圖5(c)中可以看出,除了人體所在連通域,圖像中還存在許多由隨機(jī)噪聲而產(chǎn)生的干擾連通域,如圖中紅圈所示區(qū)域。一般來說,人體所在連通域通常是面積最大或溫度和最高的;然而,在某些幀中,干
圖5 紅外圖像及其相關(guān)處理
擾連通域的面積或溫度和會超過人體所在連通域。為提升人體定位的精度,本文借鑒卡爾曼濾波思想,利用幀與幀之間的關(guān)聯(lián)進(jìn)行人體連通域預(yù)測,步驟如下:
①計(jì)算第幀中第個(gè)連通域溫度和T():
式中:為像素點(diǎn);S()為第幀中第個(gè)連通域,Z()為第幀中像素點(diǎn)的溫度。
式中:(x(), y())為第幀中像素點(diǎn)的坐標(biāo)。
2.2.2 人體連通域調(diào)整
①計(jì)算第幀中第個(gè)連通域的重心與第幀中預(yù)測人體連通域重心的距離d():
圖6 人體定位示意圖
2.3.1 逆向投影意義
傳統(tǒng)方法中,通常以圖像中人體像素高度的變化來判斷跌倒。然而,熱成像陣列傳感器采集紅外圖像時(shí)具有近大遠(yuǎn)小的特性,人體處于視場不同位置時(shí),圖像中的像素高度會有所差異。如圖7所示,走向遠(yuǎn)處和跌倒這兩個(gè)過程中,人體的像素高度都會減小。
上述兩種行為人體像素高度變化如圖8所示。從圖8中可以看出,跌倒和行走時(shí)人體像素高度變化曲線較為類似;因此,如果利用其進(jìn)行判決,跌倒常會與其他行為相混淆,從而導(dǎo)致識別精度較低。在真實(shí)世界中,行走過程中人體高度只會有略微震蕩,而跌倒時(shí)人體高度會劇烈變化。因此,如果能獲得人體在真實(shí)世界的高度,并以此高度的變化為依據(jù)對人體跌倒進(jìn)行識別,準(zhǔn)確率必將有所提升。
圖7 兩種行為過程示意圖
2.3.2 逆向投影計(jì)算
逆向投影即從二維圖像平面向三維真實(shí)世界進(jìn)行投影,其整體示意圖如圖9所示。
圖9中,黑色箭頭AB表示人體在真實(shí)世界的位置,藍(lán)色箭頭EF是人體通過投影在圖像平面中的成像,紅色箭頭CD為人體在主光軸所在平面OLMN中的投影。逆向投影即由圖像中的人像EF倒推出真實(shí)世界中人體AB的長度,其計(jì)算步驟如下:
圖8 兩種行為人體像素高度變化
①計(jì)算人體和傳感器之間的距離,即線段OA的長度。
本文使用恒溫源黑體作為實(shí)驗(yàn)對象。測量步驟如下:首先,將紅外傳感器放置在墻側(cè)距地面1.8m位置,并使黑體與傳感器高度一致。其次,在黑體與傳感器距離為1500~4500mm的區(qū)間內(nèi),每200mm設(shè)置一個(gè)測量距離,每個(gè)測量距離設(shè)置5個(gè)測量點(diǎn),測量點(diǎn)設(shè)置方式如圖10所示。再次,對每個(gè)測量距離中5個(gè)測量點(diǎn)的溫度取平均值,獲得16個(gè)測量距離各自對應(yīng)的溫度值。最后,對16個(gè)溫度值進(jìn)行直線擬合,獲得傳感器HTPA 80×64 dR1L5.0/1.0采集的物體溫度和物體與傳感器之間距離的關(guān)系如公式(6)所示:
式中:Timage表示傳感器采集到的溫度值,℃;D表示物體與傳感器之間的距離,mm;即圖9中線段OA的長度。
圖10 測量點(diǎn)位置示意圖
②圖像與真實(shí)世界之間的單位轉(zhuǎn)換。
圖像中的長度單位是像素,而真實(shí)世界中的長度單位為毫米;因此,需要對圖像中的長度單位進(jìn)行轉(zhuǎn)換,示意圖如圖11所示。
圖11 圖像單位轉(zhuǎn)換示意圖
圖11中,為傳感器焦距,ex為傳感器在水平方向的分辨率,為傳感器在水平方向的張角,ey為傳感器在垂直方向的分辨率,為傳感器在垂直方向的張角。
由圖11(a)可得,圖像中每個(gè)像素點(diǎn)在水平方向代表的真實(shí)長度p(單位:mm/pixel)可由式(7)獲得:
同理,由圖11(b)可得,圖像中每個(gè)像素在垂直方向代表的真實(shí)長度p(單位:mm/pixel)可由式(8)獲得:
③計(jì)算線段的長度。
由于是在軸上的投影,因此的長度可由式(9)獲得:
式中:y和y分別表示點(diǎn)和點(diǎn)在方向的坐標(biāo)值。
④計(jì)算線段的長度。
圖9中,為主光軸,因此點(diǎn)為圖像平面的中心,垂直于平面且的長度即為傳感器的焦距。因?yàn)閭鞲衅鞯姆直媛蕿?0×64,所以可以推算出圖像中心點(diǎn)的像素坐標(biāo)為x=39.5,y=31.5。
⑤計(jì)算真實(shí)世界中的人體高度,即線段的長度。
為了更清晰地表達(dá)線段與線段之間的關(guān)系,本文將平面單獨(dú)列出,如圖12所示。
因?yàn)?i>為D的外角,因此:
=-(17)
同理可得:
因?yàn)镈和D¢為相似三角形,所以:
根據(jù)正弦定理,可以求出線段的長度為:
由圖9可知,為人體在平面的投影,即與長度相等。將上述所有公式聯(lián)立后可得:
根據(jù)式(22),可以通過圖像中的人體信息計(jì)算出真實(shí)世界中的人體高度。由圖8可知人體行走和跌倒時(shí),人體像素高度的變化曲線較為類似;而從圖13中可以看出,相同情況下人體真實(shí)高度的變化曲線具有較為明顯的差異。因此,使用逆向投影算法,可以有效區(qū)分跌倒和其他行為。
2.4.1 數(shù)據(jù)平滑
從圖13中可以看出,當(dāng)人體跌倒和行走時(shí),人體真實(shí)世界高度數(shù)據(jù)具有一定程度的波動,不利于設(shè)計(jì)判決算法。
為減緩數(shù)據(jù)波動,本文對其進(jìn)行平滑處理:首先,把連續(xù)幀的數(shù)據(jù)作為一個(gè)整體;其次,對每個(gè)整體中的數(shù)據(jù)從大到小進(jìn)行排序;再次,去除最大與最小各/10幀數(shù)據(jù),并將處理后的數(shù)據(jù)記為();最后,使用式(23)計(jì)算平滑后人體高度():
當(dāng)選擇過小時(shí),平滑后的數(shù)據(jù)波動較大,不利于設(shè)計(jì)判決算法;當(dāng)選擇過大時(shí),平滑后的數(shù)據(jù)存在與實(shí)際情況不符和延時(shí)過長等問題。本文中參數(shù)的選取方法為令4名實(shí)驗(yàn)者沿5個(gè)不同方向進(jìn)行行走和跌倒等2種行為,總計(jì)獲取40組紅外圖像序列數(shù)據(jù);令取不同的數(shù)值,對其進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明,當(dāng)=20時(shí),平滑效果最好。如圖14所示,平滑后特征量的波動明顯降低,且依然保留著跌倒檢測所需的變化趨勢。
2.4.2 跌倒判決
不同身高的人在跌倒時(shí)人體高度變化的絕對值有所差異。因此,使用人體高度的相對變化率作為跌倒的評判標(biāo)準(zhǔn)更為準(zhǔn)確。然而,大量實(shí)驗(yàn)結(jié)果表明,由于人體平躺等狀態(tài)真實(shí)高度較小,且平滑后特征量存在波動,僅使用該判決方法會導(dǎo)致少量非跌倒?fàn)顟B(tài)誤判為跌倒。為解決上述問題,本文利用高度的相對變化率和其變化的絕對值對跌倒進(jìn)行判決。設(shè)第幀中人體在真實(shí)世界的高度為(),第-幀中人體在真實(shí)世界的高度為(-),閾值分別為h1與h2。當(dāng)人體高度的變化滿足式(24)與式(25)時(shí),判決人體在第幀跌倒;否則,將人體狀態(tài)視為正常。
(25)
傳感器幀率為6幀/s,跌倒過程大約需要3s;為使間隔幀數(shù)包含完整的跌倒過程,特在跌倒前、后各多選取1幀數(shù)據(jù);因此取值為20。在確定取值后,首先,將視場劃分為5個(gè)區(qū)域,令4名實(shí)驗(yàn)者在5個(gè)區(qū)域分別進(jìn)行跌倒、行走、靜坐、站立、平躺和下蹲等6種行為,總計(jì)獲取120個(gè)數(shù)據(jù)。其次,依次計(jì)算當(dāng)=20時(shí),跌倒、行走、靜坐、站立、平躺和下蹲等6種行為中人體相對高度變化和人體絕對高度變化,并對每種行為中的人體相對高度變化取極小值,人體絕對高度變化取極大值。最后,對4名實(shí)驗(yàn)者在5個(gè)視場區(qū)域跌倒時(shí)人體相對高度變化極值中取極大值和人體絕對高度變化極值中取極小值;最終得到h1取值為0.35,h2取值為1020。
為了驗(yàn)證逆向投影算法的效果及人體跌倒檢測方法的性能,本文分別針對這兩種情況采集不同的實(shí)驗(yàn)數(shù)據(jù),在64位Windows7系統(tǒng)上使用MATLAB 2018a運(yùn)行實(shí)驗(yàn)。其中,逆向投影算法采集人體行走與跌倒?fàn)顟B(tài),使用人體高度變化作為特征量進(jìn)行分析;人體跌倒檢測方法采集6種常見動作,使用混淆矩陣及3種評估指標(biāo)進(jìn)行分析。
3.1.1 實(shí)驗(yàn)數(shù)據(jù)
本文邀請4名不同身高、體態(tài)的人員在同一初始位置沿5個(gè)不同方向行走和跌倒,其中行走路線如圖15所示,跌倒方向如圖16所示。
圖15 行走路線示意圖
3.1.2 實(shí)驗(yàn)結(jié)果分析
為便于驗(yàn)證逆向投影算法效果,本文依據(jù)2.4.2節(jié)跌倒判決中確定的20幀作為間隔,分析間隔前后非逆向投影人體圖像高度變化及逆向投影人體真實(shí)高度變化情況。為便于分析比較,對每條行走路線或每個(gè)跌倒方向中4名實(shí)驗(yàn)者人體高度變化的最大值和最小值取極值,平均值取均值,行走和跌倒的實(shí)驗(yàn)結(jié)果分別如表1、表2所示。
圖16 跌倒方向示意圖
從表1和表2中可以看出,非逆向投影人體圖像高度變化在行走與跌倒這兩種情況下較為接近,這使得閾值難以設(shè)置;尤其是沿3號路線行走時(shí)其高度變化的最大值超過沿3號方向跌倒時(shí)的最小值,這意味著必然會出現(xiàn)誤判的情況。與此相比逆向投影人體真實(shí)高度變化在行走與跌倒這兩種情下區(qū)別度較高,這便于準(zhǔn)確設(shè)置閾值,降低誤判的可能性。綜上所述,對比實(shí)驗(yàn)結(jié)果充分證明了逆向投影算法的優(yōu)勢。
3.2.1 實(shí)驗(yàn)數(shù)據(jù)
為豐富樣本類型,邀請4名不同身高、體態(tài)的人員完成表3所要求的6種人體常見動作。其中,跌倒為主要識別姿態(tài),因此該動作每人完成20次,其余動作每人完成10次。總計(jì)獲得280組實(shí)驗(yàn)數(shù)據(jù),其中跌倒類80組,非跌倒類共200組。
表2 跌倒實(shí)驗(yàn)數(shù)據(jù)
表3 動作要求
3.2.2 混淆矩陣
本文所提算法的檢測情況如表4所示。
從表4可以看出,“跌倒”的判決準(zhǔn)確率高達(dá)98.75%。僅當(dāng)人體頭發(fā)較為濃密,背對傳感器且跌倒后面部向上時(shí),由于跌倒前頭發(fā)遮擋使溫度下降進(jìn)而使人體與傳感器之間距離的計(jì)算結(jié)果偏小并最終令計(jì)算所得人體高度小于真實(shí)身高,而跌倒后溫度正常使計(jì)算所得人體高度等于真實(shí)身高,這導(dǎo)致人體高度變化量不滿足跌倒閾值,從而將跌倒誤判為非跌倒。
表4 檢測情況混淆矩陣
非跌倒動作中,“行走”、“靜坐”、“站立”、“平躺”這4種行為均能準(zhǔn)確判決為非跌倒?fàn)顟B(tài)。當(dāng)快速蹲下時(shí),人體真實(shí)高度的變化情況與跌倒較為近似;加之?dāng)?shù)據(jù)本身即存在一定的波動性,因此算法會將少部分“下蹲”誤判為跌倒。即使如此,“下蹲”行為的判決準(zhǔn)確率也達(dá)到了92.5%的較高精度。
3.2.3 評估指標(biāo)
跌倒檢測屬于二分類問題,模型只需分辨跌倒和非跌倒運(yùn)動兩種類別即可。二分類模型的判斷結(jié)果可能存在以下4種情況:
①真陽性(true positive):跌倒的實(shí)驗(yàn)中被檢測為跌倒的次數(shù)。
②假陽性(false positive):非跌倒的實(shí)驗(yàn)中被檢測為跌倒的次數(shù)。
③真陰性(true negative):非跌倒的實(shí)驗(yàn)中被檢測為非跌倒的次數(shù)。
④假陰性(false negative):跌倒的實(shí)驗(yàn)中被檢測為非跌倒的次數(shù)。
根據(jù)以上4種情況,可以得到敏感度(sensitivity)、特異度(specificity)和準(zhǔn)確率(accuracy)3種模型評估指標(biāo):
敏感度反映了模型識別跌倒的能力,特異度反映了模型識別非跌倒運(yùn)動的能力,準(zhǔn)確率反映了模型的總體精確度。
3.2.4 各類跌倒檢測方法對比與分析
為驗(yàn)證跌倒檢測方法效果,本文在自己的紅外數(shù)據(jù)集上與目前檢測效果較好的Liang等人[16]方法進(jìn)行對比,對比結(jié)果如表5所示。
表5 本文方法與其他方法對比結(jié)果
從表5可以看出,本文所提方法在敏感度,特異度及準(zhǔn)確率方面均優(yōu)于文獻(xiàn)[16]方法,體現(xiàn)出該方法的優(yōu)異性能。由于部分情況下人體真實(shí)高度計(jì)算結(jié)果存在誤差或波動,使得本文方法存在少量誤判情況。在接下來的工作中,將對人體與傳感器之間的距離計(jì)算方式進(jìn)行更深入研究,以求進(jìn)一步提高算法的檢測精度。
本文提出了一種基于紅外圖像和逆向投影算法的室內(nèi)人體跌倒檢測方法。該方法首先借鑒卡爾曼濾波思想利用幀與幀之間的關(guān)聯(lián)對人體進(jìn)行精確定位;其次,利用逆向投影算法由圖像信息倒推出人體在真實(shí)世界的高度,并通過平滑處理降低數(shù)據(jù)波動;最后,利用平滑后的人體真實(shí)高度變化情況進(jìn)行跌倒檢測。
實(shí)驗(yàn)結(jié)果表明,與其他基于紅外圖像的跌倒檢測算法相比,本文所提方法具有更高的檢測精度,其性能完全可以應(yīng)用于實(shí)際生活中。
[1] 鄧志鋒, 閔衛(wèi)東, 鄒松. 一種基于CNN和人體橢圓輪廓運(yùn)動特征的摔倒檢測方法[J]. 圖學(xué)學(xué)報(bào), 2018, 39(6): 1042-1047.
DENG Zhifeng, MIN Weidong, ZOU Song. A fall detection method based on CNN and motion features of human elliptical contour[J]., 2018, 39(6): 1042-1047.
[2] Giovanna S, Ivanoe D, Giuseppe D P. A supervised approach to automatically extract a set of rules to support fall detection in an mHealth system[J]., 2015, 34: 205-216.
[3] 胡雙杰, 秦建邦, 郭薇. 基于特征自動提取的跌倒檢測算法[J]. 傳感技術(shù)學(xué)報(bào), 2018, 31(12): 1842-1847.
HU Shuangjie, QIN Jianbang, GUO Wei. A fall detection algorithm with automatic feature extraction[J]., 2018, 31(12): 1842-1847.
[4] 鄭毅, 李鳳, 張麗, 等. 基于長短時(shí)記憶網(wǎng)絡(luò)的人體姿態(tài)檢測方法[J]. 計(jì)算機(jī)應(yīng)用, 2018, 38(6): 1568-1574.
ZHENG Yi, LI Feng, ZHANG Li, et al. Human posture detection method based on long short term memory network[J]., 2018, 38(6): 1568-1574.
[5] Giuffrida D, Benetti G, Martini D D, et al. Fall detection with supervised machine learning using wearable sensor[C]//17(INDIN), 2019: 253-259.
[6] Kumar V S, Acharya K G, Sandeep B, et al. Wearable sensor-based human fall detection wireless system[J]., 2019, 493: 217-234
[7] Mehmood A, Nadeem A, Ashraf M, et al. A novel fall detection algorithm for elderly using Shimmer wearable sensors[J]., 2019, 9(4): 631-646.
[8] Kerdjidj O, Ramzan N, Ghanem K, et al. Fall detection and human activity classification using wearable sensors and compressed sensing[J]., 2020, 11(1): 349-361.
[9] MIN W D, CUI H, RAO H, et al. Detection of human falls on furniture using scene analysis based on deep learning and activity characteristics[J]., 2018, 6(99): 9324-9335.
[10] KONG Y Q, HUANG J H, HUANG S S, et al. Learning spatiotemporal representations for human fall detection in surveillance video[J]., 2019, 59: 215-230.
[11] QIU Z, LIANG X Q, CHEN Q Q, et al. Old man fall detection based on surveillance video object tracking[C]//10,, 2019: 159-167.
[12] FAN K B, WANG P, ZHUANG S. Human fall detection using slow feature analysis[J]., 2019, 78: 9101-9128 .
[13] Shota M, Jihoon H and Tomoaki O. A fall detection system using low resolution infrared array sensor[C]//25t,, 2014: 2109-2113.
[14] 楊任兵, 程文播, 錢慶, 等. 紅外圖像中基于多特征提取的跌倒檢測算法研究[J]. 紅外技術(shù), 2017, 39(12): 1131-1138.
YANG Renbing, CHENG Wenbo, QIAN Qing, et al. Research on fall detection algorithm based on multi-feature extraction in infrared image[J]., 2017, 39(12): 1131-1138.
[15] 王召軍, 許志猛, 陳良琴. 基于紅外陣列傳感器的人體行為識別系統(tǒng)研究[J]. 紅外技術(shù), 2020, 42(3): 231-237.
WANG Zhaojun, XU Zhimeng, CHEN Liangqin. Human behavior recognition system based on infrared array sensors[J]., 2020, 42(3): 231-237.
[16] LIANG Q S, YU L, ZHAI X P, et al. Activity recognition based on thermopile imaging array sensor[C]//(EIT), 2018: 770-773.
Indoor Human Fall Detection Method Based on Infrared Images and Back-Projection Algorithm
CHEN Han1,YU Lei1,PENG Sitian1,NIE Hong2,OU Qiaofeng1,XIONG Bangshu1
(1.,330063,; 2.,,, 50614-0178,)
Falls are reported to be a major cause of injury in China’s elderly population. Shortening the time between the fall and subsequent treatment can reduce injuries caused by falls; therefore, the demand for indoor fall detection is increasing annually. Infrared image-based human fall detection methods are becoming increasingly popular owing to advantages such as being unaffected by light and non-intrusive. However, the traditional methods perform low accuracy because it is difficult to extract the features from the infrared videos at low resolution and high noise.Hence, this paper proposes an indoor human fall detection method based on a back-projection algorithm. First, the distance between the human body and the sensor is calculated using the human body temperature. Second, the height of the human body in the real world is reversely deduced using image information. Finally, the human body height data are smoothed and used for fall detection based on the height variation. The experimental results show that the detection accuracy of the proposed method is 98.57%, which is better than that of traditional projection methods. Therefore, it can be used for detection in real-life situations.
human fall detection, back projection algorithm, infrared image, human localization, feature smoothing
TP391.4
A
1001-8891(2021)10-0968-11
2020-11-10;
2021-01-12.
陳涵(1996-),男,碩士研究生,研究方向:基于紅外圖像的人體姿態(tài)識別。E-mail:chenhan_1996@163.com。
余磊(1984-),男,副教授,主要從事圖像處理及應(yīng)用。E-mail:yulei@nchu.edu.cn。
國家自然科學(xué)基金(62162044);江西省自然科學(xué)基金(20202BAB202016);南昌航空大學(xué)研究生創(chuàng)新專項(xiàng)基金(YC2019030)。