楊照宇，王梅霞，張培培

（華北理工大學(xué) 管理學(xué)院，河北唐山，063210）

0 引言

2022 年國(guó)務(wù)院在《“十四五”國(guó)家老齡事業(yè)發(fā)展和養(yǎng)老服務(wù)體系規(guī)劃》中指出農(nóng)村養(yǎng)老服務(wù)水平不高、居家社區(qū)養(yǎng)老和優(yōu)質(zhì)普惠服務(wù)供給不足、專(zhuān)業(yè)人才特別是護(hù)理人員短缺、科技創(chuàng)新和產(chǎn)品支撐有待加強(qiáng)、事業(yè)產(chǎn)業(yè)協(xié)同發(fā)展尚需提升等方面。為響應(yīng)國(guó)家號(hào)召，我們研發(fā)了獨(dú)居老人智慧健康監(jiān)測(cè)系統(tǒng)。

1 智慧養(yǎng)老國(guó)內(nèi)研究現(xiàn)狀

當(dāng)前我國(guó)人口老齡化進(jìn)入快速發(fā)展階段，老年人自我健康異常檢測(cè)已經(jīng)成為一個(gè)痛點(diǎn)。如何使老年人得到更加有效地、全面地保護(hù)已經(jīng)成為亟待解決的問(wèn)題。為了推進(jìn)智慧養(yǎng)老的發(fā)展，在2018 年我國(guó)政府就出臺(tái)了智慧醫(yī)療相關(guān)意見(jiàn)。2019 年，為了更進(jìn)一步發(fā)展智慧養(yǎng)老，國(guó)家正式批準(zhǔn)了我國(guó)養(yǎng)老服務(wù)領(lǐng)域第一項(xiàng)強(qiáng)制性國(guó)家標(biāo)準(zhǔn)《養(yǎng)老機(jī)構(gòu)服務(wù)安全基本規(guī)范》（GB 38600-2019）[1]。

由此可見(jiàn)智慧養(yǎng)老越來(lái)越被國(guó)家所重視，然而許多老年人不愿意離開(kāi)自己生活幾十年的土地，并且許多子女會(huì)離開(kāi)家鄉(xiāng)外出工作，長(zhǎng)時(shí)間生活在其他城市，這就造成了大量獨(dú)居老人的出現(xiàn)。對(duì)于老人來(lái)說(shuō)，在日常的生活中存在許多安全隱患。若老人摔倒或突發(fā)心臟病，并且沒(méi)有接受及時(shí)的救治，那么老人可能會(huì)出現(xiàn)生命危險(xiǎn)。對(duì)于獨(dú)居老人，以上出現(xiàn)的問(wèn)題造成的后果可能會(huì)無(wú)限放大。對(duì)于子女來(lái)說(shuō)，不能只關(guān)注老人的身體安全更應(yīng)該關(guān)注心理問(wèn)題，尤其是獨(dú)居老人的心理問(wèn)題。

2 成果報(bào)告

■2.1 心跳異常檢測(cè)

（1）流程設(shè)計(jì)。心跳異常檢測(cè)系統(tǒng)每經(jīng)過(guò)0.004 秒就采集一次用戶(hù)的心跳數(shù)據(jù)，系統(tǒng)監(jiān)測(cè)分為兩種檢測(cè)方式，一種是閾值檢測(cè)，一種是基于深度學(xué)習(xí)的異常檢測(cè)。①閾值監(jiān)測(cè)。系統(tǒng)每秒進(jìn)行一次閾值監(jiān)測(cè)，若發(fā)生異常，則發(fā)送一封郵件到廠內(nèi)醫(yī)務(wù)室或安保室進(jìn)行告警，或每5 秒向釘釘發(fā)送異常消息。②基于深度學(xué)習(xí)的異常監(jiān)測(cè)。系統(tǒng)定期進(jìn)行基于深度學(xué)習(xí)的異常監(jiān)測(cè)，最終生成圖片報(bào)告發(fā)送到家屬或醫(yī)生進(jìn)行告警。具體操作流程如圖1 所示。

圖1 心跳異常監(jiān)測(cè)系統(tǒng)

（2）技術(shù)路線。本系統(tǒng)通過(guò)傳感器采集老人心跳數(shù)據(jù)，再通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）算法，根據(jù)以往心跳數(shù)據(jù)擬合心跳預(yù)測(cè)值，將預(yù)測(cè)值與實(shí)際值進(jìn)行比較，生成殘差，當(dāng)心跳模式發(fā)生改變時(shí)，殘差變化較大，再利用Grafana 對(duì)殘差進(jìn)行閾值監(jiān)測(cè)[2]，出現(xiàn)異常進(jìn)行告警。技術(shù)路線如圖2 所示。

圖2 老人健康監(jiān)測(cè)技術(shù)路線

（3）研究結(jié)果。RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的實(shí)現(xiàn)基于一種Python 的PyTorch 深度學(xué)習(xí)框架。首先將RNN 輸出的每一幀的預(yù)測(cè)值與目標(biāo)值通過(guò)PyTorch 訓(xùn)練出來(lái)的模型來(lái)通過(guò)Multivariate Gaussian Distribution model（公式1）分析、比較出殘差后，在Grafana 的dashboard 中新建一個(gè)panel 來(lái)圖形化殘差，最后再通過(guò)Grafana 閾值檢測(cè)殘差，如圖3 所示，在心跳正常時(shí)，殘差起伏并不大，但當(dāng)心跳出現(xiàn)異常時(shí)，殘差將會(huì)有很大的起伏，由此，便可以結(jié)合Grafana 閾值檢測(cè)的方式來(lái)檢測(cè)殘差，當(dāng)殘差高于一定值時(shí)，向用戶(hù)發(fā)送異常。

圖3 殘差效果圖

如圖3 所示，上面的綠色序列是心跳數(shù)據(jù)，下面的紅色序列是高斯分布的概率值的倒數(shù)，當(dāng)心跳模式發(fā)生異常時(shí)，其對(duì)應(yīng)的概率倒數(shù)是非常大的，這樣可以利用可視化技術(shù)，迅速找到異常序列所在位置。

■2.2 跌倒檢測(cè)

（1）流程設(shè)計(jì)。當(dāng)老人出現(xiàn)跌倒時(shí)救助的及時(shí)性是十分重要的，系統(tǒng)每0.03 秒采集一幀圖像，使用基于Openpose[3]人體關(guān)鍵節(jié)點(diǎn)識(shí)別技術(shù)識(shí)別并標(biāo)注人體關(guān)鍵節(jié)點(diǎn)，下一步計(jì)算每一幀與上一幀相比較頭部節(jié)點(diǎn)高度梯度變化，進(jìn)行判斷，危險(xiǎn)動(dòng)作檢測(cè)系統(tǒng)如圖4 所示。如果梯度大于閾值則計(jì)算頭部與腳部節(jié)點(diǎn)之間的距離，否則繼續(xù)監(jiān)測(cè)，再比較距離是否小于閾值，如果小于就再判斷跌倒時(shí)間，如果都為真，則利用郵件的方式通知家屬，否則繼續(xù)監(jiān)測(cè)，不拋出異常。

圖4 危險(xiǎn)動(dòng)作檢測(cè)系統(tǒng)

（2）技術(shù)路線。首先，通過(guò)攝像頭捕捉室內(nèi)的圖像信息，通過(guò)Openpose 檢測(cè)出人體，并進(jìn)行人體關(guān)鍵節(jié)點(diǎn)的識(shí)別，并將節(jié)點(diǎn)數(shù)據(jù)存入實(shí)時(shí)數(shù)據(jù)庫(kù)，再利用SVM 進(jìn)行跌倒的識(shí)別。

（3）研究結(jié)果。本設(shè)計(jì)使用了基于Openpose 的人體節(jié)點(diǎn)識(shí)別技術(shù)和自研的跌倒識(shí)別算法，來(lái)監(jiān)測(cè)老人生活過(guò)程中的危險(xiǎn)行為，在跌倒識(shí)別的反應(yīng)速度上達(dá)到了毫秒級(jí)別。如圖5 所示，Openpose可以實(shí)時(shí)監(jiān)測(cè)全身包括鼻子、肩膀、膝蓋等18 個(gè)關(guān)鍵節(jié)點(diǎn)。

圖5 跌倒檢測(cè)

一旦檢測(cè)到跌倒，將及時(shí)拋出異常，實(shí)現(xiàn)了對(duì)于居家生活的跌倒檢測(cè)。

為確保跌倒監(jiān)測(cè)精確度真實(shí)可信，我們將測(cè)試摔倒情況分為6 種：前倒、后倒、隨機(jī)地向各方向側(cè)倒、下蹲系鞋帶、從座位上倒地、暈倒跪地俯身。實(shí)驗(yàn)者共6 人，每人分別對(duì)上述6 種情況做10 次實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表1 所示，經(jīng)確認(rèn)，識(shí)別準(zhǔn)確率高達(dá)96.43%，達(dá)到了行業(yè)內(nèi)算法的頂尖水準(zhǔn)。

表1 實(shí)驗(yàn)者每人進(jìn)行10次記錄成功次數(shù)

■2.3 情緒檢測(cè)

（1）流程設(shè)計(jì)。對(duì)于情緒監(jiān)測(cè)而言，首先通過(guò)攝像頭采集老人人臉圖像，采用Dlib[4]檢測(cè)出人臉后，再提取面部關(guān)鍵節(jié)點(diǎn)，再利用支持向量機(jī)SVM[5]實(shí)現(xiàn)情緒的識(shí)別，最后利用機(jī)器學(xué)習(xí)的方法對(duì)不同表情的面部關(guān)鍵節(jié)點(diǎn)模式進(jìn)行分類(lèi)，以此來(lái)實(shí)現(xiàn)對(duì)老人情緒的監(jiān)測(cè)。若情緒不正常，則在后臺(tái)生成報(bào)告，并給出輔助決策，通知家屬；若情緒正常，則將數(shù)據(jù)返回，繼續(xù)進(jìn)行監(jiān)測(cè)。具體流程如圖6 所示。

圖6 情緒監(jiān)測(cè)系統(tǒng)

（2）技術(shù)路線。系統(tǒng)對(duì)于情緒監(jiān)測(cè)主要依靠攝像頭，不斷捕捉老人人臉圖像信息，將圖像信息進(jìn)行實(shí)時(shí)分析，采用Dlib 檢測(cè)出人臉，提取面部關(guān)鍵節(jié)點(diǎn)信息，然后利用支持向量機(jī)(Support Vector Machine,SVM)實(shí)現(xiàn)情緒的識(shí)別。

（3）研究結(jié)果。情緒監(jiān)測(cè)系統(tǒng)主要通過(guò)Dlib人臉識(shí)別和SVM 支持向量機(jī)這兩種算法來(lái)實(shí)現(xiàn)。

首先基于Dlib 對(duì)人臉的各個(gè)關(guān)鍵節(jié)點(diǎn)進(jìn)行識(shí)別，圖7 為Dlib 檢測(cè)出的68 個(gè)關(guān)鍵節(jié)點(diǎn)，通過(guò)這68 個(gè)關(guān)鍵節(jié)點(diǎn)分別獲取眼睛與嘴巴的索引實(shí)現(xiàn)對(duì)臉部細(xì)節(jié)的檢測(cè)。

圖7 情緒監(jiān)測(cè)結(jié)果示意圖

再通過(guò)支持向量機(jī)對(duì)其進(jìn)行分類(lèi)，SVM 基本想法是求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并且?guī)缀伍g隔最大的分離超平面。如圖8 所示，W×X+B=0 即為分離超平面，對(duì)于線性可分的數(shù)據(jù)集來(lái)說(shuō)，這樣的超平面有無(wú)窮多個(gè)，但是幾何間隔最大的分離超平面卻是唯一的。

圖8 情緒監(jiān)測(cè)結(jié)果示意圖

以不同臉型做出的表情（如：喜、怒、哀、樂(lè)）作為龐大的數(shù)據(jù)庫(kù)，同時(shí)對(duì)這四個(gè)表情做出的概率進(jìn)行估算并返回概率最高的那一個(gè)表情，其檢測(cè)結(jié)果如圖9 所示。當(dāng)我們做出不同表情時(shí)，Dlib 獲取了嘴巴和眼睛關(guān)鍵節(jié)點(diǎn)的索引，SVM 劃分平面并輸出表情。

圖9 情緒監(jiān)測(cè)結(jié)果示意圖

3 結(jié)語(yǔ)

本系統(tǒng)是為獨(dú)居老人子女設(shè)計(jì)一套實(shí)時(shí)監(jiān)測(cè)老人健康與情緒的系統(tǒng)。通過(guò)使用RNN 算法與Grafana 相結(jié)合的心跳異常檢測(cè)功能、基于Openpose 人體關(guān)鍵節(jié)點(diǎn)識(shí)別技術(shù)的跌倒檢測(cè)功能以及基于Dlib 與支持向量機(jī)SVM 算法的情緒識(shí)別功能，方便在外子女關(guān)心老人，助力智慧醫(yī)療的發(fā)展。