【作 者】 張捷，劉濤，于云瀟

1 上海中僑職業(yè)技術(shù)大學(xué)，上海市，201203

2 上海中僑健康智能科技有限公司，上海市，201203

0 引言

隨著社會(huì)的發(fā)展和人口老齡化進(jìn)程的加快，老年人在社區(qū)和居家環(huán)境下的綜合安全問(wèn)題日益突出，已成為社會(huì)急需解決的問(wèn)題。目前，我國(guó)的養(yǎng)老研究有居家養(yǎng)老、社區(qū)養(yǎng)老和機(jī)構(gòu)養(yǎng)老3種模式。其中，超過(guò)99%的老年人在居家和社區(qū)養(yǎng)老，僅有不到1%的老年人在機(jī)構(gòu)養(yǎng)老[1]。老年人隨著年齡的增加，衰老癥狀和退行性病變會(huì)逐步加快加深，生理機(jī)能逐漸衰退，認(rèn)知能力也隨之下降。在居家和社區(qū)環(huán)境下，容易出現(xiàn)獨(dú)居老年人跌倒、疾病突發(fā)、廚房明火、煙霧、煤氣泄漏等風(fēng)險(xiǎn)，認(rèn)知癥障礙老年人走失及老年人集中活動(dòng)場(chǎng)所的安全隱患。

跌倒是老人失能的重要拐點(diǎn)和傷害死亡的首位原因，被稱(chēng)為“頭號(hào)殺手”，且隨年齡的增加，跌倒的死亡率急劇上升[2]。目前，國(guó)內(nèi)外對(duì)老年人的跌倒監(jiān)測(cè)主要有四類(lèi)技術(shù)方案：第一類(lèi)是手環(huán)手表穿戴式設(shè)備類(lèi)，由于設(shè)備監(jiān)測(cè)準(zhǔn)確性差，因老人抗拒穿戴且設(shè)備需要頻繁充電等弊端而使用受限；第二類(lèi)是遠(yuǎn)紅外熱成像設(shè)備類(lèi)，這類(lèi)設(shè)備目前主要用在工業(yè)領(lǐng)域，因?yàn)槌杀靖?、價(jià)格昂貴而無(wú)法在養(yǎng)老領(lǐng)域?qū)嵤?；第三?lèi)是微波雷達(dá)類(lèi)，該技術(shù)方案具有保護(hù)老年人隱私的優(yōu)點(diǎn)，但使用場(chǎng)景受限，只能用于單人使用場(chǎng)景，無(wú)法同時(shí)監(jiān)測(cè)多人跌倒，對(duì)人和動(dòng)物無(wú)法有效區(qū)分，監(jiān)測(cè)結(jié)果準(zhǔn)確性易受測(cè)試自然環(huán)境如風(fēng)吹動(dòng)浴簾等影響；第四類(lèi)是攝像頭設(shè)備類(lèi)，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等人工智能技術(shù)，該技術(shù)方案成熟、監(jiān)測(cè)準(zhǔn)確率高，產(chǎn)品產(chǎn)業(yè)鏈成熟，價(jià)格親民，可在機(jī)構(gòu)、社區(qū)和居家等不同養(yǎng)老場(chǎng)景中靈活部署實(shí)施，但一般部署在公共開(kāi)放區(qū)域，在室內(nèi)隱私區(qū)域無(wú)法部署。

總結(jié)上述4種檢測(cè)系統(tǒng)的優(yōu)缺點(diǎn)，本系統(tǒng)的開(kāi)發(fā)具有以下特色：①全場(chǎng)景全時(shí)段綜合看護(hù)，覆蓋居家和社區(qū)的養(yǎng)老場(chǎng)景；②無(wú)感看護(hù)方式，不改變老人已有的生活習(xí)慣；③人工智能算法綜合判定自動(dòng)報(bào)警，算法準(zhǔn)確率高，支持電話(huà)語(yǔ)音報(bào)警方式；④保護(hù)老人隱私，針對(duì)居家養(yǎng)老場(chǎng)景，火柴人圖像方式呈現(xiàn)，不存儲(chǔ)老人圖像；⑤針對(duì)社區(qū)養(yǎng)老場(chǎng)景，系統(tǒng)可以復(fù)用現(xiàn)有的攝像頭、局域網(wǎng)及計(jì)算機(jī)設(shè)備，可直接導(dǎo)入部署系統(tǒng)。其中，主要?jiǎng)?chuàng)新點(diǎn)有：①針對(duì)養(yǎng)老領(lǐng)域自建高質(zhì)量的跌倒數(shù)據(jù)集；②對(duì)于誤報(bào)數(shù)據(jù)和漏報(bào)數(shù)據(jù)，自動(dòng)循環(huán)加入訓(xùn)練集更新模型文件；③跌倒監(jiān)測(cè)流程中引入座椅識(shí)別和地面識(shí)別功能，可提高算法的準(zhǔn)確性。

1 基于人工智能技術(shù)和信息融合的養(yǎng)老安全綜合監(jiān)測(cè)系統(tǒng)設(shè)計(jì)

1.1 養(yǎng)老安全系統(tǒng)硬件架構(gòu)

本系統(tǒng)是將人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)、信息融合等新技術(shù)應(yīng)用于養(yǎng)老安防領(lǐng)域，實(shí)現(xiàn)對(duì)老年人全方位全時(shí)段的實(shí)時(shí)看護(hù)，采集老人的十多種數(shù)據(jù)（例如，人體姿態(tài)、活動(dòng)軌跡、夜間睡覺(jué)信息、心率呼吸體動(dòng)、廚房煙霧、燃?xì)?、用水量、開(kāi)關(guān)門(mén)狀態(tài)、主動(dòng)呼叫信息、外出位置定位等），數(shù)據(jù)經(jīng)過(guò)人工智能算法實(shí)時(shí)分析，對(duì)于老年人跌倒、疾病突發(fā)、燃?xì)鉄熿F、異常出入、緊急求助等高危狀態(tài)實(shí)現(xiàn)智能報(bào)警。本系統(tǒng)硬件架構(gòu)如圖1所示。

圖1 養(yǎng)老安全綜合監(jiān)測(cè)系統(tǒng)硬件架構(gòu)Fig.1 Hardware architecture of comprehensive monitoring system for elderly care safety

1.2 養(yǎng)老安全系統(tǒng)軟件設(shè)計(jì)

本系統(tǒng)軟件架構(gòu)如圖2所示。軟件平臺(tái)包括4部分，分別是數(shù)據(jù)層、平臺(tái)層、算法層和應(yīng)用層。數(shù)據(jù)層主要包括視頻流數(shù)據(jù)和IoT數(shù)據(jù)，其中視頻流數(shù)據(jù)指通過(guò)攝像頭采集各個(gè)點(diǎn)位的視頻，實(shí)時(shí)截圖后傳輸給上層平臺(tái)層。平臺(tái)層主要指?jìng)鞲衅鲾?shù)據(jù)融合、存儲(chǔ)、根據(jù)任務(wù)定義進(jìn)行路由傳輸?shù)?。算法層包括人工智能模型?xùn)練和模型推理兩部分。應(yīng)用層指算法層，可自動(dòng)識(shí)別的跌倒、疾病突發(fā)、異常出入、燃?xì)鉄熿F等高危事件通過(guò)報(bào)警來(lái)呈現(xiàn)，根據(jù)需要可以采用不同的報(bào)警呈現(xiàn)方式。

圖2 養(yǎng)老安全綜合監(jiān)測(cè)系統(tǒng)方案軟件架構(gòu)Fig.2 Software architecture of comprehensive monitoring system for elderly care safety

2 人體姿態(tài)估計(jì)與行為識(shí)別技術(shù)方案

本系統(tǒng)方案包括人體姿態(tài)估計(jì)與行為識(shí)別子系統(tǒng)和物聯(lián)網(wǎng)看護(hù)子系統(tǒng)。該人體姿態(tài)估計(jì)與行為識(shí)別方案，包含4個(gè)部分：數(shù)據(jù)集、模型訓(xùn)練、模型推理、行為動(dòng)作判定。人體姿態(tài)估計(jì)與行為識(shí)別技術(shù)方案框架如圖3所示。

圖3 人體姿態(tài)估計(jì)與行為識(shí)別方案框架Fig.3 Scheme block structure of human posture estimation and behavior recognition

2.1 方案概述

人體姿態(tài)估計(jì)技術(shù)最廣泛的應(yīng)用是行為動(dòng)作識(shí)別，本系統(tǒng)選擇down-top方案具備在社區(qū)養(yǎng)老場(chǎng)景下多人快速識(shí)別的優(yōu)勢(shì)。down-top算法識(shí)別的人體關(guān)鍵節(jié)點(diǎn)數(shù)據(jù)如圖4所示。

圖4 采用down-top算法識(shí)別的人體關(guān)鍵節(jié)點(diǎn)數(shù)據(jù)Fig.4 Data of key human nodes identified by down-top algorithm

通過(guò)自建社區(qū)居家的真實(shí)養(yǎng)老場(chǎng)景特殊數(shù)據(jù)集，可有效提高模型算法的準(zhǔn)確率[3]。因?yàn)閷?shí)際社區(qū)居家養(yǎng)老場(chǎng)景下行為動(dòng)作數(shù)據(jù)集有限、訓(xùn)練集小樣本的特點(diǎn)，且對(duì)圖像識(shí)別的目標(biāo)只是區(qū)分跌倒和非跌倒兩種狀態(tài)，所以采用傳統(tǒng)機(jī)器學(xué)習(xí)模型，將人體姿態(tài)關(guān)節(jié)信息作為參數(shù)構(gòu)建人體姿態(tài)分類(lèi)模型，對(duì)不同社區(qū)和居家養(yǎng)老場(chǎng)景的真實(shí)圖像數(shù)據(jù)采用聯(lián)邦學(xué)習(xí)機(jī)制，保護(hù)各自用戶(hù)的數(shù)據(jù)，并且提高訓(xùn)練的速度[4]。在實(shí)際社區(qū)和居家養(yǎng)老場(chǎng)景下，容易出現(xiàn)人體部分關(guān)節(jié)被鄰近座椅遮擋而無(wú)法識(shí)別的情況，方案創(chuàng)新性地引入座椅識(shí)別模型增加對(duì)座椅等物體識(shí)別，排除人體躺在座椅上因?yàn)椴糠终趽醵`報(bào)的情況。同時(shí)，創(chuàng)新性地引入地面識(shí)別模型對(duì)地面的識(shí)別，降低對(duì)跌倒的誤報(bào)率。

本系統(tǒng)方案通過(guò)對(duì)人體姿態(tài)估計(jì)、人體鄰近座椅的物體識(shí)別、人體所在地面的識(shí)別，綜合分析后最終對(duì)老人行為動(dòng)作進(jìn)行判定和報(bào)警。同時(shí)這些跌倒或非跌倒的圖像和標(biāo)注更新到數(shù)據(jù)集，進(jìn)一步提高算法的準(zhǔn)確度。本系統(tǒng)方案不存儲(chǔ)圖像，避免泄露用戶(hù)的隱私，保護(hù)信息與數(shù)據(jù)的安全。

2.2 人體特定姿態(tài)數(shù)據(jù)集

根據(jù)數(shù)據(jù)集的數(shù)據(jù)特點(diǎn)和獲取方式，可以把人體行為識(shí)別領(lǐng)域常用的公開(kāi)數(shù)據(jù)集分為4類(lèi)：通用數(shù)據(jù)集、真實(shí)場(chǎng)景數(shù)據(jù)集、多視角數(shù)據(jù)集和特殊數(shù)據(jù)集。真實(shí)場(chǎng)景數(shù)據(jù)集主要是從電影或視頻中收集的數(shù)據(jù)，其特點(diǎn)是相機(jī)、場(chǎng)景不固定且同類(lèi)動(dòng)作的類(lèi)內(nèi)散度比較大。近年來(lái)，隨著對(duì)老人、孩子等特殊群體安全及監(jiān)護(hù)的需求，相繼出現(xiàn)了包含跌倒行為在內(nèi)的特殊數(shù)據(jù)集[5]。在實(shí)際的居家社區(qū)場(chǎng)景人工智能應(yīng)用中，無(wú)論采用第三方的真實(shí)場(chǎng)景數(shù)據(jù)集還是特殊數(shù)據(jù)集進(jìn)行訓(xùn)練，研究方法和評(píng)價(jià)方案都需要匹配修改，其算法識(shí)別準(zhǔn)確率受到很大局限性。所以，本系統(tǒng)基于居家社區(qū)場(chǎng)景實(shí)際需求，自行構(gòu)建人體特定姿勢(shì)數(shù)據(jù)集。

人體特定姿勢(shì)數(shù)據(jù)集來(lái)自社區(qū)養(yǎng)老活動(dòng)中心，該數(shù)據(jù)集的行為類(lèi)別可以歸納為4種類(lèi)型：①站立動(dòng)作；②坐下動(dòng)作：坐在椅子上、坐在輪椅上、坐在床邊緣；③蹲下動(dòng)作：淺蹲，深蹲；④跌倒動(dòng)作：仰面倒地、側(cè)臥倒地、臉趴著倒地、手撐地后仰倒地、背靠墻面后仰倒地、倒地部分有遮擋，其示例如圖5所示。其中，訓(xùn)練集、驗(yàn)證集和測(cè)試集均具有手動(dòng)驗(yàn)證標(biāo)簽，JSON文件用于存儲(chǔ)標(biāo)簽信息。因?yàn)樵摂?shù)據(jù)集來(lái)源不同的攝像頭，并伴有遮擋、相機(jī)角度、復(fù)雜背景、光照條件變化等諸多因素影響，極具挑戰(zhàn)性。

圖5 人體特定姿勢(shì)數(shù)據(jù)集跌倒示例Fig.5 Fall example diagram of human body specific posture dataset

2.3 循環(huán)迭代模型訓(xùn)練

由于實(shí)際圖片伴有遮擋、相機(jī)角度、復(fù)雜背景、光照條件變化等諸多因素影響，對(duì)老年人跌倒?fàn)顟B(tài)的自動(dòng)監(jiān)測(cè)仍會(huì)有一些誤報(bào)和漏報(bào)。本系統(tǒng)自動(dòng)周期性將誤報(bào)圖片和漏報(bào)圖片加入數(shù)據(jù)集中進(jìn)行模型訓(xùn)練更新。針對(duì)跌倒誤報(bào)圖片和漏報(bào)圖片，本系統(tǒng)自動(dòng)實(shí)現(xiàn)異常圖片的采集、標(biāo)注和模型自動(dòng)訓(xùn)練的功能。

2.4 系統(tǒng)驗(yàn)證

本系統(tǒng)在上海市某養(yǎng)老院實(shí)際運(yùn)行長(zhǎng)達(dá)2年，對(duì)約三十萬(wàn)人次進(jìn)行連續(xù)監(jiān)控，報(bào)警規(guī)則閾值可根據(jù)自學(xué)習(xí)算法智能調(diào)整，誤報(bào)圖片自動(dòng)輸入進(jìn)行模型全自動(dòng)訓(xùn)練升級(jí)。老年人非跌倒行為準(zhǔn)確率為98.8%，老年人跌倒行為準(zhǔn)確率為95%。其中，創(chuàng)新性引入座椅識(shí)別和地面識(shí)別模型，極大地減少了系統(tǒng)誤報(bào)。同時(shí)養(yǎng)老院夜間樓層護(hù)理員由6人減少到2人，提質(zhì)增效已達(dá)到預(yù)期用途。相比產(chǎn)業(yè)界只采用其他神經(jīng)網(wǎng)絡(luò)算法模式如Yolo等實(shí)現(xiàn)跌倒的目標(biāo)檢測(cè)準(zhǔn)確率一般為75%～80%，本系統(tǒng)的跌倒檢測(cè)準(zhǔn)確率有較大的優(yōu)勢(shì)。

本系統(tǒng)即將在上海市某社區(qū)場(chǎng)景和長(zhǎng)護(hù)險(xiǎn)獨(dú)居長(zhǎng)者居家場(chǎng)景中部署試用，為老人在社區(qū)和居家的綜合安全提供保障，尤其適合社區(qū)高齡老人和居家獨(dú)居老人。

3 總結(jié)

本研究提出了一種基于人工智能和信息融合的養(yǎng)老安全綜合監(jiān)測(cè)系統(tǒng)的研發(fā)與應(yīng)用的方法，通過(guò)多種傳感器采集老年人的安全健康數(shù)據(jù)，主要目的是對(duì)老年人在社區(qū)和居家可能出現(xiàn)的各種安全與健康風(fēng)險(xiǎn)實(shí)現(xiàn)報(bào)警。其次，通過(guò)對(duì)人體姿態(tài)估計(jì)與行為識(shí)別技術(shù)的不斷創(chuàng)新研究，提高了實(shí)際應(yīng)用中算法的準(zhǔn)確率，自動(dòng)看護(hù)和管理老年人跌倒、疾病突發(fā)、異常出入、燃?xì)鉄熿F等高危風(fēng)險(xiǎn)，降低養(yǎng)老服務(wù)人員的人力投入，具有良好的應(yīng)用前景。上海市物聯(lián)網(wǎng)行業(yè)協(xié)會(huì)已發(fā)布T/SIOT 315—2021《智慧健康養(yǎng)老 老年人跌倒智能監(jiān)測(cè)系統(tǒng)技術(shù)要求》團(tuán)體標(biāo)準(zhǔn)，相信隨著社區(qū)居家養(yǎng)老服務(wù)一體化的發(fā)展，本系統(tǒng)將在養(yǎng)老領(lǐng)域發(fā)揮較大的作用。