摘 要:隨著人口老齡化趨勢不斷加劇,養(yǎng)老院的安全與風(fēng)險管理日益成為重要的研究課題。為應(yīng)對養(yǎng)老院安全與風(fēng)險管理面臨的挑戰(zhàn),旨在設(shè)計一種多渠道信息傳達的養(yǎng)老院安全與風(fēng)險預(yù)警系統(tǒng)。首先,采用深度學(xué)習(xí)算法YOLO-GhostNet-SE實現(xiàn)對養(yǎng)老院中潛在危險的高效檢測與識別。其次,構(gòu)建多渠道數(shù)據(jù)傳達系統(tǒng),包括視頻監(jiān)控、傳感器網(wǎng)絡(luò)、移動應(yīng)用等,以實時獲取全方位、多源頭的數(shù)據(jù)信息。然后,提出一種高效的信息傳達與融合策略,對來自不同渠道的數(shù)據(jù)進行整合與分析,以實現(xiàn)對養(yǎng)老院安全狀態(tài)的全面評估。同時,引入智能決策與預(yù)測技術(shù),對潛在風(fēng)險進行及時預(yù)警,并優(yōu)化預(yù)警策略,確保負(fù)責(zé)人及時、精準(zhǔn)地采取干預(yù)措施。該系統(tǒng)能夠讓養(yǎng)老院管理人員更直觀、便捷地查看養(yǎng)老院的安全狀態(tài)并做出決策。
關(guān)鍵詞:養(yǎng)老院安全;風(fēng)險預(yù)警;多渠道信息傳達;YOLO-GhostNet-SE;智能決策;物聯(lián)網(wǎng)技術(shù);摔倒檢測
中圖分類號:TP311.52 文獻標(biāo)識碼:A 文章編號:2095-1302(2024)09-00-05
DOI:10.16667/j.issn.2095-1302.2024.09.007
0 引 言
如今,國內(nèi)外老年人生活服務(wù)產(chǎn)業(yè)正朝著智慧化和智能化方向迅速發(fā)展[1]。已有研究者對養(yǎng)老院安保系統(tǒng)進行了設(shè)計。例如,Hsu等人[2]研究了基于數(shù)據(jù)驅(qū)動的人體跌倒自動監(jiān)測混合傳感平臺,解決了養(yǎng)老院監(jiān)測中存在的延時問題。李佳潤[3]構(gòu)建了多用戶養(yǎng)老服務(wù)系統(tǒng),能夠滿足老年人“衣、食、住、行、用、養(yǎng)、醫(yī)”等方面的基本需求。Wongpun
等人[4]研發(fā)了在線支持系統(tǒng)OSSEC,該系統(tǒng)能夠為非專職照顧者提供相應(yīng)的知識,輔助他們照料老人,進而減輕他們的負(fù)擔(dān)。
雖然國內(nèi)外的研究都取得了一定成果,但其中關(guān)于養(yǎng)老院的安全與風(fēng)險管理方面的研究仍然不多。本文設(shè)計了一套基于物聯(lián)網(wǎng)技術(shù)與YOLO-GhostNet-SE算法的多渠道信息傳達的養(yǎng)老院安全與風(fēng)險預(yù)警系統(tǒng)。該系統(tǒng)能夠識別老年人的動作并進行等級評價;同時采用多渠道傳達的方式,提高急救效率,減少不必要的人力消耗,確保老年人的安全。此外,系統(tǒng)還能夠預(yù)估潛在的風(fēng)險,使安全指數(shù)得到提高。
1 系統(tǒng)技術(shù)介紹
1.1 軟件部分
(1)視頻編解碼技術(shù)
視頻編解碼技術(shù)[5]的發(fā)展分為3大階段,本系統(tǒng)采用第3
階段的H.265視頻編解碼技術(shù)。與前兩個階段相比,其具有壓縮率高、時延短、魯棒性強、獲取碼流快、復(fù)雜度低等
優(yōu)點[6-7]。
(2)深度學(xué)習(xí)算法
目前,根據(jù)采用的數(shù)據(jù)源類型不同,可將基于深度學(xué)習(xí)的人體異常行為識別網(wǎng)絡(luò)框架分為兩類[8]:基于關(guān)節(jié)點數(shù)據(jù)模態(tài)的異常行為識別和基于RGB視頻序列的人體異常行為識別。劉曦澤[9]通過設(shè)計動作判別函數(shù),實時匹配數(shù)據(jù),實現(xiàn)動作的快速識別。薛盼盼等人[10]提出了基于擴張殘差網(wǎng)絡(luò)和雙分支結(jié)構(gòu)的人體行為識別方法,其準(zhǔn)確率高于現(xiàn)有其他方法。張紅民等人[11]提出了基于YOLOv3-MSSE的人體異常行為檢測方法,相比其他方法其檢測精度和性能都較高。
本文在YOLO-GhostNet-SE算法[12]的基礎(chǔ)上對其進行了優(yōu)化,同時還引入了注意力機制。相比其他深度學(xué)習(xí)算法,本文算法具有高效、輕量、識別精度高等優(yōu)點。
1.2 硬件部分
1.2.1 監(jiān)控攝像頭
系統(tǒng)采用了海康威視網(wǎng)絡(luò)攝像頭DS-2CD7A87EWDV3-XZS/ZJ、CMOS圖像傳感器[13-14]和Ambarella H3視頻采集處理芯片,能夠?qū)崟r監(jiān)測和分析養(yǎng)老院內(nèi)的監(jiān)控畫面以及編碼和解碼H.265標(biāo)準(zhǔn)下的視頻數(shù)據(jù),并且對帶寬和存儲空間的要求比較低。
1.2.2 異常行為識別模塊
本文選取iTop-RK3399開發(fā)板進行深度學(xué)習(xí)的圖像識別處理,它具有較強的計算能力和圖形處理性能,可通過GPU來提高深度學(xué)習(xí)模型的推理性能。
異常行為識別模塊通過內(nèi)置傳感器采集數(shù)據(jù)。其中包含LIS2DW12加速度計、MSP430G2303微處理器單元[15],二者均具有超低功耗和高性能的特點,可以有效監(jiān)測摔倒事件并觸發(fā)相應(yīng)救助措施。
2 系統(tǒng)總體設(shè)計
2.1 系統(tǒng)總體架構(gòu)
如圖1所示,系統(tǒng)總體架構(gòu)主要分成5個層次:用戶界面層、應(yīng)用程序?qū)?、服?wù)層、數(shù)據(jù)訪問層、第三方服務(wù)集成。
2.2 系統(tǒng)總體業(yè)務(wù)流程
系統(tǒng)的業(yè)務(wù)流程可以分成3大模塊:數(shù)據(jù)采集與處理模塊、異常行為識別與處理模塊以及警報與通知模塊。系統(tǒng)通過攝像頭和Ambarella芯片進行數(shù)據(jù)采集,采用YOLO-GhostNet-SE算法進行異常行為識別,通過APP進行警報和通知的分級傳達。系統(tǒng)總體業(yè)務(wù)流程如圖2所示。
3 軟件設(shè)計
3.1 視頻采集設(shè)計
系統(tǒng)基于H.265視頻編解碼技術(shù),通過高效壓縮和傳輸視頻,降低了數(shù)據(jù)量并提高了視頻質(zhì)量,為優(yōu)化圖像識別算法提供了更優(yōu)秀的訓(xùn)練集,從而完善了安保系統(tǒng)的構(gòu)建。H.265視頻編解碼技術(shù)的業(yè)務(wù)流程如圖3所示。
3.2 算法設(shè)計
3.2.1 優(yōu)化算法
(1)數(shù)據(jù)增強:應(yīng)用數(shù)據(jù)增強技術(shù),例如隨機裁剪、旋轉(zhuǎn)、縮放、水平翻轉(zhuǎn)等,對訓(xùn)練數(shù)據(jù)進行增強,以擴充數(shù)據(jù)集并提高模型的魯棒性。
(2)損失函數(shù)設(shè)計:使用組合損失函數(shù)來完成目標(biāo)監(jiān)測任務(wù),分別是分類損失函數(shù)和定位損失函數(shù)。針對目標(biāo)不平衡問題,利用Focal Loss損失函數(shù)來解決。
(3)硬件加速:利用GPU加快模型的訓(xùn)練和推斷速度。
(4)學(xué)習(xí)率調(diào)整策略:采用學(xué)習(xí)率衰減方法中的余弦退火策略,以獲得更好的模型收斂性能。
(5)網(wǎng)絡(luò)剪枝和量化:應(yīng)用網(wǎng)絡(luò)剪枝和量化技術(shù)來刪除冗余連接或參數(shù),減少模型參數(shù),降低計算復(fù)雜度。
3.2.2 數(shù)據(jù)集和規(guī)模
在訓(xùn)練圖像識別算法時,通過自行采集和使用UCF101、Holly Wood-2等大規(guī)模的公開圖像數(shù)據(jù)集進行訓(xùn)練。在進行養(yǎng)老院危險信息識別時,采用包含養(yǎng)老院環(huán)境中各種危險情況的圖像數(shù)據(jù)集,包括摔倒、打架斗毆、虐待、突發(fā)疾病等情況的圖像數(shù)據(jù)。
3.2.3 YOLO-GhostNet-SE算法模型訓(xùn)練
(1)模型訓(xùn)練環(huán)境
基于YOLO-GhostNet-SE算法進行模型訓(xùn)練時,采用Linux操作系統(tǒng)的GPU服務(wù)器提供計算資源。訓(xùn)練虛擬環(huán)境:Python 3.8.5;工具包:Pycocotools;開發(fā)平臺:PyTorch;GPU型號配置:CUDA 11.1;圖形化界面:PyQt 5。
(2)參數(shù)調(diào)整
設(shè)置初始學(xué)習(xí)率為0.001,實驗過程中采用學(xué)習(xí)率衰減策略。批量大小由16改為4,降低過擬合風(fēng)險。迭代次數(shù)設(shè)為100,并使用早停策略。
(3)模型訓(xùn)練步驟
步驟1:在公開的UCF101、Holly Wood-2等圖像視頻數(shù)據(jù)集中收集異常行為的特征圖,建立一個數(shù)據(jù)庫。
步驟2:通過RTSP協(xié)議,配置IP地址等參數(shù),獲取攝像頭的視頻畫面,從中收集實時視頻流并將其送入系統(tǒng)中進行分析。
步驟3:將傳入系統(tǒng)的實時視頻畫面進行預(yù)處理,可提高圖像質(zhì)量和系統(tǒng)識別性能。
步驟4:用收集到的正常和異常行為數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型,將特征圖像輸入到Y(jié)OLO-GhostNet-SE算法中來完成模型訓(xùn)練。采用訓(xùn)練好的模型分析視頻畫面并判斷行為是否異常。
3.2.4 算法應(yīng)用
本文采用YOLO-GhostNet-SE算法進行深度學(xué)習(xí)訓(xùn)練,進而識別養(yǎng)老院的異常信息。通過OpenCV截取視頻幀作為輸入數(shù)據(jù)?;赑yTorch框架將訓(xùn)練好的模型部署在服務(wù)器端,并通過RESTful API提供實時的危險信息檢測和報警處理服務(wù)。手機端APP/小程序通過調(diào)用服務(wù)器的API對視頻流進行實時檢測。算法與各模塊的關(guān)系如圖4所示。
3.3 APP/小程序設(shè)計
(1)APP/小程序的警報業(yè)務(wù)流程
系統(tǒng)收到服務(wù)器發(fā)送的異常信息后,通過深度學(xué)習(xí)算法分析并觸發(fā)警報,同時記錄并豐富數(shù)據(jù)庫特征,以便更全面地分析數(shù)據(jù)。客戶端收到異常數(shù)據(jù)后對其進行存儲并解析,系統(tǒng)根據(jù)異常行為等級發(fā)送警報和視頻到對應(yīng)手機APP終端。
(2)以多渠道分級的形式傳達信息給不同對象
針對手機APP發(fā)出的警報,系統(tǒng)基于事故等級通過多渠道傳達方式將通知分級傳達給不同對象來實現(xiàn)對老年人行為的監(jiān)控和異常行為的識別。
① 多渠道傳達方式
攝像頭識別到異常行為后,通過手機APP、電話和短信多種方式向養(yǎng)老院內(nèi)的保安、護工、管理層人員以及養(yǎng)老院外的老人家屬、醫(yī)院和警察傳達圖像信息和警報。
② 基于事故等級分級傳達通知給不同對象
監(jiān)測系統(tǒng)根據(jù)事故等級分級傳達通知給不同對象以便及時處理問題。
等級I:通知護工處理老人的輕微事故;等級II:通知保安、護工、老人家屬處理老人間的沖突;等級III:通知保安、護工、管理層人員、老人家屬處理職員與老人的沖突;等級IV:通知所有相關(guān)對象處理緊急狀況。這樣的分級傳達能夠提高資源利用效率,使系統(tǒng)更人性化。APP/小程序多渠道分級傳達流程如圖5所示。
4 摔倒檢測手環(huán)的設(shè)計
摔倒檢測手環(huán)是與本文的安全與風(fēng)險預(yù)警系統(tǒng)配套研發(fā)的,其核心功能為摔倒檢測,其他功能為輔助功能,如圖6所示。
手環(huán)產(chǎn)品如圖7所示,其中包括嵌入式攝像頭模塊、iTop-RK3399開發(fā)板模塊、內(nèi)置傳感器模塊、手機應(yīng)用程序模塊。各模塊的具體功能如圖8所示。摔倒檢測手環(huán)與其他各模塊通信,并進行數(shù)據(jù)交互、算法協(xié)作和控制命令傳遞,進而實現(xiàn)摔倒事件檢測、用戶狀態(tài)監(jiān)測和緊急求救等
功能。
用戶可直接將手環(huán)佩戴在手腕上,手環(huán)可以作為數(shù)據(jù)采集裝置,通過內(nèi)置的傳感器(如加速度計)采集用戶的運動數(shù)據(jù)和生理參數(shù),捕捉用戶的手腕動作和姿態(tài)變化。手環(huán)還可以作為個人保護裝置,實時監(jiān)測用戶的身體狀態(tài)和異常事件,具有摔倒檢測等功能。
5 結(jié) 語
本文設(shè)計了一款基于物聯(lián)網(wǎng)技術(shù)與YOLO-GhostNet-SE算法的多渠道信息傳達的養(yǎng)老院安全與風(fēng)險預(yù)警系統(tǒng)。通過深度學(xué)習(xí)等技術(shù)識別用戶的異常行為;根據(jù)事故等級分級傳達警報通知,實現(xiàn)了信息的多渠道傳達。本文的研究為養(yǎng)老院工作提質(zhì)增效和保障老人人身安全提供了有效解決方案。
注:本文通訊作者為楊佳米。
參考文獻
[1]孟李雪,張艷,田雨同,等.養(yǎng)老機構(gòu)智慧養(yǎng)老系統(tǒng)研究進展[J].護理研究,2023,37(6):1011-1014.
[2] HSU F S,CHANG T C,SU Z J,et al. Smart fall detection framework using hybridized video and ultrasonic sensors [J].Micromachines,2021,12(5):508.
[3]李佳潤.面向需求的吉林省養(yǎng)老服務(wù)平臺功能設(shè)計及其實現(xiàn)[D].長春:吉林大學(xué),2021.
[4] WONGPUN S,GUHA S. Caregivers for the elderly in Thailand:development and evaluation of an online support system [J]. Information development,2020,36(1):112-127.
[5]張碩,王中刊,趙旦峰.高清視頻多路傳輸系統(tǒng)的設(shè)計與實現(xiàn)[J].電子技術(shù)與軟件工程,2017,6(13):44-45.
[6] JURAJ B,MIROSLAV U,LUKAS S,et al. Impact of packet loss rate on quality of compressed high resolution videos [J]. Sensors,2023,23(5):2744.
[7] EVGENY B. An efficient compressive sensed video codec with inter-frame decoding and low-complexity intra-frame encoding [J]. Sensors,2023,23(3):1368.
[8]姬曉飛,趙東陽.人體檢測與異常行為識別聯(lián)合算法[J].科學(xué)技術(shù)與工程,2023,23(8):3370-3378.
[9]劉曦澤.基于規(guī)則的身體動作快速識別方法[J].科學(xué)技術(shù)與工程,2022,22(2):606-613.
[10]薛盼盼,劉云,李輝,等.基于時域擴張殘差網(wǎng)絡(luò)和雙分支結(jié)構(gòu)的人體行為識別[J].控制與決策,2022,37(11):2993-3002.
[11]張紅民,李萍萍,房曉冰,等.改進YOLOv3網(wǎng)絡(luò)模型的人體異常行為檢測方法[J].計算機科學(xué),2022,49(4):233-238.
[12]譚金鴻. 基于深度學(xué)習(xí)的人體異常行為識別[D].成都:電子科技大學(xué),2022.
[13]嚴(yán)明,白瓊,李剛,等.瞬態(tài)成像模式下高幀頻CMOS圖像傳感器性能研究[J].紅外與激光工程,2022,51(8):441-449.
[14]劉業(yè)琦,吳治軍,劉昌舉,等.一種應(yīng)用于安防監(jiān)控的CMOS圖像傳感器的自動曝光算法研究[J].半導(dǎo)體光電,2017,38(2):283-287.
[15]陳翔.基于加速度傳感器的摔倒檢測研究[D].福州:福州大學(xué),2018.
收稿日期:2023-09-09 修回日期:2023-10-10
基金項目:廣東省重點建設(shè)學(xué)科科研能力提升項目:輕量化聯(lián)邦學(xué)習(xí)范式及其應(yīng)用研究(2022ZDJS058);廣東省海外名師項目:人工智能與新一代智能制造技術(shù)研究;2021年廣東省教育廳項目:惠州信息技術(shù)類科產(chǎn)教融合實踐教學(xué)基地(15109220317)
作者簡介:張曉歡(1983—),女,博士研究生,講師,研究方向為人工智能、圖像處理、企業(yè)智能計算。
楊佳米(2002—),女,研究方向為人工智能、圖像處理。
謝琬儀(2003—),女,研究方向為人工智能、圖像處理。
傅裕超(2002—),女,研究方向為人工智能、圖像處理。
吳嘉偉(2002—),男,研究方向為人工智能、圖像處理。
楊志杰(2002—),男,研究方向為人工智能、圖像處理。