楊宇軒 郭慶 鄒方馳 梁曉雪 曾傲雪

摘要：為了減輕家長對幼兒看護的壓力，該文設(shè)計了一種基于AI+IoT技術(shù)的幼兒輔助看護系統(tǒng)。該系統(tǒng)采用攝像頭連接手機終端對幼兒狀態(tài)進行畫面的實時監(jiān)控，采用傳感器對數(shù)據(jù)進行采集，并在軟件平臺上完成對數(shù)據(jù)的處理，進行可視化分析，最終實現(xiàn)對幼兒情緒、語音以及安全活動范圍的檢測，也可以檢測幼兒的體溫、心率等生命體征，當(dāng)檢測到異常時，觸發(fā)危險警報系統(tǒng)提醒家長，家長可在手機終端實時查看孩子的狀態(tài)，實現(xiàn)對幼兒的輔助看護。

關(guān)鍵詞：AI;IoT;實時監(jiān)控;數(shù)據(jù)處理;輔助看護

中圖分類號：TP399? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2022）22-0072-03

1 引言

自二胎政策實施以來，我國出生人口大幅增加，嬰幼兒數(shù)量逐步增加，各種安全事故頻發(fā)。家長大多都比較忙碌，對嬰幼兒的照顧會有所疏忽，因此嬰幼兒看護也受到越來越多的關(guān)注[1]。鑒于此，本文設(shè)計了一種基于AI+IoT技術(shù)對幼兒輔助看護系統(tǒng)。該項目通過調(diào)用百度人臉檢測API接口，實現(xiàn)人臉情緒識別，并用物聯(lián)網(wǎng)連接技術(shù)將各類傳感器、ARM單片機以及終端相連接，形成一個完善的物聯(lián)網(wǎng)智能看護系統(tǒng)。

基于百度 AI 開放平臺的人臉識別技術(shù)，提供了人臉檢測與情緒等屬性分析、人臉對比、人臉?biāo)阉?、活體檢測等功能，并且情緒識別功能完善;基于百度 AI 開放平臺的語言處理應(yīng)用技術(shù)，情感傾向識別、對話情緒識別等功能，都是基于大數(shù)據(jù)和深度學(xué)習(xí)，自動學(xué)習(xí)詞義及詞序關(guān)系，具備較強的泛化能力，情緒識別精度高[2]。該系統(tǒng)可以讓家長不需要時刻跟隨照看孩子，一定程度上比較貼合當(dāng)前父母照顧幼兒的需求沒有用戶的時刻親身監(jiān)管，也一定程度上給予了兒童獨立成長的空間，同時也可以讓家長在做其他事情時更加放心。

2 系統(tǒng)功能框架

該系統(tǒng)是為了輔助家長看護幼兒，故有生命體征監(jiān)測、人臉情緒識別、實時監(jiān)控、語音識別、安全范圍監(jiān)測功能，可以全方位輔助家長看護幼兒，減輕負擔(dān)。

2.1 生命體征監(jiān)測

在不影響孩子正常生活的前提下，利用紅外測溫傳感器以及光學(xué)心率傳感器對幼兒的體溫以及幼兒心率分別進行測量并存儲在ARM板上，定時上傳到家長的移動終端上實時顯示。

2.2 人臉情緒識別

通過攝像頭進行實時人臉掃描識別，使用OpenCV編程并接入百度智能云平臺的人臉監(jiān)測與屬性分析技術(shù)，進行實時識別幼兒當(dāng)前表情以及情緒狀態(tài)。

2.3 語音識別

通過語音識別模塊錄音生成音頻文件，再用設(shè)計的哭叫識別系統(tǒng)軟件檢測音頻文件，當(dāng)檢測到哭叫聲時，會觸發(fā)危險報警。

2.4 實時監(jiān)控

由于家長不能無時無刻陪伴在孩子身邊，故本模塊的設(shè)計便于家長隨時查看孩子的當(dāng)前狀態(tài)，更好地發(fā)現(xiàn)孩子的異樣并及時解決。本功能模塊可實現(xiàn)將移動終端和攝像頭與網(wǎng)絡(luò)連接來傳輸畫面，實時查看當(dāng)前幼兒監(jiān)控畫面，并與幼兒進行實時溝通，從而在孩子做出危險行為前及時提醒孩子，減少幼兒因貪玩好奇等原因造成的意外事故。

2.5 安全范圍監(jiān)測

安全范圍監(jiān)測模塊是利用超聲波測距儀來實時監(jiān)測安全范圍。先設(shè)置一個安全距離，當(dāng)傳感器由接收的回波信號算出的距離違背設(shè)定的安全距離時，系統(tǒng)會觸發(fā)警報并及時告知家長。

3 物聯(lián)網(wǎng)系統(tǒng)體系架構(gòu)

物聯(lián)網(wǎng)的基本體系結(jié)構(gòu)包括三個方面：感知層、網(wǎng)絡(luò)層、應(yīng)用層[3]。第一層是感知層，主要包括網(wǎng)關(guān)和各類需要的傳感器，可以實現(xiàn)數(shù)據(jù)的采集。第二層是網(wǎng)絡(luò)層，主要起承上啟下作用，將感知層采集到的數(shù)據(jù)，通過無線網(wǎng)絡(luò)傳輸給應(yīng)用層進一步處理。第三層是應(yīng)用層，包括服務(wù)器和手機終端。

3.1 感知層

感知層主要包括各種傳感器，攝像頭模組，多種開發(fā)板以及多模網(wǎng)關(guān)等，它們之間采用ZigBee和WiFi進行傳輸，具體如下所示：

3.1.1 傳感器與攝像頭

本系統(tǒng)使用了XD-58C脈搏心率傳感器、MLX90614非接觸式紅外測溫傳感器、HC-SR0超聲波測距模塊、Geeetech Arduino語音識別模塊以及ov2640攝像頭模塊，他們通過連接開發(fā)板，智能采集物理數(shù)據(jù)，并傳輸給開發(fā)板。

3.1.2 開發(fā)板

本系統(tǒng)主要采取ZigBee無線通信技術(shù)，經(jīng)過綜合分析故采用了德飛萊CC2530開發(fā)套件，如圖2所示。CC2530芯片有明顯的的優(yōu)點，比如工作頻帶相對較低，支持802、PRO、2007、RF4CE等標(biāo)準，滿足三種網(wǎng)絡(luò)拓撲結(jié)構(gòu)、外置天線模式，電流低、工作溫度相對恒定等[4]。此開發(fā)板也可以與多種無線模塊拔插式對插，比如WiFi模塊、4G模塊以及BC26的NBIoT模塊，從而實現(xiàn)多模通信，將數(shù)據(jù)傳輸?shù)絆neNET云平臺，可隨時查看相關(guān)數(shù)據(jù)。

3.1.3 網(wǎng)關(guān)

網(wǎng)關(guān)是物聯(lián)網(wǎng)輔助看護系統(tǒng)的數(shù)據(jù)傳輸?shù)闹匾獦屑~，是實現(xiàn)數(shù)據(jù)通訊的中轉(zhuǎn)站[5]。網(wǎng)關(guān)采用小米米家多功能網(wǎng)關(guān)，該網(wǎng)關(guān)支持ZigBee3.0、WiFi、藍牙&藍牙Mesh三種通信協(xié)議設(shè)備，可以實現(xiàn)不同協(xié)議設(shè)備的互聯(lián)互通，不僅可以接收終端節(jié)點傳輸來的數(shù)據(jù)并且轉(zhuǎn)輸給上位機，也可以接收上位機的指令，然后傳輸給各個終端節(jié)點實行。

3.2 網(wǎng)絡(luò)層

網(wǎng)絡(luò)層主要為路由器或交換機，路由器是互聯(lián)網(wǎng)的主要結(jié)點設(shè)備，通過路由決定數(shù)據(jù)的轉(zhuǎn)發(fā)，與Web服務(wù)器采用有線寬帶連接方式。網(wǎng)絡(luò)層在系統(tǒng)中起到承上啟下的作用，將感知層和應(yīng)用層相連接，在物聯(lián)網(wǎng)看護系統(tǒng)中起到重要作用。

3.3 應(yīng)用層

應(yīng)用層主要是由Android 移動終端以及web 服務(wù)器組成。Android屬于開源系統(tǒng)，相比iOS更加開放，對硬件的兼容性更強，并且Android開發(fā)的周期也較短，測試時可直接使用apk文件進行安裝，從而使得開發(fā)流程更加便捷。

4 系統(tǒng)移動應(yīng)用設(shè)計

本系統(tǒng)移動客戶端使用Android開發(fā)技術(shù)，后臺系統(tǒng)通過接入百度人工智能API將硬件采集存儲在服務(wù)器里的數(shù)據(jù)進行分析。

用戶移動客戶端有以下幾個功能，具體界面如圖2所示。

4.1 用戶登錄

用戶輸入已注冊的用戶名和密碼即可登錄。未注冊的用戶點擊“注冊用戶”字樣可進行賬戶注冊并綁定手機號，用戶名，密碼將儲存于MySQL數(shù)據(jù)庫中;用戶忘記密碼點擊“忘記密碼？”字樣輸入注冊時手機號并通過驗證即可重新設(shè)置密碼。

4.2 個人中心

登錄系統(tǒng)后可在此界面填寫或修改賬戶資料以及接收系統(tǒng)消息和對軟件的設(shè)置。

4.3 監(jiān)控傳輸畫面

主要功能為實時傳輸終端監(jiān)控的幼兒畫面，并顯示幼兒的體溫、心率以及情緒狀態(tài)。同時可實時語音通話，實現(xiàn)云看護。

4.4 數(shù)據(jù)可視化界面

對云平臺存儲的數(shù)據(jù)（幼兒的體溫、心率以及情緒狀態(tài)） 進行可視化處理，以統(tǒng)計圖表的形式呈現(xiàn)在不同頁面。

4.5 危險反饋機制

當(dāng)系統(tǒng)檢測到幼兒有危險時，比如有發(fā)熱、心率過高、超出安全距離等異常情況時，觸發(fā)危險報警系統(tǒng)，手機震動并響鈴，提醒家長注意孩子當(dāng)前狀態(tài)。

5 關(guān)鍵問題的研究

在該系統(tǒng)中，涉及兩個關(guān)鍵問題，分別是幼兒臉部情緒識別和幼兒安全范圍監(jiān)測。

5.1 人臉情緒識別

人臉情緒識別技術(shù)是計算機根據(jù)人類在情緒特征的預(yù)先設(shè)定，通過情緒計算判定人臉面部表情。

在本次項目中實現(xiàn)這一技術(shù)內(nèi)容如下：

（1） 通過攝像頭采集幼兒實時的視頻，利用 OpenCV 對視頻進行抽幀分析，判斷該幀圖像中是否包含人臉，如包含人臉則將圖像進行Base64編碼，即將圖片數(shù)據(jù)編碼成一串字符串，使用該字符串代替圖像地址?？梢允紫鹊玫綀D片的二進制，然后用Base64格式編碼即可。

（2） 接入百度智能云平臺人臉識別技術(shù)，以達到人臉檢測：檢測圖片中的人臉并標(biāo)記出位置信息;

（3） 人臉情緒識別中，識別數(shù)據(jù)分為動態(tài)圖像序列和靜態(tài)圖片兩種。由于動態(tài)圖像序列技術(shù)尚未成熟和表情識別算法一般都針對靜態(tài)圖像進行識別和驗證，將監(jiān)控設(shè)備捕捉的動態(tài)圖像逐幀篩選為一系列靜態(tài)圖像，通過處理靜態(tài)圖像實現(xiàn)圖像識別[6]，首先使用最大聯(lián)通區(qū)域分割法實現(xiàn)人臉檢測，然后使用局部二值化算法、主成分分析算法、Gabor小波變換算法對人臉表情特征進行提取，最后采用向量機（SVM） 算法對人臉進行分類識別。

（4） 人臉質(zhì)量信息：返回人臉各部分的遮擋、光照、模糊、完整度、置信度等功能，并利用OpenCV 的 rectangle 和 putText 將人臉區(qū)域及情緒信息標(biāo)注出來，將情緒信息保存下來[7]。利用 Matplotlib 繪制幼兒情緒統(tǒng)計信息的圖表，并通過 Flask 以 Web 的形式將這些統(tǒng)計圖表進行發(fā)布，將幼兒情緒的監(jiān)測結(jié)果反饋給家長。

5.2 安全范圍監(jiān)測

安全范圍監(jiān)測主要是利用超聲波傳感器對幼兒是否跌落床下問題進行監(jiān)測，當(dāng)幼兒肢體超過床體邊緣時，傳感器發(fā)出異常信號，觸動危險報警系統(tǒng)，提醒家長注意孩子當(dāng)前狀態(tài)。? ? 使用的測量儀器是超聲波測距傳感器，超聲波測距傳感器是根據(jù)時間差測距法來測量距離，即：

[S=340*t/2]

（超聲波在空氣中的傳播速度為340m/s，t是根據(jù)計時器記錄測出發(fā)射與接收回波的時間差，S為出發(fā)射點距離物的距離） ，首先將傳感器放置床角位置，使其發(fā)射波沿著床邊緣，當(dāng)孩子肢體超過床體邊緣時，超聲波測距傳感器所測量的距離將會突然縮短，傳感器發(fā)出異常信號啟動危險報警系統(tǒng)。

6 結(jié)論

本文的研究目標(biāo)是基于AI+IOT技術(shù)設(shè)計研究出一款為家長看護孩子提供智能便攜服務(wù)的幼兒輔助看護系統(tǒng)，該系統(tǒng)以家庭為單位，提供新型智能化嬰幼兒看護服務(wù)，實現(xiàn)監(jiān)護系統(tǒng)下幼兒生理狀態(tài)，情緒心理狀態(tài)，行為動作狀態(tài)的捕捉，為家長看護孩子提供更完善更便捷的智能服務(wù)，并可以減少嬰幼兒安全事故發(fā)生概率。

參考文獻：

[1] 陳蓓.智能嬰幼兒看護系統(tǒng)設(shè)計研究[D].上海：東華大學(xué)，2016.

[2] 葉陽，顧國民.基于百度API的實時人臉檢測[J].信息記錄材料，2020，21（5）：226-227.

[3] 李雪茹.基于Android的物聯(lián)網(wǎng)醫(yī)療監(jiān)護系統(tǒng)的研究與設(shè)計[D].曲阜：曲阜師范大學(xué)，2015.

[4] 韋煜.基于ZigBee無線技術(shù)的智能家居系統(tǒng)設(shè)計與實現(xiàn)[D].成都：電子科技大學(xué)，2019.

[5] 王運紅.智能家居系統(tǒng)客戶端與網(wǎng)關(guān)的設(shè)計與實現(xiàn)[D].杭州：浙江工業(yè)大學(xué)，2014.

[6] 劉大誠.人工智能情緒識別應(yīng)用研究[J].中國高新科技，2019（13）：59-62.

[7] 宋永生.基于OpenCV及AI的網(wǎng)絡(luò)學(xué)習(xí)者情緒監(jiān)測系統(tǒng)[J].信息技術(shù)與信息化，2019（11）：9-12.

【通聯(lián)編輯：李雅琪】