張星宇，鮑蓉，王江南，劉金成

（徐州工程學院 信息工程學院，江蘇 徐州 22100）

0 引言

當今社會在不斷發(fā)展，醫(yī)療技術(shù)在不斷進步，人們得以活得更長久，而隨之而來的人口老齡化問題也在不斷出現(xiàn)在大眾的視野當中，我國目前已進入人口老齡化快速發(fā)展時期，而獨居老人的安全問題儼然成為一個當下令人憂慮的問題，2006年全國疾病監(jiān)測系統(tǒng)死因監(jiān)測數(shù)據(jù)顯示：在我國65歲以上的老年人中，男性每10萬人因跌倒而死亡的人數(shù)達到49.56人，女性為52.80人。而我國目前65歲及以上老年人達到1.4億，占比超過10%。如果以20%的發(fā)生概率來計算，那么每年將有2800多萬老年人會發(fā)生意外。

因此，獨居老人在家中發(fā)生意外事件無法自救的問題引起了社會廣泛的關注?；谶@種背景下，研制基于圖像識別和物聯(lián)網(wǎng)技術(shù)的家庭智能看護機器人具有很好的應用價值和意義。

1 項目描述

本項目是一項實現(xiàn)老人智能監(jiān)護的綜合性解決方案。本項目主要通過一個機器人會定時在家中進行老人找尋，老人識別，以及對老人行為以及情緒的判斷來分析出老人當前的健康安全狀態(tài)。子女可以通過特定的app來實時主動看到當前老人的狀況，機器人在分析出老人出了安全健康問題后會第一時間通過郵件或彈窗的形式提醒正在工作的子女。讓子女第一時間去了解家中的情況以及對老人進行救治，這樣大大減少了老人在家發(fā)生意外而無人發(fā)現(xiàn)的問題。同時該機器人不會時時刻刻進行對老人的監(jiān)護，只會每隔一段時間找尋一次，不會對老人正常的生活產(chǎn)生困擾。同時我們還對老人配備有聯(lián)動外部設備——智能手環(huán)，機器人可以判斷老人的行為是否正常，手環(huán)則可以對老人的心率、睡眠情況、血壓等身體狀態(tài)進行監(jiān)測，這樣就實現(xiàn)了外部與身體內(nèi)部的雙重監(jiān)護，做到精確檢測結(jié)果，不會出現(xiàn)誤判的情況。

服務端分為子女a(chǎn)pp信息，外部設備信息以及機器人傳輸信息三大部分。子女可以通過app來給服務端發(fā)送消息，來讓機器人進行主動找尋老人并看到監(jiān)護結(jié)果；外部設備實時將身體狀態(tài)上傳到服務端；機器人定時找尋并上傳結(jié)果到服務端，如果老人出現(xiàn)意外，就通過服務端來告訴子女。子女a(chǎn)pp和機器人可以進行雙向交互，實現(xiàn)靈活使用的目的。

2 功能簡介

2.1 整體框架

項目主要功能有遠程無線通信、機器人自主移動控制系統(tǒng)、機器人智能語音識別系統(tǒng)、動作模式和情感識別以及在此基礎上的長期大尺度下的行為模式變遷和健康趨勢分析。系統(tǒng)功能框架如圖1所示：

圖1 整體功能框架圖

2.2 無線通信功能

如圖2所示，當機器人收取必要信息時，會通過服務端發(fā)給用戶所用的手機或者電腦上，供用戶進行下一步操作，發(fā)送指令給機器進行各個服務的使用。同時機器人也收集信息給數(shù)據(jù)庫進行分析，學習，給予用戶更準確的判斷。

圖2 無線通信

2.3 自主移動控制系統(tǒng)

如圖3所示，當用戶對機器人發(fā)送自主移動的命令后，機器人會根據(jù)自己原有的程序進行路徑規(guī)劃，避障等操作尋找指定目標。

圖3 自主移動控制系統(tǒng)

2.4 行為與表情識別系統(tǒng)

該系統(tǒng)采集大量關于人體動作的視頻，并在建立的數(shù)據(jù)集上進行分析，利用KNN算法進行查找分類，從而識別老人的行為舉止。對于正常的行為，機器人會作為學習數(shù)據(jù)，對于不正常的行為，則采用相應的應急措施。功能結(jié)構(gòu)如圖4所示：

圖4 行為識別

2.5 智能語音系統(tǒng)

如圖5所示，當用戶與機器人說話時，機器人會通過原有的程序?qū)τ谡Z音進行處理，通過識別語氣，語義來選擇不同的對話方式，使得對話更適合環(huán)境，同時使用CNN[1]神經(jīng)網(wǎng)絡輔助語氣，語義的判斷，使得系統(tǒng)在長期使用下使系統(tǒng)與用戶之間的對話更加人性化。

圖5 智能語音識別

3 技術(shù)要點和創(chuàng)新

3.1 基于深度學習的行為模式識別

由于市面上對于行為識別的數(shù)據(jù)集并不是太多，并且各大公司的AI平臺在該方面數(shù)據(jù)集處于封閉狀態(tài)，給數(shù)據(jù)搜集的難度造成很大影響。為此我們設計了專門的爬蟲算法爬取了部分視頻網(wǎng)站相關典型動作的視頻，調(diào)用了python的lxml和requests庫。但對于爬取的視頻的典型性并不是太過于明顯，之后我們重心方向放在生活實際，拍取生活實際中最典型的行為動作這樣對于機器學習的數(shù)據(jù)完整性做了相應的補充。

在數(shù)據(jù)分析中，我們主要基于卷積神經(jīng)網(wǎng)絡[2]進行分析，考慮到相對于傳統(tǒng)的人工特征方法，確定魯棒的特征[3]在行為分析中是一個關鍵問題?；谔崛〉聂敯籼卣?，機器學習相應的分類器來給出視頻中主體行為的一個判斷。在早期，灰度、梯度、光流等這些人為定義或設計的一些特征是魯棒特征提取的研究工作的重點。隨著深度學習的領域的不斷深入，發(fā)展，基于深度學習的新的行為分析方法不斷涌現(xiàn)。人為定義或設計的特征方法已遠遠不能滿足目前基于深度網(wǎng)絡自主學習的特征表達的性能。

在視頻中應用CNN一個簡單的方法就是對每一幀運用CNN來識別，但是這種方法并沒有考慮到連續(xù)幀間的運動信息。提出了一種名叫3D卷積[4]的方法可以有效的綜合這些運動信息。通過在CNNs的卷積層進行3D卷積，以捕捉在時間和空間維度都具有區(qū)分性的特征。3D卷積是將多個連續(xù)的幀融合，并在融合后運用3D卷積核，來提取連續(xù)幀之間的運動信息。通過這樣的結(jié)構(gòu)，卷積層中每一個map特征值都會與上一層中多個相鄰的幀連接起來，從而捕捉運動信息。一個完整的3D CNN架構(gòu)由3個卷積層、1個硬連線hardwired層、2個下采樣層和1個全連接層組成。每個3D卷積核可以卷積連續(xù)的7幀信息，每幀的大小是60×40。在最初階段，我們先是通過一個固定的hardwired的核來處理原始的幀，令其產(chǎn)生多個通道的信息，然后對產(chǎn)生的信息分別處理。最后再將所有通道中處理完的信息進行整合，最終獲取最后的特征描述。

然而，對于3D CNN模型的輸入往往被限制為一個少的連續(xù)視頻幀，但是生活實際的快速運動對于幀數(shù)要求比較高，因此，在3D CNN模型中，為了達到捕捉這種高層的運動信息這個目的，我們會捕捉大量的幀來計算運動特征，然后通過計算出的這些運動特征來作為輔助，使得3D CNN模型規(guī)則化。模型的所有參數(shù)都是隨機初始化，然后通過隨機diagonal Levenberg-Marquardt方法[5]來優(yōu)化訓練。

3.2 移動自主避障及路徑規(guī)劃

對于機器人在家中行走能否識別前方物體以及正確的繞過障礙物走過去，這也是智能的一方面體現(xiàn)。

機器人身上裝有大量的傳感器，在行走的過程可以基于紅外線或者超聲波傳感器實時測試距離，實現(xiàn)距離上的感應，繞開障礙物的效果。此外，在行走過程中勢必要做到最短路徑行走以達到節(jié)能減排的作用。

機器人身上存在攝像頭以及傳感器等外部設備，這方面我們主要使用SLAM[6]算法即對機器人同時定位與建圖，這是一個3D軌跡的實時算法，他可以通過單目相機來恢復快速通過未知場景時的3D軌跡。我們把此系統(tǒng)稱為MonoSLAM，這是第一個將SFM方法應用到SLAM中的成功應用。此方法的核心是，通過概率框架，可以在線創(chuàng)建一個高質(zhì)量特征的稀疏映射的地圖。

其流程流程如圖6所示，初始化后，它將會主動計算出3D概念圖，建立自然視覺地標，使用針對相機平滑運動的通用運動模型以及單目特征初始化和特征方位估計建模，預測，并持續(xù)的進行更新?？傊?，這些都是一種非常有效和健壯的算法，可以在標準PC和相機上以30Hz運行。通過對于SLAM算法的有效應用，擴展了機器人系統(tǒng)的范圍，開啟了新的領域。

圖6 SLAM 算法流程圖

3.3 自主尋人與跟隨技術(shù)

自主尋人的技術(shù)衍生在自主避障以及路徑規(guī)劃技術(shù)實現(xiàn)的基礎上，機器人根據(jù)長時間的和老人相處，記錄老人的樣貌以及身體形態(tài)，運用到非監(jiān)督學習算法，讓機器人自己能準確分析出老人。

對于老人樣貌分析，一般的識別方法是通過對于人的眼睛，嘴巴，鼻子等重要的特征點的位置和重要器官的形狀來作為分類特征進行識別的,但在隨著圖像識別研究的不斷深入，研究者們在進行一系列的實驗性研究后，發(fā)現(xiàn)幾何特征提取的精確性遠遠沒有我們想像的那么高。因此，為了改進幾何特征方法，可變形模板法應運而生。[7]可變形模板法通過設計一個參數(shù)可調(diào)的器官模型(即可變形模板),定義一個能量函數(shù)，通過調(diào)整模型參數(shù)使能量函數(shù)最小化，使得計算出的模型參數(shù)作為該器官的幾何特征。

對于老人體態(tài)分析，可調(diào)用上面的行為分析相關思路，改變機器相應的訓練方向，轉(zhuǎn)換為身體的特征值提取，達到粗略的體態(tài)識別的目的。

運用到多線程知識，在使用路徑規(guī)劃的同時，調(diào)用對老人識別的算法，從而實現(xiàn)邊走路邊找人的功能實現(xiàn)。

3.4 長期大尺度下行為模式與健康趨勢分析

用戶在使用過程中產(chǎn)生大量數(shù)據(jù)，如果不好好利用就會造成資源上的浪費，而這些數(shù)據(jù)也是我們體現(xiàn)出來的智能的特點。在這里我們使用NLP技術(shù)，設計一個機制，對于老人生活實際中的經(jīng)常喜歡的事情以及喜歡看的節(jié)目一些小事情，都轉(zhuǎn)化為相應的自然語言處理，然后自發(fā)的對這些自然語言處理，從而顯得更加人性化。同時運用一些外部設備我們以可以看到老人的一些身體數(shù)據(jù)，這些數(shù)據(jù)具有一定的使用價值，我們可以根據(jù)老人最近一兩個月睡眠，心率的情況，對比之前的，畫成折線圖，反應最近幾天老人的狀態(tài)，反饋給家人，從而家人更好的關心老人。

4 結(jié)論

本文所介紹的是對于智能看護機器人的整體設想與關鍵技術(shù)介紹，結(jié)合了當下較為前沿的物聯(lián)網(wǎng)技術(shù)以及深度學習算法通過機器所采集的數(shù)據(jù)來對于老人實施到一定的監(jiān)護安全作用，其應用領域廣，所研討的方向有較大的應用價值。但是目前我們對對于老人行為模式下的訓練集仍不夠，還可以繼續(xù)擴大訓練集以增加準確度，對于整體的設計上仍存在著不符合實際應用的漏洞，仍值得進一步的深究，實驗。