雷相玉 周依婷 龍春曉 鐘陳昊

編者按：這篇文章中，作者針對傳統(tǒng)輪椅交互模式存在的操作不便、效率低，難以滿足行動(dòng)不便人群等缺陷，設(shè)計(jì)了一款具有表情控制的輪椅型看護(hù)機(jī)器人。該設(shè)計(jì)利用外部攝像頭對使用者進(jìn)行表情圖像采集，通過esp8266模塊將數(shù)據(jù)傳輸?shù)教幚砥?，進(jìn)行數(shù)據(jù)判斷后向輪椅機(jī)器人發(fā)出指令。同時(shí)利用GPS定位模塊、紅外檢測模塊、心率模塊對使用者的各項(xiàng)心理與環(huán)境參數(shù)進(jìn)行采集，且通過GSM模塊將這幾項(xiàng)數(shù)據(jù)發(fā)送給使用者的監(jiān)護(hù)人，實(shí)現(xiàn)二者之間的信息交互。總體來看，該裝置既能增強(qiáng)使用者的自主能力，尊重其人格尊嚴(yán)，也能使監(jiān)護(hù)人安心。

調(diào)查數(shù)據(jù)顯示，我國殘疾人口基礎(chǔ)數(shù)據(jù)庫入庫持證殘疾人數(shù)從2016年的3219.4萬人增長至2020年的3780.7萬人，期間增加561.3萬人。而僅有 23.3% 左右的殘疾人得到康復(fù)服務(wù)，殘疾人主動(dòng)要求配置個(gè)人移動(dòng)輔助器的占38.56%，而實(shí)際配置個(gè)人移動(dòng)輔助器的占有 7.31%，由此可見，我國殘疾人服務(wù)缺口巨大。隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，社會(huì)老年化問題嚴(yán)重，殘疾人士的生活服務(wù)水平應(yīng)該在科技智能的幫助下得到提升。在市面上的一般輪椅和電動(dòng)輪椅，大多通過手動(dòng)操作的方式控制，存在著操作不便、效率低、靈活性不夠、功能簡單等問題，無法滿足使用者的實(shí)際生活需求。與此同時(shí)，數(shù)字智能的興起讓面部表情識(shí)別技術(shù)受到了許多消費(fèi)者與國內(nèi)外科研人員的青睞，具有較高的研究價(jià)值與應(yīng)用前景。因此，針對傳統(tǒng)輪椅的操作不便與控制指令局限等缺陷，我們選擇面部表情識(shí)別作為控制智能輪椅機(jī)器人新方式。

設(shè)計(jì)思路方法

這是針對手腳不便人群開發(fā)的利用面部表情識(shí)別技術(shù)控制輪椅出行的裝置，這種以攝像頭裝置為主和以各類傳感器為輔的可實(shí)時(shí)監(jiān)測使用者身體參數(shù)與地理位置的智能化出行輔具，對手腳不便人群具有很高的應(yīng)用價(jià)值。其中電機(jī)驅(qū)動(dòng)板使用了電磁學(xué)的原理，攝像頭運(yùn)用凸透鏡成像的原理，紅外體溫傳感器運(yùn)用熱輻射效應(yīng)，心率傳感器運(yùn)用光的發(fā)射與折射的原理，GPS與GPRS運(yùn)用萬有引力定律和開普列三大定律。

設(shè)計(jì)原理

系統(tǒng)的設(shè)計(jì)包括輪椅的行駛系統(tǒng)、多功能監(jiān)測系統(tǒng)以及軟件設(shè)計(jì)系統(tǒng)三部分。

輪椅行駛系統(tǒng)

輪椅的行駛系統(tǒng)主要由控制板和電機(jī)驅(qū)動(dòng)板兩部分構(gòu)成。通過處理器模塊（樹莓派）實(shí)現(xiàn)對識(shí)別模塊發(fā)送的數(shù)據(jù)進(jìn)行接受與對比，再通過無線模塊向控制板傳輸相應(yīng)的動(dòng)作指令，從而操控輪椅的行駛。

多功能監(jiān)測系統(tǒng)

考慮到使用者的生理特征，多功能監(jiān)測系統(tǒng)由心率脈搏傳感器、紅外溫度傳感器、GPS、無線WIFI模塊、電池及微處理器等模塊構(gòu)成?？紤]到設(shè)備的低功耗與低價(jià)格，采用STM32 F103 系列的處理器，可通過 Keil Mdk5 直接對其進(jìn)行編程。該模塊通過無線通信模塊與監(jiān)控中心相連，實(shí)現(xiàn)對用戶者的體溫、心率以及地理位置等參數(shù)的測量、儲(chǔ)存以及傳輸?shù)裙δ堋：笃趯⒅谱鞒墒汁h(huán)連接到輪椅上。

軟件設(shè)計(jì)系統(tǒng)

軟件設(shè)計(jì)系統(tǒng)包括從機(jī)端的操作系統(tǒng)移植，無線網(wǎng)卡驅(qū)動(dòng)、應(yīng)用開發(fā)以及主機(jī)端的數(shù)據(jù)接收顯示開發(fā)。最初采用 PC作為攝像頭面部特征識(shí)別的處理終端，后期將程序移植到 Linux，放置于基于A53的樹莓派中。

系統(tǒng)構(gòu)成模塊

該模型主要由五個(gè)部分組成：執(zhí)行模塊，識(shí)別模塊，監(jiān)測模塊，顯示和報(bào)警模塊，處理模塊。

WI-FI通訊模塊

ATK-ESP8266 WI-FI模塊是一款高性能的UART-WIFI（串口-無線）模塊。該模塊采用串口與MCU通訊，內(nèi)置TCP/IP協(xié)議，能夠?qū)崿F(xiàn)串口與WI-FI之間的轉(zhuǎn)換，傳統(tǒng)串口通訊設(shè)備進(jìn)行簡單的串口配置后即可通過WI-FI來傳輸自己的數(shù)據(jù)。

紅外體溫傳感器

GY-MCU90615 是一款低成本紅外溫度模塊。工作電壓 3-5v，功耗小，體積小。其工作原理，是通過單片機(jī)讀取紅外溫度數(shù)據(jù)，串口通信方式輸出。通過非接觸式的傳感器，采集病人的體溫信息，利用連接線接到傳感器信號(hào)采樣器總線上，通過無線信號(hào)發(fā)送給處理器。

生物心率傳感器

MDL0025 是光電反射式信號(hào)傳感器，用于監(jiān)測血管輕微的擴(kuò)張所產(chǎn)生的光電反射強(qiáng)度來反應(yīng)脈搏的跳動(dòng)情況。 脈搏傳感器捆綁在病人手指上，或者粘于病人胸前，并且將數(shù)據(jù)線與傳感器信號(hào)采樣器相連，可獲取病人的脈搏信息。

GPS定位模塊

GPS定位模塊用于監(jiān)測用戶者的地理位置，它與GSM模塊相連接，實(shí)現(xiàn)與監(jiān)護(hù)人的聯(lián)系，用戶者通過主動(dòng)報(bào)警或者被動(dòng)報(bào)警即可了解用戶者所處的地理位置。

GSM模塊

GSM模塊可與GPRS網(wǎng)絡(luò)通信，當(dāng)有SIM卡插入時(shí)自動(dòng)讀取SIM卡信息，連接GSM網(wǎng)絡(luò)，能夠發(fā)送短信、撥打電話、連接2G網(wǎng)絡(luò)等。

攝像頭部分

通過 USB 協(xié)議的攝像頭，處理器讀取攝像頭拍攝的圖像，通過內(nèi)置程序識(shí)別面部動(dòng)作。

顯示器部分

顯示器部分可采用標(biāo)準(zhǔn)串口顯示器，來顯示用戶者的各項(xiàng)身體指標(biāo)以及輪椅的電量。

蜂鳴器

通過蜂鳴器實(shí)現(xiàn)報(bào)警功能，當(dāng)輪椅電量低于百分之二十時(shí)或者用戶者生理異常時(shí)蜂鳴器發(fā)出鳴叫用于提醒用戶者。

具體實(shí)施

輪椅模型如圖 1所示，應(yīng)用于四肢不便人群。服務(wù)對象在家人的幫助下坐上輪椅，系上腰帶。

在圖 1中，1為采集裝置，主要采集使用者面部特征;2為可伸縮桿，用于調(diào)節(jié)攝像頭的高度和角度;3為腰帶，主要用于監(jiān)測服務(wù)對象的各項(xiàng)生理指標(biāo);4為手環(huán)，主要連接在輪椅上，監(jiān)測使用者的生理與環(huán)境指標(biāo);5為A35樹莓派微型處理器，主要對采集到的數(shù)據(jù)進(jìn)行處理并對輪椅或監(jiān)護(hù)人發(fā)送指令。本裝置能夠前進(jìn)、轉(zhuǎn)彎以及停止，可在室內(nèi)外使用，比如使用者公園游玩等，可讓使用者進(jìn)行心理放松和參與社會(huì)活動(dòng)，減少監(jiān)護(hù)人的陪護(hù)量。

工作方法

系統(tǒng)進(jìn)行初始化，當(dāng)系統(tǒng)監(jiān)測到服務(wù)對象后，開始工作。

識(shí)別模塊開始工作，通過USB協(xié)議的攝像頭進(jìn)行照片采集，將圖像等信息傳輸?shù)交贏RM 7的STM32 F103系列處理器進(jìn)行整理集合，而后通過無線模塊將數(shù)據(jù)傳輸?shù)交趚64的筆記本電腦，電腦將會(huì)通過機(jī)器學(xué)習(xí)算法對圖像數(shù)據(jù)進(jìn)行識(shí)別并做校驗(yàn)判斷處理。若識(shí)別到用戶者的面部特征為系統(tǒng)認(rèn)知的“指令特征”，則處理器會(huì)對執(zhí)行機(jī)構(gòu)發(fā)送命令使其進(jìn)行相應(yīng)操作。使用者用張嘴控制總開關(guān);使用者抬頭，啟動(dòng)輪椅前行;使用者低頭，輪椅停止行駛;使用者轉(zhuǎn)臉，輪椅隨之旋轉(zhuǎn)，直至使用者回正臉，輪椅停止旋轉(zhuǎn)。

同時(shí)監(jiān)測模塊通過各類傳感器實(shí)時(shí)監(jiān)測使用者的地理位置、心率以及體溫等，再將獲得的數(shù)據(jù)在ARM 7STM32 F103系列處理器中處理好，并計(jì)算出相應(yīng)的數(shù)值，而后通過無線模塊將數(shù)據(jù)傳輸?shù)絰64的筆記本電腦，在電腦中判斷是否越限及報(bào)警。若使用者的生理參數(shù)超過一定閾值，會(huì)發(fā)送短信通知監(jiān)護(hù)人的到來;監(jiān)護(hù)人也可主動(dòng)發(fā)送“position”指令來查詢使用者的各項(xiàng)生理與環(huán)境指標(biāo)。

場景模擬

系統(tǒng)流程如圖2所示。

情形一如圖3所示：駕駛者坐在輪椅中，對準(zhǔn)攝像頭，當(dāng)用戶第奇數(shù)次張嘴且界面顯示OPEN，解開輪椅總開關(guān);當(dāng)用戶第偶數(shù)次張嘴且界面顯示CLOSE，關(guān)閉輪椅總開關(guān)。

情形二如圖4所示：駕駛者坐在輪椅中，對準(zhǔn)攝像頭，當(dāng)用戶抬頭處于設(shè)定范圍內(nèi)，便會(huì)啟動(dòng)輪椅前行;若駕駛者遇到前方障礙物，可以低頭來操控輪椅停止運(yùn)動(dòng)。

情形三如圖5所示：駕駛者坐在輪椅中，對準(zhǔn)攝像頭，若駕駛者遇到前方轉(zhuǎn)彎，可以在一定范圍內(nèi)左轉(zhuǎn)臉或者右轉(zhuǎn)臉，輪椅便會(huì)相應(yīng)的左旋轉(zhuǎn)或者右旋轉(zhuǎn)，直至駕駛者回正臉部，輪椅便會(huì)停止旋轉(zhuǎn)。

創(chuàng)新特點(diǎn)

由上述的針對四肢不便人群的智能輪椅的原理與流程可知，本發(fā)明的特色與創(chuàng)新點(diǎn)如下：

1.采用新穎的面部控制，顛覆了傳統(tǒng)輪椅的操控模式。使用者僅需進(jìn)行張嘴、抬頭 、低頭以及轉(zhuǎn)臉便可控制輪椅，極大地滿足了四肢不變?nèi)巳旱某鲂行枨螅瑢?shí)現(xiàn)了便捷的人機(jī)交互。

2.集合多種傳感器，監(jiān)測使用者的心率、體溫等生理參數(shù)，實(shí)時(shí)反饋其身體狀況，保障了使用者的出行安全。

3.結(jié)合GPS、GPRS以及GSM技術(shù)，實(shí)時(shí)監(jiān)測用戶的地理位置，建立與監(jiān)護(hù)人的信息交互。

4.本裝置操作簡單、兼容性強(qiáng)、適用范圍廣。使用者可在家中或者康復(fù)院較安全的環(huán)境使用，能夠減少其監(jiān)護(hù)人的工作量，也有助于殘疾人增強(qiáng)自尊并與外界環(huán)境進(jìn)行互動(dòng)。此作品還可開發(fā)運(yùn)用于病人臉部鍛煉康復(fù)、病房監(jiān)測植物人情況等。

應(yīng)用前景

隨著社會(huì)的發(fā)展與科技的進(jìn)步，四肢不便人群對于保障健康、便利生活的需求不斷提高，因此智能輔助機(jī)械成為一個(gè)新研究熱點(diǎn)。且人工智能領(lǐng)域在各個(gè)方面有著廣泛的應(yīng)用，其中的面部識(shí)別技術(shù)受到了許多消費(fèi)者與國內(nèi)外科研究人員的青睞，具有較高的研究價(jià)值與應(yīng)用前景。針對傳統(tǒng)輪椅的操作不便與控制指令單一等缺陷，我們選擇面部特征識(shí)別作為人機(jī)交互的新方式。

本文為滿足四肢不便人群的出行需求，在傳統(tǒng)輪椅的基礎(chǔ)上，進(jìn)行了功能的改進(jìn)與創(chuàng)新，特別是采用面部識(shí)別及計(jì)算機(jī)軟件技術(shù)來控制輪椅的行駛方向，實(shí)現(xiàn)了人機(jī)交互功能，提高了四肢不便人群的生活質(zhì)量。同時(shí)結(jié)合GPS定位和GSM通訊來實(shí)時(shí)監(jiān)測出行者的地理位置，建立與家屬或醫(yī)院的信息交互，并配載紅外體溫傳感器和心率傳感器監(jiān)測使用者的生理特征，反饋用戶的實(shí)時(shí)身體狀況，保障了出行者的戶外安全。此外，利用太陽能電池板和蓄電池進(jìn)行供電，輔之蜂鳴器預(yù)警輪椅的電量不足。我們將合適的硬件和人工智能相結(jié)合，賦予了殘障人士更多的自主性與便利性，增加四肢不便生活的自信心，同時(shí)也減少其監(jiān)護(hù)人的工作量。在后續(xù)的開發(fā)中，我們將研究眼睛以及眉毛等部位表情的人機(jī)互動(dòng)功能，能夠有效幫助特定人群及時(shí)表達(dá)需要被幫助的需求。

結(jié)語

社會(huì)在不斷的發(fā)展，科學(xué)在不斷地進(jìn)步?？萍及l(fā)展造福的是全人類，是服務(wù)人民的存在。本裝置的初心是為了改善四肢不便人群的生活水平、自主能力和人格尊嚴(yán)。在就算沒有人員陪同的情況下也能自由出行，也讓監(jiān)護(hù)人能放心其自我出行。當(dāng)然本裝置只是一個(gè)初步的設(shè)計(jì)，僅僅只能滿足四肢不便人群的一部分需求，我們也會(huì)加強(qiáng)改進(jìn)，實(shí)現(xiàn)更多的表情控制，達(dá)到更高精度的監(jiān)測水平。為部分四肢不便人員有更美好的生活不斷努力，繼續(xù)鉆研。

參考文獻(xiàn)：

[1]韓德洋. 依法保護(hù)殘疾人的公民權(quán)利和人格尊嚴(yán)[N]. 人民法院報(bào)，2021-11-25（005）.

[2]史浩，邢瑜航，陳煉.基于多尺度融合注意力機(jī)制的人臉表情識(shí)別研究[J/OL].微電子學(xué)與計(jì)機(jī)：1-8[2021-11-30].https：//doi.org/10.19304/J.ISSN1000-7180.2021.0799.

[3]張曉玉. 我國個(gè)人移動(dòng)輔助器具領(lǐng)域的發(fā)展現(xiàn)狀和趨勢[A].中國康復(fù)醫(yī)學(xué)會(huì)，2010：6.

[4]羅椅民.我國適老輔具與殘疾人輔具需求分析[J].STANDARD SCIENCE，2019（6）：57-61.

[5]張?zhí)?面部表情識(shí)別的研究與集成實(shí)現(xiàn)[D].重慶郵電大學(xué)，2016.

[6]吳景軍.基于面部表情的智能輪椅控制系統(tǒng)研究[D].沈陽工業(yè)大學(xué)，2015.

[7]黃曉光，葉振合，鄭穎.殘疾人輔具產(chǎn)品安全性設(shè)計(jì)研究[J].包裝工程，2018（16）：16-18.

[8]吳賡.藍(lán)牙技術(shù)在單片機(jī)控制中的應(yīng)用[J].機(jī)電信息，2021（26）：60-61+64.

[9]張琥石，林偉龍，楊發(fā)柱，黃向軍，金星伊，陳潔，羅曉春，張盈盈，甘辛.基于ESP8266 WiFi模塊的物聯(lián)網(wǎng)體溫監(jiān)測系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2020，10（12）：32-35.

本文受到國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目《健康城市與智能出行——針對手腳皆殘的智能輪椅》（202010349021）資助。