孫宏林 程敬 李茜 彭俊峰 張佳偉
(西安工程大學(xué)機電工程學(xué)院,陜西 西安 710600)
引言:自閉癥又稱孤獨癥,是一種腦功能障礙引起的嚴(yán)重的長期發(fā)展障礙的綜合癥,主要表現(xiàn)在言語發(fā)展與溝通、社會交往以及情緒與行為模式等方面的障礙或異常。研究發(fā)現(xiàn)自閉癥患者很難識別出自己的或者是其他人的面部表情以及情緒。這種識別他人情緒表情能力的缺乏影響了他們與他人交往的能力[1]。根據(jù)世界衛(wèi)生組織的調(diào)查顯示,全世界自閉癥患者已達6700 萬以上,這一上升趨勢還在不斷的加劇,據(jù)全國殘疾人普查情況統(tǒng)計估算,我國自閉癥患者已超過1000 萬人,自閉癥尤以兒童占比較高,我國0-14 歲兒童患者數(shù)量在200 萬人左右,并且數(shù)量逐年增高。
自閉癥又稱孤獨癥,是一種腦功能障礙引起的嚴(yán)重的長期發(fā)展障礙的綜合癥,主要表現(xiàn)在言語發(fā)展與溝通、社會交往以及情緒與行為模式等方面的障礙或異常。隨著自閉癥近年來的增長趨勢,已經(jīng)逐漸的得到廣大人群的關(guān)注,據(jù)2013 年美國精神病學(xué)會的最新診斷標(biāo)準(zhǔn)《精神疾病診斷與統(tǒng)計手冊》第五版,ASD 的典型特征劃分為3 大特征:社交障礙,語言交流障礙,重復(fù)刻板的異常行為[2]。Baron 等人使用標(biāo)準(zhǔn)的面部表情圖片研究自閉癥兒童對不同情緒種類的識別,發(fā)現(xiàn)自閉癥兒童對他人由外部情境引發(fā)的簡單表情識別得較好,如高興和悲傷,但難以識別由信念和愿望引發(fā)的面部表情如驚奇、窘迫等[3]。他們對于害怕、不安、痛苦等表達負(fù)性情緒的表情更不敏感[4]。根據(jù)世界衛(wèi)生組織的調(diào)查顯示,目前全球有自閉癥患者約6700 萬人,我國自閉癥患者已超過1000 萬人,自閉癥尤以兒童占比較高,我國0-14 歲兒童患者數(shù)量在200 萬人左右,每59 名兒童中就有1 名為自閉癥患者。
迄今為止,自閉癥病因尚不明確,因此沒有特別有效和有針對性的治療藥物,目前自閉癥治療方案大多采取教育和行為干預(yù)的方法,以藥物為輔助手段,而教育和行為干預(yù)效果并不明顯,而且費用高昂,給患者家庭帶來巨大的經(jīng)濟負(fù)擔(dān)。
實施方案包括三個方面:
1.基于腦電信號的自閉癥兒童情緒識別
設(shè)計出自閉癥患兒易于接受的智能可穿戴設(shè)備,形狀類似日常生活中佩戴的帽子,用來采集自閉癥患兒腦電信號,采用人工智能中深度學(xué)習(xí)的方法對腦電信號進行特征提取,構(gòu)建多維情緒分類系統(tǒng),將特征信號與情緒類型進行關(guān)聯(lián),建立自閉癥兒童情緒識別模型進行情緒識別。
2.基于面部表情的自閉癥兒童情緒識別
拍攝自閉癥患兒面部圖像,通過人工智能中機器學(xué)習(xí)的方法針對不同患兒進行面部圖像與情緒對應(yīng)關(guān)系的訓(xùn)練和學(xué)習(xí),進而建立自閉癥兒童面部表情與情緒和需求的對應(yīng)關(guān)系模型。
3.綜合腦電和面部信號的自閉癥兒童情緒識別
將自閉癥兒童腦電信號和面部圖像情緒識別結(jié)果進行綜合分析,給出自閉癥兒童情緒類型和建議,并將結(jié)果反饋給家人和交流者,以便準(zhǔn)確把握自閉癥患兒的情緒,滿足其需求和進行正確的情緒引導(dǎo)。
方案實施技術(shù)路線如圖1。
圖1 方案實施路線圖
采集自閉癥兒童面部圖像,采用通過人工智能中機器學(xué)習(xí)的方法針對不同患兒進行面部圖像與情緒對應(yīng)關(guān)系的訓(xùn)練和學(xué)習(xí),進而建立自閉癥兒童面部表情與情緒的對應(yīng)關(guān)系模型的方案。
首先收集圖片數(shù)據(jù),將各個表情圖片數(shù)據(jù)進行標(biāo)注,將“自然”情緒設(shè)置為“0”,將“生氣”設(shè)置為“1”,將“厭惡”設(shè)置為“2”,將“害怕”設(shè)置為“3”,將“高興”設(shè)置為“4”,將“傷心”設(shè)置為“5”。然后,運用深度學(xué)習(xí)框架PADDLE 搭建RNN 模型。將圖片放進模型里進行訓(xùn)練,取參數(shù)較好的時訓(xùn)練結(jié)束。再將測試集進行測試,訓(xùn)練數(shù)據(jù)如圖2 所示,若測試集準(zhǔn)確率合格,則模型訓(xùn)練完畢:若測試集準(zhǔn)確率過低,則進行數(shù)據(jù)深度修改和框架改進。
圖2 訓(xùn)練數(shù)據(jù)可視化圖
訓(xùn)練合格后,運用銳爾威視高清攝像頭模組(銳爾威視IMX322 高清,0.01lux1080P,焦距6mm,視角60°)拍攝面部表情圖像,通過識別面目表情圖像,輸出結(jié)果。
所設(shè)計的頭皮腦電信號采集前端電路主要由帶有斬波調(diào)制器的前置放大器、增益可編程放大器以及外置低通濾波器組成,電路的整體構(gòu)架如圖3。
圖3 整體電路架構(gòu)
前置放大器電路結(jié)構(gòu),對于極其微弱的頭皮腦電信號,要求前置放大器具有較高的增益、較高的共模抑制比和低噪聲。為了抑制共模信號,前置放大器通常采用全差分結(jié)構(gòu)。
增益可編程放大器和低通濾波器,記錄部位、環(huán)境以及電極的變化都會導(dǎo)致頭皮腦電信號的幅度出現(xiàn)大范圍的變化,因此放置可變增益放大器對前置電路的總增益進行調(diào)節(jié)以避免輸出信號發(fā)生飽和現(xiàn)象。
根據(jù)兒童頭部形狀和相應(yīng)腦電波信息采集位置,將腦電傳感器(頭皮腦電信號采集前端電路)設(shè)計成適合兒童舒適配戴的兒童帽,可以隨時采集腦電信息。傳感器以條幅交叉的結(jié)構(gòu)覆蓋在帽子內(nèi)壁,與頭部貼合,既滿足了采集腦電信號的功能,又能夠滿足受眾兒童對舒適性的要求。
根據(jù)產(chǎn)品功能的要求,以鴨舌帽為原型設(shè)計本產(chǎn)品:如圖4 所示,帽頂部分內(nèi)部覆蓋腦電傳感器,在佩戴時,收集腦電信號;帽檐部分放置微型電池和信號發(fā)送器,為腦電傳感器提供電源同時將收集到的信號發(fā)送給計算終端。
圖4 兒童帽透視圖
將面部識別攝像頭安裝在眼鏡上,用戶在觀察自閉癥兒童時佩戴眼鏡,便能采集自閉癥兒童的面部表情信息,同時結(jié)合穿戴式腦電傳感兒童帽收集到的腦電信息,綜合計算出自閉癥兒童此刻的情緒,轉(zhuǎn)化成語音告訴眼鏡佩戴者。
以普通眼鏡為原型設(shè)計面部表情識別眼鏡:如圖5 所示,在眼鏡橫梁正中放置面部表情識別攝像頭;如圖6 所示,鏡腳處安裝微型播放器,用以將計算出來的自閉癥兒童情緒信息以語音形式告訴眼鏡佩戴者;在鏡腿處設(shè)計可充電式微型電源,為面部表情識別攝像頭和播放器供電。
圖5 面部表情識別攝像頭
圖6 鏡腳處微型播放器
人工智能技術(shù)的飛速發(fā)展為改善自閉癥兒童社會功能與生活質(zhì)量提供了可能,此智能可穿戴系統(tǒng)通過將自閉癥兒童腦電信號和面部圖像情緒識別結(jié)果進行綜合分析,給出自閉癥兒童情緒類型和建議,并將結(jié)果反饋給家人和交流者,以便準(zhǔn)確把握自閉癥患兒的情緒,滿足其需求和進行正確的情緒引導(dǎo)。同時通過深度學(xué)習(xí)和機器視覺相關(guān)技術(shù)開發(fā)智能可穿戴設(shè)備,在自閉癥患兒與一般人之間架起一座橋梁,讓一般人擁有“讀心術(shù)”,能讀懂他們的情緒,滿足他們的需求,提升他們溝通和社交能力,提高他們生活質(zhì)量,進而改善他們的病癥,減輕他們的痛苦。