蔡旭剛, 王 磊, 王 帆, 李俊廷, 潘家輝

(華南師范大學 軟件學院, 佛山 528225)

我國醫(yī)療衛(wèi)生市場龐大, 醫(yī)護人員工作負荷重情況突出, 據(jù)中國國家衛(wèi)生健康委員會發(fā)布的《2019年我國衛(wèi)生健康事業(yè)發(fā)展統(tǒng)計公報》顯示[1], 2019全國醫(yī)療衛(wèi)生機構(gòu)總數(shù)達1007 545個, 全國醫(yī)療衛(wèi)生機構(gòu)床位880.7萬張, 醫(yī)院醫(yī)師日均擔負診療7.1人次和住院2.5床日.伴隨著新冠疫情與高新科技的沖擊, 醫(yī)療衛(wèi)生行業(yè)模式正加快從傳統(tǒng)化、數(shù)字化、信息化走向智能化[2].醫(yī)院病房作為醫(yī)院醫(yī)療產(chǎn)業(yè)的核心支柱, 其智能化程度與病人舒適指數(shù)、醫(yī)護負荷指數(shù)、醫(yī)療資源分配合理指數(shù)、管理運作效率指數(shù)等密切相關(guān).物聯(lián)網(wǎng)、5G通信、云計算、大數(shù)據(jù)等高新技術(shù)在醫(yī)療病房等傳統(tǒng)行業(yè)的應用已是智能化時代背景下的大勢所趨, 以“互聯(lián)網(wǎng)＋醫(yī)療”的智慧病房協(xié)同控制控制系統(tǒng)是當今醫(yī)院醫(yī)療產(chǎn)業(yè)信息化研究與建設(shè)的熱點方向[3].

課中是教師組織活動，學生參與活動，是學生展示交流、協(xié)作討論、解疑釋問和完成作業(yè)等充分實現(xiàn)知識內(nèi)化的過程，具體實施方案如圖2 所示。

智能控制的核心在于控制機制的有效性、健壯性、實時性、簡易性與可維護性.在傳統(tǒng)病房以醫(yī)護為核心的人工服務(wù)機制中, 緊急呼叫與控制機制多為人工服務(wù).應對眾多患者的不同需求, 醫(yī)護工作負荷沉重, 尤其是應對言語障礙(Language Disorder Syndrome,LDS)、脊髓損傷(Spinal Cord Injury, SCI)、肌萎縮性脊髓側(cè)索硬化癥(Amyotrophic Lateral Sclerosis, ALS)等生活能力較弱的病患, 難以做到針對不同病患的個性化服務(wù), 且醫(yī)護查房工作經(jīng)常出現(xiàn)“觀察查房”現(xiàn)象,對病人護理與治療缺少溝通交流, 病患缺失修養(yǎng)與治療所需求的幸福感與舒適感[4].同時病患醫(yī)療必要生理數(shù)據(jù)獲取需要消耗醫(yī)護大量工作時間進行日常記錄,病房安全需要定時檢查維護, 尤其對于負壓病房等高要求醫(yī)護病房, 大量的數(shù)據(jù)記錄與機械人工預警極大浪費專業(yè)安全人員的精力與時間.

本文提出一種融合語音與腦電信號的智慧病房控制系統(tǒng).語音交互方面, 基于STM32微控制器(Micro-Controller Unit, MCU)與SYN7318離線非定向語音識別模塊對語音信號識別分類并轉(zhuǎn)化為控制指令, 利用TCP/IP協(xié)議遠程傳輸生理與安保數(shù)據(jù)完成云端被動預警控制; 腦電交互方面, 基于一種波峰波谷特征的波形檢測算法對眨眼動作進行識別并轉(zhuǎn)化控制指令.最后,融合語音控制的高效性、腦電控制的自然性和遠程終端控制的準確性設(shè)計一種互補性融合的多模態(tài)智慧病房控制系統(tǒng).

本文的主要貢獻如下:

采用先進的水性配方Penguard E33 WF、Jotatop AY20 WF、Penguard E99 WF以高品質(zhì)水性樹脂為原材料，VOC含量極低（小于80 g/L），可有效避免涂裝過程中對現(xiàn)場施工人員的健康損害。

(1) 根據(jù)離線語音模塊的語義特性適配傳輸速率并設(shè)計傳輸協(xié)議, 對語音信號進行指令轉(zhuǎn)換, 完成語音交互控制.

(2) 根據(jù)腦電采集設(shè)備采集的腦電數(shù)據(jù)格式, 設(shè)計腦電信號傳輸協(xié)議, 并基于腦電信號生理特征設(shè)計一種基于波峰波谷特征的眨眼波形檢測算法, 對輸入的信號進行起始點檢測、分幀、去噪等預處理, 經(jīng)過特征提取和分析實現(xiàn)眨眼波形檢測, 最后適配眨眼特性,設(shè)計一種眨眼緊急呼叫機制, 完成腦電緊急呼叫.

可是，沒過多久，兒媳婦單位因為上了什么新項目，每天很晚才到家，回來的時候?qū)殞毝妓?，這樣一來，老伴就沒有自己的時間了，我干啥只能單獨行動，為他們做好后勤工作。雖然偶爾也會跟兒子發(fā)發(fā)牢騷，但兒媳婦和兒子說了兩句好話，我們也就乖乖地服從了。

1 國內(nèi)外研究現(xiàn)狀

1.1 腦電控制研究現(xiàn)狀

近年來, 很多國家和組織都致力于開發(fā)實用且可靠的人機交互系統(tǒng), 如語音交互系統(tǒng)[5]、單一開關(guān)系統(tǒng)、眼球追蹤系統(tǒng)[6]等輔助系統(tǒng), 但是對于那些完全喪失外周神經(jīng)肌肉控制能力與語言溝通能力的人來說,這些輔助系統(tǒng)很難使用或者無法使用, 需要借助另一種自然性更高的輔助系統(tǒng), 即基于腦機接口(Brain-Computer Interface, BCI)技術(shù)的新型輔助系統(tǒng).通過侵入式或非侵入式腦電信號監(jiān)測技術(shù), 將大腦中神經(jīng)電信號能實時、準確地通過BCI系統(tǒng)轉(zhuǎn)換成可被計算機識別的命令或操作信號, 為大腦與外部世界提供直接的交流方式.

(2) 分析語音命令的語義結(jié)構(gòu)進行譯碼識別.

1.2 語音控制研究現(xiàn)狀

相對于其他交互方式而言, 語言是人類交往中最基礎(chǔ)、最便捷的交流方式, 伴隨著人工智能的突飛猛進, 自動語音交互(Automatic Speech Recognition,ASR)技術(shù)已初步實現(xiàn)計算機與人類之間的語音交流,基于此項技術(shù), 學者對語言交互的應用場景展開了研究.Portet等[17]開發(fā)了一種針對老年人的家庭自動化語音控制系統(tǒng)——SWEET-HOME, 并評估了使用者及家屬對該技術(shù)的接受程度.該研究表明, 語音交互技術(shù)具有解決老年人和殘障者日常生活需求的巨大潛力, 比其他侵入性腦機控制解決方案更容易被接受.Jadczyk等[18]實現(xiàn)了一個具有語音功能的醫(yī)療自動化平臺CardioCube, 可以從患者那里收集醫(yī)療數(shù)據(jù), 并將其用于進一步的分析.此語音交功能有效提高了用戶操作系統(tǒng)的便捷性, 無論是患者還是醫(yī)護人員都對該系統(tǒng)給予了很高的評價.Peng等[19]使用Google Home,Raspberry Pi和Smart Bluetooth Socket構(gòu)建智能家居控制系統(tǒng), 通過機器學習算法融入應用程序為用戶提供新型智能家庭服務(wù).在該系統(tǒng)下, Google Home識別用戶的語音命令, 然后將指令通過藍牙傳輸?shù)絉aspberry Pi進行家電的控制.毛博等[20]基于深度學習方法提出DeepHome智能家居管控模型, 能夠基于家居環(huán)境數(shù)據(jù)預測智能設(shè)備工作狀態(tài), 并依照預測結(jié)果調(diào)整相應設(shè)備, 實現(xiàn)對智能家居的自動化統(tǒng)一管控.在真實環(huán)境數(shù)據(jù)集下, 對設(shè)備狀態(tài)的預測準確率達到了98.9%.許建國等[21]為醫(yī)院病房智能監(jiān)護系統(tǒng)的設(shè)計提出一種基于物聯(lián)網(wǎng)和Android技術(shù)的解決方案.該系統(tǒng)由移動智能終端SDA、ZigBee模塊、A10平臺、服務(wù)器等部分構(gòu)成.

近年來, 智慧病房控制系統(tǒng)的升級改造一直在進行, 語音、腦機接口、物聯(lián)網(wǎng)等交互技術(shù)在智慧家居、智慧醫(yī)療等場景取得了長足進步, 每年有大量的研究論文、專利和演示系統(tǒng)發(fā)表與涌現(xiàn), 但實際應用仍存在諸多問題.

(1) 病房交互技術(shù)中缺乏豐富、準確、實時的控制指令.目前大部分醫(yī)院病房中護理與交互依舊是“端到端” 的人力完成, 極少涉及語音交互技術(shù)與腦機交互技術(shù)在病房場合的應用, 歸其原因, 語音交互系統(tǒng)與腦機交互系統(tǒng)要控制復雜對象, 需要從語音信號或腦電信號中產(chǎn)生多個相互獨立的控制信號, 且這些控制信號要具有良好的準確性和實時性.目前的語音交互系統(tǒng)大多數(shù)利用大數(shù)據(jù)技術(shù)進行在線識別, 語音數(shù)據(jù)的上行傳輸和識別結(jié)果的下行傳輸需要花費一定時間,產(chǎn)生時延, 應用于病房的智慧控制缺乏控制的實時性,且語音識別對所需要的噪音環(huán)境要求較高, 在噪聲很大的環(huán)境下, 其精準度受到極大影響; 在腦機交互方面,目前的非侵入式腦機接口能提供的獨立控制信號還非常有限, 大多局限于一維控制和較少類別(一般2類或者3類)的腦電信號檢測.即使出現(xiàn)了少數(shù)多維/多類系統(tǒng), 也基本上是一維、二維控制信號和二分類系統(tǒng)的擴展, 造成腦機交互系統(tǒng)性能和應用上有很大的局限性.

(2) 模態(tài)單一, 結(jié)合語音和腦電的多模態(tài)控制研究很少.目前一些醫(yī)療病房領(lǐng)域采用的智慧控制方式多為單一模態(tài)控制, 無法覆蓋病房內(nèi)全部患者的服務(wù)要求.控制方式中語音控制與腦電控制分屬兩種模態(tài)控制, 兩種模態(tài)控制方式各具有其優(yōu)勢特色, 應對不同特征患者, 各自擁有自己差異化應用解決方案, 目前結(jié)合語音交互的高效性與腦電交互的自然性, 發(fā)揮各自差異化應用特點, 形成一款互補式的融合控制機制進行主動與被動控制, 仍然處于學術(shù)與市場的初探階段.

2 系統(tǒng)總體設(shè)計

本系統(tǒng)將物聯(lián)網(wǎng)技術(shù)、語音識別技術(shù)和與腦機接口技術(shù)相結(jié)合, 以傳統(tǒng)的病房護理為場景, 構(gòu)建以輔助預警及智能護理為主要功能的智慧病房控制系統(tǒng), 該控制系統(tǒng)結(jié)構(gòu)總圖如圖1所示.

圖1 智慧病房控制系統(tǒng)結(jié)構(gòu)

語音識別交互模塊能夠滿足病患在病房的基本控制需求與交互服務(wù).系統(tǒng)中語音識別依托SYN7318非定向離線語音芯片, 首先采集病房內(nèi)病患語音信號, 信號經(jīng)由預處理后提取相應語音信號特征, 對其進行離線數(shù)據(jù)庫比對, 最后識別出語音中的病患控制指令, 完成語音交互功能, 包含語音控制、離線語音聊天、語音定時、語音呼叫、音頻播放等功能.

本次實驗分為語音交互實驗和眨眼識別實驗.實驗環(huán)境基本設(shè)備: 基于樹莓派4B腦電分析模塊, Linux環(huán)境下, 以PyCharm工具為平臺, Python 3.8版本; 基于STM32F103系列的云端管理與控制模塊和顯示播報模塊; HNNK腦機智能生命環(huán); Android 5.0以上的智能手機終端.

顯示播報模塊利用無線通信技術(shù)與云端管理與控制模塊進行遠程信息傳輸, 將病房患者的交互需求與緊急呼叫進行可視化顯示與實時動態(tài)語音提醒.

因此，就業(yè)角度的人工智能樂觀派，恐怕很難成立。這意味著，人工智能將粉碎人類有史以來的重復性勞動和生活樣態(tài)。

腦電采集與分析模塊接收HNNK腦機智能生命環(huán)原始腦電信號, 對信號進行眨眼波形檢測, 以提供腦電控制指令緊急報警.遵照腦電信號本身生物電特性進行濾波降噪, 將降噪后的連續(xù)腦電信號進行起止點檢測與目標字符段進行劃分, 最終腦電數(shù)據(jù)經(jīng)由一種基于波峰波谷特征的波形檢測算法進行眨眼識別, 利用患者多次眨眼信號作為緊急告警指令, 實現(xiàn)緊急報警功能.

3 語音識別交互模塊核心技術(shù)

為了實現(xiàn)病患人機離線語音交互功能, 語音識別處理是不可或缺的一環(huán).有效的語音識別處理能將病患語音模擬信號實時轉(zhuǎn)化為相對應的語音特征指令,并對后續(xù)系統(tǒng)控制提供最正確的指令特征信息.同時病房環(huán)境中識別病患語音信號能使最終所執(zhí)行的控制指令更具準確性和實用性.

在對語料進行加工的時候，需要注意一下以下原則：第一，適量性。在對語料進行加工的時候，講究適量原則，建立“學生友好”原則，信息不要太多，信息太多，反而會讓學生產(chǎn)生“畏難”情緒，不利于激勵學生繼續(xù)學習。第二，開放性原則。語料是不斷變化的，是有生命的，是活動的，因此，語料的加工要隨時增補一些貼近時代的語料。第三，教育性。語料的加工處理要具備一定的教師育人目的，給學生帶來正能量，幫助學生不斷進步與提高。

為實現(xiàn)語音信號的實時與準確識別必須完成下列任務(wù):

(1) 適配通信速率去保障通信傳輸準確性;

隨著相關(guān)研究推進, 腦機接口技術(shù)的含義進一步得到外擴, 腦機接口技術(shù)不再局限于實現(xiàn)對用戶大腦狀態(tài)的檢測, 還用于實現(xiàn)大腦對外部設(shè)備的控制.四肢癱瘓患者利用侵入式BCI控制機械臂完成手部伸手動作與抓取動作[7,8], 此種控制方法備受患者青睞.但安全性一直是困擾侵入式BCI發(fā)展的主要問題, 相比之下,非侵入式BCI擁有更安全、更簡易、更普適的控制優(yōu)勢.目前, 多名學者與研究團隊將BCI控制應用到輪椅中[9,10], 用于解決SCI、ALS患者行動不便的問題.Jafri等[11]提出了一種基于無線腦電接口(Wireless Brain-Computer Interface, WBCI)技術(shù)的高可移植性智能家居系統(tǒng), 通過P300腦機接口范式選擇家電設(shè)備并完成后續(xù)的控制操作.考慮一定比例患者由于文化、學科等因素導致無法操作單一類型BCI系統(tǒng)[12].因此,“混合型”BCI系統(tǒng)可為患者在不同的方法中提供最優(yōu)的BCI控制, Edlinger等[13]提出了一種基于P300與SSEVP多模態(tài)的融合控制范式, 能夠在虛擬智能家居環(huán)境中完成高精度的工作.Chen等[14]結(jié)合增強現(xiàn)實技術(shù)、計算機視覺技術(shù)和穩(wěn)態(tài)視覺誘發(fā)電位-BCI技術(shù),設(shè)計并實現(xiàn)了雙臂控制系統(tǒng).除腦電控制之外, 多名研究學者將眼電信號與腦電信號進行融合, 使系統(tǒng)擁有更高的使用效率和更廣的應用范圍[15].Venkataramanan等[16]采集水平通道與垂直通道的眼電信號, 經(jīng)由偽影和干擾電弧處理, 進行眨眼檢測, 并將眨眼信號應用于醫(yī)院二級報警系統(tǒng)控制.

3.1 語音識別交互系統(tǒng)結(jié)構(gòu)

語音識別交互系統(tǒng)架構(gòu)包括硬件、接口、協(xié)議、功能、模式5層, 如圖2所示.

考慮到國外經(jīng)濟發(fā)展水平、市場化程度、社會信用約束及法律約束條件等不同，因此，對國外的一些金融產(chǎn)品、金融技術(shù)不能搞簡單的“拿來主義”，一定要系統(tǒng)地完成中國化、本土化的再改造過程。否則，中國的社會經(jīng)濟發(fā)展很可能會遇到不能承受之重。例如，2016年年初照搬美國證券市場的熔斷機制，不僅未達到穩(wěn)定市場的目的，反倒進一步加劇了市場恐慌。

圖2 語音識別交互系統(tǒng)架構(gòu)

硬件與接口層以STM32F103C8T6主控器為核心,OLED顯示屏、硬件驅(qū)動電路、離線語音識別單元、無線通信單元和外圍硬件電路為輔, 依托模擬信號采集傳感器讀取相關(guān)數(shù)據(jù), 對STM32F103C8T6主控單元GPIO引腳進行復用配置提供上層數(shù)據(jù)傳輸接口.在協(xié)議層依托硬件與接口層機械、電子功能部分特性, 規(guī)定通信過程中的通訊邏輯、統(tǒng)一收發(fā)雙方的數(shù)據(jù)打包與解包標準, 確定雙方通信信道與連接方式, 保障雙方有序通信, 準確完成數(shù)據(jù)獲取.功能層依托協(xié)議層與硬件接口層, 完成語音交互、數(shù)據(jù)傳輸、指令融合和外部控制等模塊功能.應用模式層規(guī)定頂層模式, 合理組織調(diào)用業(yè)務(wù)邏輯功能與常用功能, 對系統(tǒng)支持功能進行合理的整合與調(diào)配, 保持系統(tǒng)的合理性、有效性和穩(wěn)定性.

3.2 語音交互指令獲取

(1)波特率選擇

波特率指數(shù)據(jù)信號對載波的調(diào)制速率, 它用單位時間內(nèi)載波調(diào)制狀態(tài)改變次數(shù)來表示, 單位為Baud.比特率指單位時間內(nèi)傳輸?shù)谋忍財?shù), 單位b/s[22].STM32F103C8T6 主控HSE高速外部時鐘信號采用8M晶振為基頻, 經(jīng)過鎖相環(huán)倍頻達到72 MHz主頻,以保障系統(tǒng)穩(wěn)定運行.其USART1/USART2外設(shè)時鐘分別來源于APB2/APB1總線時鐘, 最大頻率為36 MHz/72 MHz, 最大支持4.5 Mb/s, 考慮SYN7318所支持的4800 Baud、9600 Baud、57 600 Baud和115 200 Baud 4種波特率、串口10位傳輸字符格式, 對雙方通信設(shè)備通信速率、波特率誤差、通信距離綜合考慮進行如表1所示比較, 最終選擇115 200 Baud為通信傳輸波特率.計算通信速率為式(1), 計算波特率與誤差為式(2)和式(3):

其中,I代表比特率;STx/Rxbaud 代表波特率,N代表每個符號負載的信息量, 由于STM32F103C8T6中單個調(diào)制狀態(tài)對應1個二進制位, 比特率等于波特率.

3) 設(shè)計一種基于波峰波谷特征的波形檢測算法進行眨眼波形檢測.

表1 通信速率與誤差比較表

其中,Serror代表波特率誤差率,Sbase為設(shè)置波特率,Sreal為實際波特率.

(2)命令幀解析

SYN7318以“幀頭+數(shù)據(jù)區(qū)長度+數(shù)據(jù)區(qū)”格式與MCU主控通信, 其語音命令幀格式如表2所示.

綜合考慮燈樁建設(shè)周期（通常1年）、總投資、勘察設(shè)計時間及成本等因素，結(jié)合燈樁建設(shè)選址位置，根據(jù)不同的地質(zhì)條件，選擇幾個代表性的地質(zhì)類型進行勘察，同類型燈樁勘察設(shè)計互相借鑒，以此類推，編制燈樁標準化勘察報告。

表2 語音命令幀格式表

幀頭設(shè)定“0xFD”為設(shè)備雙方串口通信識別初始字節(jié), 占用一個字節(jié); 數(shù)據(jù)長度使用兩個字節(jié)進行標識,發(fā)送與回傳指令最大長度不大于4096 B; 數(shù)據(jù)區(qū)為包含命令字節(jié)、命令參數(shù)與待發(fā)送文本, 命令字節(jié)使用1 B選擇模式, 同時確定對應模式具體功能, 識別模式命令參數(shù)字節(jié)長度不定, 通常為5 B, 包含匹配度(1 B)、詞條ID (2 B)、命令I(lǐng)D (2 B), 其余模式命令參數(shù)為無,待發(fā)送文本為存儲語音合成詞條的編碼字節(jié)和回傳類型, 字長根據(jù)語音合成文字長度設(shè)定, 字節(jié)長度小于等于4 KB, 根據(jù)其字節(jié)接受特性與實際通信測試, 同一幀數(shù)據(jù)中, 每個字節(jié)之間的發(fā)送間隔不能超過15 ms;幀與幀之間的發(fā)送間隔必須超過15 ms, 考慮通信質(zhì)量不被影響, 至少留出2 ms時延長余量, 即幀與幀發(fā)送間隔大于17 ms.且在發(fā)送過程中, 發(fā)送命令幀嚴格控制4096 B, 超過4096 B會導致發(fā)送失敗.

3.3 語音指令分級編碼

對SYN7318通信傳輸速率與通信協(xié)議匹配后,MCU具備與語音模塊雙向通信的能力.為完成人性化的語音交互功能, 將離線語音模塊所支持的語音功能高效的綜合利用, 還需要對語音指令進行分級編碼傳入語音、腦電與云端控制融合模塊, 防止指令混傳, 造成功能混亂.編碼規(guī)則如表3所示.

表3 語音指令編碼規(guī)則表

編碼規(guī)則采取16位二進制編碼方式, 通過藍牙HC-05近距離逐字節(jié)傳入控制系統(tǒng)進行分析識別, 傳輸時間間隔為2 s, 語音指令編碼長度為7位, 其狀態(tài)編碼表示當前數(shù)據(jù)是否為有效語音指令; 模式編碼為一級詞條編碼, 確定要選擇的語音交互模式或控制指令; 詳細功能編碼為當前已選模式下的具體語音功能.將語音指令進行編碼化設(shè)計, 根據(jù)其編碼規(guī)則進行表達與關(guān)聯(lián), 確保語音指令的準確性, 避免指令間的識別沖突, 方便后續(xù)離線語音詞條的添加與刪除, 降低復雜度.

4 腦電獲取與分析模塊核心技術(shù)

腦電控制模式針對肢體殘疾且語言能力受損的特殊看護病人, 提出一種根據(jù)眨眼動作完成控制與緊急呼叫的解決方案.其中, 眨眼波形識別處理是不可或缺的一環(huán).有效的眨眼識別處理能將病患眨眼動作準確識別并轉(zhuǎn)化為眨眼特征指令, 對后續(xù)腦電緊急呼叫提供最準確的指令特征信息.為此腦電控制與緊急呼叫必須完成下列任務(wù):

(1) 眨眼波形識別.

1) 根據(jù)HNNK腦機智能生命環(huán)傳輸協(xié)議解析并獲取原始腦電信號;

廣西與越南陸海相通，居于中國—東盟的地理中心，在我國面向東盟的經(jīng)貿(mào)合作格局中享有極為明顯的區(qū)位優(yōu)勢與非常重要的戰(zhàn)略意義。與廣西一河之隔的越南則是東盟經(jīng)濟發(fā)展?jié)摿薮蟮闹匾蓡T國，極有可能成為21世紀全球新的制造中心。根據(jù)商務(wù)部的相關(guān)統(tǒng)計，廣西檢驗檢疫局簽發(fā)往越南的中國—東盟自貿(mào)區(qū)優(yōu)惠原產(chǎn)地證書在全國檢驗檢疫系統(tǒng)中居首位。

由嘯叫產(chǎn)生的原理可知，門頁與車體之間或兩門頁之間產(chǎn)生的縫隙導致了車廂內(nèi)出現(xiàn)刺耳的嘯叫聲。以下是導致車門與車體及兩門頁間出現(xiàn)縫隙的幾種原因：

2) 根據(jù)生物電特性對腦電信號進行濾波降噪, 將降噪后的連續(xù)腦電信號進行起止點檢測, 對目標字符段進行劃分;

其中,fCK為USART 時鐘,OVER8代表16倍過采樣, 用0表示,USARTDIV代表一個存放在波特率寄存器(USART_BRR)的一個無符號定點數(shù).其中DIV_Mantissa[11:0]位定義USARTDIV的整數(shù)部分, DIV_Fraction[3:0]位定義USARTDIV的小數(shù)部分, 波特率的誤差正是由于對小數(shù)部分的取整賦值所造成.

在進行石油裝備企業(yè)績效管理工作的開展中，應該針對績效管理工作的開展制定專門的協(xié)作機制，也就是在進行績效管理過程中，針對績效管理工作的開展將對應的績效管理工作控制協(xié)調(diào)好，保障在控制協(xié)調(diào)過程中，能夠按照石油裝備企業(yè)的發(fā)展去調(diào)整對應的績效管理工作。這種現(xiàn)象是我國當前的石油裝備企業(yè)管理中最為直接的一項管理表現(xiàn)，就是在績效管理工作的控制中，對于績效管理的理念協(xié)調(diào)不夠完善，很多人不能夠明確績效管理的重要性，對于企業(yè)自身管理能力提升具有重要的影響。同時在石油裝備企業(yè)的績效管理中，對于績效協(xié)作管理理念的傳輸在部門與部門之間的流通是存在不同的，所以其對應的影響也是不同的[2]。

(2) 腦電指令轉(zhuǎn)換.

設(shè)計一種腦電緊急呼叫機制, 通過用戶多次眨眼動作觸發(fā)遠程腦電緊急呼叫.

4.1 腦電獲取與分析處理系統(tǒng)流程

腦電控制與緊急呼叫是本系統(tǒng)的一個重要功能,其流程框圖如圖3所示.

圖3 腦電緊急呼叫流程圖

用戶首次使用該功能, 首先需要多次眨眼校準, 待眨眼評分大于80后進入動態(tài)采集檢測部分, 如非首次使用, 可跳過此環(huán)節(jié).眨眼校準完成后, 進入實時眨眼判別環(huán)節(jié), 基于樹莓派4B每隔16 ms進行一次生命環(huán)數(shù)據(jù)讀取, 每次讀取20 B數(shù)據(jù)(包含8 ms時間間隔的4 B腦電數(shù)據(jù)), 并繪制其為實時腦電波形.在腦電波形圖中, 信號的幅值隨眨眼動作的進行而改變, 為此采用含有n個元素的波形向量(X=[x1,x2,x3,···,xn-2,xn-1,xn]xi)進行表示, 其中xi為波形上的某一點幅值,兩個相鄰向量點之間的時間間隔Δt為8 ms, 由此組成的波形向量以腦電信號的生物電特征為基本判別標準對腦電信號進行起始段檢測與分幀、濾波等預處理.最終根據(jù)眨眼操作完成控制與緊急呼叫.

4.2 腦電信號預處理

(1)起始段檢測與分幀

根據(jù)腦電信號的非平穩(wěn)特征, 即從整體來看其特征與表征本質(zhì)特征的參數(shù)均為隨機變化, 具有時變特性.但在一個短時間內(nèi), 其特性基本保持不變即相對穩(wěn)定, 因而可以將其看作一個準穩(wěn)態(tài)過程, 即具有短時平穩(wěn)性.后續(xù)分析要進行“短時分析”[23].樹莓派以8 ms的間隔時間進行數(shù)據(jù)點存儲形成波形向量, 在實際測試中, 眨眼波形的數(shù)據(jù)點遠遠小于未眨眼數(shù)據(jù)點, 避免浪費大量數(shù)據(jù)處理的時間, 有效捕獲有眨眼動作波形,需要對腦電信號進行起始段檢測, 以排除非眨眼動作的無效腦電信號, 提高眨眼識別處理的準確度與效率.

本設(shè)計中采用移動平均法來動態(tài)檢測活動段, 根據(jù)眨眼動作時, 腦電信號幅值產(chǎn)生波動的特點, 采用短時間信號幅值均值為預測值, 實際腦電信號幅值與預測值相減, 差值大于閾值(閾值取值以經(jīng)驗值為標準)的點為基本起始點.其數(shù)學表達式如式(4)所示, 其中xk為下一個時期腦電信號的預測值,n為移動平均的時期個數(shù),xk-1,xk-2,xk-3等為前幾期的實測腦電信號幅值.xreal為下一個時期實測腦電信號幅值,Tbegin為起始點檢測差值經(jīng)驗閾值.式(5)中,S=1(S=0)表示檢測到眨眼起始點(未監(jiān)測到眨眼起始點), 注意采用的移動平均法為簡單移動平均法, 每個時期腦電信號幅值權(quán)重都同為1.

在實時腦電信號動態(tài)處理過程中, 在起始點確定后, 為再次減少眨眼識別的數(shù)據(jù)量與運算量, 排除腦電信號中非眨眼動作的噪音干擾, 增強數(shù)據(jù)的有效性與準確性, 對數(shù)據(jù)分幀是一個重要環(huán)節(jié), 眨眼動作的起始端確定后, 還需確定眨眼動作的終止端.

(2) 抗噪音實驗

圖4 眨眼動作實驗統(tǒng)計圖與概率密度函數(shù)圖

(2)濾波

腦電信號在采集過程中容易收到周圍環(huán)境和自身生物電因素的干擾, 因此要對分幀后的腦電信號進行濾波去噪處理, 為后續(xù)的眨眼波形識別與處理提供可靠的數(shù)據(jù)支撐.本設(shè)計中采用0-10 Hz Butterworth低通數(shù)字濾波器對波形數(shù)據(jù)進行低通濾波[16], 最終原始波形經(jīng)過分幀、加窗、濾波后的波形如圖5所示.

圖5 原始波形經(jīng)過起始段檢測、分幀、濾波結(jié)果圖

4.3 特征提取與眨眼檢測

通過眨眼信號和非眨眼信號對比, 如圖6所示.眨眼信號存在明顯波峰波谷(先波峰后波谷)特點.根據(jù)這種差異, 提出了一種基于波峰波谷特征的波形檢測算法.將預處理后的波形被轉(zhuǎn)換成能量波形后檢測其波峰與波谷(tvalley與tpeak), 并計算波峰波谷間隔時間(d=tvalley-tpeak) 和能量積累(e=(Vt)2,Vt表示t時刻當前信號的電壓值), 提取此眨眼信號特征閾值(Dmin、Dmax和E)進行眨眼波形檢測, 其波形檢測公式如式(6)所示.

圖6 眨眼與非眨眼EOG信號波形

其中,b=1表示檢測到眨眼動作;b=0表示未監(jiān)測到眨眼動作.

待眨眼動作識別處理完成, 將識別分類情況傳入腦電緊急呼叫機制, 當接受到眨眼動作為“真”情況下激活3 s定時函數(shù), 并記錄眨眼次數(shù)blink_num, 3 s內(nèi)如果眨眼動作次數(shù)超過3次, 將眨眼緊急呼叫指令發(fā)送至控制系統(tǒng), 反之眨眼次數(shù)清零(防止自然眨眼所導致緊急呼叫), 等待下次眨眼動作激活.具體眨眼緊急呼叫機制處理如式(7)所示.

5 系統(tǒng)實驗

云端管理與控制模塊負責預警控制.病房相關(guān)安全數(shù)據(jù)與醫(yī)患常規(guī)測量數(shù)據(jù)經(jīng)由TCP/IP協(xié)議傳入云端, 以便安保人員與醫(yī)護人員檢測與記錄, 并基于閾值形成一種被動控制方式.

從某種意義上來說，師生關(guān)系應該是平等的。我們通常習慣于把學生置于接受教育的一方，而很多時候，學生也可能成為我們的老師?！敖虒W相長”，說的就是我們在教育教學的過程中不斷總結(jié)反思，而后在改進中不斷進步的結(jié)果。對大家來說，每一個教育難題都是一次有益的考驗，通過了這個考驗，你就自動升級。

5.1 語音交互實驗

語音交互是本設(shè)計的核心控制技術(shù)之一, 下面分別對語音交互中的語速適應性識別、抗噪音能力以及識別距離進行實驗, 探究其對語音交互識別的影響.本次實驗人員為4名男性(平均年齡23.6), 實驗地點為華南師范軟件學院302實驗室.3項實驗均采用不超過20個音節(jié)的短句進行實驗檢測.

(1) 語音語速識別實驗

探究不同語速對語音識別所造成的影響.4名實驗人員在環(huán)境噪音為安靜(20-40 dB), 交互距離長度為0-0.5 m, 語種為標準普通話進行不同語速實驗.根據(jù)人的發(fā)音速率特性[24]及國家標準[25], 人在正常交流情況下發(fā)音速率在4.0 sps左右.為此本實驗將語速分為2.7 sps、3.2 sps、4.0 sps、5.3 sps和 8.0 sps 5 個等級, 每名實驗人員進行50次語音交互, 最終計算平均語音判決時間和識別準確率.

根據(jù)經(jīng)驗所得, 人類絕大部分眨眼時間在0.8 s以內(nèi)(100個數(shù)據(jù)點), 在此基礎(chǔ)上對3名正常人(平均年齡23.7)與運動功能受損但眼部功能完好的5名病患共8人進行實驗統(tǒng)計, 我們以160次眨眼動作腦電數(shù)據(jù)進行分析, 被試者絕大部分眨眼時間集中在44-66(0.352-0.544 s)之間, 眨眼動作持續(xù)時間實驗統(tǒng)計圖與概率密度函數(shù)圖如圖4所示, 其均值為56.7375, 我們規(guī)定起始端到終止端設(shè)置為眨眼識別 “窗口”, 一次“窗口”為一個眨眼動作識別數(shù)據(jù)幀, 幀長為57.最終的處理腦電數(shù)據(jù)為57個元素的波形向量(X=[x1,x2,x3,···,x55,x56,x57]).

探究不同環(huán)境噪音對語音識別所造成的影響.本次以現(xiàn)實環(huán)境噪音為根據(jù), 環(huán)境噪音等級劃分為3個等級, 分別為安靜(20-40 dB)、較吵鬧(40-60 dB)、吵鬧(60-80 dB), 4名實驗人員在語速為正常語速(4.0 sps),交互距離長度為0-0.5 m, 語種為標準普通話的基本前提下, 分別50次進行不同環(huán)境噪音下進行實驗, 計算平均語音判決時間和識別準確率.

監(jiān)管工作在國內(nèi)的公路工程項目建設(shè)施工的質(zhì)量安全工作中發(fā)揮著重要作用，但是實際上國內(nèi)的工程監(jiān)管體系發(fā)展尚不夠成熟與完善，使其在具體落實的過程中出現(xiàn)許多問題。首先，施工單位對監(jiān)管工作缺乏全面深入認識，其所落實的監(jiān)管工作內(nèi)容僅限于現(xiàn)場監(jiān)督施工人員的施工情況，卻忽略了設(shè)計與技術(shù)交底、施工組織設(shè)計、質(zhì)量安全檢查保證等環(huán)節(jié)的監(jiān)管職責，在很大程度上影響著公路工程建設(shè)施工中對質(zhì)量安全的監(jiān)管工作成效。

(3)識別距離實驗

探究不同識別距離對語音識別所造成的影響.本次實驗4名實驗人員在語速為正常語速(4.0 sps), 噪音環(huán)境為初級(20-40 dB), 語種為標準普通話的基本前提下及將距離分為4個等級, 近(0-0.5 m)、中(0.5-3 m)、遠(3-5 m)、超遠(5 m以上)進行不同距離分別進行25次實驗, 并計算最終平均語音判決時間和識別準確率.

(4)實驗總結(jié)

綜合表4、表5、表6結(jié)果所得, 語速在3.2-4.0 sps,識別距離0.5 m以內(nèi)且噪聲分貝在40 dB以下時, 識別準確度保持在98%以上.但語速過快導致采樣缺失與識別時間過長, 隨之識別錯誤與識別超時數(shù)量增加, 識別準確率下降.同時外界環(huán)境噪音的大小與識別準確率成反比, 隨著噪音的增加, 外界噪音被誤判為人為語音引起音頻采集混亂, 識別錯誤數(shù)與識別超時數(shù)隨之增加, 準確率下降.識別距離的增加, 同樣會導致準確率下降.考慮現(xiàn)實常規(guī)應用環(huán)境, 病房內(nèi)環(huán)境噪聲規(guī)定最高為45 dB[26], 識別距離為3 m之內(nèi), 語音交互識別平均判決時間小于1 s, 識別準確率93%以上, 完全滿足現(xiàn)實需求, 能夠投入實際應用.

表4 語速適應性實驗

表5 抗噪音實驗

表6 識別距離實驗

5.2 眨眼識別實驗

眨眼識別實驗旨在檢測系統(tǒng)從腦電波形中識別眨眼動作的能力.在本實驗中, 使用HNNK智能腦機生命環(huán)收集腦電數(shù)據(jù), 然后基于本文提出的一種基于波峰波谷特征的波形檢測算法進行實時數(shù)據(jù)處理.實驗人員共10人, 6名健康受試者進行了18項試驗,4名患有眼疾的患者進行了14項試驗.每個試驗包含30幀, 共檢測960幀.選取信息檢索和統(tǒng)計學分類領(lǐng)域中廣泛應用的兩個度量值: 召回率(recall)和準確率(accuracy), 用于評價結(jié)果質(zhì)量; 選取精確率(precision)來反映預測的眨眼中真正眨眼樣本所占的比重.

據(jù)統(tǒng)計, 眨眼識別性能結(jié)果如表7所示, 健康受試者的準確率, 召回率和精確度分別為94.3%, 90.6%和92.1%, 而患者的準確率, 召回率和精確率分別為82.9%,77.9%和72.7%.

表7 算法性能結(jié)果 (%)

從檢測過程來看, 隨著眨眼動作的幅度增加, 健康受試者和眼疾患者的眨眼波形識別率都會上升.但同時也增加由設(shè)備的抖動引起的噪聲, 導致精度降低.因此, 尋找眨眼動作幅度的平衡點是十分必要的.

6 結(jié)論

本文針對醫(yī)療信息化中重要建設(shè)目標之一——智慧病房系統(tǒng), 提出一種融合語音和腦電的多模態(tài)智慧病房控制系統(tǒng).該系統(tǒng)采用語音、腦電和手機終端多模態(tài)信號作為系統(tǒng)控制源, 擴大了系統(tǒng)的使用受眾, 有效改善了當前智慧病房系統(tǒng)中存在的用戶身體條件要求過高、受眾有限的問題.通過將物聯(lián)網(wǎng)控制、語音識別應用到病房護理場景, 引入了基于語音的電器控制功能.該功能從患者角度出發(fā), 深入挖掘其在治療護理時期實際需求, 有效提高了患者在病房中的自理能力.這一設(shè)計出發(fā)點, 打破了以往智慧病房設(shè)計從醫(yī)院護理者出發(fā)的固有思路, 值得未來智慧病房設(shè)計規(guī)劃借鑒.

對PM2.5進行組分分析，如圖3所示。結(jié)果表明，本站點環(huán)境PM2.5中，水溶性離子所占比重最大，且NO3->SO42->NH4+> Cl- > K+ > Na+ >Ca2+ > Mg2+，其中二次無機離子SNA共占總離子濃度的81.5%，這表明了大氣二次污染較為嚴重。

本文提出的智慧病房控制系統(tǒng), 能夠提高病房護理中醫(yī)護工作效率, 滿足病患的護理中的基本訴求.系統(tǒng)未來可以從以下兩個方面完善優(yōu)化:

(1) 豐富腦電控制功能.本文采用腦電信號進行告警, 驗證了腦電信號在病房護理中的可行性.但是控制功能單一, 未來可以結(jié)合病房控制需求設(shè)計刺激范式,形成一套豐富的腦電控制系統(tǒng).

(2) 采用基于自然語言處理的人機對話系統(tǒng), 提升系統(tǒng)語音交互的智能性.本文系統(tǒng)的語音交互功能, 需要對固定語音詞條的“回復”語音進行提前錄入, 這就導致語音交互過程中人機對話的單一性, 交互的弱智能性.無法實現(xiàn)生動流暢的語音聊天、隨機多媒體點播任務(wù), 因此與高智能化的人機對話結(jié)合是系統(tǒng)智能化不可或缺的一步.