錢柏霖,張旭,任朝暉,王寧宇,戴金升,張娟
1.首都醫(yī)科 大學(xué) 生物醫(yī)學(xué)工程學(xué)院 臨床生物力學(xué)應(yīng)用基礎(chǔ)研究北京市重點實 驗室,北京 100069;2.首都醫(yī)科大學(xué)附屬北京朝陽醫(yī)院 耳鼻喉科,北京100020
兒童聽覺聲源定位能力自動測試系統(tǒng)的研制
錢柏霖1,張旭1,任朝暉1,王寧宇2,戴金升2,張娟2
1.首都醫(yī)科 大學(xué) 生物醫(yī)學(xué)工程學(xué)院 臨床生物力學(xué)應(yīng)用基礎(chǔ)研究北京市重點實 驗室,北京 100069;2.首都醫(yī)科大學(xué)附屬北京朝陽醫(yī)院 耳鼻喉科,北京100020
為評測人工耳蝸植入兒童的聽力及語言交流能力,越來越多的學(xué)者開始關(guān)注聲源定位。本文針對兒童在聲源定位測試中,配合度低,測試過程復(fù)雜等問題,研制一套兒童聲源定位自動測試系統(tǒng)。該設(shè)計基于安卓設(shè)備,根據(jù)兒童特點設(shè)計趣味交互界面,通過藍(lán)牙設(shè)備控制測試聲源播放時間及方位,利用移動終端設(shè)備自動記錄與處理獲得的測試數(shù)據(jù)。測試系統(tǒng)對多例聽障兒童進(jìn)行了測試實驗,效果良好,測試數(shù)據(jù)穩(wěn)定準(zhǔn)確。該測試方式較于傳統(tǒng)的測試方法,具有效率高、配合度好、操作簡單等優(yōu)點,定量的測試受試者水平方向的定位能力,便于臨床應(yīng)用。
聽障兒童;聲源定位;安卓系統(tǒng);自動測試系統(tǒng);藍(lán)牙控制
聲源定位(Sound Localization,SL)能力是人類聽覺系統(tǒng)的重要功能,它以雙耳聽覺及聽覺中樞的整合為基礎(chǔ),是感知環(huán)境的重要方式,與視覺共同擔(dān)負(fù)著感知周圍事物遠(yuǎn)近、方位、大小、質(zhì)地等信息的重要職責(zé)[1]。人類水平方位聲源定位信號依賴于雙耳時間差(Interaural Time Difference, ITD)和強(qiáng)度差(Interaural Level Difference,ILD)[2-3]。
研究兒童聲源定位,不僅可以幫助我們了解聽覺發(fā)育過程,尤其是聲源定位能力的發(fā)育過程,明確其快速發(fā)展期,還可為臨床人工耳蝸植入及助聽技術(shù)應(yīng)用時間提供重要參考。同時,助聽技術(shù)干預(yù)后,聲源定位能力又是評價其康復(fù)效果的重要指標(biāo)[4-6]。國內(nèi)對于聲源定位的研究較少,上世紀(jì)60年代梁之安等首次采用以弧形橫架固定耳機(jī),受試者判斷連續(xù)2次發(fā)聲是否來自同一耳機(jī)的方式測得正常人正前方角度辨別閾值(Minimum Audible Angle,MAA)為3.5°[7]。自此以后,國內(nèi)少有人問津聲源定位測試。近幾年來,王寧宇團(tuán)隊對聲源定位的測試做了深入的研究,研究感音神經(jīng)聾患者佩帶助聽器前后聲源定位能力的改變,也即是佩帶助聽器后對感音神經(jīng)聾患者聲源定位能力的影響[1],并在成人聲源定位定量研究的基礎(chǔ)上,改良角度辨別測試流程并增加游戲測聽的模式,探索出一種適合4歲正常兒童水平方位聲源定位能力的測試方法[8]。
由于兒童注意力易被新鮮事物轉(zhuǎn)移,故其測試較之成人有更大難度;目前國內(nèi)外多通過測試過程中及測試后給予玩具或禮物等獎勵吸引兒童注意力,以求配合;但各實驗室方法不盡相同,試驗所得數(shù)據(jù)亦有出入。研究中發(fā)現(xiàn),以往的測試方法存在兒童注意力不易集中、配合程度差,給聲系統(tǒng)復(fù)雜、操作繁瑣,數(shù)據(jù)處理時間長等問題。因此本文研究設(shè)計了用于兒童的聲源定位自動測試系統(tǒng),實現(xiàn)兒童SL能力的簡單、快速、準(zhǔn)確測試。
1.1 系統(tǒng)介紹
隨著生活方式與科技的提高,智能化的體檢與診療的方式越來越體現(xiàn)出重要性和可行性,根據(jù)常規(guī)的聲源定位測試方式,設(shè)計一種智能的自動檢測系統(tǒng),解決了對測試結(jié)果記錄、處理的復(fù)雜性,使用游戲的測試方式提高被測試者特別是兒童的測試意愿。
智能自動測試系統(tǒng)需具備以下幾項特點:針對性強(qiáng)、可靠性高、可維護(hù)性好、相對成本低。因此,本系統(tǒng)在保證可靠性和實用性的前提下,應(yīng)盡量具有更簡單的操作,更少的硬件要求,更好的兼容性,以及更低的成本。本文從安卓系統(tǒng)[9]開發(fā)入手,將系統(tǒng)的控制以及處理和儲存等功能集成在安卓系統(tǒng)平板電腦中,通過平板電腦藍(lán)牙集成模塊控制聽力測試系統(tǒng)的響應(yīng),達(dá)到最后的測試效果。
聲源定位測試的基本過程,見圖1[8]:圖中小方塊代表7個不同位置的測試聲源,聲源均勻分布在180°的半圓平面,測試者位于半圓中心點,測試時,聲音隨機(jī)的從7個喇叭中的一個播放,受試者判斷聲音的位置并給出反饋,系統(tǒng)記錄信息。
圖1 聽力聲源定位測試的基本過程圖示
基于聲源定位測試過程的需求,在設(shè)計該系統(tǒng)中,其所需要具備的功能如下。 首先,錄入受試者的基本信息:姓名、年齡、性別。然后,對測試過程中所涉及到的所有參數(shù)進(jìn)行設(shè)置:① 每次測試聲音出現(xiàn)時間;② 每次測試等待受試者做出反應(yīng)的時間;③ 每個發(fā)聲設(shè)備之間的距離(角度);④ 測試中可以接受的測試誤差(用于游戲成功的獎勵判斷);⑤ 一輪測試中受試者需要測試的次數(shù)。之后,記錄下每次測試的結(jié)果,每次測試開始時進(jìn)行計時,倒計時結(jié)束本次測試結(jié)束,標(biāo)注本次測試失敗。并且系統(tǒng)可以對測試結(jié)果進(jìn)行處理(平均、均方差等),并判斷本次測試結(jié)果是否正確,正確則進(jìn)行獎勵播放動畫,錯誤則無獎勵。最后,將所有數(shù)據(jù)保存文本文件,可以查看,以及通過藍(lán)牙設(shè)備發(fā)送到電腦以進(jìn)行下一步的處理。
在整個過程中最為重要的是通信過程,本文通過平板移動終端向設(shè)計的硬件控制器發(fā)送控制信號,為單向控制類型,再由移動終端對受試者作出的響應(yīng)進(jìn)行采集、處理、儲存,并向電腦傳送所獲得的文件。
1.2 系統(tǒng)結(jié)構(gòu)
在項目的設(shè)計實現(xiàn)中,主要是基于安卓系統(tǒng)的開發(fā),在安卓系統(tǒng)下設(shè)計可用的 APP,結(jié)合無線端的硬件模塊組成測試系統(tǒng),因此在設(shè)計中主要涉及到程序開發(fā),藍(lán)牙通信,硬件電路單片機(jī)設(shè)計等問題。其總體框圖,見圖2。
圖2 系統(tǒng)總體框圖
本系統(tǒng)主要分為3個模塊,分別為智能操作平臺、信號傳輸模塊、聲音播放模塊。其中,智能操作平臺監(jiān)控受試者測試進(jìn)程并對聲源播放進(jìn)行控制,最終記錄測試結(jié)果。信號傳輸模塊將聲源控制信號由安卓系統(tǒng)終端通過藍(lán)牙無線發(fā)送給單片機(jī)。聲音播放模塊通過STC89C52RC單片機(jī)[10],處理接收到的聲源控制信號,控制外接喇叭的播放。
1.3 系統(tǒng)軟件設(shè)計方案
安卓系統(tǒng)下的應(yīng)用開發(fā),是整個系統(tǒng)的核心?;诎沧肯到y(tǒng)的聲源定位測試裝置軟件系統(tǒng)框圖,見圖3。
圖3 軟件系統(tǒng)框圖
本文的智能操作平臺在安卓系統(tǒng)平臺上運(yùn)行,使用Java語言開發(fā),主要由3個部分組成:第1部分為受試者可操作的平臺:基本信息錄入、聲源定位測試、測試結(jié)果判斷;第2部分為醫(yī)生可操作平臺-①:查看測試數(shù)據(jù)、測試數(shù)據(jù)上傳工作電腦;第3部分為醫(yī)生可操作平臺-②:設(shè)置測試參數(shù)(測試次數(shù)、測試時長等);受試者可以通過安卓系統(tǒng)平板自行完成所有的測試,測試過程不需要醫(yī)生的參與以及指導(dǎo)。
傳統(tǒng)的測試方式,其測試過程是首先,醫(yī)生播放聲音信號,信號隨機(jī)從7個喇叭中的一個播放;然后,受試者做出判斷,選擇認(rèn)為發(fā)出聲音的編號,與醫(yī)生溝通由醫(yī)生記錄下來;最后,結(jié)束此次測試,可以進(jìn)入下一次測試。
可見,測試過程以醫(yī)生與患者溝通交流為主,導(dǎo)致測試耗時長。對兒童而言更是難以溝通配合,給測試增加困擾。在聲源定位自動測試系統(tǒng)設(shè)計上避免了醫(yī)患之間的交流,由系統(tǒng)控制測試流程,并在其中加入游戲設(shè)置,提高兒童測試的積極性,有效的避免了傳統(tǒng)測試中的一系列問題。其基于安卓系統(tǒng)的自動測試系統(tǒng)程序流程,見圖4。
圖4 基于安卓系統(tǒng)的自動測試系統(tǒng)程序流程
1.3 系統(tǒng)硬件設(shè)計方案
硬件部分,主要是接收來自藍(lán)牙發(fā)送過來的信號,通過單片機(jī)(STC89C52RC)做處理將對應(yīng)的聲源開關(guān)接通達(dá)到控制喇叭播放聲音的效果,這個部分是通過嵌入式程序開發(fā)進(jìn)行的控制,主要語言是C語言,系統(tǒng)硬件框圖,見圖5。
圖5 系統(tǒng)硬件框圖
系統(tǒng)主要由4個模塊組成:藍(lán)牙接收模塊、單片機(jī)系統(tǒng)模塊、數(shù)據(jù)緩存驅(qū)動模塊和聲音控制模塊。系統(tǒng)以STC89C52RC處理器為核心,藍(lán)牙部分為HC-05型從機(jī)模塊[11],聲源開關(guān)使用的是HK4100型小信號繼電器。
為了配合安裝,方便印制電路板(Printed Circuit Board,PCB)裝入工裝盒,系統(tǒng)的PCB整體長度設(shè)計為148 mm × 148 mm。為防止信號之間的干擾,將PCB板表面覆銅,另加印絲網(wǎng)層,使得PCB板上的文字部分更為清晰,見圖6。
在工裝設(shè)計上依據(jù)方案要求,主要有以下幾個方面:① 發(fā)光二極管燈接口; ② 藍(lán)牙模塊接口;③ 普通DC-5V電源接口。
在工裝采用的是鋁制方盒,規(guī)格為:(L)150 mm ×(W)152 mm ×(H)44 mm,其外部工裝設(shè)計圖,見圖7。
圖7 系統(tǒng)外部工裝圖
本系統(tǒng)設(shè)計上充分考慮測試的趣味性,移動端界面上使用了較為卡通的界面,應(yīng)用界面,見圖8。
圖8 移動端應(yīng)用界面
國內(nèi)目前尚無同類聲源定位測試系統(tǒng),該系統(tǒng)已測試采集40多例的人工耳蝸植入的兒童的聲源定位能力數(shù)據(jù),并已投入到相關(guān)臨床聲源定位研究中,測試過程穩(wěn)定,通過問卷調(diào)查,受試者的滿意度達(dá)到100%。以常用的測試參數(shù)設(shè)置(測試次數(shù):10,測試響應(yīng)時間:10 s,動畫獎勵:20 s),將傳統(tǒng)測試方式與自動測試作對比可以看出(圖9),其測試時間大大縮短。
本系統(tǒng)是基于安卓系統(tǒng)下的應(yīng)用,主要涉及聽力測試過程及數(shù)據(jù)處理兩個主要功能,它的過程是交互性的,中途不需要醫(yī)生再操作,大大減少測試過程復(fù)雜度,并添加游戲性。以平板為載體使兒童等類型的受試者更容易接受測試,并能通過系統(tǒng)自身對測試結(jié)果進(jìn)行一定分析,減少了醫(yī)生的工作量。由于采用計算機(jī)控制流程,避免了人工測試中可能產(chǎn)生的不定因素。整個聲源定位測試系統(tǒng),見圖10。
圖9 測試耗時時間對比
圖10 系統(tǒng)實物圖
本文設(shè)計的聽覺聲源定位能力自動測試系統(tǒng),避免了常用測試中可能產(chǎn)生的人為干擾,提高了受試兒童的配合度,使得測試過程高效率完成。每次測試時間約為2~3 min,測試快速而簡單,為相關(guān)SL研究減輕負(fù)擔(dān)。受試者測試數(shù)據(jù)自動處理保存,支持?jǐn)?shù)據(jù)查詢(支持Excel文檔處理)并可無線傳輸?shù)絇C端作后續(xù)數(shù)據(jù)處理。
解決了傳統(tǒng)測試中測試過程復(fù)雜,醫(yī)生操作性差,獲取結(jié)果主觀,測試時間冗長,測試不連續(xù),測試過程中易被干擾,實驗中兒童配合度低、注意力低等問題。
相關(guān)聽力測試中多用調(diào)查問卷方式獲取數(shù)據(jù)[12],這樣主觀性過強(qiáng),不適用于兒童等自主意識弱的人群進(jìn)行測試。在兒童語音能力測試上,也沒有統(tǒng)一有效的儀器與方法[13-14]。本系統(tǒng)是依據(jù)多年兒童聲源定位研究的基礎(chǔ)上設(shè)計研發(fā)的[8,15]。
后續(xù)將考慮使用這套發(fā)聲系統(tǒng),開發(fā)相應(yīng)的軟件平臺,用于聲源定位的康復(fù)訓(xùn)練,與臨床醫(yī)生合作,依據(jù)現(xiàn)有硬件設(shè)備研制出聲源定位康復(fù)訓(xùn)練儀,用于人工耳蝸植入者的術(shù)后康復(fù)訓(xùn)練中。
本文研制了一款兒童聽力聲源定位自動測試系統(tǒng),系統(tǒng)總體設(shè)計分為硬件電路設(shè)計和軟件開發(fā)兩大部分。由安卓系統(tǒng)智能終端將控制信號通過藍(lán)牙發(fā)送給前端硬件,由單片機(jī)系統(tǒng)控制發(fā)聲方向,等待受試者作出響應(yīng),并有智能終端記錄數(shù)據(jù)以及簡單的數(shù)據(jù)處理。該系統(tǒng)針對于兒童測試的特點研發(fā),壓縮了測試時間,全程無需醫(yī)生參與,提高了測試的客觀性以及操作性。對于臨床以及聲源定位相關(guān)研究具有一定意義。
[1]王穎.聽力障礙人群助聽前后聲源定位能力比較[D].北京:首都醫(yī)科大學(xué),2007.
[2]Grothe B,Pecka M,MeAlpine D.Mechanisms of sound localization in mammals[J].Physiol Rev,2010,90(3):983-1012.
[3]王寧宇,倪道鳳.加強(qiáng)兒童聲源定位能力的研究[J].中華耳鼻咽喉頭頸外科雜志,2010,45(1):3-6.
[4]Beijen JW,Snik AF,Mylanus EA.Sound localization ability of young children with bilateral cochlear implants[J].Otol Neurotol,2007,28(4):479-485.
[5]Nava E,Bottari D,Portioli G,et al.Hearing again with two ears:recovery of spatial hearing after bilateral cochlear implantation[J].Neuropsychologia,2009,47(3):928-932.
[6]Laske RD,Veraguth D,Dillier N,et al.Subjective and objective results after bilateral cochlear implantation in adults[J].Otol Neurotol,2009,30(3):313-318.
[7]梁之安,楊瓊?cè)A,林華英.聲源定位與聲源位置辨別閾[J].聲學(xué)學(xué)報,1966,3(1):27-33.
[8]張娟,王洵,王寧宇,等.4歲健康兒童水平方位聲源定位測試方法的初步探討[J].中華耳鼻咽喉頭頸外科雜志,2009,44 (11):906-910.
[9]岳傳真.Android系統(tǒng)移植和應(yīng)用程序開發(fā)[D].上海:復(fù)旦大學(xué),2010.
[10]宏晶科技有限公司.STC89C51RC/RD+系列單片機(jī)器件手冊[BD/OL].2012-01-20.http://www.docin.com/p-328439472.html.
[11]ATK-HC05 主從一體藍(lán)牙串口模塊用戶手冊[BD/OL].2013-02-27.http://wenku.baidu.com/link?url=n5aOZO6Z6iLyXK-kRAXatJ4kjJ15H57q8CwkBD_ZEV_wtWYccU0B7LJ5xthLH3vuY HxhV29Zx1wOOySDtZUOZ6bo-mAU6CJQHxSHy4JADS_.
[12]Zhang J,Tyler R,Ji H,et al.SSQ and SHQ Changes Over Time on Adults with Simultaneous Cochlear Implants[J].Am J Audiol,2015,24(3):384-397.
[13]Johnson CE.Children’s Phoneme Identif cation in Reverberation and Noise[J].J Speech Lang Hear Res,2000,43(1):144-157.
[14]Lewis DE,Manninen CM,Valente DL,et al.Children’s Under standing of Instructions Presented in Noise and Reverberation[J].Am J Audiol,2014,23(3):326-336.
[15]朱利紅,王寧宇,張旭,等.聲源定位儀的研制與應(yīng)用[J].中國耳鼻咽喉頭頸外科,2007,14(5):257-261.
Research and Development of Automatic Test System for Sound Localization Ability of Children
In order to evaluate hearing and verbal communication skills of cochlear implanted children, an increasing number of scholars began to focus on sound localization. An automatic test system for sound localization ability of children was developed to solve problems like low degree of coordination an d complex testing process during children’s sound localization test. Based on Android system, an interesting interactive interface was designed catering to children’s characteristics. Bluetooth device was used to control the playing time and direction of the testing sound source, mobile terminal device was used to automatically record and process the obtained data. A number of hearing-impaired children were tested with this system; good results were achieved with stable and accurate data. Compared with traditional test methods, this test method has the advantages of high eff ciency, high degree of children’s cooperation and simple operation, which can be used to quantitatively test the localization ability of horizontal direction of subjects and is convenient for clinical application.
hearing-impaired child; sound localization; android system; automatic test system; bluetooth control
QIAN Bo-lin1, ZHANG Xu1, REN Zhao-hui1, WANG Ning-yu2, DAI Jin-sheng2, ZHANG Juan2
1. Beijing Key Laboratory of Fundamental Research on Biomechanics in Clinical Application, School of Biomedical Engineering, Capital Medical University, Beijing 100069, China; 2. Department of Otolaryngology Head and Neck Surgery, Beijing Chaoyang Hospital Affiliated to Capital Medical University, Beijing 100020, China
R318.6;R764.04
A
10.3969/j.issn.1674-1633.2016.12.009
1674-1633(2016)12-0038-04
2016-10-20
2016-11-21
人工耳蝸植入后及助聽器佩戴后聲源定位能力康復(fù)訓(xùn)練研究(首發(fā)2016-1-2035);北京市教委科技計劃重點項目:聲源定位測試系統(tǒng)研發(fā)(KZ201410025027)。
張旭,教授。主要研究方向:醫(yī)學(xué)信號處理。
通訊作者郵箱:zhangxu@ccmu.edu.cn