牛家祺

刷牙是保護(hù)牙齒健康的一種重要方法，刷牙質(zhì)量對(duì)牙齒健康有很大的影響。本文提出了一種基于聲場(chǎng)的刷牙質(zhì)量檢測(cè)方法。該方法包括1個(gè)喉頭麥克風(fēng)（以下簡(jiǎn)稱“喉麥”）和1個(gè)藍(lán)牙耳機(jī)，分別戴在用戶的頸部喉側(cè)和耳朵上，并設(shè)計(jì)開發(fā)了一款基于Android平臺(tái)的應(yīng)用程序，該程序可以檢測(cè)用戶每天的刷牙部位和刷牙時(shí)長(zhǎng)，有助于幫助用戶形成一種良好的刷牙方法和習(xí)慣。

系統(tǒng)設(shè)計(jì)

刷牙音頻信號(hào)捕獲和特征提取

本研究假定采用Bass刷牙法進(jìn)行刷牙，對(duì)應(yīng)地，將整個(gè)口腔區(qū)域劃分為16個(gè)檢測(cè)區(qū)，如圖1所示。首先，將整個(gè)口腔劃分為門牙區(qū)和后牙區(qū)，上下2個(gè)門牙區(qū)又各包含外側(cè)和內(nèi)側(cè)，上下左右4個(gè)后牙區(qū)各包含外側(cè)、內(nèi)側(cè)和咀嚼面3個(gè)區(qū)，共計(jì)16個(gè)區(qū)（牙面）。刷牙時(shí)，當(dāng)牙刷采用Bass刷牙法對(duì)不同區(qū)域進(jìn)行清潔時(shí)，與牙面的摩擦產(chǎn)生不同類型的音頻特征信號(hào)。用戶采用如圖2所示的穿戴方式佩戴藍(lán)牙耳機(jī)和喉麥，在刷牙時(shí)牙刷與牙面摩擦產(chǎn)生的原始音頻信號(hào)分別通過(guò)空氣傳播到位于藍(lán)牙耳機(jī)的麥克風(fēng)，和通過(guò)骨骼、肌肉和皮膚傳播到喉麥，分別被兩路傳惑器捕獲（兩路麥克風(fēng)采樣頻率均為44100Hz，采樣速率192kbps）。

除此之外，考慮刷牙過(guò)程中總是以漱口開始和結(jié)束，我們也采集了漱口音頻信號(hào)作為一種特殊類別，以判斷刷牙的開始和結(jié)束。為了提高模型的健壯性，額外添加了背景噪聲數(shù)據(jù)作為空白類別。這2類音頻特征提取方式與刷牙音頻特征提取方式相同。

接著，針對(duì)捕獲到的雙通道音頻數(shù)據(jù)進(jìn)行數(shù)據(jù)融合（忽略傳播延遲差異），并用滑動(dòng)窗口進(jìn)行分割，得到以時(shí)間片為單位的雙通道音頻數(shù)據(jù)元?？紤]單個(gè)麥克風(fēng)使用192kbps采樣速率，當(dāng)前狀態(tài)每個(gè)時(shí)間片內(nèi)的數(shù)據(jù)量仍然很大。結(jié)合常用處理手段，我們分別從時(shí)域特征、頻域特征和梅爾倒頻譜特征（一種面向入耳聽覺(jué)特性的特殊頻域特征）3個(gè)維度對(duì)2個(gè)通道的原始音頻數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)特征抽取，方便后續(xù)的機(jī)器學(xué)習(xí)模型訓(xùn)練。

模型對(duì)比和選優(yōu)

通過(guò)在某中學(xué)招募10名志愿者（6名男生，4名女生），佩戴所設(shè)計(jì)的設(shè)備進(jìn)行數(shù)據(jù)采集。志愿者首先需要學(xué)習(xí)2周標(biāo)準(zhǔn)Bass刷牙方法，然后參與數(shù)據(jù)采集工作。數(shù)據(jù)采集過(guò)程中，每名志愿者穿戴圖2中的設(shè)備并按照規(guī)定的流程和規(guī)則進(jìn)行刷牙和錄音，然后遁過(guò)數(shù)據(jù)采集軟件對(duì)其刷牙區(qū)域進(jìn)行人工標(biāo)定。每人單次數(shù)據(jù)采集時(shí)長(zhǎng)約為3分鐘，總計(jì)記錄有效原始音頻數(shù)據(jù)10小時(shí)7分鐘。通過(guò)不同窗口進(jìn)行數(shù)據(jù)特征提取會(huì)產(chǎn)生不同數(shù)據(jù)規(guī)模的、帶有標(biāo)定類別的高維特征數(shù)據(jù)集（68維，窗口大小為0.2s時(shí)，數(shù)據(jù)集大小約680 Mb），用于模型的訓(xùn)練和測(cè)試。

分別采用了k近鄰、決策樹、隨機(jī)森林和神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)算法建立了刷牙區(qū)域分類器模型。通過(guò)訓(xùn)練和對(duì)比多種不同的機(jī)器學(xué)習(xí)算法，選取其中性能最優(yōu)的模型實(shí)現(xiàn)我們的Android應(yīng)用程序。實(shí)驗(yàn)結(jié)果表明，隨機(jī)森林模型性能最好，平均準(zhǔn)確率為92.4%。

系統(tǒng)總體流程

如圖3所示，系統(tǒng)整體分為前期的模型訓(xùn)練和后期的實(shí)時(shí)監(jiān)測(cè)2部分，下面分別簡(jiǎn)述如下。

模型訓(xùn)練

通過(guò)佩戴藍(lán)牙耳機(jī)和喉麥組成的雙通道聲場(chǎng)采集系統(tǒng)，用戶采用Bass法刷牙對(duì)16個(gè)牙面的刷牙音頻信號(hào)進(jìn)行采集和標(biāo)定。通過(guò)滑動(dòng)窗口對(duì)融合信號(hào)分割，并對(duì)分割后每個(gè)時(shí)間窗口內(nèi)的原始音頻信號(hào)進(jìn)行特征抽取，獲得時(shí)域、頻域和梅爾倒頻譜特征共計(jì)68個(gè)特征，以及對(duì)應(yīng)的刷牙面標(biāo)記。

通過(guò)對(duì)采用標(biāo)準(zhǔn)刷牙方式的用戶進(jìn)行長(zhǎng)時(shí)間跟蹤采集，結(jié)合上述數(shù)據(jù)處理方法，獲取一個(gè)標(biāo)準(zhǔn)Bass刷牙音頻信號(hào)數(shù)據(jù)特征集。然后，使用所構(gòu)建的數(shù)據(jù)集對(duì)機(jī)器學(xué)習(xí)算法分別進(jìn)行訓(xùn)練，針對(duì)常用的算法度量進(jìn)行模型對(duì)比，選取性能最好的模型用于刷牙質(zhì)量實(shí)時(shí)檢測(cè)。

實(shí)時(shí)檢測(cè)

通過(guò)采用標(biāo)準(zhǔn)Bass刷牙音頻信號(hào)數(shù)據(jù)所訓(xùn)練得到的模型，能夠?qū)π虏杉囊纛l數(shù)據(jù)進(jìn)行刷牙區(qū)域判斷，也就是說(shuō)當(dāng)用戶產(chǎn)生新的刷牙音頻信號(hào)時(shí)，訓(xùn)練得到的模型能夠判斷用戶正在刷哪個(gè)牙面。通過(guò)對(duì)每個(gè)牙面的刷牙時(shí)間進(jìn)行計(jì)算，判斷每個(gè)牙面是否采用了正確的刷牙方式，清潔時(shí)長(zhǎng)是否足夠。

如果采用Bass刷牙法，要求刷牙時(shí)間不低于3分鐘，考慮中間的停頓等因素，以及我們所劃分的16個(gè)牙面，每個(gè)牙面基本監(jiān)測(cè)時(shí)間設(shè)定為lOs。刷牙過(guò)程中，我們實(shí)時(shí)地記錄每個(gè)牙面的累積清潔時(shí)間，并通過(guò)圖形化的界面向使用者展示（如圖4）。在用戶刷牙過(guò)程中，應(yīng)用程序?qū)崟r(shí)向用戶反饋刷矛質(zhì)量檢測(cè)結(jié)果：使用白包標(biāo)識(shí)正確完成清潔的區(qū)域，使用紅色標(biāo)識(shí)尚未正確完成清潔的區(qū)域。

軟件記錄用戶每天的刷牙次數(shù)和刷牙的時(shí)間信息，構(gòu)建用戶口腔衛(wèi)生日志，進(jìn)而對(duì)用戶口腔衛(wèi)生進(jìn)行中長(zhǎng)期分析。同時(shí)，考慮設(shè)備的復(fù)用性，可以分別針對(duì)多名家庭成員進(jìn)行刷牙檢測(cè)和中長(zhǎng)期日志追蹤。

@結(jié)論

本文提出了一種基于雙通道聲場(chǎng)的刷牙質(zhì)量檢測(cè)方法，該應(yīng)用程序可以通過(guò)計(jì)算每一個(gè)牙列表面的刷牙時(shí)長(zhǎng)和刷牙強(qiáng)度指導(dǎo)用戶養(yǎng)成正確的刷牙方法。下一步的工作包括：①結(jié)合智能手環(huán)進(jìn)一步提高刷牙區(qū)域檢測(cè)的精度;②目前的訓(xùn)練和測(cè)試數(shù)據(jù)集是由青少年刷牙聲音信號(hào)構(gòu)成的，數(shù)據(jù)集規(guī)模較小，下一步還需要進(jìn)一步擴(kuò)充數(shù)據(jù)集，提高模型的泛化能力，可進(jìn)一步建立成年人和老年人的刷牙聲音數(shù)據(jù)集;③在研究成果成熟后，考慮該成果的技術(shù)轉(zhuǎn)化問(wèn)題，爭(zhēng)取能夠在現(xiàn)實(shí)生活中得到廣泛應(yīng)用。

該項(xiàng)目獲得第33屆全國(guó)青少年科技創(chuàng)新大賽創(chuàng)新成果競(jìng)賽項(xiàng)目中學(xué)組計(jì)算機(jī)科學(xué)類一等獎(jiǎng)。

專家評(píng)語(yǔ)

采用機(jī)器學(xué)習(xí)的方法，基于刷牙音頻信號(hào)的時(shí)域和頻域特征，建立了一個(gè)高精度的分類器定位刷牙時(shí)牙刷在上下頜牙列的區(qū)域。方法運(yùn)用了機(jī)器學(xué)習(xí)方法，結(jié)果具有較好的實(shí)用性，構(gòu)思巧妙。在未來(lái)的工作中，可考慮采用一些低成本的硬件，以進(jìn)一步提高整個(gè)系統(tǒng)的椎廣能力。