顏利宏，劉文華

（漳州職業(yè)技術(shù)學(xué)院 電子信息學(xué)院，福建漳州 363000)

在傳統(tǒng)線(xiàn)下授課模式中，教師、家長(zhǎng)可以通過(guò)面對(duì)面觀(guān)察學(xué)生的學(xué)習(xí)狀態(tài)，及時(shí)糾正學(xué)生不良的學(xué)習(xí)行為，但是在網(wǎng)絡(luò)學(xué)習(xí)環(huán)境中，由于受空間的限制，教師、家長(zhǎng)難以實(shí)時(shí)監(jiān)測(cè)學(xué)生的學(xué)習(xí)狀態(tài)，如果學(xué)生的專(zhuān)注力比較分散，學(xué)生就難以維持高效的學(xué)習(xí)狀態(tài)，無(wú)法獲取足夠的有效信息，從而學(xué)習(xí)效果不佳，所以如何提高學(xué)習(xí)者的專(zhuān)注度是當(dāng)下的一個(gè)重要研究課題[1-2]。此款設(shè)計(jì)的智能臺(tái)燈在前期設(shè)計(jì)基礎(chǔ)上主要為解決如何提高學(xué)生、辦公人員專(zhuān)注度，幫助其提高學(xué)習(xí)、工作效率而進(jìn)行優(yōu)化，同時(shí)增加人機(jī)交互智能語(yǔ)音控制功能，提升用戶(hù)體驗(yàn)感。主要?jiǎng)?chuàng)新點(diǎn)有：（1）專(zhuān)注度判斷。通過(guò)Open-MV 模塊檢測(cè)人眼位置，計(jì)算眼睛張合度來(lái)判斷專(zhuān)注度情況，從而幫助用戶(hù)提高學(xué)習(xí)辦公效率；（2）人機(jī)交互控制臺(tái)燈。產(chǎn)品不局限于按鍵控制臺(tái)燈，用戶(hù)可以通過(guò)語(yǔ)音功能控制臺(tái)燈的開(kāi)關(guān)，使得產(chǎn)品更加智能。用戶(hù)在離開(kāi)臺(tái)燈時(shí)或不便開(kāi)關(guān)臺(tái)燈時(shí)，可以通過(guò)語(yǔ)音的方式控制臺(tái)燈，為用戶(hù)帶來(lái)更好的體驗(yàn)感。

1 系統(tǒng)設(shè)計(jì)方案

1.1 前期系統(tǒng)

系統(tǒng)以STM32G47RE 為控制芯片，通過(guò)串口、Ⅰ2C、中斷等接口連接外部血氧傳感器、人臉檢測(cè)攝像頭，在智能化照明的基礎(chǔ)上采用了快速傅里葉算法、人臉注冊(cè)、Haar-like 人臉檢測(cè)算法，實(shí)時(shí)計(jì)算用戶(hù)心率和人體姿態(tài)，對(duì)不正確的姿態(tài)和不健康的心率發(fā)出聲光報(bào)警信號(hào)，來(lái)實(shí)時(shí)進(jìn)行血氧監(jiān)測(cè)和坐姿矯正，為用戶(hù)健康保駕護(hù)航[3]。

1.2 系統(tǒng)升級(jí)方案

隨著智能照明設(shè)備的迭代更新，用戶(hù)對(duì)產(chǎn)品的要求越來(lái)越高，主要表現(xiàn)在智能輔助功能、語(yǔ)音控制、人體感應(yīng)等方面。此臺(tái)燈主要針對(duì)當(dāng)下關(guān)注的熱點(diǎn)——“專(zhuān)注度”進(jìn)行設(shè)計(jì)，可以實(shí)時(shí)監(jiān)測(cè)用戶(hù)專(zhuān)注情況并即時(shí)提醒，從而幫助用戶(hù)提高學(xué)習(xí)和辦公專(zhuān)注度，同時(shí)增加語(yǔ)音控制功能，提升用戶(hù)體驗(yàn)感。

系統(tǒng)主要針對(duì)“專(zhuān)注度”監(jiān)測(cè)提醒進(jìn)行設(shè)計(jì)，目的在于模擬再現(xiàn)線(xiàn)下課堂教師督促效果，實(shí)時(shí)監(jiān)測(cè)用戶(hù)專(zhuān)注情況，并通過(guò)語(yǔ)音進(jìn)行提醒，從而幫助用戶(hù)提高學(xué)習(xí)效率。在STM32G47RE 控制芯片上通過(guò)USART、Ⅰ2C、中斷擴(kuò)展接入專(zhuān)注度檢測(cè)模塊和語(yǔ)音模塊。專(zhuān)注度檢測(cè)模塊通過(guò)Open MV 識(shí)別人眼位置并計(jì)算眼睛張合度，對(duì)用戶(hù)專(zhuān)注度進(jìn)行實(shí)時(shí)監(jiān)測(cè)[4]。語(yǔ)音模塊用于接收專(zhuān)注度判定結(jié)果，對(duì)專(zhuān)注度不足情況進(jìn)行語(yǔ)音反饋提醒，從而幫助用戶(hù)提高學(xué)習(xí)和辦公效率，同步具備接受外部語(yǔ)音指令對(duì)臺(tái)燈亮度、開(kāi)、關(guān)進(jìn)行控制，進(jìn)一步提升用戶(hù)體驗(yàn)感。系統(tǒng)設(shè)計(jì)圖如圖1 所示：

圖1系統(tǒng)硬件連接圖

2 專(zhuān)注度檢測(cè)算法

2.1 專(zhuān)注度判定流程

人眼是面部的重要特征之一，它可以反映一個(gè)人的情感、注意力情況等多種信息。人眼檢測(cè)可應(yīng)用于專(zhuān)注度判斷、疲勞駕駛判斷、視線(xiàn)追蹤等多個(gè)領(lǐng)域。人眼的張合是人體生理信號(hào)的一種表現(xiàn)，它與個(gè)體的神經(jīng)生理學(xué)反應(yīng)和視覺(jué)注意力等因素有關(guān)，當(dāng)人們處于注意力集中狀態(tài)時(shí)，交感神經(jīng)系統(tǒng)會(huì)使人眼的瞳孔擴(kuò)張，獲取更多的外部信息；當(dāng)人們處于疲勞狀態(tài)時(shí)，副交感神經(jīng)系統(tǒng)會(huì)使人眼的瞳孔收縮，獲取的外部信息相應(yīng)減少，這種表現(xiàn)與人們的日常經(jīng)驗(yàn)和觀(guān)察相符。因此，可通過(guò)計(jì)算人眼瞳孔大?。磸埡隙龋﹣?lái)判定專(zhuān)注程度。采用張合度判定專(zhuān)注度相比腦電圖或眼動(dòng)追蹤等神經(jīng)科學(xué)研究算法，具有非侵入性，不需要在人體上安裝設(shè)備或試劑，更容易被接受和使用。并且通過(guò)人眼張合度計(jì)算，可以快速、簡(jiǎn)單地評(píng)估個(gè)體的專(zhuān)注度，具有實(shí)時(shí)性。段巨力[5]將人眼張合度用于線(xiàn)下課堂學(xué)生上課專(zhuān)注的判定，其專(zhuān)注度檢測(cè)準(zhǔn)確率達(dá)92%。左國(guó)才[6]也將人眼張合度用于課堂學(xué)習(xí)效果評(píng)價(jià)取得了較好的效果。該模塊主要采用OpenMV 進(jìn)行人臉識(shí)別，通過(guò)坐姿矯正模塊判斷用戶(hù)是否低頭、側(cè)臉，再檢測(cè)出眼睛位置并計(jì)算出眼睛張合度，最終將二者結(jié)果相結(jié)合來(lái)判斷用戶(hù)的專(zhuān)注程度。

2.2 張合度計(jì)算

OpenMV 模塊搭載STM32F427 芯片，集成了OV7725 攝像頭芯片，通過(guò)實(shí)時(shí)獲取圖片定位人臉位置。該模塊中的Haar 分類(lèi)器是基于A(yíng)daboost 算法的基礎(chǔ)上，結(jié)合Haar-like 特征進(jìn)行人眼檢測(cè)[7-9]。通過(guò)find_features()函數(shù)尋找與Haar-like 特征相匹配的區(qū)域，并輸出一個(gè)符合特征的邊界框矩形元組(x,y,w,h)的列表，從而提取出眼睛位置[10-11]。

其中，H表示眼睛張開(kāi)的高度，W表示眼睛張開(kāi)的寬度。由于人眼張合度是一個(gè)連續(xù)變量，且不同用戶(hù)在專(zhuān)注情況下的眼睛張開(kāi)程度存在個(gè)體差異，因此為簡(jiǎn)化計(jì)算，將公式(2)進(jìn)行歸一化：

其中，0 ≤ZHDnor≤1,ZHDmax表示當(dāng)前用戶(hù)在清醒狀態(tài)下眼睛的最大張開(kāi)度，代表最專(zhuān)注的狀態(tài)，ZHDmax通過(guò)人臉注冊(cè)模塊計(jì)算得到。因此，可設(shè)定一個(gè)閾值p=0.28來(lái)判定專(zhuān)注程度：當(dāng)被測(cè)目標(biāo)的ZHDnor小于p時(shí)，認(rèn)為學(xué)習(xí)專(zhuān)注度較低，即判定為不專(zhuān)注，并通過(guò)語(yǔ)音提醒用戶(hù)，其程序設(shè)計(jì)流程圖如圖2所示：

圖2 專(zhuān)注度判斷程序流程圖

3 語(yǔ)音模塊

3.1 硬件設(shè)計(jì)

語(yǔ)音交互模塊以SYN7318 為語(yǔ)音交互核心，它集成了語(yǔ)音識(shí)別、語(yǔ)音合成和語(yǔ)音喚醒等功能[13-14]。該語(yǔ)音模塊通過(guò)UART 與主控芯片STM32G47RE 進(jìn)行通信，通信方式采用異步串行通訊方式來(lái)接收命令幀從而實(shí)現(xiàn)文本到語(yǔ)音、語(yǔ)音到文本的轉(zhuǎn)換以及語(yǔ)音控制功能,命令幀包括控制命令幀、待合成的文本數(shù)據(jù)等內(nèi)容。

3.2 語(yǔ)音識(shí)別流程

該智能臺(tái)燈使用單片機(jī)作為上位機(jī)控制語(yǔ)音模塊來(lái)實(shí)現(xiàn)各種控制功能，通過(guò)命令幀和回傳幀實(shí)現(xiàn)上位機(jī)與SYN7318 模塊之間的信息傳輸[15-17]。具體流程如下：首先，上位機(jī)向SYN7318 模塊發(fā)送查詢(xún)指令，查詢(xún)SYN7318 模塊當(dāng)前狀態(tài)。SYN7318 模塊在成功接收指令后向上位機(jī)回傳狀態(tài)指令。然后，上位機(jī)繼續(xù)發(fā)送語(yǔ)音識(shí)別指令啟動(dòng)語(yǔ)音模塊，語(yǔ)音模塊從麥克風(fēng)采集到語(yǔ)音數(shù)據(jù)并將識(shí)別結(jié)果通過(guò)UART 回傳至上位機(jī)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 專(zhuān)注度測(cè)試分析

本設(shè)計(jì)使用NUCLEO-STM32G47RE 開(kāi)發(fā)板結(jié)合OpenMV 攝像頭模塊進(jìn)行專(zhuān)注度檢測(cè)實(shí)驗(yàn)，通過(guò)低頭、側(cè)臉檢測(cè)和計(jì)算被測(cè)目標(biāo)眼睛張合度來(lái)判定專(zhuān)注程度。該模塊每秒獲取5 次人眼數(shù)據(jù)并進(jìn)行張合度計(jì)算，當(dāng)連續(xù)30s 的張合度平均值低于設(shè)定閾值p=0.28 時(shí)，系統(tǒng)會(huì)進(jìn)行語(yǔ)音提醒。實(shí)驗(yàn)隨機(jī)選取3 名測(cè)試者，被測(cè)目標(biāo)分別在連續(xù)專(zhuān)注學(xué)習(xí)狀態(tài)、正常學(xué)習(xí)狀態(tài)、微閉眼狀態(tài)、瞌睡狀態(tài)測(cè)得的專(zhuān)注結(jié)果如圖3 所示。

圖3 不同學(xué)習(xí)狀態(tài)下專(zhuān)注度檢測(cè)結(jié)果圖

系統(tǒng)在四組不同測(cè)試視頻下的專(zhuān)注狀態(tài)檢測(cè)結(jié)果如表1 所示，四組視頻時(shí)長(zhǎng)均為120s 且為不同測(cè)試者，預(yù)設(shè)檢測(cè)次數(shù)共240 次，其中，視頻1 為專(zhuān)注場(chǎng)景，視頻2 為微閉眼場(chǎng)景，視頻3 為瞌睡場(chǎng)景，視頻4 包含專(zhuān)注、微閉眼、瞌睡三種場(chǎng)景。專(zhuān)注度檢測(cè)算法精準(zhǔn)率如表2 所示，其中精準(zhǔn)率（Precision）=TP/(TP+FP)。

表1 專(zhuān)注狀態(tài)檢測(cè)結(jié)果

表2 專(zhuān)注度檢測(cè)算法精準(zhǔn)率

根據(jù)上述實(shí)驗(yàn)結(jié)果證明該模塊根據(jù)人眼數(shù)據(jù)計(jì)算得出的張合度大小符合預(yù)期，學(xué)習(xí)越專(zhuān)注張合度值越大，并且在專(zhuān)注和閉眼場(chǎng)景下檢測(cè)效果明顯，其精準(zhǔn)率達(dá)93.5%。因此能夠有效監(jiān)督用戶(hù)學(xué)習(xí)專(zhuān)注情況，達(dá)到輔助提升學(xué)習(xí)效率的目的。

4.2 語(yǔ)音控制測(cè)試分析

本實(shí)驗(yàn)采用一個(gè)面積約22m2的房間作為測(cè)試場(chǎng)地，測(cè)試以“Hi 百靈”為喚醒詞開(kāi)啟語(yǔ)音識(shí)別功能，SYN7318 模塊通過(guò)麥克風(fēng)采集到語(yǔ)音數(shù)據(jù)并將識(shí)別結(jié)果回傳至單片機(jī)，單片機(jī)根據(jù)接收的指令結(jié)果進(jìn)行相應(yīng)的操作，如打開(kāi)臺(tái)燈、調(diào)節(jié)燈的亮度。使用手機(jī)以相同的音量在不同距離條件下分別循環(huán)播放關(guān)鍵詞“Hi 百靈”“開(kāi)燈”“關(guān)燈”“變亮”“變暗”來(lái)控制臺(tái)燈，并記錄測(cè)試結(jié)果如表3 所示：

表3 語(yǔ)音指令識(shí)別率

根據(jù)上述實(shí)驗(yàn)數(shù)據(jù)得出語(yǔ)音指令的正確識(shí)別率隨著距離的增加而降低，但本設(shè)計(jì)在2m 距離內(nèi)的正確識(shí)別率可達(dá)85.3%，由于臺(tái)燈主要用于桌面學(xué)習(xí)辦公使用，因此能夠有效滿(mǎn)足用戶(hù)實(shí)現(xiàn)語(yǔ)音控制臺(tái)燈的需求。

5 結(jié)語(yǔ)

本文采用OpenMV 攝像頭采集人像數(shù)據(jù)，結(jié)合Haar-like 人眼檢測(cè)算法和計(jì)算眼睛張合度來(lái)判定專(zhuān)注程度并通過(guò)SYN7318 語(yǔ)音模塊實(shí)現(xiàn)語(yǔ)音提醒、亮度調(diào)節(jié)功能，提升系統(tǒng)在效率提升上的輔助作用以及用戶(hù)整體體驗(yàn)感。實(shí)驗(yàn)結(jié)果表明專(zhuān)注度判定算法能夠準(zhǔn)確判斷用戶(hù)專(zhuān)注程度，實(shí)時(shí)性高，能有效幫助用戶(hù)提高學(xué)習(xí)、辦公效率；語(yǔ)音正確識(shí)別率良好，適合在智能化市場(chǎng)推廣應(yīng)用。