姚程越 繆澤洋 程子涵 高蕊 范宇鵬

摘要：在進(jìn)行學(xué)習(xí)時(shí)，通過(guò)學(xué)生的面部信息會(huì)判斷出學(xué)生的疲勞狀態(tài)，利用68點(diǎn)定位技術(shù)可對(duì)疲勞狀態(tài)進(jìn)行分析。本系統(tǒng)通過(guò)視頻以及圖片還有攝像頭時(shí)時(shí)檢測(cè)的方法，通過(guò)68點(diǎn)定位眼睛和嘴，來(lái)計(jì)算出眼睛的橫縱比為睜眼或者閉眼，再測(cè)出嘴部的橫縱比來(lái)確定嘴的張開(kāi)程度從而判定駕駛員是否處于疲勞狀態(tài)。但由于每個(gè)人的眼和嘴都不是完全相同的，故加入了SVM模型來(lái)對(duì)用戶當(dāng)前的眼部嘴部特征進(jìn)行更加準(zhǔn)確地判斷。

關(guān)鍵詞：人臉識(shí)別，SVM模型，疲勞檢測(cè)，人臉68特征點(diǎn)

1.人臉檢測(cè)

在學(xué)習(xí)過(guò)程中，電腦或者手機(jī)發(fā)出的光線對(duì)采集人臉的數(shù)據(jù)有很大的影響，HOG算子通過(guò)計(jì)算邊緣的梯度和拐角的方向來(lái)描述物體的形狀，能夠減小光照和背景因素對(duì)目標(biāo)檢測(cè)的影響，相對(duì)于其他方法擁有自身的優(yōu)勢(shì)[1]。

2.基于人臉特征點(diǎn)的疲勞駕駛檢測(cè)方法

2.1人臉特征點(diǎn)定位

本系統(tǒng)首先檢測(cè)了攝像頭（照片或視頻）中的人臉區(qū)域，然后通過(guò)Dlib中的68個(gè)人臉特征點(diǎn)進(jìn)行定位，獲取到眼睛還有嘴巴的位置后，通過(guò)閾值來(lái)判斷雙眼和嘴疲勞。圖像的的預(yù)處理用到了Dlib的函數(shù)，將視頻流中的圖像和預(yù)處理結(jié)果的Dlib進(jìn)行特征對(duì)比，從而實(shí)現(xiàn)了人臉追蹤。在獲取到人臉框架后，用Dlib中的特征點(diǎn)進(jìn)行標(biāo)注人臉的眼睛鼻子等部位。

2.2人眼，嘴部疲勞檢測(cè)

在定位人臉68點(diǎn)后，可知37-42號(hào)點(diǎn)代表人的左眼、43-48號(hào)點(diǎn)代表人的右眼、49-60號(hào)點(diǎn)代表人的嘴部外輪廓，61-68號(hào)點(diǎn)代表人的嘴部?jī)?nèi)輪廓。

可以看出，描述人眼部的特征點(diǎn)的高度和寬度存在一定的數(shù)量關(guān)系，當(dāng)睜眼狀態(tài)轉(zhuǎn)向閉眼狀態(tài)時(shí)，高度與寬度的比值在急劇減小，用比值的形式進(jìn)行表示，得到公式（3-1）[3]。

根據(jù)數(shù)據(jù)測(cè)試發(fā)現(xiàn)，人在睜眼狀態(tài)下EAR在0.25左右，人眼閉合狀態(tài)EAR小于0.15， 正常說(shuō)話時(shí)的MAR不多于0.3，持續(xù)幀數(shù)不超過(guò)20幀，打哈欠的MAR最大值可到0.8，平均超過(guò)0.3，持續(xù)幀數(shù)超過(guò)100幀[4]，所以，可根據(jù)公式（3-1）和公式（3-2）的結(jié)果對(duì)眼部和嘴部進(jìn)行閾值判斷。

3.SVM模型訓(xùn)練

由于不同人的眼部、嘴部存在著不同的差異，為了提高算法的準(zhǔn)確度，本系統(tǒng)通過(guò)SVM模型來(lái)判斷用戶當(dāng)前眼部嘴部特征這樣可以提高本系統(tǒng)的準(zhǔn)確程度。

由2.2可知，眼部以及嘴部的狀態(tài)主要分為睜眼、閉眼、張嘴、閉嘴四個(gè)狀態(tài)。用戶先在系統(tǒng)中錄入四個(gè)狀態(tài)的信息各1000幀（每幀采集多維特征向量），采集時(shí)將EAR、MAR的值作為區(qū)別不同狀態(tài)的臨界值，以防錄入錯(cuò)誤的數(shù)據(jù)。將采集好的數(shù)據(jù)帶入SVM類，采用線性核，利用SVM分類器中的二分類，分別構(gòu)造眼部SVM模型和嘴部SVM模型即可滿足需求。

4.疲勞識(shí)別判定

疲勞程度在眼部、嘴部狀態(tài)判斷的基礎(chǔ)上又可以進(jìn)一步檢測(cè)用戶的PERCLOS即單位時(shí)間內(nèi)眼睛閉合時(shí)間占單位時(shí)間的百分比和單位時(shí)間內(nèi)哈欠次數(shù)這兩個(gè)參數(shù)[5]。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，疲勞程度與這兩個(gè)參數(shù)均成正比且打哈欠影響成分更大些，分別賦予0.4、0.6的權(quán)重可得到疲勞值公式（3-3）。

其中T為每個(gè)疲勞檢測(cè)周期，在視頻流中加載訓(xùn)練好的SVM模型分別對(duì)眼部和嘴部進(jìn)行分類，一旦用戶閉眼即計(jì)算T時(shí)間內(nèi)累計(jì)閉眼時(shí)間，打哈欠則記錄T時(shí)間內(nèi)打哈欠次數(shù)。

5.仿真實(shí)驗(yàn)

配置好HP Wide Vision HD Camera攝像頭拍攝演示視頻，拍攝實(shí)驗(yàn)包括睜眼，閉眼，張嘴，閉嘴的視頻片段，其中張開(kāi)定義為負(fù)樣本集合，閉合定義為正樣本集合。實(shí)驗(yàn)采用7個(gè)人的多種不同的表情樣本，頭部移動(dòng)，以及面部變化，還有7個(gè)人的5000張不同照片來(lái)進(jìn)行檢測(cè)。測(cè)試結(jié)果如下圖所示。

6.結(jié)語(yǔ)

本文通過(guò)實(shí)時(shí)采集學(xué)生在學(xué)習(xí)時(shí)的實(shí)時(shí)畫(huà)面，通過(guò)HOG算子檢測(cè)視頻中的臉，然后根據(jù)人眼縱橫比例和嘴部縱橫比例來(lái)判斷是否疲勞。通過(guò)測(cè)試表明，本文提出的方法在疲勞檢測(cè)方面有良好的作用，在檢測(cè)學(xué)習(xí)方面具有廣闊的前景。

參考文獻(xiàn)：

[1]Bergasa L M， Nuevo J， Sotelo M A， et al. Real-time system for monitoring driver vigilance[J].IEEE Trans on Intelligent Transportation Systems，2006，7（1）：63-77.

[2][1]譚桂玲，鄧三鵬.基于嵌入式疲勞駕駛預(yù)警系統(tǒng)設(shè)計(jì)[J].南方農(nóng)機(jī)，2020，51（13）：10-11.

[3]王坤.基于機(jī)器視覺(jué)的疲勞駕駛檢測(cè)系統(tǒng)究[D]杭州.杭州電子科技大學(xué)，2016

[4][1]岳翼.基于圖像識(shí)別的模擬駕駛疲勞檢測(cè)系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)[J].電子世界，2016（22）：69-70.

[5][17]鄒昕彤，王世剛，趙文婷，等.基于眼睛與嘴部狀態(tài)識(shí)別的疲勞駕駛檢測(cè)[J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2017，35（2）：204-211.

作者簡(jiǎn)介：姚程越（2000-10-07）男，漢， 黑龍江省望奎縣，本科，研究方向：人工智能。

本文由大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目《基于面部識(shí)別與深度學(xué)習(xí)的疲勞檢測(cè)系統(tǒng)》支持，項(xiàng)目編號(hào)：202010214120