孫 琳，袁玉波

（1.華東理工大學(xué)信息科學(xué)與工程學(xué)院，上海 200237；2.上海大數(shù)據(jù)與互聯(lián)網(wǎng)受眾工程技術(shù)研究中心，上海 200072）

0 引言

如今，人工智能+醫(yī)療、人工智能+交通、人工智能+教育的模式在生活中隨處可見(jiàn)。如何有效地預(yù)防瞌睡情況成為不少學(xué)者的研究重點(diǎn)，這項(xiàng)技術(shù)不僅可以應(yīng)用于交通上，還可以對(duì)學(xué)生的課中狀態(tài)進(jìn)行分析［1］。在交通上，美國(guó)國(guó)家公路交通安全管理局的調(diào)查結(jié)果表明，33%以上的受訪者承認(rèn)他們?cè)隈{駛時(shí)會(huì)感到疲勞，而10%的人承認(rèn)在過(guò)去一個(gè)月中出現(xiàn)過(guò)昏昏欲睡的情況［2］；在因瞌睡而導(dǎo)致事故的發(fā)生的事件中，超過(guò)94%的司機(jī)都提到當(dāng)時(shí)他們是獨(dú)自一人在車(chē)內(nèi)［3］。通過(guò)使用瞌睡識(shí)別算法，可以檢測(cè)出駕駛員瞌睡的情況，從而采取相應(yīng)的預(yù)防措施，減少意外事故的發(fā)生。在課堂上，如果學(xué)生上課時(shí)出現(xiàn)瞌睡的情況，瞌睡識(shí)別算法會(huì)對(duì)這名學(xué)生進(jìn)行提醒，使其繼續(xù)集中注意力學(xué)習(xí)。在當(dāng)今快節(jié)奏的社會(huì)，人們似乎沒(méi)有足夠的時(shí)間來(lái)完成他們每天的必要活動(dòng)，只能減少睡眠時(shí)間，導(dǎo)致睡眠不足，在一些需要集中注意力的地方瞌睡，造成了難以挽回的損失。而瞌睡識(shí)別可以減少這些情況的發(fā)生，在人們出現(xiàn)瞌睡情況之前及時(shí)制止。

在瞌睡識(shí)別應(yīng)用中，人眼定位是瞌睡識(shí)別的基礎(chǔ)，直接影響瞌睡識(shí)別結(jié)果的準(zhǔn)確性。目前，國(guó)內(nèi)已經(jīng)有很多關(guān)于人眼定位的研究，并提出了大量的研究方法。何春［4］提出使用積分投影的方法進(jìn)行人眼定位，首先通過(guò)膚色特征檢測(cè)人臉，然后再使用積分投影函數(shù)定位人眼；雖然該方法計(jì)算快，但是準(zhǔn)確率不高。為了提高準(zhǔn)確率，并解決膚色檢測(cè)人臉易受光照影響的問(wèn)題，周立宇等［5］結(jié)合邊緣檢測(cè)和膚色檢測(cè)定位人臉，然后利用幾何位置關(guān)系、灰度投影和曲線擬合的方法對(duì)人眼進(jìn)行二次定位；該方法雖然優(yōu)于傳統(tǒng)的膚色檢測(cè)方法，但是當(dāng)人臉圖像受到噪聲影響嚴(yán)重時(shí)，人眼定位準(zhǔn)確率也會(huì)降低。為了進(jìn)一步精確地定位人眼，侯向丹等［6］用改進(jìn)后的Adaboost方法檢測(cè)人臉，根據(jù)“三庭五眼”的方法去除人眼之外的噪聲，融合積分投影和差分投影確定人眼的縱坐標(biāo)，最后利用垂直積分投影確定人眼的橫坐標(biāo)，實(shí)現(xiàn)人眼定位。本文的研究工作之一是對(duì)人眼進(jìn)行精確分割。在閉眼數(shù)據(jù)集CEW（Closed Eyes in the Wild）［7］以及公開(kāi)的人臉表情識(shí)別（Face Expression Recognition，F(xiàn)ER）數(shù)據(jù)集［8］進(jìn)行人眼定位之后，本文決定基于人臉上的68個(gè)特征點(diǎn)進(jìn)行人眼分割。

目前關(guān)于瞌睡識(shí)別的算法大多數(shù)是基于深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)的方法，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）提取特征，再用Softmax 等分類(lèi)器將選定的特征分類(lèi)為瞌睡和不瞌睡，而沒(méi)有充分考慮到人眼的閉合狀態(tài)序列與瞌睡之間的關(guān)系，并且基于深度學(xué)習(xí)的瞌睡識(shí)別算法依賴(lài)大量的數(shù)據(jù)集，對(duì)實(shí)驗(yàn)設(shè)備的要求高。針對(duì)上述問(wèn)題，本文提出了基于人眼狀態(tài)的瞌睡識(shí)別算法，利用閉合狀態(tài)序列與瞌睡之間的關(guān)系，完成瞌睡識(shí)別。本文所提的瞌睡識(shí)別方法中數(shù)據(jù)的輸入用電腦攝像頭即可完成，相較于用心電圖（ElectroCardioGram，ECG）、肌電圖（ElectroMyoGraphy，EMG）和腦電圖（ElectroEncephaloGraphy，EEG）［9］等測(cè)試節(jié)省了較多的應(yīng)用成本。現(xiàn)有公開(kāi)的現(xiàn)實(shí)生活中的瞌睡數(shù)據(jù)集不足，而本文算法在不依賴(lài)于大量數(shù)據(jù)集的情況下，也能完成瞌睡識(shí)別。

1 本文算法

1.1 算法流程

本文提出了一種基于人眼狀態(tài)的瞌睡識(shí)別算法，算法流程如圖1 所示。本文算法的關(guān)鍵思想是在人臉檢測(cè)的基礎(chǔ)上將人眼分割出來(lái)，根據(jù)分割出來(lái)的人眼區(qū)域，計(jì)算人眼面積以及采樣后標(biāo)準(zhǔn)狀態(tài)幀的人眼面積；通過(guò)構(gòu)造睜眼狀態(tài)度量函數(shù)得到人眼評(píng)價(jià)度量值；利用人眼評(píng)價(jià)度量值與睜眼閾值比較的結(jié)果來(lái)標(biāo)注人眼狀態(tài)標(biāo)簽，最后通過(guò)瞌睡判別模型來(lái)進(jìn)行瞌睡狀態(tài)識(shí)別。

圖1 瞌睡狀態(tài)識(shí)別流程Fig.1 Flow chart of drowsiness state recognition

首先，對(duì)輸入的視頻數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)狀態(tài)幀采樣和視頻處理。標(biāo)準(zhǔn)狀態(tài)幀是利用關(guān)鍵幀檢測(cè)算法將具有代表性的視頻幀抽取出來(lái)，這是為了解決每個(gè)人人眼大小不同的問(wèn)題，并且作為之后人眼狀態(tài)得分的基準(zhǔn)，視頻處理是進(jìn)行視頻幀的采集。其次，進(jìn)行眼睛定位，將人眼區(qū)域分割出來(lái)。利用級(jí)聯(lián)回歸模型［10］檢測(cè)人臉68個(gè)特征點(diǎn)，從中獲取12個(gè)有關(guān)人眼的特征點(diǎn)，進(jìn)而實(shí)現(xiàn)對(duì)人眼圖像的分割。然后，計(jì)算人眼面積，構(gòu)造睜眼狀態(tài)度量函數(shù)。人眼面積的計(jì)算主要是統(tǒng)計(jì)人眼區(qū)域內(nèi)的像素點(diǎn)數(shù)，再結(jié)合左眼狀態(tài)度量值和右眼狀態(tài)度量值，以此為標(biāo)準(zhǔn)來(lái)檢測(cè)人眼狀態(tài)。最后，建立瞌睡判別模型，進(jìn)行瞌睡狀態(tài)識(shí)別：若實(shí)驗(yàn)對(duì)象的眼睛在連續(xù)的時(shí)間段內(nèi)都處于閉合狀態(tài)，則處于瞌睡狀態(tài)。

1.2 人眼分割

人眼分割是從一段視頻幀F(xiàn)={F1，F(xiàn)2，…，}中，提取出每一幀的人眼區(qū)域，N0是視頻幀的數(shù)量。因?yàn)槿搜鄯指钍腔诿娌繖z測(cè)的基礎(chǔ)之上，所以利用級(jí)聯(lián)回歸樹(shù)模型的人臉特征點(diǎn)算法檢測(cè)人臉上的68個(gè)特征關(guān)鍵點(diǎn)。視頻幀F(xiàn)i表示為：

其中Pi為特征點(diǎn)的位置。在已檢測(cè)到68個(gè)特征點(diǎn)中，有12個(gè)特征點(diǎn)用來(lái)標(biāo)記眼睛區(qū)域，其中，37～42 為左眼上的關(guān)鍵點(diǎn)，43～48號(hào)特征點(diǎn)為右眼上的關(guān)鍵點(diǎn)，分別記為

利用眼睛位置上的特征點(diǎn)分割出人眼區(qū)域之后，分別計(jì)算左眼面積和右眼面積。

其中：El、Er分別代表左眼區(qū)域，右眼區(qū)域。C(pj)是計(jì)數(shù)器，統(tǒng)計(jì)人眼區(qū)域內(nèi)像素點(diǎn)數(shù)目，計(jì)算式如下：

1.3 眼睛閉合

為了能夠精確地檢測(cè)出眼睛閉合的狀態(tài)，本文構(gòu)造了一個(gè)睜眼狀態(tài)度量函數(shù)L(e)，基于L(e)標(biāo)注人眼狀態(tài)標(biāo)簽，L(e)定義為：

其中：d(e)為睜眼狀態(tài)度量函數(shù)，用來(lái)表示睜眼程度。

其中：k代表從視頻中提取的前k幀。(i=1，2，3，4)是睜眼狀態(tài)模型中的睜眼閾值，分別是由關(guān)鍵幀挑選算法挑出最能代表睜眼程度的4幀所決定的，計(jì)算式如下：

其中，di為前后兩幀顏色直方圖的距離差。di表達(dá)式如下：

其中：δi+1、δi是選取的視頻里連續(xù)兩幀的顏色直方圖。式（12）是di的計(jì)算過(guò)程，式（13）表示通過(guò)與閾值u0比較，得到最終的結(jié)果di。n是該圖像顏色直方圖的維度；u0是決定候選幀的距離閾值。

1.4 瞌睡檢測(cè)

根據(jù)眼睛閉合程度的標(biāo)簽，提出了改進(jìn)衡量瞌睡的函數(shù)，單位時(shí)間內(nèi)眼睛處于閉合狀態(tài)的所占時(shí)間Perclos（Percentage of eyelid closure over the pupil），得到了瞌睡狀態(tài)值k，即：

其中：L(e)的值是之前所判斷的人眼狀態(tài)的標(biāo)簽；n表示這段時(shí)間內(nèi)視頻的總幀數(shù)。利用所得到的k值進(jìn)行瞌睡狀態(tài)判斷，瞌睡狀態(tài)判斷函數(shù)如下所示：

其中：β為瞌睡閾值，若在連續(xù)的3個(gè)時(shí)間段內(nèi)，參與者都處于瞌睡狀態(tài)，則將該名參與者識(shí)別為瞌睡。瞌睡識(shí)別函數(shù)如下所示：

圖2 顯示了不同角度下的人臉圖像，并且在人臉圖像上標(biāo)注了68 個(gè)特征點(diǎn)。從圖2 可以看出，即使人臉偏移了一定角度，68個(gè)特征點(diǎn)還是能在人臉上標(biāo)注出來(lái)。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 YawDD數(shù)據(jù)集

打哈欠檢測(cè)數(shù)據(jù)集（Yawning Detection Dataset，YawDD）［11］分別包含了不同年齡、不同國(guó)家的57 名男性，50 名女性志愿者。視頻是通過(guò)安裝在汽車(chē)后視鏡和汽車(chē)儀表盤(pán)上的攝像頭在不同的光照條件下拍攝下來(lái)的。為了評(píng)估本文方法的實(shí)驗(yàn)結(jié)果，分別使用YawDD和NTHU-DDD數(shù)據(jù)集。第一個(gè)用于評(píng)估的數(shù)據(jù)集是YawDD，視頻是安裝在汽車(chē)儀表盤(pán)上的攝像頭拍攝的，總共29 個(gè)視頻，其中包含不同性別，戴眼鏡、不戴眼鏡的駕駛員。YawDD 視頻數(shù)據(jù)集的部分視頻樣本幀如圖3所示。

圖3 YawDD視頻數(shù)據(jù)集的樣本幀示例Fig.3 Sample frame examples of YawDD video dataset

由于YawDD 數(shù)據(jù)集并沒(méi)有標(biāo)注相應(yīng)的標(biāo)簽，所以數(shù)據(jù)集由本文手動(dòng)標(biāo)注。針對(duì)該數(shù)據(jù)集，將YawDD 數(shù)據(jù)集中視頻分別被標(biāo)注為“正?！薄罢f(shuō)話”“打哈欠”三類(lèi)，這里將“正?！薄罢f(shuō)話”合為一類(lèi)作為清醒狀態(tài)。圖4 是駕駛員在清醒狀態(tài)（Nonyawning）下所提取的視頻幀，圖5 是駕駛員在瞌睡狀態(tài)（Yawning）下提取的視頻幀。

圖4 清醒狀態(tài)視頻幀示例Fig.4 Non-yawning video frame examples

圖5 瞌睡狀態(tài)視頻幀示例Fig.5 Yawning video frame examples

2.2 NTHU-DDD數(shù)據(jù)集

NTHU-DDD 數(shù)據(jù)集是關(guān)于學(xué)習(xí)者瞌睡檢測(cè)的數(shù)據(jù)集，由訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集和評(píng)估數(shù)據(jù)集組成［12］。數(shù)據(jù)集中的實(shí)驗(yàn)對(duì)象是36 位來(lái)自不同種族、年齡在18～40 歲的成年人。視頻是在不同的照明、模擬不同駕駛場(chǎng)景的情況下拍攝的。駕駛場(chǎng)景包括正常駕駛、打哈欠、慢速眨眼以及昏昏欲睡等情況。如圖6所示，錄制的視頻分辨率是640 × 480，音頻視頻交錯(cuò)（Audio Video interleaved，AVi）格式，每秒30 幀。另外，與睡意相關(guān)的特征都被逐幀標(biāo)注，其中包括睡意、頭部姿態(tài)、眼睛和嘴巴等信息［13］。

圖6 NTHU-DDD視頻數(shù)據(jù)集的樣本幀示例Fig.6 Sample frame examples of NTHU-DDD video dataset

2.3 評(píng)估指標(biāo)與結(jié)果分析

實(shí)驗(yàn)的環(huán)境是：MacOS 操作系統(tǒng)，所使用的芯片是Apple M1，16 GB的RAM，在Python3.8的環(huán)境中編程實(shí)現(xiàn)。

在第2.2 節(jié)中，本文提出了睜眼狀態(tài)度量函數(shù)來(lái)判斷人眼狀態(tài)。圖7 是眼睛面積比（Square of Eye Ratio，SER）與眼睛縱橫比（Eye Aspect Ratio，EAR）［14］的對(duì)比結(jié)果。某個(gè)參與者在清醒狀態(tài)（波峰）與瞌睡狀態(tài)（波谷）下的SER 值差距較大，而在EAR 值上差距并不是很大，因此SER 值有利于針對(duì)人眼狀態(tài)標(biāo)記多標(biāo)簽。

圖7 SER、EAR隨時(shí)間的變化情況Fig.7 SER，EAR varying with time

圖8 是在YawDD 數(shù)據(jù)集下瞌睡識(shí)別可視化的示例。圖8（a）是駕駛員駕駛過(guò)程中抓拍的圖片，下方數(shù)字序號(hào)標(biāo)注的圖片則是駕駛員眼睛的圖片，顯示了一段時(shí)間內(nèi)駕駛員眼睛狀態(tài)的變化。圖8（b）表示駕駛員駕駛過(guò)程中的瞌睡檢測(cè)結(jié)果：當(dāng)眼睛處于“閉合狀態(tài)”達(dá)到一定時(shí)間時(shí)，則標(biāo)注為1，即出現(xiàn)有睡意的現(xiàn)象，0 則代表清醒狀態(tài)；若在連續(xù)的時(shí)間段內(nèi)一直保持這種睡意，則判定其為瞌睡。圖8（b）中的序號(hào)對(duì)應(yīng)圖8（a）中的序號(hào)，表示與圖8（a）狀態(tài)相對(duì)應(yīng)的瞌睡檢測(cè)結(jié)果。

圖8 YawDD數(shù)據(jù)集上瞌睡識(shí)別可視化示例Fig.8 Visualization example of drowsiness recognition on YawDD dataset

圖9 是YawDD 數(shù)據(jù)集中部分視頻的實(shí)驗(yàn)結(jié)果。圖9（a）～圖9（h）分別是在各個(gè)駕駛員駕駛過(guò)程中隨機(jī)選取的瞌睡檢測(cè)結(jié)果。從圖9 中可以明顯地看出，參與者瞌睡是發(fā)生在哪個(gè)時(shí)間段內(nèi)。

圖9 YawDD數(shù)據(jù)集瞌睡檢測(cè)部分結(jié)果Fig.9 Some results of drowsiness detection on YawDD dataset

圖10顯示了在NTHU-DDD 數(shù)據(jù)集下，瞌睡識(shí)別可視化的示例，其中圖10（a）展示的是實(shí)驗(yàn)者瞌睡過(guò)程，分別用數(shù)字序號(hào)代表10（a）的相應(yīng)狀態(tài)。圖10（b）是NTHU-DDD 瞌睡檢測(cè)的結(jié)果，圖10（b）中的序號(hào)對(duì)應(yīng)圖10（a）的相應(yīng)狀態(tài)。其中，圖10（b）的瞌睡標(biāo)簽，0代表無(wú)睡意，1表示有睡意。

圖10 NTHU-DDD數(shù)據(jù)集上的瞌睡識(shí)別可視化示例Fig.10 Visualization example of drowsiness recognition on NTHU-DDD dataset

本文分別采用了準(zhǔn)確率、F1 作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)，準(zhǔn)確率計(jì)算式定義為：

其中：TP表示預(yù)測(cè)正確的數(shù)量；FP表示預(yù)測(cè)錯(cuò)誤的數(shù)量。F1計(jì)算式定義為：

其中：Precision為精準(zhǔn)度；Recall為召回率。

表1 給出了本文算法在數(shù)據(jù)集YawnDD 上進(jìn)行實(shí)驗(yàn)之后所獲得的結(jié)果。根據(jù)表1 的結(jié)果可以看出，本文所提的算法在絕大多數(shù)情況下都能正確預(yù)測(cè)實(shí)驗(yàn)對(duì)象瞌睡的情況。

表1 本文算法在YawDD上的實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of proposed algorithm on YawDD

圖11 顯示了在數(shù)據(jù)集YawDD 上，本文算法，分別與EAR、嘴部縱橫比（Mouth Aspect Ratio，MAR）［15］、瞳孔大?。⊿ize Of Pupil，SOP）［16］以及眼睛環(huán)度（Eye Circularity，EC）［17］等算法的特征值對(duì)比結(jié)果。圖中的特征值與瞌睡狀態(tài)相關(guān)，瞌睡越顯著，各個(gè)算法的特征值越高。EAR 算法利用眼睛縱橫比的方法構(gòu)造了眨眼檢測(cè)器，雖然該算法可以檢測(cè)出人是否眨眼，但是由于簡(jiǎn)單的長(zhǎng)寬比閾值設(shè)定，另外人出現(xiàn)瞌睡時(shí)，眼睛縱橫比的效果不太明顯，所以可能導(dǎo)致出現(xiàn)假陽(yáng)性的效果。MAR 算法中的嘴部縱橫比的計(jì)算方式類(lèi)似于眼睛縱橫比，主要計(jì)算的是嘴部特征，相較于EAR 算法更有利于檢測(cè)出打哈欠行為，但是僅針對(duì)于嘴巴張大且保持這種狀態(tài)時(shí)間較長(zhǎng)的情況。SOP、EC算法更強(qiáng)調(diào)瞳孔面積，雖然瞳孔的大小可以很好地衡量人的疲勞程度，但并不是與瞌睡狀態(tài)直接相關(guān)聯(lián)。本文算法能很好地提取眼部特征，并根據(jù)眼睛閉合的程度對(duì)權(quán)重作出相應(yīng)的更新。從圖11 可以看出，在人瞌睡的情況下，本文算法相較于其他算法特征值更為明顯，從而使得瞌睡狀態(tài)的判定更為準(zhǔn)確。

圖11 不同算法的特征值對(duì)比Fig.11 Eigenvalue comparison of different algorithms

圖12 給出了本文算法與其他算法的準(zhǔn)確率對(duì)比。從圖12 中可以看出，綜合所有的視頻，本文算法準(zhǔn)確率高于其他算法的準(zhǔn)確率。EAR 在檢測(cè)視頻過(guò)程中，由于多段視頻存在眼睛長(zhǎng)寬比變化不大的情況，因此平均準(zhǔn)確率為82%。MAR 由于打哈欠過(guò)程中，嘴部特征相對(duì)明顯，所以準(zhǔn)確率有一定的提升，平均準(zhǔn)確率為88%。SOP 結(jié)合瞳孔特征以及眼睛直徑，所以在檢測(cè)大多數(shù)視頻時(shí)，具有一定的穩(wěn)定性，平均準(zhǔn)確率達(dá)到91%。本文算法，在檢測(cè)這29 段視頻中平均準(zhǔn)確率提升到94%，但是當(dāng)存在遮擋、視角偏移范圍較大時(shí)，也會(huì)造成準(zhǔn)確率下降。

圖12 不同算法的準(zhǔn)確率對(duì)比Fig.12 Accuracy comparison of different algorithms

最后在NTHU-DDD 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，因?yàn)镹THU-DDD數(shù)據(jù)集在每一幀都標(biāo)注了有睡意、無(wú)睡意的標(biāo)簽，所以在不同場(chǎng)景下，隨機(jī)選取部分視頻，提取視頻幀，針對(duì)睡意標(biāo)簽計(jì)算F1和準(zhǔn)確率。

表2 的結(jié)果顯示，本文算法在NTHU-DDD 數(shù)據(jù)集上的平均準(zhǔn)確率達(dá)到80%以上，同樣具有好的表現(xiàn)效果。

表2 NTHU-DDD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Experimental results on NTHU-DDD dataset unit：%

2.4 時(shí)間評(píng)估

對(duì)數(shù)據(jù)集YawDD 中的其中一個(gè)視頻進(jìn)行時(shí)間評(píng)估，圖13是本文算法與其他算法的耗時(shí)箱型圖對(duì)比。

圖13 不同算法的耗時(shí)箱型圖對(duì)比Fig.13 Comparison of time consumption box plot of different algorithms

本文算法在瞌睡狀態(tài)識(shí)別耗時(shí)多于MAR，但少于其他算法。EAR 識(shí)別每幀圖片的平均時(shí)間是0.29 s，因?yàn)橐曨l每秒30 幀，所以平均結(jié)果是8.94 s。MAR 平均結(jié)果是6.39 s，SOP平均結(jié)果是9.51 s，EC 平均結(jié)果是8.73 s，本文算法識(shí)別每幀所用時(shí)間是8.49 s。算法所用時(shí)間與視頻的分辨率有關(guān)，分辨率越高，所耗時(shí)間越多。SOP與本文算法，在特征提取以及瞌睡狀態(tài)建模上增加了時(shí)間的消耗。

3 結(jié)語(yǔ)

在瞌睡識(shí)別的場(chǎng)景中，根據(jù)人眼閉合狀態(tài)序列與瞌睡狀態(tài)之間的關(guān)系，本文提出了基于人眼狀態(tài)的瞌睡識(shí)別算法。該算法通過(guò)提取視頻序列中的閉合狀態(tài)幀，結(jié)合人眼狀態(tài)標(biāo)簽算法，自動(dòng)生成人眼閉合狀態(tài)序列，最后通過(guò)瞌睡識(shí)別模型進(jìn)行瞌睡識(shí)別。

本文算法在YawDD、NTHU 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在數(shù)據(jù)集YawDD 上的29 個(gè)視頻的準(zhǔn)確率達(dá)到了94%，在NTHU-DDD數(shù)據(jù)集上的準(zhǔn)確率達(dá)到了80%以上。雖然相較于其他對(duì)比算法，本文算法的性能較優(yōu)，但仍有局限性。當(dāng)人的頭部姿態(tài)變化過(guò)大時(shí)，準(zhǔn)確率將會(huì)較低，所以接下來(lái)的研究中，我們將結(jié)合頭部姿態(tài)進(jìn)行瞌睡識(shí)別。