亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于駕駛員面部時序數(shù)據(jù)的疲勞駕駛檢測算法

        2022-03-25 02:27:32歐陽麟吳仲城
        測控技術 2022年2期
        關鍵詞:駕駛員準確率狀態(tài)

        歐陽麟, 吳仲城, 張 俊, 李 芳

        (1.中國科學院 強磁場科學中心,安徽 合肥 230031;2.中國科學技術大學,安徽 合肥 230026;3.強磁場安徽省實驗室,安徽 合肥 230031)

        世界衛(wèi)生組織(WHO)指出,道路交通事故是對全球公眾身體健康造成傷害的最重要原因之一。如《2018年世界道路安全狀況報告》[1]中所述,交通事故是致死和致傷的重要原因,每年有接近140萬人死于交通事故,還有數(shù)百萬人因交通事故受傷或致殘。圖1顯示了2004年—2016年間因道路交通事故死亡的人數(shù),可知死亡人數(shù)每年以緩慢的趨勢上升。

        圖1 2014年—2016年因道路交通事故死亡的人數(shù)[1]

        2013年在摩洛哥進行的一項研究[2]表明,該國每年因疲勞駕駛而死亡的人數(shù)高達4000多人,同時造成經(jīng)濟損失高達14億美元。輕度疲勞占到了事故比例的36.8%,重度疲勞占到了31.1%,如圖2所示。研究還指出,有42.4%的駕駛員未能按照每500 km或2 h 休息15 min的標準進行駕駛。

        圖2 調查人群中各類人所占比例

        同時,因個人體質不同,每個人所需休息時間和休息間隔不同,因此,單純依靠遵守規(guī)則并不能完全避免駕駛員疲勞駕駛行為,需要一種能檢測到疲勞駕駛行為的方法,并通過警報提醒駕駛員或上傳控制中心,避免交通事故的發(fā)生或降低損失。

        在早期的疲勞檢測研究中,主要使用駕駛員的生理信號來進性檢測,如眼電圖[3]、心電圖(ECG)[4]、腦電圖、肌電圖,通過附著在駕駛員身上的各類傳感器,獲取生理數(shù)據(jù)[5],分析正常狀態(tài)和疲勞狀態(tài)下生理數(shù)據(jù)的差異來判斷疲勞與否,這種方法檢測精度高,但是需要駕駛員的配合以及昂貴的信號采集設備,需要與駕駛員的身體進行接觸,比較容易引起駕駛員的不適和反感。另一種是基于行駛中車輛本身的方法,如通過研究車速、車輛軌跡、車道偏離等,來判斷疲勞駕駛狀態(tài)。Ma等[6]通過小波分析和神經(jīng)網(wǎng)絡來計算目標車輛的橫向距離來預測駕駛員疲勞狀態(tài),這種方法受限于車道、駕駛員駕駛習慣,以及路面狀況等,通常很難應用于復雜的實際場景中。還有一種通過攝像頭捕捉駕駛員面部信息的方法,通過分析眨眼頻率、是否打哈欠、PERCLOS(Percentage of Eyelid Closure over the Pupil)[7]等疲勞特征來判斷駕駛員的狀態(tài),Alioua等[8]通過Hough提取眼部和嘴部特征,利用SVM(Support Vector Machine,支持向量機)分類器來完成疲勞狀態(tài)判斷。這種基于計算機視覺的方法因其低侵入性、低成本的特點,受到了較廣泛的應用。

        近年來,以CNN(Convolutional Neural Networks,卷積神經(jīng)網(wǎng)絡)為代表的深度學習模型[9]在計算機視覺領域的一系列問題(如分類、目標檢測、圖像分割等)上取得了巨大的成功。如果將疲勞檢測視為圖像分類問題,則很容易應用深度網(wǎng)絡模型。例如,Kurylyak等[10]提出的基于卷積神經(jīng)網(wǎng)絡的哈欠檢測算法,直接將駕駛員面部圖片輸入神經(jīng)網(wǎng)絡,Softmax分類器用于判別駕駛員疲勞狀態(tài),疲勞(1)或非疲勞(0),在YawDD[11](Yawning Detection Dataset)上取得了95.81%的準確度。但是在實際應用中,疲勞狀態(tài)往往是以序列的形式出現(xiàn)的,是一個動態(tài)的過程,很難通過單張圖片來判斷駕駛員是否疲勞?;跁r序數(shù)據(jù)的方法大多通過加窗的方式,對窗口內的數(shù)據(jù)加以處理,并手動提取特征,例如鐘奕輝[12]根據(jù)窗口內的視頻幀計算眨眼間隔時間估計疲勞程度;Junaedi等[13]先判斷視頻幀中人眼部的狀態(tài),再計算PERCLOS值來判斷疲勞狀態(tài),并使用P60[14]標準在YawDD上獲得了最高83.66%的準確率。這種方法需要手動設置閾值,根據(jù)提取特征與閾值進行比較,當駕駛員臉部差異較大或個人習慣不同時,閾值不同,泛化性不強。另一種方法對手動提取的特征進行特征融合[15]或接入如SVM[16]、MLP(Multilayer Perceptron,多層感知機)等分類算法對疲勞狀態(tài)進行識別,這兩種方法都需要手動設計特征且只針對臉部部分區(qū)域(如眼部、嘴部特征),不能充分利用臉部疲勞特征。

        基于以上研究,本文提出了一種基于CNN和長短期記憶(Long Short-Term Memory,LSTM)單元的端到端可訓練網(wǎng)絡,并利用MTCNN(Multi-Task Cascaded Neural Networks,多任務級聯(lián)神經(jīng)網(wǎng)絡)檢測人臉關鍵點,提取感興趣區(qū)域(Region of Interest,ROI),將拼接后的融合了嘴部區(qū)域和眼部區(qū)域的ROI放入CNN中提取特征,多幀圖片提取后的特征再經(jīng)過LSTM單元學習序列特征,輸出疲勞狀態(tài)(疲勞、打哈欠、非疲勞)。模型通過逐幀處理而不是基于窗口預測,因此,它檢測速度快,消耗的計算成本較低,并且能夠實時工作。實驗表明本文方法在疲勞檢測數(shù)據(jù)集NTHU-DDD[17]中獲得了98%以上的準確率并有較好的實時性。

        1 疲勞檢測算法流程

        疲勞檢測算法整體流程圖如圖3所示。

        圖3 疲勞檢測算法流程圖

        具體流程如下:

        ① 圖片經(jīng)過一個MTCNN[18]提取ROI,將ROI調整成網(wǎng)絡輸入所需的比例后拼接成單張圖片輸入進CNN。

        ② CNN對連續(xù)視頻幀中的ROI進行特征提取,提取后的序列特征進入LSTM單元學習時序特征。

        ③ LSTM提取的特征經(jīng)過Softmax分類器對當前視頻幀進行分類(正常、疲勞、打哈欠3種狀態(tài))。

        2 數(shù)據(jù)準備

        2.1 數(shù)據(jù)集

        YawDD是由Abtahi等制作的視頻數(shù)據(jù)集,用于哈欠檢測模型的設計與測試,其中包含了多名駕駛員在駕駛位上的視頻。視頻分為兩部分,一部分是攝像頭位于車內后視鏡下方,側對著駕駛員錄制得到的;另一部分是攝像頭位于儀表盤上方,正對著駕駛員,采集到駕駛員的正面圖像,每秒采集30幀。每個駕駛員錄制3~4段視頻。此數(shù)據(jù)集用于驗證模型的泛化性。本文取正臉部分數(shù)據(jù)集,按照視頻文件的分類將數(shù)據(jù)集分為打哈欠和正常兩種狀態(tài)。

        疲勞駕駛檢測數(shù)據(jù)集采用來自于臺灣國立清華大學的NTHU-DDD[17](Driver Drowsiness Detection),包括正常駕駛和疲勞駕駛的視頻數(shù)據(jù)集。在白天和黑夜兩種場景下拍攝,包含了戴眼鏡、不戴眼鏡、打哈欠、低頭等多種動作。圖像幀像素格式為640像素×480像素,每段視頻平均60 s左右,每秒取15幀(黑夜)或30幀(白天)。此數(shù)據(jù)集用于模型的訓練與測試。由于數(shù)據(jù)集的標簽只有0(正常)和1(疲勞)狀態(tài),而本文模型輸出3種狀態(tài)(正常、疲勞和打哈欠),于是對數(shù)據(jù)集重新制作標簽,將本來類別為1(疲勞)的視頻幀按照順序分為1(疲勞)和2(打哈欠)。圖4為從NTHU-DDD中的一段連續(xù)的視頻均勻采樣截得的視頻幀。

        圖4 NTHU-DDD部分視頻幀

        NTHU-DDD分為訓練集、驗證集和測試集,其中訓練集來自18位志愿者,共360段視頻,包括723248個視頻幀;驗證集來自4位志愿者,共20段視頻,包括173299個視頻幀;測試集包括所有志愿者的70段視頻,包括736132個視頻幀。

        YawDD采用的正臉部分數(shù)據(jù)集包括16段男性視頻和13段女性視頻,男性視頻共有36126幀,女性視頻共有28467幀。YawDD中的數(shù)據(jù)僅用于測試。

        2.2 ROI提取

        生物醫(yī)學研究表明,疲勞狀態(tài)是一個漸進的過程,初期表現(xiàn)為眨眼頻率變高、打哈欠、哈欠持續(xù)時間變長,后期表現(xiàn)為眼睛閉合程度增大、眼睛閉合時間增長等。因此面部區(qū)域中能表現(xiàn)疲勞特征的是眼部和嘴部,為了去除無關信息,而將有用的ROI送入CNN中進行訓練,首先應用MTCNN提取面部關鍵點,基于特征點截取出眼部和嘴部區(qū)域,再拼接成整個圖片。

        2.2.1 圖片角度矯正

        由于本文數(shù)據(jù)集中存在部分視頻幀未能正臉面對攝像頭,可能會出現(xiàn)頭部向左或者向右偏轉的情況。為了能夠正確提取出ROI,對于這種圖片,首先需要對其進行角度矯正,如圖5所示。

        圖5 圖片旋轉過程

        圖5中,假設在圖片經(jīng)過MTCNN后輸出的關鍵點中,左眼和右眼分別為A點(xA,yA)和B點(xB,yB),那么此時兩眼連線與水平方向的夾角θ(即傾斜角度)為

        (1)

        將圖片圍繞中心點Z(x0,y0)旋轉θ°,即可調整至水平狀態(tài)。此時原圖片中任意點的坐標P(xi,yi)將調整至P′(x′i,y′i)。計算規(guī)則如下:

        yi=2y0-yi

        (2)

        2.2.2 提取眼部ROI

        得到2.2.1節(jié)中輸出的圖片及關鍵點坐標后,提取眼部ROI,如圖6所示。

        圖6 提取眼部ROI

        圖6中眼部矩形框即為提取的ROI區(qū)域,坐標點以及矩形框寬度w、高度h之間的關系如下:

        (3)

        式中:xC為C點x軸坐標;yC為C點y軸坐標;d為兩眼之間橫向距離。

        同理,右眼區(qū)域與左眼區(qū)域經(jīng)過相同處理。

        2.2.3 提取嘴部ROI

        嘴部區(qū)域ROI處理與眼部類似,將比例調整至合適范圍內。如圖7所示,嘴部矩形框左上角C點的坐標為

        圖7 提取嘴部ROI

        (4)

        式中:xC為C點x軸坐標;yC為C點y軸坐標;d為兩眼之間橫向距離。

        將NTHU-DDD中所有視頻幀在訓練之前都進行上述ROI提取處理,將得到的結果拼接成為一張新的圖片,正好可以得到一張長寬大小相同的圖片。部分訓練集圖片如圖8所示。將圖片調整為227像素×227像素的格式,做好數(shù)據(jù)標簽,以便下一步訓練網(wǎng)絡所用。

        圖8 經(jīng)過ROI提取后的數(shù)據(jù)集

        3 基于CNN和LSTM的疲勞檢測網(wǎng)絡

        3.1 CNN

        CNN因其在ImageNet上的出色表現(xiàn),受到了大量的關注和研究,廣泛應用于各類視覺任務。隨著網(wǎng)絡層數(shù)的加深,模型的表達能力也越強,然而當網(wǎng)絡層數(shù)到達一定程度,由于梯度消失問題,導致在視覺任務中的準確率不升反降。ResNet使用跳連接[19],即殘差塊(Residual Block)來解決這類問題,使得在復雜的視覺任務中可以更好地應用深度網(wǎng)絡。ResNet基本單元如圖9所示。

        圖9 ResNet基本單元

        筆者選用的用于提取面部特征的ResNet-18中使用了4組這樣的單元,每組2個。

        使用從ImageNet上遷移過來的網(wǎng)絡,加載預訓練權重,開放部分權重用于訓練,加快收斂速度,防止過擬合。除了ResNet-18外,還使用了VGG-16[20],DenseNet[21]、AlexNet[22]這些在ImageNet上表現(xiàn)出色的網(wǎng)絡用于對比特征提取器的效果。

        3.2 LSTM

        LSTM[23]是遞歸神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)的改進網(wǎng)絡。區(qū)別于CNN對單張圖片的特征提取及分類,LSTM的模型輸出與之前檢測的視頻幀結果是有關的。它將上一時序網(wǎng)絡的隱層狀態(tài)輸出到下一時序網(wǎng)絡中,與當前序列數(shù)據(jù)一同訓練,因此,它更擅長于處理時序數(shù)據(jù)。RNN示意圖如圖10所示。

        圖10 RNN示意圖

        圖10中,ht+1為當前序列的隱狀態(tài),它根據(jù)當前的訓練樣本xt+1以及上一序列的隱狀態(tài)ht進行計算得出。LSTM在上述基本單元上又添加了3個控制門結構,即輸入門、遺忘門和輸出門,能夠遺忘掉次要的特征信息而記住更明顯的疲勞特征。

        3.3 疲勞檢測網(wǎng)絡

        筆者使用從ImageNet上遷移過來的ResNet-18提取特征,如圖11所示。凍結部分層的權重,開放后n層進行fine-tune。連續(xù)的視頻幀經(jīng)過ROI提取后輸入進ResNet-18,輸出的線性特征再接入LSTM網(wǎng)絡學習時序特征,最終輸出的特征經(jīng)過Softmax分類得到駕駛員疲勞狀態(tài)。圖11中的Basic Block為圖9中的基本單元。

        圖11 疲勞檢測網(wǎng)絡結構圖

        4 實驗與結果分析

        4.1 網(wǎng)絡訓練

        筆者采用隨機裁剪、旋轉和噪聲處理進行數(shù)據(jù)增強,通過減去圖片通道平均值實現(xiàn)歸一化。優(yōu)化器采用SGD(Stochastic Gradient Descent)算法。批次大小設為256,權重衰減系數(shù)設為0.0005,動量設為0.9,初始學習率設為0.01。并將LSTM單元的步長設為16,即選擇連續(xù)的16幀作為檢測窗口。權重采用預訓練模型初始權重,開放后10層更新權重,防止過擬合,在NVIDIA GTX 1080Ti上訓練的迭代次數(shù)為200。

        4.2 算法在數(shù)據(jù)集上的性能比較

        將ResNet-18與其他分類網(wǎng)絡(AlexNet、VGG-16和DenseNet)用相同的配置進行訓練,同時,用ResNet18在不經(jīng)過ROI提取的原始數(shù)據(jù)集上進行訓練以作為比較。實驗中損失值以及驗證集中準確率曲線如圖12和圖13所示。

        圖12 損失值變化曲線

        由圖可知,VGG網(wǎng)絡在訓練中的振動幅度較大,AlexNet-LSTM網(wǎng)絡的檢測效果最差,ResNet18和DenseNet提取面部特征的能力較為出色。經(jīng)ROI提取后的ResNet18-LSTM網(wǎng)絡性能最佳,在驗證集上達到98.56%的準確率。在原始數(shù)據(jù)集上訓練的ResNe18-LSTM達到了97.22%的準確率。相較于原始數(shù)據(jù)集,ROI提取明顯抓住了反映疲勞特征的關鍵區(qū)域,提升了準確率。各網(wǎng)絡在驗證集上的最終識別準確率具體如表1所示。

        表1 各網(wǎng)絡在NTHU-DDD數(shù)據(jù)集上的準確率

        各個主干網(wǎng)絡在ImageNet上的精度與參數(shù)量大小信息如圖14所示[24]。圖14中圓形的中心為模型在圖表中的位置,圓形的大小對應模型的參數(shù)量,橫軸為計算量,縱軸為Top-1的準確率,越靠近左上角的模型計算復雜度越低、準確率越高,越小的模型參數(shù)越少。一般來說,網(wǎng)絡參數(shù)量和計算量越大,表示模型容量越大,而精度越高代表網(wǎng)絡提取特征的能力越強。由表1信息可知,主干網(wǎng)絡提取特征能力越強,則遷移后的疲勞檢測網(wǎng)絡識別準確率越高,而模型參數(shù)量達到一定量級后,可能會出現(xiàn)過擬合而導致檢測率不升反降。例如精度接近的VGG-16和ResNet-18,VGG-16由于模型過大而產生的過擬合(可通過表1中數(shù)據(jù)輔證,VGG-16在訓練集上的精度很高,在驗證集上卻出現(xiàn)精度下降),導致疲勞檢測網(wǎng)絡中ResNet-18的精度要遠高于VGG-16,且計算量更小。這說明在遷移學習任務中,選擇適合的模型尤為重要。

        圖14 各主干網(wǎng)絡精度與模型大小對比

        接著將模型與其他同樣在NTHU-DDD測試集上測試的基于時序數(shù)據(jù)的方法進行對比。不同方法使用相同的預處理方法,使用模型與最終準確率如表2所示。

        由表2可知,基于LSTM網(wǎng)絡的方法整體要優(yōu)于視頻幀中加窗分析的方法,而經(jīng)過預處理后的數(shù)據(jù)集識別準確率也得到了提升,這說明本文預處理方法對于疲勞檢測數(shù)據(jù)集是有效的。

        表2 不同方法在NTHU-DDD測試集上的結果對比

        4.3 參數(shù)討論

        下面討論上文中提出的網(wǎng)絡模型所涉及到的兩個重要參數(shù)。通常駕駛員一次眨眼的過程需要約0.3 s,當出現(xiàn)疲勞駕駛時,司機眨眼變慢,一次眨眼過程持續(xù)時間更長。這對應于4.1節(jié)提到的LSTM中步長的選擇。步長過大,則當前幀之前的視頻幀對當前狀態(tài)影響更大,LSTM可能會提取不重要的特征;反之,步長過小,則忽略掉的視頻幀越多,可能會學習不到序列特征。因此,選擇不同的步長進行實驗,對比得出最佳步長為16。實驗結果如圖15所示,曲線代表準確率與步長的關系。

        圖15 步長對網(wǎng)絡檢測效果的影響

        對于采用的ResNet-18預訓練模型,開放層數(shù)也會影響模型精度,層數(shù)過多,可能導致在小樣本數(shù)據(jù)集上不收斂,層數(shù)過低,可能學習不到數(shù)據(jù)集本身的特征,無法很好地遷移到目標任務中。通過實驗得出當開放層數(shù)為10的時候,準確率達到峰值。開放層數(shù)與模型最終精度的關系如圖16所示。

        圖16 開放層數(shù)與模型最終精確度的關系曲線

        4.4 模型泛化能力

        為了驗證模型的泛化能力,將其應用于YawDD數(shù)據(jù)集,并與其他哈欠檢測算法[13,26-27]進行比較,由于本文模型輸出打哈欠、疲勞和正常3個狀態(tài),而數(shù)據(jù)集中只標注了打哈欠和正常2個狀態(tài),于是將輸出為疲勞的數(shù)據(jù)歸結于正常狀態(tài),測試結果如表3所示。

        表3 不同算法在YawDD數(shù)據(jù)集上的檢測結果

        如表3所示,在基于PERCLOS的方法中,不同的標準(P60,P70,P80)下有不同的結果,表3中記錄了方法在數(shù)據(jù)集多個部分中的最好結果。而本文方法在未經(jīng)YawDD數(shù)據(jù)訓練的情況下直接測試,達到了與主流哈欠檢測算法近似的精度,由此說明模型泛化性較強。

        4.5 算法實時性

        為了測試模型在實際場景中的實時性,在NVIDIA GTX 1080Ti環(huán)境下檢測連續(xù)的視頻幀,將攝像頭捕捉圖片裁剪為200像素×150像素的大小,提取ROI后輸入LSTM網(wǎng)絡,測出檢測速度為25 f/s,平均檢測一幀的速度為40 ms,其中提取ROI所用時間與檢測疲勞狀態(tài)所用時間比例約為1∶1。在駕駛員疲勞檢測任務中實時性較強。若將模型放于更高配置的GPU服務器上提供服務,則可以進一步提升檢測效率。

        5 結束語

        本文首次提出了一種將LSTM應用于駕駛員面部時序數(shù)據(jù)中的方法,根據(jù)面部關鍵點提取疲勞特征ROI,通過遷移學習提取圖像特征,并結合LSTM處理時序數(shù)據(jù)的能力,提出了一種能夠檢測疲勞駕駛的端到端可訓練網(wǎng)絡。在公開數(shù)據(jù)集中達到了較高的精度,同時具有較好的泛化能力,對于公共交通安全以及駕駛員人身安全保護具有很重要的意義。下一步研究可將模型放入云端,開發(fā)Restful API并提供HTTP服務,以此實時檢測終端駕駛員的疲勞狀態(tài)。

        猜你喜歡
        駕駛員準確率狀態(tài)
        基于高速公路的駕駛員換道意圖識別
        駕駛員安全帶識別方法綜述
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準確率比較探討
        2015—2017 年寧夏各天氣預報參考產品質量檢驗分析
        狀態(tài)聯(lián)想
        高速公路車牌識別標識站準確率驗證法
        生命的另一種狀態(tài)
        起步前環(huán)顧四周是車輛駕駛員的義務
        公民與法治(2016年4期)2016-05-17 04:09:26
        熱圖
        家庭百事通(2016年3期)2016-03-14 08:07:17
        一本一道人人妻人人妻αv| 日韩精品中文字幕免费人妻| 久久综合伊人有码一区中文字幕| 免费人成视频网站网址| 欧洲熟妇色xxxx欧美老妇多毛| 亚洲色图视频在线 | 亚洲av无码专区首页| 国产免费av片在线观看麻豆| 国产三级av在线播放| 亚洲国产精品一区二区成人av| 久久99精品国产麻豆不卡| 国产特级全黄一级毛片不卡| 亚洲精品尤物av在线网站| 国产av久久在线观看| 岳好紧好湿夹太紧了好爽矜持| 日韩在线第二页| 国产极品嫩模大尺度在线播放| 久久久精品国产亚洲av网深田| 国产亚洲精品久久久ai换| 国产精品亚洲一区二区杨幂| 日本高清无卡一区二区三区| 全免费a级毛片免费看无码| 中文字幕一区二区人妻| 亚洲AV无码国产精品久久l| 日本女优久久精品久久| 国产专区一线二线三线码| 欧美性猛交xxxx乱大交蜜桃| 久久久精品亚洲懂色av| 99久久婷婷国产亚洲终合精品 | 一区二区三区放荡人妻| 乳乱中文字幕熟女熟妇| 日本无码欧美一区精品久久| 热の国产AV| 日韩女同一区在线观看| 精品无码av无码专区| 亚洲乱码日产精品bd| 日韩无码尤物视频| 日本久久精品视频免费| 在熟睡夫面前侵犯我在线播放| 亚洲中文字幕久久精品蜜桃| 日韩精品人妻一区二区三区蜜桃臀 |