摘要:導(dǎo)致交通事故的主要原因之一中疲勞駕駛占比非常高,為了能夠檢測(cè)駕駛員的疲勞駕駛狀態(tài),以駕駛員的眼動(dòng)行為模擬性和隨機(jī)性的特點(diǎn),使用不確定性云模型實(shí)現(xiàn)數(shù)據(jù)處理,對(duì)駕駛員疲勞情況進(jìn)行檢測(cè),實(shí)現(xiàn)疲勞預(yù)警系統(tǒng)的創(chuàng)建。該系統(tǒng)通過手動(dòng)攝像頭對(duì)駕駛員面部數(shù)據(jù)進(jìn)行收集,利用人臉人眼的定位計(jì)算眨眼時(shí)間的均值。通過這個(gè)值,可以相對(duì)準(zhǔn)確地判斷駕駛員的疲勞程度。疲勞檢測(cè)模塊將收集到的數(shù)據(jù)輸入系統(tǒng),并根據(jù)預(yù)設(shè)的規(guī)則進(jìn)行判斷。一旦發(fā)現(xiàn)駕駛員疲勞,系統(tǒng)將立即通過語音和文字提醒進(jìn)行警示。
關(guān)鍵詞:駕駛員視覺;多模態(tài);情感特征識(shí)別
本文針對(duì)道路交通事故中大部分是由于疲勞駕駛引發(fā)的問題,設(shè)計(jì)了一種基于駕駛員疲勞特征識(shí)別的系統(tǒng),以更加全面地分析駕駛員的疲勞狀況。由于駕駛員很難自我察覺到疲勞駕駛的情況,并且這個(gè)問題容易被忽視,因此筆者通過識(shí)別駕駛員在駕駛過程中出現(xiàn)的直觀疲勞特征,例如打盹、犯困、打哈欠等,來設(shè)計(jì)這個(gè)系統(tǒng)。
該系統(tǒng)運(yùn)用計(jì)算機(jī)視覺處理技術(shù)實(shí)時(shí)監(jiān)測(cè)和分析駕駛員的面部表情和動(dòng)作。通過監(jiān)測(cè)顏面的變化、眼睛的狀態(tài)等指標(biāo),并結(jié)合人工智能算法對(duì)這些數(shù)據(jù)進(jìn)行綜合判斷,能夠準(zhǔn)確識(shí)別出駕駛員是否處于疲勞狀態(tài)。一旦系統(tǒng)檢測(cè)到疲勞駕駛的特征,將立即通過語音警告提醒駕駛員注意休息,以引起駕駛員的重視并促使其采取行動(dòng)[1]。
一、多層Boosted HMM多模態(tài)情感識(shí)別算法
通過所三個(gè)模態(tài)特征數(shù)創(chuàng)建多層Bootted HMM分類器,設(shè)計(jì)三層總體分類器。利用線性組合設(shè)計(jì)各層總體分類器,從而使MBHMM分離器的識(shí)別率得到提高。利用單一特征訓(xùn)練分類HMM分類器,三層總體分類器的分量分離器模型通過以下公式表示:
公式中的π為模型初始隱狀態(tài)概率分布,狀態(tài)轉(zhuǎn)移概率矩陣和模型隱狀態(tài)數(shù)分別通過A和N表示,。
概率密度函數(shù)的公式能夠利用混合高速密度函數(shù)表示:
公式中的指的是隱狀態(tài)i的第m個(gè)高斯概率密度函數(shù)。
Baum-Welch算法能夠?qū)崿F(xiàn)HMM算法的訓(xùn)練,對(duì)模型參數(shù)最大似然估計(jì)進(jìn)行計(jì)算。對(duì)算法修改后充分考慮訓(xùn)練樣本權(quán)重,如果樣本無法進(jìn)行識(shí)別,就要重點(diǎn)進(jìn)行訓(xùn)練,以下為修改之后的算法:
算法輸入包括R個(gè)訓(xùn)練樣本xr (1≤r≤R)的樣本集和樣本觀察序列權(quán)重W(r);
更新之后的等式為:
公式中的Pr為HMM模型中樣本觀察序列xr 的概率。
改進(jìn)Baum-Welch訓(xùn)練算法能夠?qū)Φ蠼釮MM分量分類器模型參數(shù)中對(duì)各個(gè)樣本權(quán)重進(jìn)行考慮,比較收斂,使訓(xùn)練對(duì)無法識(shí)別的樣本進(jìn)行重視[2]。
二、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的架構(gòu)
(一)駕駛員視覺圖像識(shí)別的信息編碼
駕駛員在開車過程中都是利用掃視的方式識(shí)別系統(tǒng)中的信息,所以需要對(duì)系統(tǒng)信息進(jìn)行編碼。在信息量比較大的時(shí)候,還要分層顯示和邏輯分組,以便駕駛員能夠快速找到所需的信息。多通道顯控系統(tǒng)的生產(chǎn)廠家不同,所以要對(duì)不同信號(hào)燈含義進(jìn)行識(shí)別。如果駕駛員在駕駛汽車時(shí)無法對(duì)系統(tǒng)信息進(jìn)行識(shí)別,就會(huì)導(dǎo)致交通事故的出現(xiàn)。所以,在設(shè)計(jì)多通道線控系統(tǒng)的時(shí)候要對(duì)駕駛員視覺生理特性和信息可識(shí)別性進(jìn)行考慮。其中背景顏色可選擇淡藍(lán)色,刻度顏色為黑色,指針和警示的顏色為紅色為宜。
(二)汽車多通道位置的設(shè)計(jì)
1.對(duì)駕駛員眼睛的位置進(jìn)行判斷。實(shí)現(xiàn)駕駛員眼睛模型的創(chuàng)建,從而計(jì)算駕駛過程中的視線,在對(duì)駕駛視野范圍觀察的時(shí)候,可以通過駕駛員方向盤確定,設(shè)置汽車多通道顯控整體布局,對(duì)坐位進(jìn)行調(diào)節(jié)后對(duì)基準(zhǔn)點(diǎn)坐標(biāo)計(jì)算;
2.以駕駛員所移動(dòng)的視野范圍可以看出來,汽車在行駛中能夠快速的移動(dòng),并且能夠全方位的觀察。如果多通道顯控系統(tǒng)為順時(shí)針,可以根據(jù)水平方向?qū)π畔⑦M(jìn)行觀察。
在系統(tǒng)中,駕駛員對(duì)于直線輪廓的觀察力比曲線輪廓更加精準(zhǔn)。所以,在本文系統(tǒng)設(shè)計(jì)過程中為左右上方行,顯控系統(tǒng)的識(shí)別順序和顯示面板一樣。
在對(duì)駕駛員視覺圖像識(shí)別系統(tǒng)設(shè)計(jì)過程中設(shè)置儀表,儀表范圍為40° ~60°,視覺范圍為20°~40°。方向盤最高的切點(diǎn)設(shè)置為L(zhǎng)1,駕駛員和方向盤的切點(diǎn)設(shè)置L2,駕駛員的可見范圍為駕駛員視覺圖像識(shí)別系統(tǒng)兩條切線的投切范圍。駕駛員視覺圖像識(shí)別系統(tǒng)目視距離能夠滿足Henrry DrefDns需求,最佳和最大距離分別設(shè)置為550mm、711mm[4]。
三、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的硬件
(一)攝像頭信息采集
利用CMOS攝像頭設(shè)計(jì)攝像頭模塊,充分考慮主控板USB接口并且進(jìn)行對(duì)比,此種接口在使用過程中更加方便。其次,在調(diào)試PC平臺(tái)系統(tǒng)開發(fā)程序時(shí),能夠在PC平臺(tái)中設(shè)置USB攝像頭,降低了功耗和成本,結(jié)構(gòu)簡(jiǎn)單
(二)樹莓派主控板
為了能夠?qū)崿F(xiàn)視覺處理,系統(tǒng)使用樹莓派4B作為主控制板。此主控制板為迷你電腦,包括IO引腳、微控制器、1.5GHz的64位四核處理器、雙顯示屏、雙頻Wifi。布置內(nèi)部環(huán)境,方便燒錄代碼的應(yīng)用。
(三)語音警告提醒
通過檢測(cè)駕駛員的疲勞駕駛狀態(tài),實(shí)現(xiàn)語音警告的發(fā)送。因?yàn)闃漭傻墓δ軓?qiáng)大,并且不需要和其他語音模塊相互連接,只需要對(duì)汽車藍(lán)牙連接。要求錄制一段語音并且在樹莓派中保存,對(duì)駕駛員是否疲勞駕駛后播放語言。
(四)顯示屏模塊
通過顯示屏模塊的設(shè)計(jì)使系統(tǒng)開發(fā)調(diào)試更加的方便,還要觀察系統(tǒng)的檢測(cè)功能,使用7寸顯示屏連接micro-HDMI接口。
四、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的軟件
(一)特征提取
此模塊能夠?qū)崿F(xiàn)人臉檢測(cè)、眼動(dòng)參數(shù)計(jì)算和人眼定位。
1.人臉檢測(cè)
利用AdaBoost算法檢測(cè)人臉,基于弱分類器融合思想訓(xùn)練不同的弱分類器。實(shí)現(xiàn)樣本的精準(zhǔn)分類,使下次訓(xùn)練權(quán)值得到降低。如果下次所選擇的分類樣本不精準(zhǔn),權(quán)重會(huì)加重。
2.人眼定位
在檢測(cè)人臉過程中要定位人眼,主要方式包括粗定位和精準(zhǔn)定位兩種。可以通過人臉“三庭五眼實(shí)現(xiàn)粗定位,時(shí)。其中和兩種方式以垂直方向分為上中下庭,以水平方向劃分五眼。但在設(shè)計(jì)系統(tǒng)時(shí),只對(duì)左眼進(jìn)行處理,因此需要更精確的方法來確定人眼的區(qū)域。由此,Adaboost算法自然引入。
3.計(jì)算眼動(dòng)特征
在精準(zhǔn)定位人眼時(shí),要對(duì)眼動(dòng)疲勞特征參數(shù)進(jìn)行計(jì)算。per-clos與眨眼時(shí)間指的是人眼動(dòng)的特征參數(shù),是單位時(shí)間內(nèi)眼睛的閉合百分比可以通過per-closh表示,比如EM、P70、P80,其中眼瞼擋住50%瞳孔面積眼睛閉合表示W(wǎng)M,P80表示瞳孔遮擋面積為80%,P70為70%的瞳孔被遮擋。在以上標(biāo)準(zhǔn)中,疲勞狀態(tài)能夠通過p80標(biāo)準(zhǔn)所展現(xiàn),此計(jì)算公式為研究表明:
公式中的f0是指樣本采樣的頻率,通過Tp80表示計(jì)算時(shí)窗的大小,np是指單位時(shí)窗內(nèi)眼睛的閉合程度在80%以上。
(二)疲勞檢測(cè)
通過疲勞分類模型和虛擬實(shí)驗(yàn)環(huán)境收集駕駛員在疲勞或者清醒時(shí)候的眼動(dòng)數(shù)據(jù),并且計(jì)算眼睛的眨眼和閉合時(shí)間均值,實(shí)現(xiàn)二維多規(guī)則定性推理生成器的創(chuàng)建。根據(jù)生成器的輸入值進(jìn)行輸入,如果輸出期望在1.5以上,說明疲勞狀態(tài)。在模擬駕駛員環(huán)境過程中,定性推理生成器的識(shí)別率一般設(shè)置為73.98%。
(三)疲勞預(yù)警
如果疲勞檢測(cè)模塊輸出疲勞狀態(tài)時(shí),系統(tǒng)能夠調(diào)用疲勞報(bào)警模塊,從而對(duì)用戶開展文字或者語音提醒。
五、系統(tǒng)的實(shí)現(xiàn)
(一)實(shí)驗(yàn)環(huán)境
將PC機(jī)作為實(shí)驗(yàn)硬件環(huán)境,Win10作為操作系統(tǒng)。將多模態(tài)音頻情感數(shù)據(jù)庫(kù)作為基礎(chǔ),數(shù)據(jù)庫(kù)中包括大量的音頻和視頻序列。對(duì)于語音信號(hào)來說,通過轉(zhuǎn)換得到梅爾倒譜圖,利用PCA實(shí)現(xiàn)降維。
(二)實(shí)驗(yàn)方案
本文利用不同實(shí)驗(yàn)方案評(píng)價(jià)設(shè)計(jì)有效性:其一,消融實(shí)驗(yàn)。針對(duì)多模態(tài)或者單模態(tài)實(shí)現(xiàn)情感識(shí)別實(shí)驗(yàn),判斷驗(yàn)證特征重構(gòu)方法的有效性;其二,情感識(shí)別率。能夠分析系統(tǒng)的性能;其三,對(duì)比實(shí)驗(yàn)。有效驗(yàn)證決策層的融合方法。
(三)實(shí)驗(yàn)結(jié)果
1.消融實(shí)驗(yàn)
針對(duì)單模態(tài)情感識(shí)別率,語音識(shí)別率比視覺圖像識(shí)別率要高,主要是因?yàn)檎Z音特征提取的方法比視覺特征提取要優(yōu)。對(duì)于重構(gòu)模態(tài)決策層的融合識(shí)別率,與原始識(shí)別率的差別并不大,表示此種重構(gòu)的方法效果良好,具有較高的最小值規(guī)則決策層融合的情感識(shí)別率。
2.對(duì)比實(shí)驗(yàn)
通過語音視覺情感識(shí)別結(jié)果對(duì)比此表示,基于決策層規(guī)則融合方法的識(shí)別效果良好,也驗(yàn)證了決策層融合方法的有效性。
3.性能分析
融合后模型能夠提高不同的情感識(shí)別率,由于語音特征和視覺特征兩者互補(bǔ),單模態(tài)時(shí)并沒有明顯的情感特征,降低了類別識(shí)別效果。所以和另外一個(gè)模態(tài)結(jié)合應(yīng)用,如果新模態(tài)具有明顯的情感特征效果,使類別會(huì)兒率得到提高。
(1)單模態(tài)情感識(shí)別
其中hate和afraid會(huì)降低識(shí)別率,一般使用sad、angry、happy等提高識(shí)別率,主要是由于兩者并沒有明顯的情感特征;
(2)多模態(tài)情感識(shí)別
通過融合決策層使afraid情感識(shí)別率得到提高,如果出現(xiàn)悲傷、恐懼等情感的時(shí)候會(huì)提高情感識(shí)別的復(fù)雜度,從而降低多模態(tài)的識(shí)別方法效率。利用最小值規(guī)則決策層融合的方法,提高情感識(shí)別效果;
(3)重構(gòu)多模態(tài)
具有一樣的多模態(tài)情感識(shí)別結(jié)果,重構(gòu)模態(tài)識(shí)別效果比較大,主要是由于本文重構(gòu)模態(tài)特征無法完全代替原本模態(tài)特征。
六、結(jié)束語
本文所設(shè)計(jì)的系統(tǒng)是將樹莓派實(shí)現(xiàn)數(shù)據(jù)信息處理核心,在實(shí)時(shí)監(jiān)測(cè)駕駛員圖像信息的過程中,可以通過攝像頭實(shí)現(xiàn),提取人像特征或者圖像預(yù)處理。在提取駕駛員頭部、嘴部、眼部等特征之后,對(duì)駕駛員的狀態(tài)進(jìn)行判斷,包括是否出現(xiàn)打哈欠、犯困等情況,針對(duì)此種情況開展預(yù)警告。本文系統(tǒng)的設(shè)計(jì)比較簡(jiǎn)單,并且操作方便,使預(yù)期目標(biāo)得到滿足,實(shí)用價(jià)值比較高。
作者單位:張瑞宏 西藏大學(xué)
參考文獻(xiàn)
[1]王傳昱,李為相,陳震環(huán).基于語音和視頻圖像的多模態(tài)情感識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(23):163-170.
[2]李倩倩,王衛(wèi)星,楊勤,等.基于深度學(xué)習(xí)的視聽多模態(tài)情感識(shí)別研究[J].計(jì)算機(jī)與數(shù)字工程,2023,51(3):695-699.
[3]龍英潮,丁美榮,林桂錦,等.基于視聽覺感知系統(tǒng)的多模態(tài)情感識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(12):218-225.
[4]鄔卓恒,趙嘉熙,時(shí)小芳.基于BP神經(jīng)網(wǎng)絡(luò)的語音情感識(shí)別系統(tǒng)分析與設(shè)計(jì)[J].電腦知識(shí)與技術(shù),2022,18(10):76-79.