亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于駕駛員視覺與語音的多模態(tài)情感特征識(shí)別系統(tǒng)應(yīng)用研究

        2024-12-31 00:00:00張瑞宏
        中國(guó)新通信 2024年8期
        關(guān)鍵詞:多模態(tài)

        摘要:導(dǎo)致交通事故的主要原因之一中疲勞駕駛占比非常高,為了能夠檢測(cè)駕駛員的疲勞駕駛狀態(tài),以駕駛員的眼動(dòng)行為模擬性和隨機(jī)性的特點(diǎn),使用不確定性云模型實(shí)現(xiàn)數(shù)據(jù)處理,對(duì)駕駛員疲勞情況進(jìn)行檢測(cè),實(shí)現(xiàn)疲勞預(yù)警系統(tǒng)的創(chuàng)建。該系統(tǒng)通過手動(dòng)攝像頭對(duì)駕駛員面部數(shù)據(jù)進(jìn)行收集,利用人臉人眼的定位計(jì)算眨眼時(shí)間的均值。通過這個(gè)值,可以相對(duì)準(zhǔn)確地判斷駕駛員的疲勞程度。疲勞檢測(cè)模塊將收集到的數(shù)據(jù)輸入系統(tǒng),并根據(jù)預(yù)設(shè)的規(guī)則進(jìn)行判斷。一旦發(fā)現(xiàn)駕駛員疲勞,系統(tǒng)將立即通過語音和文字提醒進(jìn)行警示。

        關(guān)鍵詞:駕駛員視覺;多模態(tài);情感特征識(shí)別

        本文針對(duì)道路交通事故中大部分是由于疲勞駕駛引發(fā)的問題,設(shè)計(jì)了一種基于駕駛員疲勞特征識(shí)別的系統(tǒng),以更加全面地分析駕駛員的疲勞狀況。由于駕駛員很難自我察覺到疲勞駕駛的情況,并且這個(gè)問題容易被忽視,因此筆者通過識(shí)別駕駛員在駕駛過程中出現(xiàn)的直觀疲勞特征,例如打盹、犯困、打哈欠等,來設(shè)計(jì)這個(gè)系統(tǒng)。

        該系統(tǒng)運(yùn)用計(jì)算機(jī)視覺處理技術(shù)實(shí)時(shí)監(jiān)測(cè)和分析駕駛員的面部表情和動(dòng)作。通過監(jiān)測(cè)顏面的變化、眼睛的狀態(tài)等指標(biāo),并結(jié)合人工智能算法對(duì)這些數(shù)據(jù)進(jìn)行綜合判斷,能夠準(zhǔn)確識(shí)別出駕駛員是否處于疲勞狀態(tài)。一旦系統(tǒng)檢測(cè)到疲勞駕駛的特征,將立即通過語音警告提醒駕駛員注意休息,以引起駕駛員的重視并促使其采取行動(dòng)[1]。

        一、多層Boosted HMM多模態(tài)情感識(shí)別算法

        通過所三個(gè)模態(tài)特征數(shù)創(chuàng)建多層Bootted HMM分類器,設(shè)計(jì)三層總體分類器。利用線性組合設(shè)計(jì)各層總體分類器,從而使MBHMM分離器的識(shí)別率得到提高。利用單一特征訓(xùn)練分類HMM分類器,三層總體分類器的分量分離器模型通過以下公式表示:

        公式中的π為模型初始隱狀態(tài)概率分布,狀態(tài)轉(zhuǎn)移概率矩陣和模型隱狀態(tài)數(shù)分別通過A和N表示,。

        概率密度函數(shù)的公式能夠利用混合高速密度函數(shù)表示:

        公式中的指的是隱狀態(tài)i的第m個(gè)高斯概率密度函數(shù)。

        Baum-Welch算法能夠?qū)崿F(xiàn)HMM算法的訓(xùn)練,對(duì)模型參數(shù)最大似然估計(jì)進(jìn)行計(jì)算。對(duì)算法修改后充分考慮訓(xùn)練樣本權(quán)重,如果樣本無法進(jìn)行識(shí)別,就要重點(diǎn)進(jìn)行訓(xùn)練,以下為修改之后的算法:

        算法輸入包括R個(gè)訓(xùn)練樣本xr (1≤r≤R)的樣本集和樣本觀察序列權(quán)重W(r);

        更新之后的等式為:

        公式中的Pr為HMM模型中樣本觀察序列xr 的概率。

        改進(jìn)Baum-Welch訓(xùn)練算法能夠?qū)Φ蠼釮MM分量分類器模型參數(shù)中對(duì)各個(gè)樣本權(quán)重進(jìn)行考慮,比較收斂,使訓(xùn)練對(duì)無法識(shí)別的樣本進(jìn)行重視[2]。

        二、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的架構(gòu)

        (一)駕駛員視覺圖像識(shí)別的信息編碼

        駕駛員在開車過程中都是利用掃視的方式識(shí)別系統(tǒng)中的信息,所以需要對(duì)系統(tǒng)信息進(jìn)行編碼。在信息量比較大的時(shí)候,還要分層顯示和邏輯分組,以便駕駛員能夠快速找到所需的信息。多通道顯控系統(tǒng)的生產(chǎn)廠家不同,所以要對(duì)不同信號(hào)燈含義進(jìn)行識(shí)別。如果駕駛員在駕駛汽車時(shí)無法對(duì)系統(tǒng)信息進(jìn)行識(shí)別,就會(huì)導(dǎo)致交通事故的出現(xiàn)。所以,在設(shè)計(jì)多通道線控系統(tǒng)的時(shí)候要對(duì)駕駛員視覺生理特性和信息可識(shí)別性進(jìn)行考慮。其中背景顏色可選擇淡藍(lán)色,刻度顏色為黑色,指針和警示的顏色為紅色為宜。

        (二)汽車多通道位置的設(shè)計(jì)

        1.對(duì)駕駛員眼睛的位置進(jìn)行判斷。實(shí)現(xiàn)駕駛員眼睛模型的創(chuàng)建,從而計(jì)算駕駛過程中的視線,在對(duì)駕駛視野范圍觀察的時(shí)候,可以通過駕駛員方向盤確定,設(shè)置汽車多通道顯控整體布局,對(duì)坐位進(jìn)行調(diào)節(jié)后對(duì)基準(zhǔn)點(diǎn)坐標(biāo)計(jì)算;

        2.以駕駛員所移動(dòng)的視野范圍可以看出來,汽車在行駛中能夠快速的移動(dòng),并且能夠全方位的觀察。如果多通道顯控系統(tǒng)為順時(shí)針,可以根據(jù)水平方向?qū)π畔⑦M(jìn)行觀察。

        在系統(tǒng)中,駕駛員對(duì)于直線輪廓的觀察力比曲線輪廓更加精準(zhǔn)。所以,在本文系統(tǒng)設(shè)計(jì)過程中為左右上方行,顯控系統(tǒng)的識(shí)別順序和顯示面板一樣。

        在對(duì)駕駛員視覺圖像識(shí)別系統(tǒng)設(shè)計(jì)過程中設(shè)置儀表,儀表范圍為40° ~60°,視覺范圍為20°~40°。方向盤最高的切點(diǎn)設(shè)置為L(zhǎng)1,駕駛員和方向盤的切點(diǎn)設(shè)置L2,駕駛員的可見范圍為駕駛員視覺圖像識(shí)別系統(tǒng)兩條切線的投切范圍。駕駛員視覺圖像識(shí)別系統(tǒng)目視距離能夠滿足Henrry DrefDns需求,最佳和最大距離分別設(shè)置為550mm、711mm[4]。

        三、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的硬件

        (一)攝像頭信息采集

        利用CMOS攝像頭設(shè)計(jì)攝像頭模塊,充分考慮主控板USB接口并且進(jìn)行對(duì)比,此種接口在使用過程中更加方便。其次,在調(diào)試PC平臺(tái)系統(tǒng)開發(fā)程序時(shí),能夠在PC平臺(tái)中設(shè)置USB攝像頭,降低了功耗和成本,結(jié)構(gòu)簡(jiǎn)單

        (二)樹莓派主控板

        為了能夠?qū)崿F(xiàn)視覺處理,系統(tǒng)使用樹莓派4B作為主控制板。此主控制板為迷你電腦,包括IO引腳、微控制器、1.5GHz的64位四核處理器、雙顯示屏、雙頻Wifi。布置內(nèi)部環(huán)境,方便燒錄代碼的應(yīng)用。

        (三)語音警告提醒

        通過檢測(cè)駕駛員的疲勞駕駛狀態(tài),實(shí)現(xiàn)語音警告的發(fā)送。因?yàn)闃漭傻墓δ軓?qiáng)大,并且不需要和其他語音模塊相互連接,只需要對(duì)汽車藍(lán)牙連接。要求錄制一段語音并且在樹莓派中保存,對(duì)駕駛員是否疲勞駕駛后播放語言。

        (四)顯示屏模塊

        通過顯示屏模塊的設(shè)計(jì)使系統(tǒng)開發(fā)調(diào)試更加的方便,還要觀察系統(tǒng)的檢測(cè)功能,使用7寸顯示屏連接micro-HDMI接口。

        四、駕駛員多模態(tài)疲勞特征識(shí)別系統(tǒng)的軟件

        (一)特征提取

        此模塊能夠?qū)崿F(xiàn)人臉檢測(cè)、眼動(dòng)參數(shù)計(jì)算和人眼定位。

        1.人臉檢測(cè)

        利用AdaBoost算法檢測(cè)人臉,基于弱分類器融合思想訓(xùn)練不同的弱分類器。實(shí)現(xiàn)樣本的精準(zhǔn)分類,使下次訓(xùn)練權(quán)值得到降低。如果下次所選擇的分類樣本不精準(zhǔn),權(quán)重會(huì)加重。

        2.人眼定位

        在檢測(cè)人臉過程中要定位人眼,主要方式包括粗定位和精準(zhǔn)定位兩種。可以通過人臉“三庭五眼實(shí)現(xiàn)粗定位,時(shí)。其中和兩種方式以垂直方向分為上中下庭,以水平方向劃分五眼。但在設(shè)計(jì)系統(tǒng)時(shí),只對(duì)左眼進(jìn)行處理,因此需要更精確的方法來確定人眼的區(qū)域。由此,Adaboost算法自然引入。

        3.計(jì)算眼動(dòng)特征

        在精準(zhǔn)定位人眼時(shí),要對(duì)眼動(dòng)疲勞特征參數(shù)進(jìn)行計(jì)算。per-clos與眨眼時(shí)間指的是人眼動(dòng)的特征參數(shù),是單位時(shí)間內(nèi)眼睛的閉合百分比可以通過per-closh表示,比如EM、P70、P80,其中眼瞼擋住50%瞳孔面積眼睛閉合表示W(wǎng)M,P80表示瞳孔遮擋面積為80%,P70為70%的瞳孔被遮擋。在以上標(biāo)準(zhǔn)中,疲勞狀態(tài)能夠通過p80標(biāo)準(zhǔn)所展現(xiàn),此計(jì)算公式為研究表明:

        公式中的f0是指樣本采樣的頻率,通過Tp80表示計(jì)算時(shí)窗的大小,np是指單位時(shí)窗內(nèi)眼睛的閉合程度在80%以上。

        (二)疲勞檢測(cè)

        通過疲勞分類模型和虛擬實(shí)驗(yàn)環(huán)境收集駕駛員在疲勞或者清醒時(shí)候的眼動(dòng)數(shù)據(jù),并且計(jì)算眼睛的眨眼和閉合時(shí)間均值,實(shí)現(xiàn)二維多規(guī)則定性推理生成器的創(chuàng)建。根據(jù)生成器的輸入值進(jìn)行輸入,如果輸出期望在1.5以上,說明疲勞狀態(tài)。在模擬駕駛員環(huán)境過程中,定性推理生成器的識(shí)別率一般設(shè)置為73.98%。

        (三)疲勞預(yù)警

        如果疲勞檢測(cè)模塊輸出疲勞狀態(tài)時(shí),系統(tǒng)能夠調(diào)用疲勞報(bào)警模塊,從而對(duì)用戶開展文字或者語音提醒。

        五、系統(tǒng)的實(shí)現(xiàn)

        (一)實(shí)驗(yàn)環(huán)境

        將PC機(jī)作為實(shí)驗(yàn)硬件環(huán)境,Win10作為操作系統(tǒng)。將多模態(tài)音頻情感數(shù)據(jù)庫(kù)作為基礎(chǔ),數(shù)據(jù)庫(kù)中包括大量的音頻和視頻序列。對(duì)于語音信號(hào)來說,通過轉(zhuǎn)換得到梅爾倒譜圖,利用PCA實(shí)現(xiàn)降維。

        (二)實(shí)驗(yàn)方案

        本文利用不同實(shí)驗(yàn)方案評(píng)價(jià)設(shè)計(jì)有效性:其一,消融實(shí)驗(yàn)。針對(duì)多模態(tài)或者單模態(tài)實(shí)現(xiàn)情感識(shí)別實(shí)驗(yàn),判斷驗(yàn)證特征重構(gòu)方法的有效性;其二,情感識(shí)別率。能夠分析系統(tǒng)的性能;其三,對(duì)比實(shí)驗(yàn)。有效驗(yàn)證決策層的融合方法。

        (三)實(shí)驗(yàn)結(jié)果

        1.消融實(shí)驗(yàn)

        針對(duì)單模態(tài)情感識(shí)別率,語音識(shí)別率比視覺圖像識(shí)別率要高,主要是因?yàn)檎Z音特征提取的方法比視覺特征提取要優(yōu)。對(duì)于重構(gòu)模態(tài)決策層的融合識(shí)別率,與原始識(shí)別率的差別并不大,表示此種重構(gòu)的方法效果良好,具有較高的最小值規(guī)則決策層融合的情感識(shí)別率。

        2.對(duì)比實(shí)驗(yàn)

        通過語音視覺情感識(shí)別結(jié)果對(duì)比此表示,基于決策層規(guī)則融合方法的識(shí)別效果良好,也驗(yàn)證了決策層融合方法的有效性。

        3.性能分析

        融合后模型能夠提高不同的情感識(shí)別率,由于語音特征和視覺特征兩者互補(bǔ),單模態(tài)時(shí)并沒有明顯的情感特征,降低了類別識(shí)別效果。所以和另外一個(gè)模態(tài)結(jié)合應(yīng)用,如果新模態(tài)具有明顯的情感特征效果,使類別會(huì)兒率得到提高。

        (1)單模態(tài)情感識(shí)別

        其中hate和afraid會(huì)降低識(shí)別率,一般使用sad、angry、happy等提高識(shí)別率,主要是由于兩者并沒有明顯的情感特征;

        (2)多模態(tài)情感識(shí)別

        通過融合決策層使afraid情感識(shí)別率得到提高,如果出現(xiàn)悲傷、恐懼等情感的時(shí)候會(huì)提高情感識(shí)別的復(fù)雜度,從而降低多模態(tài)的識(shí)別方法效率。利用最小值規(guī)則決策層融合的方法,提高情感識(shí)別效果;

        (3)重構(gòu)多模態(tài)

        具有一樣的多模態(tài)情感識(shí)別結(jié)果,重構(gòu)模態(tài)識(shí)別效果比較大,主要是由于本文重構(gòu)模態(tài)特征無法完全代替原本模態(tài)特征。

        六、結(jié)束語

        本文所設(shè)計(jì)的系統(tǒng)是將樹莓派實(shí)現(xiàn)數(shù)據(jù)信息處理核心,在實(shí)時(shí)監(jiān)測(cè)駕駛員圖像信息的過程中,可以通過攝像頭實(shí)現(xiàn),提取人像特征或者圖像預(yù)處理。在提取駕駛員頭部、嘴部、眼部等特征之后,對(duì)駕駛員的狀態(tài)進(jìn)行判斷,包括是否出現(xiàn)打哈欠、犯困等情況,針對(duì)此種情況開展預(yù)警告。本文系統(tǒng)的設(shè)計(jì)比較簡(jiǎn)單,并且操作方便,使預(yù)期目標(biāo)得到滿足,實(shí)用價(jià)值比較高。

        作者單位:張瑞宏 西藏大學(xué)

        參考文獻(xiàn)

        [1]王傳昱,李為相,陳震環(huán).基于語音和視頻圖像的多模態(tài)情感識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(23):163-170.

        [2]李倩倩,王衛(wèi)星,楊勤,等.基于深度學(xué)習(xí)的視聽多模態(tài)情感識(shí)別研究[J].計(jì)算機(jī)與數(shù)字工程,2023,51(3):695-699.

        [3]龍英潮,丁美榮,林桂錦,等.基于視聽覺感知系統(tǒng)的多模態(tài)情感識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(12):218-225.

        [4]鄔卓恒,趙嘉熙,時(shí)小芳.基于BP神經(jīng)網(wǎng)絡(luò)的語音情感識(shí)別系統(tǒng)分析與設(shè)計(jì)[J].電腦知識(shí)與技術(shù),2022,18(10):76-79.

        猜你喜歡
        多模態(tài)
        多模態(tài)視角下《星際穿越》的存在哲學(xué)隱喻解讀
        基于多模態(tài)視角的多元化大學(xué)英語課程體系設(shè)計(jì)
        未來英才(2016年20期)2017-01-03 20:44:05
        多模態(tài)語境下大學(xué)英語詞匯教學(xué)模式探討
        多模態(tài)話語中的詹姆斯·卡梅隆電影
        英語閱讀教學(xué)中多模態(tài)識(shí)讀能力的培養(yǎng)
        網(wǎng)絡(luò)環(huán)境下大學(xué)英語多模態(tài)交互式閱讀教學(xué)模式研究
        戲劇之家(2016年22期)2016-11-30 18:20:43
        多模態(tài)理論視角下大學(xué)英語課堂的構(gòu)建
        新媒體環(huán)境下多模態(tài)商務(wù)英語課堂教師角色定位
        多模態(tài)大學(xué)英語寫作教學(xué)模式研究
        考試周刊(2016年61期)2016-08-16 06:21:31
        探析多模態(tài)環(huán)境對(duì)提高大學(xué)生閱讀能力的影響
        考試周刊(2016年19期)2016-04-14 01:53:50
        人妖一区二区三区视频| 欧美黄色免费看| 国产精品高潮av有码久久| 久久国产精品免费久久久| 久久精品国产亚洲av天| 无码av天堂一区二区三区| 日本精品a在线观看| av蜜桃视频在线观看| gg55gg国产成人影院| 中文字幕乱码一区av久久不卡| 国产天堂在线观看| 亚洲又黄又大又爽毛片| 日本国产精品久久一线 | 国产三级c片在线观看| 人妻少妇偷人精品免费看| 国产特级毛片aaaaaaa高清| 国产激情久久99久久| 日韩亚洲在线一区二区| www婷婷av久久久影片| 精品欧洲av无码一区二区三区| 日本加勒比东京热日韩| 96中文字幕一区二区 | 国产成本人片无码免费2020| 91老司机精品视频| 人妻中出中文字幕在线| 99精品国产在热久久无毒不卡| 欧洲一卡2卡三卡4卡免费网站| 亚洲成a人片在线观看导航| 一区二区亚洲精品国产精| 最近中文字幕国语免费| 两个人看的www中文在线观看| 亚洲高清在线观看免费视频| 宅男亚洲伊人久久大香线蕉| 亚洲av成人无码精品电影在线| 亚洲国产成人精品福利在线观看| 久久精品亚洲成在人线av| 亚洲av乱码一区二区三区林ゆな| 伊人久久综合精品无码av专区| 日韩极品视频在线观看免费| 亚洲最新国产av网站| 天堂中文在线资源|