摘" 要： 駕駛?cè)艘曈X(jué)注意力的深入研究對(duì)于預(yù)測(cè)不安全駕駛行為和理解駕駛行為具有重要意義。為此，提出一種基于視頻圖像驅(qū)動(dòng)的駕駛?cè)俗⒁饬烙?jì)方法，以估計(jì)駕駛?cè)嗽谛熊嚂r(shí)注意到視域內(nèi)的行人或車輛等各種對(duì)象。該方法利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交通場(chǎng)景視頻與駕駛員注意力特征之間的映射關(guān)系，并融入引導(dǎo)學(xué)習(xí)模塊來(lái)提取與駕駛員注意力最相關(guān)的特征。考慮到駕駛的動(dòng)態(tài)性，使用動(dòng)態(tài)交通場(chǎng)景視頻作為模型輸入，設(shè)計(jì)時(shí)空特征提取模塊。在稀疏、密集、低照度等常見(jiàn)的交通場(chǎng)景中，將估計(jì)的駕駛員注意力模型與收集的駕駛員注意力數(shù)據(jù)點(diǎn)進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，所提方法能夠準(zhǔn)確估計(jì)駕駛員在駕駛過(guò)程中的注意力，對(duì)于預(yù)測(cè)不安全駕駛行為以及促進(jìn)人們更好地理解駕駛行為具有重要的理論和實(shí)用價(jià)值。

關(guān)鍵詞： 駕駛?cè)俗⒁饬烙?jì)； 深度學(xué)習(xí)； 視頻圖像驅(qū)動(dòng)； 引導(dǎo)學(xué)習(xí)； 動(dòng)態(tài)交通場(chǎng)景； 時(shí)空特征提取

中圖分類號(hào)： TN911.73?34； U491" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2024）22?0179?08

Method of driver attention estimation based on video image?driven

Abstract： An in?depth study of drivers′visual attention is important for predicting unsafe driving behavior and understanding driving behavior. A method of driver attention estimation based on video image?driven is proposed to estimate that drivers will notice various objects such as pedestrians or vehicles in the field of view while driving. In the method， the deep neural network is used to learn the mapping relationship between the video of traffic scene and the features of drivers′attention， and the bootstrap learning module is integrated to extract the features that are most relevant to the driver's attention. Considering the dynamicity of driving， a spatio?temporal feature extraction module is designed by using dynamic traffic scene videos as model inputs. The estimated driver attention model is compared with the collected driver attention data points in a variety of common traffic scenes， including sparse， dense， and low?light scenes. The experimental results show that the proposed method can accurately estimate the drivers′attention during driving， and has important theoretical and practical value for predicting unsafe driving behavior and promoting better understanding of driving behavior.

Keywords： driver attention estimation; deep learning; video image?driven; guidance learning; dynamic traffic scenarios; spatio?temporal feature extraction

0" 引" 言

交通安全是國(guó)家交通領(lǐng)域的重點(diǎn)關(guān)注問(wèn)題，而不安全的駕駛行為是導(dǎo)致交通事故的主要原因。駕駛行為的安全性取決于駕駛?cè)烁鶕?jù)道路環(huán)境和車輛狀態(tài)做出的決策和操作的準(zhǔn)確性，而準(zhǔn)確的決策和操作依賴于駕駛?cè)顺浞指兄獠啃畔?，其中視覺(jué)提供了高達(dá)90%的信息[1]。因此，深入研究駕駛?cè)说囊曈X(jué)注意力與駕駛行為安全性之間的關(guān)系非常重要，這不僅可以預(yù)測(cè)不安全的駕駛行為，而且可以促進(jìn)人們對(duì)駕駛行為的理解，為解決交通安全問(wèn)題提供有力支持。

當(dāng)前，眾多學(xué)者從多學(xué)科領(lǐng)域?qū)︸{駛?cè)俗⒁饬φ归_了廣泛而深入的研究。這些研究可分為兩大類：第一類側(cè)重于檢測(cè)駕駛?cè)说淖⒁饬顟B(tài)，包括疲勞檢測(cè)[2?4]、頭部姿態(tài)估計(jì)[5]以及行為檢測(cè)[6]。通過(guò)識(shí)別駕駛?cè)说奶囟顟B(tài)或姿勢(shì)，研究者可判斷特定駕駛?cè)蝿?wù)或注意力的風(fēng)險(xiǎn)水平，如判斷駕駛?cè)耸欠穹中幕驈氖屡c駕駛無(wú)關(guān)的活動(dòng)。第二類研究更為細(xì)致和深入，旨在確定駕駛?cè)嗽趯?shí)際行車過(guò)程中的注意力分布情況，即駕駛?cè)说淖⒁饬性谀男﹨^(qū)域，以更好地理解其行為模式和決策機(jī)制。這類研究通常采用眼動(dòng)儀、頭戴式顯示器和虛擬現(xiàn)實(shí)技術(shù)等先進(jìn)設(shè)備，通過(guò)精確記錄駕駛?cè)说囊暰€移動(dòng)軌跡和眼動(dòng)特征，分析其視覺(jué)注意力的空間分布規(guī)律。借助這些研究，可深入洞察駕駛?cè)嗽诓煌煌▓?chǎng)景下的注意力分配策略，例如在高速公路環(huán)境中對(duì)前方車流的關(guān)注程度或在城市道路情境下對(duì)行人和障礙物的注意力響應(yīng)特點(diǎn)。在駕駛?cè)俗⒁饬︻A(yù)測(cè)研究中，一些學(xué)者嘗試將駕駛?cè)说囊曈X(jué)區(qū)域劃分為若干子區(qū)域，將注意區(qū)域問(wèn)題轉(zhuǎn)化為分類問(wèn)題，并取得了一定成效。文獻(xiàn)[7]中將可能注意的區(qū)域分為6個(gè)子區(qū)域，基于隨機(jī)森林分類器提出了一個(gè)利用駕駛?cè)嗣娌刻卣鞴烙?jì)注意區(qū)域的模型。文獻(xiàn)[8]中則將可能注意的區(qū)域劃分為9個(gè)子區(qū)域，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)給定人臉檢測(cè)圖像中的注視區(qū)域進(jìn)行分類。然而，這些方法需要人為劃分區(qū)域，劃分的合理性對(duì)結(jié)果準(zhǔn)確性影響較大。為克服上述問(wèn)題，文獻(xiàn)[9]提出了一種基于貝葉斯過(guò)濾的方法，使用基于攝像頭的駕駛員監(jiān)控系統(tǒng)信息，估計(jì)駕駛?cè)嗽诓煌瑓^(qū)域查看的概率，從而預(yù)測(cè)注意區(qū)域。該方法無(wú)需人為劃分區(qū)域，可通過(guò)監(jiān)控系統(tǒng)獲取駕駛?cè)艘曈X(jué)信息，具有更好的實(shí)用性。需要注意的是，上述方法都基于分類思想，將注意區(qū)域問(wèn)題轉(zhuǎn)化為分類問(wèn)題，雖然取得了不錯(cuò)的效果，但如何將語(yǔ)義信息納入駕駛?cè)俗⒁饬︻A(yù)測(cè)中仍是一個(gè)值得研究的問(wèn)題。

文獻(xiàn)[10]基于DR（eye）VE數(shù)據(jù)集，提出了一種多路徑深層計(jì)算機(jī)視覺(jué)模型，用于預(yù)測(cè)駕駛員的注意力焦點(diǎn)。文獻(xiàn)[11]受選擇性調(diào)諧機(jī)制啟發(fā)，通過(guò)自頂向下與自底向上的信息計(jì)算最終激活的神經(jīng)元，并通過(guò)中間層激勵(lì)的反向傳播生成可解釋的注意力圖。該方法提出的注意力機(jī)制可以針對(duì)普通CNN生成特定任務(wù)的注意力圖，無(wú)需完整的反向傳播。文獻(xiàn)[12]利用神經(jīng)網(wǎng)絡(luò)建立車速、方向盤轉(zhuǎn)角與交通場(chǎng)景之間的映射關(guān)系，基于CAM[13]算法確定交通場(chǎng)景圖像中與駕駛?cè)瞬僮髯钕嚓P(guān)的區(qū)域，將其認(rèn)定為駕駛?cè)说年P(guān)注區(qū)域。

現(xiàn)有方法雖然可以確定駕駛?cè)说囊曈X(jué)關(guān)注區(qū)域，但缺乏對(duì)區(qū)域內(nèi)對(duì)象的語(yǔ)義理解。這些模型主要通過(guò)像素級(jí)預(yù)測(cè)確定關(guān)注區(qū)域，忽略了對(duì)象的語(yǔ)義意義。然而，駕駛?cè)说囊曈X(jué)關(guān)注通常集中于特定對(duì)象，如車輛或行人。因此，一些研究者開始探索結(jié)合語(yǔ)義信息預(yù)測(cè)駕駛?cè)说囊曈X(jué)關(guān)注。

為了從對(duì)象層面有效估計(jì)駕駛?cè)说淖⒁饬Γ疚奶岢隽艘环N基于視頻圖像驅(qū)動(dòng)的注意力估計(jì)方法。該方法通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交通場(chǎng)景視頻和駕駛?cè)俗⒁饬χg的映射關(guān)系，估計(jì)駕駛?cè)嗽谔囟▓?chǎng)景下關(guān)注的對(duì)象。盡管神經(jīng)網(wǎng)絡(luò)在先前研究中展現(xiàn)出強(qiáng)大的學(xué)習(xí)能力和容錯(cuò)性，但可解釋性研究[14]指出，其預(yù)測(cè)效果取決于所提取特征的質(zhì)量，與人類行為相似。為了提取與駕駛?cè)俗⒁饬ψ钕嚓P(guān)的特征，本文基于已標(biāo)注的注意力特征設(shè)計(jì)了引導(dǎo)學(xué)習(xí)方法，引導(dǎo)模型學(xué)習(xí)最相關(guān)特征。

1" 算法原理

1.1" 整體框架

本文的主要目的是基于視頻數(shù)據(jù)驅(qū)動(dòng)建立一個(gè)駕駛?cè)俗⒁饬烙?jì)模型，用來(lái)預(yù)測(cè)駕駛?cè)嗽诮煌▓?chǎng)景中所注視的對(duì)象。所提方法的總體框架如圖1所示。首先，利用時(shí)空特征提取模塊（SFEM）從交通場(chǎng)景的視頻流中提取時(shí)空特征，獲取上下文信息。然后，將時(shí)空特征與需要預(yù)測(cè)的最后一幀圖像進(jìn)行特征拼接，采用注意特征編碼模塊（AFEM）從拼接后的特征中對(duì)駕駛?cè)俗⒁饬μ卣鬟M(jìn)行提取并編碼。為了提高AFEM提取的準(zhǔn)確度，本文設(shè)計(jì)了基于注意區(qū)域的引導(dǎo)學(xué)習(xí)（GLBOAR）模塊。該模塊利用標(biāo)注的駕駛?cè)俗⒁鈪^(qū)域數(shù)據(jù)作為約束，引導(dǎo)AFEM提取與駕駛?cè)俗⒁饬ψ钕嚓P(guān)的特征。最后利用注意力特征解碼器（AFDM）對(duì)注意力特征進(jìn)行解碼，估計(jì)駕駛?cè)俗⒁饬性诮煌▓?chǎng)景中哪些對(duì)象上。

1.2" 時(shí)空特征提取模塊

駕駛?cè)诵熊囀且粋€(gè)動(dòng)態(tài)的過(guò)程，在該過(guò)程中駕駛?cè)艘曈X(jué)系統(tǒng)會(huì)受到連續(xù)變化的外界場(chǎng)景信息的刺激，然后由大腦對(duì)這些信息進(jìn)行粗處理，選擇出最重要的區(qū)域進(jìn)行注意及細(xì)處理。因此，駕駛?cè)俗⒁饬δＰ筒捎?0個(gè)交通場(chǎng)景連續(xù)幀的序列（≈0.41 s）作為輸入，這與人類駕駛員對(duì)意外刺激的反應(yīng)時(shí)間0.4 s幾乎相同。另外，視頻分析領(lǐng)域的研究結(jié)果表明：通過(guò)向深度網(wǎng)絡(luò)提供額外的輸入時(shí)間維度，可以超越處理單幀輸入的基線[15?16]。時(shí)間維度特征的提取通常由3D CNN[16]建模，專門用于捕獲小范圍相關(guān)性，或通過(guò)循環(huán)架構(gòu)，如LSTM[17]、GRU[18]建立長(zhǎng)期依賴關(guān)系。本文的SFEM基于可以捕獲小范圍相關(guān)性的3D CNN，從交通場(chǎng)景中獲取駕駛?cè)俗⒁饬Φ臅r(shí)空特征。

如圖1a）中的結(jié)構(gòu)所示，SFEM由3D CNN、3D MaxPool、UpSampling和2D CNN組成。其中：3D CNN對(duì)時(shí)空特征進(jìn)行編碼；UpSampling利用雙線性插值算法將獲取到的特征圖進(jìn)行4倍擴(kuò)充，使其恢復(fù)至原圖大小（416×416）；2D CNN的核心作用是對(duì)獲取到的特征通道進(jìn)行降維。在特征提取過(guò)程中，由于3D池會(huì)使時(shí)間軸丟失，為了保持邊界，所有卷積層前面都由零填充，3D卷積核的尺寸為3×3×3。所有激活函數(shù)均為ReLU，該模型輸出的駕駛?cè)俗⒁饬μ卣鲌D形狀為[S∈R416×416×1]。

1.3" 注意力特征編解碼模塊

為了從拼接后的交通場(chǎng)景特征中估計(jì)最后一幀交通場(chǎng)景圖像上駕駛?cè)岁P(guān)注的目標(biāo)，本文基于現(xiàn)有的目標(biāo)檢測(cè)理論，設(shè)計(jì)了注意力特征編碼模塊（AFEM）和注意力特征解碼模塊（AFDM）。其中，AFEM被用來(lái)提取駕駛?cè)说淖⒁饬μ卣鲄^(qū)域，它采用的是CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)[19]。該網(wǎng)絡(luò)模塊具有優(yōu)越的特征提取能力，特別是對(duì)于復(fù)雜的視覺(jué)場(chǎng)景和細(xì)節(jié)特征的提取能力優(yōu)異[20]。AFDM被用來(lái)對(duì)駕駛?cè)怂⒁鈱?duì)象的信息進(jìn)行預(yù)測(cè)，包含類別信息和邊界框信息。AFDM的主體為FPN和PAN[21]結(jié)構(gòu)，如圖1d）所示。其中的解耦頭，本研究采用具有較好解耦能力的Double?Head結(jié)構(gòu)來(lái)實(shí)現(xiàn)解耦操作[22]。該結(jié)構(gòu)可以更好地解耦不同的特征子空間，提高模型的特征表達(dá)能力。在去除檢測(cè)冗余框時(shí)，采用更加優(yōu)秀的soft NMS[23]來(lái)替代傳統(tǒng)的NMS，以減少模型對(duì)預(yù)測(cè)框的誤刪。模型分別從三個(gè)尺度進(jìn)行駕駛?cè)俗⒁饬烙?jì)，以降低對(duì)圖像坐標(biāo)系中對(duì)象尺寸的敏感度。AFDM的損失函數(shù)由邊界框損失、類別損失、置信度損失三部分疊加組成，各部分損失公式如下。

邊界框損失：

[Lreg=-logGIoUBgt，Bpred]" " " " " （1）

類別損失：

置信度損失：

1.4" 基于注意力特征模塊的引導(dǎo)學(xué)習(xí)

一些可解釋性研究[14]表明，DNN預(yù)測(cè)結(jié)果取決于提取的特征，這與人類行為一致。因此，基于DNN設(shè)計(jì)的駕駛?cè)俗⒁饬烙?jì)模型的準(zhǔn)確性依賴于AFEM提取的注意力特征。為了進(jìn)一步提高AFEM對(duì)注意力特征提取的準(zhǔn)確性，利用標(biāo)注的駕駛?cè)俗⒁鈪^(qū)域數(shù)據(jù)作為約束，引導(dǎo)AFEM提取與駕駛?cè)俗⒁饬ψ钕嚓P(guān)的特征，稱之為GLBOAR。GLBOAR結(jié)構(gòu)如圖1c）中所示，由4個(gè)基本模塊組成：上采樣、卷積、ReLU激活函數(shù)和Sigmoid激活函數(shù)。其中：上采樣被用來(lái)擴(kuò)大特征圖的大??；卷積被用來(lái)捕捉與駕駛?cè)俗⒁饬ψ钕嚓P(guān)的特征；ReLU激活函數(shù)被用來(lái)增強(qiáng)神經(jīng)網(wǎng)絡(luò)的非線性擬合能力；Sigmoid激活函數(shù)將注意力特征圖的輸出值限制為[0，1]。該方法的輸出是注意力特征圖，形狀為[S∈R416×416×1]。駕駛?cè)俗⒁饬μ卣鞯念A(yù)測(cè)與圖像語(yǔ)義分割問(wèn)題類似，都是像素級(jí)的分類問(wèn)題（判斷哪些像素區(qū)域是駕駛?cè)俗⒁獾奶卣鳎?。通過(guò)對(duì)駕駛?cè)藬?shù)據(jù)集統(tǒng)計(jì)分析，發(fā)現(xiàn)注意特征區(qū)域約占整幅交通場(chǎng)景圖像的8.6%。因此，背景類別和注意的前景類別存在嚴(yán)重的類別不平衡問(wèn)題。而在圖像語(yǔ)義分割領(lǐng)域最常用的損失函數(shù)為Dice Loss[24]，它對(duì)正負(fù)樣本不平衡的場(chǎng)景有著不錯(cuò)的性能。Dice Loss計(jì)算公式如下：

式中：[yi]和[yi]分別是注釋和預(yù)測(cè)的注意力特征；[smooth]是注意力圖中的像素?cái)?shù)，在本文中取值為1，用于防止除以零和減少過(guò)擬合。雖然Dice Loss可以有效改善正負(fù)樣本不平衡狀況，但是它會(huì)對(duì)反向傳播造成不利的影響，容易使訓(xùn)練變得不穩(wěn)定；而交叉熵?fù)p失（Cross Entropy Loss）具有良好的穩(wěn)定性。交叉熵?fù)p失函數(shù)定義為：

[Lgl=LDice+Lce]" " " " " " "（6）

2" 實(shí)驗(yàn)及結(jié)果

2.1" 實(shí)驗(yàn)采集平臺(tái)

駕駛?cè)俗⒁饬烙?jì)模型是基于TensorFlow GPU 1.15.0和Python 3.7搭建的，模型的訓(xùn)練和測(cè)試以及燒灼實(shí)驗(yàn)都是在具有i9?10700 CPU和Nvidia RTX3090 GPU的Windows 10平臺(tái)上進(jìn)行的。模型訓(xùn)練和測(cè)試所使用的駕駛?cè)俗⒁饽繕?biāo)數(shù)據(jù)集是基于駕駛平臺(tái)完成的標(biāo)注。真實(shí)數(shù)據(jù)采集平臺(tái)及駕駛仿真平臺(tái)示意圖見(jiàn)圖2。

本文基于大眾奧萊品牌的高級(jí)轎車平臺(tái)搭建的實(shí)車駕駛數(shù)據(jù)采集平臺(tái)，搭載具有眼動(dòng)追蹤功能的車載眼動(dòng)儀及行車記錄儀，旨在獲取駕駛員行車過(guò)程中注視方向和相應(yīng)的真實(shí)前視圖像。在實(shí)驗(yàn)中，行車記錄儀安裝在車輛前擋風(fēng)玻璃內(nèi)側(cè)，拍攝方向是車輛前方，即駕駛?cè)诵熊囘^(guò)程中主要關(guān)注的區(qū)域。采集的交通場(chǎng)景數(shù)據(jù)類型豐富多樣，基本涵蓋常見(jiàn)的各種交通場(chǎng)景，道路類型包括城市道路、高速公路、鄉(xiāng)村道路、山路等，交通要素包括行人、自行車、摩托車、三輪車、小型轎車、卡車、交通信號(hào)燈、交通標(biāo)志牌等，路口類型包含丁字路口、十字交叉路口、直行道等，車輛行為包括直行、轉(zhuǎn)彎、變道等。在光照方面也涵蓋了正常光照（白天）和弱光（晚上、隧道）環(huán)境。利用駕駛仿真平臺(tái)對(duì)不同駕駛?cè)耸褂谜鎸?shí)場(chǎng)景數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到駕駛?cè)俗⒁晫?duì)象數(shù)據(jù)集。

2.2" 數(shù)據(jù)集制作

本研究所用到的數(shù)據(jù)包含用于引導(dǎo)學(xué)習(xí)的駕駛?cè)俗⒁鈪^(qū)域掩碼數(shù)據(jù)（圖3d））和駕駛?cè)俗⒁饽繕?biāo)數(shù)據(jù)（圖3e））。其中，駕駛?cè)俗⒁饽繕?biāo)數(shù)據(jù)是由駕駛?cè)俗⒁朁c(diǎn)數(shù)據(jù)（圖3c））和交通場(chǎng)景上目標(biāo)標(biāo)注的位置信息（圖3b））對(duì)比后獲得。

數(shù)據(jù)部分樣本如下。

1） 實(shí)驗(yàn)所用的交通場(chǎng)景視頻數(shù)據(jù)是在2022年6月14日—20日，利用行駛記錄儀在西安市采集的，共采集了12 h的駕駛數(shù)據(jù)，包含稀疏、密集、弱光等多種交通場(chǎng)景。視頻的分辨率為1 270×560。最終將其裁剪為2 000段，每段為8～26 s（平均每個(gè)視頻的時(shí)間為24.3 s，標(biāo)準(zhǔn)差為3.3 s，大部分視頻是26 s）的短視頻序列。部分?jǐn)?shù)據(jù)樣本如圖3a）所示。

2） 圖3b）是本文對(duì)交通場(chǎng)景中行人目標(biāo)和車輛目標(biāo)進(jìn)行標(biāo)注后的圖像，這兩種目標(biāo)是駕駛?cè)诵熊嚂r(shí)最常關(guān)注的目標(biāo)。需要注意的是，此時(shí)對(duì)場(chǎng)景中所有行人和車輛進(jìn)行標(biāo)注，并未考慮駕駛?cè)俗⒁饬?，這不同于具有注意力的圖3d）。

3） 圖3c）是駕駛?cè)俗⒁朁c(diǎn)圖，注視點(diǎn)是在虛擬實(shí)驗(yàn)平臺(tái)上進(jìn)行情景實(shí)驗(yàn)所記錄的，參與情景實(shí)驗(yàn)的駕駛?cè)斯?0名，其中男女比例為1∶2。為了保證實(shí)驗(yàn)的準(zhǔn)確性，所有被試者擁有2年以上的駕駛經(jīng)驗(yàn)。為了保證數(shù)據(jù)的可靠性，剔除了每個(gè)測(cè)試視頻的前20幀和后20幀的圖像信息和注視點(diǎn)信息。

4） 圖3d）是駕駛?cè)俗⒁鈪^(qū)域圖，該數(shù)據(jù)是通過(guò)對(duì)注視點(diǎn)數(shù)據(jù)進(jìn)行10次高斯模糊迭代獲得的。所使用的高斯濾波器尺寸為40像素。通過(guò)高斯模糊操作獲得注視點(diǎn)周圍的不規(guī)則區(qū)域，將其作為駕駛?cè)俗⒁鈪^(qū)域。

5） 本文通過(guò)對(duì)凝視圖像和目標(biāo)位置進(jìn)行對(duì)比，獲得駕駛?cè)四暤哪繕?biāo)圖像，如圖3e）所示。通過(guò)判斷注視點(diǎn)落入框內(nèi)的數(shù)量是否大于所設(shè)閾值來(lái)判斷。由于人眼注視目標(biāo)要得到視覺(jué)印象，最短的注視時(shí)間為0.07～0.3 s，因此注視點(diǎn)閾值（threshold）選取為5，對(duì)應(yīng)駕駛?cè)四暷繕?biāo)時(shí)間大約為0.083 s。

本文對(duì)數(shù)據(jù)集中的對(duì)象類別信息進(jìn)行了統(tǒng)計(jì)，結(jié)果如表1所示。平均在每幀圖像中有5.28輛汽車和0.59個(gè)行人（表示為“總計(jì)”），但僅有2.48輛汽車和0.38個(gè)行人吸引了駕駛?cè)说淖⒁猓ū硎緸椤熬劢埂保?。這是因?yàn)轳{駛?cè)嗽谛熊囘^(guò)程中注意力主要聚焦在與駕駛安全密切相關(guān)的車輛和行人上。平均在每幀圖像中共有5.87個(gè)汽車和行人，大約48.72%（2.86個(gè)行人和車輛）在駕駛?cè)说淖⒁饨裹c(diǎn)范圍內(nèi)。

2.3" 評(píng)價(jià)指標(biāo)

在測(cè)試數(shù)據(jù)集和消融實(shí)驗(yàn)中使用準(zhǔn)確率、精確率、召回率、F1值、平均精度均值（mAP）和FPS作為評(píng)估指標(biāo)。它們分別被定義如下：

式中：TP（真陽(yáng)性）是正確預(yù)測(cè)陽(yáng)性類別的樣本數(shù)；FN（假陰性）是預(yù)測(cè)陽(yáng)性類別為陰性的樣本數(shù)；FP（假陽(yáng)性）是預(yù)測(cè)陰性類別為陽(yáng)性的樣本數(shù)；TN（真陰性）是正確預(yù)測(cè)陰性類別的樣本數(shù)。

精確率是模型預(yù)測(cè)的真陽(yáng)性樣本占總樣本的比例預(yù)測(cè)陽(yáng)性樣本，召回率是模型正確預(yù)測(cè)的真陽(yáng)性樣本占總真陽(yáng)性樣本的比例，F(xiàn)PS用于評(píng)估模型的實(shí)時(shí)性能，即每秒幀數(shù)。在以下實(shí)驗(yàn)中，F(xiàn)PS是通過(guò)將測(cè)試數(shù)據(jù)的總幀除以模型在測(cè)試數(shù)據(jù)上運(yùn)行的時(shí)間來(lái)計(jì)算的。

另外，本文通過(guò)均方誤差、均方根誤差以及平均絕對(duì)誤差三項(xiàng)指標(biāo)來(lái)衡量模型估計(jì)的結(jié)果與人類駕駛?cè)烁兄ㄍㄟ^(guò)仿真平臺(tái)獲?。┑牟町愋?。

均方誤差：

均方根誤差：

平均絕對(duì)誤差：

2.4" 實(shí)驗(yàn)結(jié)果與分析

在駕駛?cè)俗⒁饽繕?biāo)數(shù)據(jù)集上對(duì)模型進(jìn)行訓(xùn)練，建立起交通場(chǎng)景數(shù)據(jù)與駕駛?cè)俗⒁饽繕?biāo)之間的映射關(guān)系。在測(cè)試集上模型精度可達(dá)82.7%，表明模型很好地從數(shù)據(jù)集中學(xué)習(xí)了交通場(chǎng)景數(shù)據(jù)與駕駛?cè)俗⒁饬χg的關(guān)系。為了衡量本文提出的駕駛?cè)俗⒁饬烙?jì)方法模擬人類駕駛時(shí)注意力的能力，通過(guò)不同駕駛?cè)嗽谔摂M測(cè)試數(shù)據(jù)采集平臺(tái)實(shí)驗(yàn)測(cè)試的方式獲得駕駛?cè)嗽谛熊囘^(guò)程中主要關(guān)注的對(duì)象。測(cè)試場(chǎng)景中包含了多個(gè)類型豐富的交通場(chǎng)景圖像，其中稀疏（Sparse）、稠密（Dense）和弱光（Lowlight）交通環(huán)境各為10個(gè)，道路類型包含丁字路口、十字交叉路口、直行道等。道路上的對(duì)象包括小型轎車、中型卡車、行人等。通過(guò)仿真實(shí)驗(yàn)測(cè)取志愿者模擬駕駛視頻中注意對(duì)象，并通過(guò)式（16）統(tǒng)計(jì)每個(gè)目標(biāo)被駕駛?cè)嗽谠搱?chǎng)景下行車時(shí)關(guān)注的概率[p]。

[pi，j=Ni，jM]" " " " " " " " "（16）

式中：[Ni，j]為第[i]張圖像的第[j]個(gè)目標(biāo)被標(biāo)記的次數(shù)；[M]是參與模擬駕駛?cè)俗⒁鈪^(qū)域數(shù)據(jù)獲取的有效人數(shù)。

模型測(cè)試結(jié)果及模擬駕駛?cè)藴y(cè)試結(jié)果如圖4所示。分別使用均方誤差、均方根誤差和平均絕對(duì)誤差三種不同的指標(biāo)，來(lái)衡量本文模型估計(jì)結(jié)果與駕駛?cè)烁兄牟町悾Y(jié)果如表2所示。

從表2結(jié)果來(lái)看，駕駛?cè)俗⒁饬烙?jì)模型對(duì)稀疏、稠密、弱光交通環(huán)境下的駕駛?cè)俗⒁饬Χ颊故境隽藴?zhǔn)確的估計(jì)效果。其中稀疏場(chǎng)景誤差值最小，效果最好，原因是交通場(chǎng)景中干擾駕駛?cè)俗⒁饬Φ膶?duì)象數(shù)量較少。

2.5" 消融實(shí)驗(yàn)

駕駛?cè)俗⒁饽Ｐ偷膬?yōu)異性能可歸因于時(shí)空特征的融入和駕駛?cè)俗⒁鈪^(qū)域引導(dǎo)學(xué)習(xí)的結(jié)合。為了分析駕駛?cè)俗⒁饽Ｐ椭胁煌K對(duì)駕駛?cè)俗⒁饬烙?jì)任務(wù)的貢獻(xiàn)程度，進(jìn)行了消融實(shí)驗(yàn)。通過(guò)禁用SFEM和GLBOAR模塊得到?jīng)]有時(shí)空特征提取的基線模型（Our?w/o?SFEM）和沒(méi)有引導(dǎo)學(xué)習(xí)的基線模型（Our?w/o?GLBOAR）。然后使用實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練這兩種基線并在測(cè)試數(shù)據(jù)集上進(jìn)行性能測(cè)試，結(jié)果如表3所示。SFEM、GLBOAR對(duì)模型的貢獻(xiàn)分別為1.59%、1.03%。該結(jié)果表明這些改進(jìn)促進(jìn)了參數(shù)優(yōu)化，并產(chǎn)生了更準(zhǔn)確的訓(xùn)練模型。具體來(lái)說(shuō)，SFEM通過(guò)將提取到的時(shí)空特征信息增加到模型輸入中，來(lái)提高模型在最后一幀上對(duì)駕駛?cè)俗⒁饬烙?jì)的準(zhǔn)確性；GLBOAR通過(guò)引導(dǎo)主干網(wǎng)絡(luò)提取與駕駛?cè)俗⒁饬ψ钕嚓P(guān)的特征來(lái)提高模型預(yù)測(cè)的準(zhǔn)確性。

實(shí)驗(yàn)結(jié)果同時(shí)也表明本文設(shè)計(jì)的SFEM和GLBOAR提高了模型對(duì)駕駛?cè)俗⒁饬烙?jì)的準(zhǔn)確性。

3" 結(jié)" 論

本文基于視頻圖像驅(qū)動(dòng)，提出了一種駕駛?cè)俗⒁饬烙?jì)方法。該方法利用深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力，從駕駛?cè)俗⒁饽繕?biāo)數(shù)據(jù)集中學(xué)習(xí)駕駛?cè)诵熊嚂r(shí)的注意行為并進(jìn)行模擬?；?D CNN理論設(shè)計(jì)了提取交通場(chǎng)景的時(shí)空特征信息的SFEM。另外，提出一種基于注意力特征的引導(dǎo)學(xué)習(xí)方法，用來(lái)提取描述駕駛?cè)俗羁赡茏⒁獾奶卣鳌０? 000個(gè)樣本的駕駛?cè)俗⒁饽繕?biāo)數(shù)據(jù)集是基于虛擬駕駛實(shí)驗(yàn)平臺(tái)進(jìn)行標(biāo)記的。在該數(shù)據(jù)集上對(duì)模型進(jìn)行訓(xùn)練，并在稀疏、密集、弱光這三種常見(jiàn)交通場(chǎng)景下與視頻數(shù)據(jù)結(jié)合仿真平臺(tái)中獲取的真實(shí)駕駛?cè)烁兄Y(jié)果進(jìn)行了對(duì)比，評(píng)估了模型的泛化性以及模型模擬駕駛?cè)俗⒁饬Φ哪芰?。最后，還對(duì)模型進(jìn)行了消融實(shí)驗(yàn)研究。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)模型可以有效地模擬駕駛?cè)说淖⒁鈪^(qū)域。

參考文獻(xiàn)

[1] MA Y L， QI S M， ZHANG Y P， et al. Drivers’ visual attention characteristics under different cognitive workloads： An on?road driving behavior study [J]. International journal of environmental research and public health， 2020， 17（15）： 5366.

[2] 張瑞，朱天軍，鄒志亮，等.駕駛員疲勞駕駛檢測(cè)方法研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（21）：53?66.

[3] GAO Z K， WANG X M， YANG Y X， et al. EEG?based spatio?temporal convolutional neural network for driver fatigue evaluation [J]. IEEE transactions on neural networks and learning systems， 2019， 30（9）： 2755?2763.

[4] SIKANDER G， ANWAR S. Driver fatigue detection systems： a review [J]. IEEE transactions on intelligent transportation systems， 2018， 20（6）： 2339?2352.

[5] SUN J， LU S. An improved single shot multibox for video?rate head pose prediction [J]. IEEE sensors journal， 2020（20）： 12326?12333.

[6] KASHEVNIK A， LASHKOV I， GURTOV A. Methodology and mobile application for driver behavior analysis and accident prevention [J]. IEEE transactions on intelligent transportation systems， 2019， 21（6）： 2427?2436.

[7] FRIDMAN L， LANGHANS P， LEE J， et al. Driver gaze region estimation without using eye movement [EB/OL]. [2023?11?09]. https：//arxiv.org/abs/1507.04760v1.

[8] CHOI I H， HONG S K， KIM Y G. Real?time categorization of driver's gaze zone using the deep learning techniques [C]// 2016 International Conference on Big Data and Smart Computing （BigComp）. [S.l.]： IEEE， 2016： 143?148.

[9] LUNDGREN M， HAMMARSTRAND L， MCKELVEY T. Driver?gaze zone estimation using Bayesian filtering and Gaussian processes [J]. IEEE transactions on intelligent transportation systems， 2016， 17（10）： 2739?2750.

[10] PALAZZI A， ABATI D， SOLERA F， et al. Predicting the driver's focus of attention： the DR （eye） VE project [J]. IEEE transactions on pattern analysis and machine intelligence， 2018， 41（7）： 1720?1733.

[11] ZHANG J， BARGAL S A， LIN Z， et al. Top?down neural attention by excitation backprop [J]. International journal of computer vision， 2018， 126（10）： 1084?1102.

[12] HAN G， ZHAO S， WANG P， et al. Driver attention area extraction method based on deep network feature visualization [J]. Applied sciences， 2020， 10（16）： 5474.

[13] ZHOU B， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， USA： IEEE， 2016： 2921?2929.

[14] ZHANG Y， TI?O P， LEONARDIS A， et al. A survey on neural network interpretability [J]. IEEE transactions on emerging topics in computational intelligence， 2021， 5（5）： 726?742.

[15] KARPATHY A， TODERICI G， SHETTY S， et al. Large?scale video classification with convolutional neural networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1725?1732.

[16] TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks [C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 4489?4497.

[17] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation， 1997， 9（8）： 1735?1780.

[18] CHUNG J， GULCEHRE C， CHO K H， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling [EB/OL]. [2022?12?20]. https：//www.xueshufan.com/publication/1924770834.

[19] WANG C Y， LIAO H Y M， WU Y H， et al. CSPNet： a new backbone that can enhance learning capability of CNN [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle， WA， USA： IEEE， 2020： 390?391.

[20] BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOV4： optimal speed and accuracy of object detection [EB/OL]. [2023?08?16]. https：//www.xueshufan.com/publication/3018757597.

[21] LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA： IEEE， 2017： 2117?2125.

[22] GE Z， LIU S T， WANG F， et al. YOLOX： exceeding YOLO series in 2021 [EB/OL]. [2023?09?16]. https：//arxiv.org/abs/2107.08430.

[23] BODLA N， SINGH B， CHELLAPPA R， et al. Soft?NMS?improving object detection with one line of code [C]// Proceedings of the IEEE International Conference on Computer Vision. Sydney， Australia： ACM， 2017： 5561?5569.

[24] MILLETARI F， NAVAB N， AHMADI S A. V?NET： fully convolutional neural networks for volumetric medical image segmentation [C]// 2016 Fourth International Conference on 3D Vision （3DV）. Stanford， CA， USA： IEEE， 2016： 565?571.