王俊帆 陳 毅 高明煜 何志偉 董哲康* 繆其恒

①(杭州電子科技大學(xué)電子信息學(xué)院 杭州 310018)

②(浙江省裝備電子重點(diǎn)實(shí)驗(yàn)室 杭州 310018)

③(浙江大學(xué)電氣工程學(xué)院 杭州 310027)

④(浙江華銳捷技術(shù)有限公司 杭州 310051)

1 引言

元宇宙被認(rèn)為是人工智能發(fā)展的下一個(gè)演變，專注于在虛擬世界中創(chuàng)造沉浸式體驗(yàn)[1]。元宇宙概念的興起為虛擬世界和現(xiàn)實(shí)世界之間的并行智能交通系統(tǒng)構(gòu)建成為可能。交通標(biāo)志是向智能車輛或駕駛員傳遞道路信息的重要媒介，其根據(jù)道路狀況、交通事故、天氣變化需要進(jìn)行動(dòng)態(tài)的調(diào)整更新，實(shí)現(xiàn)對(duì)其高效精確的識(shí)別已成為現(xiàn)有自動(dòng)駕駛和智能車輛的重要輔助技術(shù)。

現(xiàn)有基于學(xué)習(xí)的交通標(biāo)志檢測(cè)器主要從數(shù)據(jù)和模型架構(gòu)兩方面進(jìn)行優(yōu)化以滿足實(shí)際需求。數(shù)據(jù)方面，文獻(xiàn)[2]提出挑戰(zhàn)性條件下的交通標(biāo)志檢測(cè)數(shù)據(jù)集CURE-TSD，以此克服惡劣條件下檢測(cè)性能不佳的問(wèn)題。清華大學(xué)和騰訊合作制作的交通標(biāo)志數(shù)據(jù)集(Tsinghua-Tencent 100K, TT100K)[3]，其數(shù)據(jù)總量達(dá)到100,000張，設(shè)置類別數(shù)為221類。瑞士交通標(biāo)志數(shù)據(jù)集(Swedish Traffic Signs Dataset,STSD)數(shù)據(jù)集[4]記錄了350多條公路的瑞典公路和城市交通場(chǎng)景，包含3,488個(gè)交通標(biāo)志，超過(guò)20 000張圖像(其中20%已標(biāo)注)。文獻(xiàn)[5-7]通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)對(duì)已有的交通標(biāo)志數(shù)據(jù)集進(jìn)行擴(kuò)充和豐富，以更好地訓(xùn)練模型。在模型架構(gòu)方面，文獻(xiàn)[8-10]基于卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)，通過(guò)修改網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提高網(wǎng)絡(luò)的泛化能力和魯棒性來(lái)應(yīng)對(duì)各種環(huán)境挑戰(zhàn)。目前熱門的Transformer[11-13]架構(gòu)通過(guò)圖像分塊操作建立全圖的長(zhǎng)距離連接，從而能夠?qū)W習(xí)到更多信息，提高模型的泛化性。具體地，文獻(xiàn)[14]針對(duì)現(xiàn)有交通標(biāo)志由于天氣條件等外部因素導(dǎo)致檢測(cè)性能低下的問(wèn)題，提出多尺度交通標(biāo)志檢測(cè)器(Multi-scale Traffic Sign Detection, MTSDet)，通過(guò)引入注意力機(jī)制來(lái)高效提取語(yǔ)義特征。本文之前的工作[15]通過(guò)特征金字塔的特征聚合來(lái)提高對(duì)特征的提取能力，從而提高模型的泛化性。

從上述兩個(gè)方面著手在一定程度上能夠高效實(shí)現(xiàn)交通標(biāo)志檢測(cè)，但是也存在著一定的問(wèn)題：

數(shù)據(jù)方面，建立一個(gè)大型數(shù)據(jù)集需要昂貴的人工成本和時(shí)間成本。現(xiàn)有公開(kāi)的交通標(biāo)志數(shù)據(jù)集普遍存在著數(shù)據(jù)不平衡、場(chǎng)景多樣性不足、數(shù)據(jù)數(shù)量較少等問(wèn)題。由于標(biāo)注標(biāo)準(zhǔn)的不統(tǒng)一，不能同時(shí)使用多個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，數(shù)據(jù)集的區(qū)域性和單調(diào)性也會(huì)影響模型的泛化能力。

模型架構(gòu)方面，許多研究基于CNN和Transformer對(duì)檢測(cè)模型的結(jié)構(gòu)進(jìn)行優(yōu)化，但是能否最大程度發(fā)揮其性能依然取決于訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，尤其是基于Transformer的方法需要大規(guī)模數(shù)據(jù)集的預(yù)訓(xùn)練才可以達(dá)到其預(yù)期檢測(cè)性能。此外，模型本身的泛化能力對(duì)于其多場(chǎng)景應(yīng)用也至關(guān)重要。

基于此，本文提出面向元宇宙的交通標(biāo)志檢測(cè)新范式。元宇宙可以創(chuàng)造一個(gè)與現(xiàn)實(shí)世界平行的人工維度空間，自定義構(gòu)建高契合度的仿現(xiàn)實(shí)場(chǎng)景，為物理世界提供豐富數(shù)據(jù)。已有汽車公司如保時(shí)捷、現(xiàn)代在元宇宙體系下實(shí)現(xiàn)整車的設(shè)計(jì)和驗(yàn)證過(guò)程[16,17]。虛擬場(chǎng)景下的訓(xùn)練和測(cè)試，可以高效地實(shí)現(xiàn)對(duì)模型在不同場(chǎng)景下性能的全方面評(píng)估，提高了研發(fā)過(guò)程的效率和安全性?？紤]到虛擬世界和物理世界存在一定的數(shù)據(jù)差異，虛擬數(shù)據(jù)訓(xùn)練下的模型難以完全適應(yīng)真實(shí)場(chǎng)景，本文提出跨域目標(biāo)檢測(cè)架構(gòu)來(lái)克服這一問(wèn)題。此外，本文從模型結(jié)構(gòu)角度出發(fā)，提出一個(gè)啟發(fā)式注意力機(jī)制。本機(jī)制結(jié)合類激活映射[18]和視神經(jīng)科學(xué)[19]，提高檢測(cè)模型對(duì)特征的學(xué)習(xí)和定位能力，從而使得其能夠?qū)⑻摂M數(shù)據(jù)特征中學(xué)習(xí)到的知識(shí)應(yīng)用于真實(shí)場(chǎng)景，增強(qiáng)網(wǎng)絡(luò)的泛化能力。本文的主要貢獻(xiàn)如表1所示。

2 元宇宙交通標(biāo)志檢測(cè)框架

本文提出的面向元宇宙交通標(biāo)志檢測(cè)框架首先通過(guò)場(chǎng)景映射，構(gòu)建平行于物理世界的人工維度空間(元宇宙)；隨后在元宇宙中利用虛擬數(shù)據(jù)完成檢測(cè)算法的訓(xùn)練和測(cè)試，通過(guò)模型映射完成元宇宙到物理世界算法性能的高效統(tǒng)一。所提元宇宙交通標(biāo)志檢測(cè)框架如圖1所示。

圖1 面向元宇宙的交通標(biāo)志檢測(cè)框架

場(chǎng)景映射是物理世界中的各類元素在元宇宙一一表示的過(guò)程，從而建立一個(gè)基于物理世界的自定義人工維度空間。該過(guò)程實(shí)現(xiàn)了交通標(biāo)志檢測(cè)框架在數(shù)據(jù)層面的兩種范式轉(zhuǎn)變：交通數(shù)據(jù)收集的范式轉(zhuǎn)變和技術(shù)測(cè)試的范式轉(zhuǎn)變。

基于元宇宙的交通標(biāo)志檢測(cè)以人工生成大規(guī)模數(shù)據(jù)代替?zhèn)鹘y(tǒng)的傳感器數(shù)據(jù)收集。元宇宙中生成環(huán)境和對(duì)象的方法主要有兩種，一是通過(guò)反映物理世界來(lái)描繪的方法，二是創(chuàng)建新的虛擬環(huán)境的方法[20]?，F(xiàn)有對(duì)元宇宙的空間構(gòu)建大多通過(guò)開(kāi)源模擬器或商業(yè)游戲引擎，如Unity 3DS MAX[21], OpenGL[22]和Google 3D[23]。物理世界被認(rèn)為是眾多元素的集合，具體地，本文將其分為自然元素和人工元素。自然元素包括天氣(雨、霧、雪等)，光照(曝光、昏暗、白天、黑夜等)、環(huán)境(鄉(xiāng)村、野外、城市等)；人工元素包括交通元素(汽車、人、車道線、交通標(biāo)志等)、道路(高速公路、隧道等)、突發(fā)事故(火災(zāi)、車禍、堵塞等)。模擬器或游戲引擎可以通過(guò)各類元素的排列組合自定義完成人工維度空間的構(gòu)建，即元宇宙?？臻g構(gòu)建完成后，可在元宇宙中設(shè)置虛擬傳感器以模擬實(shí)際傳感器以生成不同的虛擬數(shù)據(jù)，從而完成對(duì)場(chǎng)景的自動(dòng)標(biāo)注。上述數(shù)據(jù)的構(gòu)建和標(biāo)注過(guò)程具體如圖2所示。場(chǎng)景映射實(shí)現(xiàn)的另一個(gè)范式轉(zhuǎn)變是虛擬測(cè)試和學(xué)習(xí)。高保真模擬對(duì)于交通標(biāo)志檢測(cè)器的測(cè)試中至關(guān)重要，對(duì)于自動(dòng)駕駛中的人工智能(Artificial Intelligence, AI)技術(shù)，需要數(shù)億公里才能證明它提供給了統(tǒng)計(jì)上安全的駕駛機(jī)會(huì)[24]。然而，一方面數(shù)億公里的測(cè)試環(huán)境所需成本較高，且即使是數(shù)億公里依然無(wú)法保證涵蓋了所有可能遇到的交通環(huán)境，另一方面，物理世界的測(cè)試存在一定的安全隱患，若完全模擬實(shí)際交通場(chǎng)景，其測(cè)試風(fēng)險(xiǎn)將會(huì)進(jìn)一步提高。元宇宙能夠?yàn)榻煌?biāo)志檢測(cè)提供大量測(cè)試場(chǎng)景，且在虛擬環(huán)境中的測(cè)試結(jié)果也可以向物理世界推薦額外的場(chǎng)景數(shù)據(jù)集以及檢測(cè)器本身存在的不足[25]。

圖2 元宇宙虛擬交通場(chǎng)景構(gòu)建

模型映射被用于滿足算法模型在元宇宙和物理世界中保持其性能一致性。因?yàn)樘摂M數(shù)據(jù)集在分辨率、色彩、噪聲等方面與真實(shí)數(shù)據(jù)具有一定的差異，且虛擬數(shù)據(jù)與真實(shí)數(shù)據(jù)的分布式不一致，這些導(dǎo)致虛擬數(shù)據(jù)上訓(xùn)練和測(cè)試完成的模型在物理世界應(yīng)用時(shí)無(wú)法發(fā)揮其最大的性能?；诖?，本文從模型訓(xùn)練和模型結(jié)構(gòu)兩方面進(jìn)行優(yōu)化，建立模型映射使得在元宇宙中訓(xùn)練和測(cè)試完成的模型能夠無(wú)差別地應(yīng)用于物理世界。首先，針對(duì)數(shù)據(jù)域不同的問(wèn)題，本文提出基于域自適應(yīng)目標(biāo)檢測(cè)方法構(gòu)建元宇宙和物理世界中的模型。構(gòu)建元宇宙域(Metaverse Model,MM)和物理世界域(Physical Model, PM)作為虛實(shí)空間中的模型，結(jié)合了知識(shí)蒸餾結(jié)構(gòu)[26]與均值教師模型[27,28]來(lái)完成從元宇宙到物理世界的跨域交通標(biāo)志目標(biāo)檢測(cè)。其次，本文提出了基于啟發(fā)式注意力機(jī)制的交通標(biāo)志檢測(cè)網(wǎng)絡(luò)。啟發(fā)式注意力機(jī)制依托于視神經(jīng)科學(xué)理論和特征可視化技術(shù)(Class Activation Mapping, CAM)，能夠提高檢測(cè)網(wǎng)絡(luò)的泛化能力和魯棒性，從而保證了虛實(shí)場(chǎng)景轉(zhuǎn)換時(shí)模型性能的一致性。在第3節(jié)中將對(duì)元宇宙交通標(biāo)志檢測(cè)框架中模型映射部分進(jìn)行展開(kāi)介紹。

3 元宇宙-物理世界模型映射

本節(jié)內(nèi)容主要介紹了所提出的元宇宙到物理世界中所存在的模型映射，主要由跨域檢測(cè)和啟發(fā)式注意力組成，前者實(shí)現(xiàn)了元宇宙到物理世界的權(quán)重更新，后者優(yōu)化模型結(jié)構(gòu)從而提升了模型自身泛化能力和魯棒性。模型映射使得虛擬數(shù)據(jù)下訓(xùn)練和測(cè)試完成的算法/模型在面對(duì)物理世界的場(chǎng)景時(shí)，能夠具備同樣的檢測(cè)性能，使得面向元宇宙的交通標(biāo)志檢測(cè)架構(gòu)具備實(shí)際應(yīng)用意義，具體如圖3所示。考慮重參數(shù)VGG (Re-parameterization VGG,RepVGG)網(wǎng)絡(luò)[29]的靈活性和輕量化，本文采用其作為特征提取網(wǎng)絡(luò)來(lái)完成對(duì)元宇宙下的標(biāo)注源數(shù)據(jù)與物理世界中的未標(biāo)注目標(biāo)數(shù)據(jù)的特征提取。將特征提取網(wǎng)絡(luò)生成的深層特征分別通過(guò)視覺(jué)注意力模塊和CAM模塊進(jìn)行注意力干預(yù)操作，使得特征圖中的無(wú)效特征與噪聲特征被抑制，增強(qiáng)深層特征圖中的細(xì)節(jié)表征和有效表征。其次將生成的3個(gè)特征圖通過(guò)特征金字塔網(wǎng)絡(luò)完成特征的深度融合，最后網(wǎng)絡(luò)對(duì)其進(jìn)行預(yù)測(cè)得到實(shí)際的預(yù)測(cè)結(jié)果。

圖3 基于視神經(jīng)科學(xué)的跨域目標(biāo)檢測(cè)網(wǎng)絡(luò)

3.1 跨域檢測(cè)

模型映射中的跨域檢測(cè)中的MM和PM具備相同的網(wǎng)絡(luò)結(jié)構(gòu)。前者通過(guò)標(biāo)準(zhǔn)的梯度下降方式更新，而PM則通過(guò)指數(shù)移動(dòng)平均(Exponential Moving Average, EMA)[30]方法使用來(lái)自MM的權(quán)重更新自身的權(quán)重。

基于元宇宙來(lái)完成交通標(biāo)志檢測(cè)的另一個(gè)優(yōu)勢(shì)在于不需要大面積采集現(xiàn)實(shí)世界的交通標(biāo)志數(shù)據(jù)并一一標(biāo)注。本文假設(shè)元宇宙中采集的數(shù)據(jù)Im均是帶有標(biāo)注的，其標(biāo)志信息包括目標(biāo)邊界框信息和類別信息，例如第i張圖片的目標(biāo)邊界框信息為Bi={Bj|, Bj=(xj, yj, wj, hj)}，類別信息為Ci={Cj|, Cj∈(0, 1, ···, c)}，其中N代表一張圖像中包含的交通標(biāo)志目標(biāo)個(gè)數(shù)，c代表交通標(biāo)志的總類別數(shù)。本文還假設(shè)在交通標(biāo)志檢測(cè)任務(wù)中，實(shí)際采集到的交通標(biāo)志圖像Ir是不存在對(duì)應(yīng)的標(biāo)注信息。所以本文預(yù)設(shè)定了兩個(gè)數(shù)據(jù)域：(1)元宇宙下的源域Dm={ (,,C|)}；(2)物理世界下的目標(biāo)域Dr={(Ir|)}。MM和PM將分別從這兩個(gè)數(shù)據(jù)域中挖掘信息，通過(guò)跨域目標(biāo)檢測(cè)網(wǎng)絡(luò)完成源域到目標(biāo)域的風(fēng)格遷移，使得PM能夠有效的檢測(cè)現(xiàn)實(shí)世界中的交通標(biāo)志。

元宇宙下的跨域檢測(cè)框架如圖4所示。本文通過(guò)在元宇宙使用標(biāo)注源數(shù)據(jù)集Dm訓(xùn)練監(jiān)督模型，并構(gòu)建了損失函數(shù)如式(1)所示。通過(guò)使用回歸損失和分類損失來(lái)加速元宇宙下模型的收斂。Lmeta(Im,Bm,Cm)代表元宇宙下訓(xùn)練的總損失，其包含了兩個(gè)部分：回歸損失Lres(Bm,Im)和 分類損失Lcls(Cm,Im)

圖4 元宇宙下的跨域檢測(cè)框架圖

其中，Lres使用GIOU損失，其根據(jù)目標(biāo)實(shí)際邊界框和MM預(yù)測(cè)到的邊界框，調(diào)整模型預(yù)測(cè)交通標(biāo)志位置的能力，Lcls使用Focal損失，通過(guò)二值交叉熵計(jì)算分類概率和目標(biāo)分?jǐn)?shù)。

根據(jù)跨域目標(biāo)檢測(cè)結(jié)構(gòu)，PM模型通過(guò)EMA方法從MM中完成權(quán)重更新。假設(shè)PM模型和MM模型的權(quán)重參數(shù)分別為Pp和Pm，在每一輪訓(xùn)練迭代過(guò)程中，P通過(guò)式(2)來(lái)更新Pr

其中，γ是指數(shù)因子，其理想值需要盡可能接近1.0，本文設(shè)置為0.999。

在域自適應(yīng)目標(biāo)檢測(cè)任務(wù)進(jìn)行中，本文首先將物理世界下未標(biāo)記的目標(biāo)數(shù)據(jù)Dp作為PM的輸入。我們還將部分未標(biāo)記的數(shù)據(jù)Ip作為MM的輸入來(lái)訓(xùn)練。在蒸餾過(guò)程中，通過(guò)從PM模型的預(yù)測(cè)中選取具有高概率高置信度的邊界框作為偽標(biāo)簽，MM模型通過(guò)訓(xùn)練降低源域與目標(biāo)域之間的方差來(lái)增強(qiáng)模型的魯棒性。本文通過(guò)使用蒸餾損失來(lái)降低兩個(gè)模型之間預(yù)測(cè)的不一致性

其中FB(·)和FC(·)分別為RM模型預(yù)測(cè)分支的邊界框坐標(biāo)和類別信息以及最大的類別分?jǐn)?shù)。GB(·)和GC(·)代表對(duì)應(yīng)的過(guò)濾器。具體來(lái)說(shuō)，本文在訓(xùn)練期間的每一輪迭代中均增加了一個(gè)評(píng)估過(guò)程，使用非極大值抑制(Non-Maximum Suppression, NMS)來(lái)過(guò)濾按目標(biāo)置信度排序的預(yù)測(cè)邊界框。然后本文將選擇類別分?jǐn)?shù)高于固定閾值的邊界框作為偽標(biāo)簽來(lái)提供目標(biāo)域(即物理世界)模型的實(shí)例信息。

3.2 啟發(fā)式注意力機(jī)制

模型的泛化能力和魯棒性反映了模型在面對(duì)全新數(shù)據(jù)時(shí)能否具有與測(cè)試結(jié)果相當(dāng)?shù)臋z測(cè)能力。對(duì)于元宇宙的交通標(biāo)志檢測(cè)架構(gòu)而言，提高模型的泛化能力和魯棒性能夠使得其在虛擬數(shù)據(jù)訓(xùn)練和測(cè)試的條件下，在物理世界也具備同等的檢測(cè)性能。注意力機(jī)制在人類視覺(jué)機(jī)制中可以解釋為傾向于關(guān)注圖像中輔助判斷的信息，并忽略掉不相關(guān)的信息[31]。通過(guò)注意力機(jī)制，檢測(cè)模型在訓(xùn)練階段通過(guò)虛擬數(shù)據(jù)學(xué)習(xí)如何最大程度地關(guān)注和定位所需的目標(biāo)信息，從而在物理世界的應(yīng)用中可以忽略背景信息，僅關(guān)注已學(xué)習(xí)的目標(biāo)信息，實(shí)現(xiàn)對(duì)目標(biāo)的快速定位和檢測(cè)。

視神經(jīng)科學(xué)中早期到最近的理論模型認(rèn)為，激活、選擇和控制參與了大腦注意力的構(gòu)建[32]。注意力是一個(gè)多維結(jié)構(gòu)，它是一種狀態(tài)，在該狀態(tài)下存在一個(gè)最佳的激活水平，使得人們可以選擇想要優(yōu)先處理的信息，以控制我們的行動(dòng)過(guò)程。大腦中神經(jīng)元反應(yīng)的選擇性與興奮/抑制連接息息相關(guān)[33]。信息量最大的神經(jīng)元與周圍神經(jīng)元會(huì)表現(xiàn)出不同放電模式，同時(shí)大腦中存在的空間抑制現(xiàn)象會(huì)使得興奮神經(jīng)元對(duì)周圍神經(jīng)元活動(dòng)進(jìn)行抑制。

本文基于視神經(jīng)科學(xué)理論，引入能量函數(shù)對(duì)單個(gè)神經(jīng)元的重要性進(jìn)行估計(jì)，以此實(shí)現(xiàn)3維注意權(quán)重的精簡(jiǎn)計(jì)算。首先，需要找到網(wǎng)絡(luò)中對(duì)周圍神經(jīng)元具有較強(qiáng)空間抑制的神經(jīng)元。本文通過(guò)測(cè)量目標(biāo)神經(jīng)元和其他神經(jīng)元之間的線性可分性提取出這部分神經(jīng)元。首先對(duì)目標(biāo)神經(jīng)元和其他神經(jīng)元進(jìn)行線性分類，并為二者分配對(duì)應(yīng)標(biāo)簽，設(shè)置線性函數(shù)wx+b進(jìn)行二分類，通過(guò)MSE損失函數(shù)來(lái)對(duì)w和b進(jìn)行優(yōu)化。每個(gè)神經(jīng)元的能量函數(shù)定義為

其中，t? =wtt+bt,x?i=wtxi+bt是關(guān)于t和xi的線性變化，其中t, xi分別表示輸入特征圖在單一通道中的目標(biāo)神經(jīng)元和其他神經(jīng)元。i為空間維度上的索引，M=H×W，表示該通道中神經(jīng)元的數(shù)量。wt和bt表示線性變換中的權(quán)重和偏差。通過(guò)最小化方程，式(4)等價(jià)于找到目標(biāo)神經(jīng)元t與同一通道中所有其他神經(jīng)元之間的線性可分性。

這里為了簡(jiǎn)化方程，將yt和y0采用二進(jìn)制標(biāo)記，即yt=1, y0=-1。同時(shí)式(4)添加正則化符，最終表達(dá)式為

每一個(gè)通道上有M個(gè)神經(jīng)元，因此理論上一個(gè)通道上具有M個(gè)能量函數(shù)。利用wt和bt的快速閉式解對(duì)式(5)進(jìn)行簡(jiǎn)化

其中，ut和σ2分別為單一通道中除了目標(biāo)神經(jīng)元外的其余神經(jīng)元的均值和方差。

假設(shè)單個(gè)通道中所有的像素遵循相同分布，因此可以計(jì)算所有神經(jīng)元的均值和方差，并重新用于該通道上的所有神經(jīng)元，以此降低計(jì)算成本?；谑?6)和式(7)，能量函數(shù)更新為

由式(10)可得，能量函數(shù)越小，目標(biāo)神經(jīng)元與周圍神經(jīng)元的線性可區(qū)分性約到，也就是說(shuō)明該神經(jīng)元在網(wǎng)絡(luò)中所發(fā)揮的作用越大。因此將Et的倒數(shù)作為每個(gè)神經(jīng)元的重要性分?jǐn)?shù)，最終使用Sigmoid函數(shù)來(lái)完成對(duì)權(quán)重圖的細(xì)化。ME表示對(duì)特征圖中全部通道進(jìn)行能量函數(shù)求解，對(duì)于輸入特征圖I，其輸出注意力圖MA計(jì)算為

為了簡(jiǎn)化計(jì)算，式(10)的成立基于單個(gè)通道中像素遵循相同分布的原則，同時(shí)上述方法是對(duì)一個(gè)通道上的神經(jīng)元進(jìn)行處理，無(wú)法實(shí)現(xiàn)跨通道的信息交互。從全圖視角而言，僅依靠能量函數(shù)，并不能準(zhǔn)確的定位圖中的目標(biāo)區(qū)域。深度神經(jīng)網(wǎng)絡(luò)中的類激活映射能夠通過(guò)計(jì)算卷積特征映射的加權(quán)和來(lái)突出感興趣部分，定位目標(biāo)對(duì)象區(qū)域，而CNN的淺層具有更大的空間分辨率，能夠捕獲目標(biāo)對(duì)象的更精細(xì)的細(xì)節(jié)[34]。 因此，本文通過(guò)對(duì)淺層特征圖的類激活映射作為語(yǔ)義感知輸入，以約束通過(guò)能量函數(shù)得到的注意力圖，引導(dǎo)其實(shí)現(xiàn)目標(biāo)區(qū)域的聚焦。

首先，本文對(duì)第k個(gè)特征圖在空間位置(i, j)上進(jìn)行權(quán)重定義，具體為

將得到的MA和MC相乘，得到最終的注意力圖M

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)環(huán)境及設(shè)置

本文在統(tǒng)一的硬件環(huán)境下對(duì)本文所提出的方法和對(duì)比方法進(jìn)行模型的訓(xùn)練和評(píng)估。硬件環(huán)境配置為：CPU(Intel(R) Xeon(R) Gold 6242R CPU @3.10 GHz)、內(nèi)存(256 GB)、顯卡(8×GeForce RTX 3 090)和顯存(8×24 GB)等。初始訓(xùn)練神經(jīng)網(wǎng)絡(luò)的超參數(shù)設(shè)置為：Batch-size(8×32)、訓(xùn)練輪次Epochs(200)、圖像縮放尺寸(640×640)。本文采用分布式訓(xùn)練，8張顯卡將分別搭載32 Batch-size的數(shù)據(jù)進(jìn)行訓(xùn)練。

4.2 數(shù)據(jù)集介紹

CURE-TSD[2]：CURE-TSD數(shù)據(jù)集是由喬治亞理工學(xué)院發(fā)布的用于研究交通標(biāo)志識(shí)別算法在挑戰(zhàn)性環(huán)境下的魯棒性問(wèn)題。該數(shù)據(jù)集由真實(shí)環(huán)境和非真實(shí)環(huán)境組成，其中的虛擬數(shù)據(jù)集對(duì)應(yīng)于在虛擬環(huán)境中生成的合成序列，包含各類極端惡劣天氣場(chǎng)景下的虛擬交通標(biāo)志場(chǎng)景。CURE-TSD數(shù)據(jù)集包含14個(gè)交通標(biāo)志類別，具體類別如圖5所示。

圖5 CURE-TSD類別信息

Virtual KITTI(VKITTI)[20]和KITTI[21]：VKITTI包含50個(gè)高分辨率的單目視頻(21 260幀)。該數(shù)據(jù)集是由仿真圖像合成的虛擬視頻數(shù)據(jù)集，視頻在不同的成像和天氣條件下從城市環(huán)境中的5個(gè)不同虛擬世界生成。其中的虛擬世界通過(guò)Unity游戲引擎和一種新穎的真實(shí)到虛擬的克隆方法創(chuàng)建。該虛擬場(chǎng)景在KITTI數(shù)據(jù)集中存在對(duì)應(yīng)的物理世界場(chǎng)景。

Meta-CURE：本文提出了一個(gè)元宇宙數(shù)據(jù)域下的數(shù)據(jù)集，稱之為Meta-CURE(Metaverse CURE TSD)。該數(shù)據(jù)集是實(shí)際CURE-TSD的基礎(chǔ)上，首先對(duì)CURE-TSD數(shù)據(jù)集做數(shù)據(jù)篩選，剔除相似場(chǎng)景的數(shù)據(jù)；其次，通過(guò)Unity3D構(gòu)建出一比一對(duì)應(yīng)的虛擬場(chǎng)景數(shù)據(jù)。通過(guò)這樣的場(chǎng)景映射方法，本文得到了5 440張尺寸為1 628×1 236的元宇宙數(shù)據(jù)集。

4.3 訓(xùn)練設(shè)置

本文設(shè)置了兩個(gè)訓(xùn)練過(guò)程，(1)物理世界域下訓(xùn)練；(2)元宇宙域與物理世界域聯(lián)合跨域訓(xùn)練。

訓(xùn)練方式1本文采用CURE-TSD數(shù)據(jù)集中真實(shí)場(chǎng)景的圖像以及對(duì)應(yīng)的標(biāo)簽作為訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集。從后續(xù)的對(duì)比實(shí)驗(yàn)中可以看到，本文引用的交通標(biāo)志檢測(cè)方法以及本文所提出的方法均在訓(xùn)練方式1下完成訓(xùn)練并測(cè)試。

訓(xùn)練方式2在訓(xùn)練方式2中，本文將使用獨(dú)立的兩部分?jǐn)?shù)據(jù)集進(jìn)行訓(xùn)練，分別是元宇宙數(shù)據(jù)集(DV)和物理世界數(shù)據(jù)集(DR)。DV由CURE-TSD數(shù)據(jù)集中的虛擬部分以及Meta-CURE數(shù)據(jù)集組成，DR由CURE-TSD數(shù)據(jù)集中的真實(shí)部分組成。其中DV是具有標(biāo)簽的，DR是無(wú)標(biāo)簽的。本文基于訓(xùn)練方式2完成元宇宙域到物理世界域的模型跨域訓(xùn)練。

本文將訓(xùn)練完成后的模型在VKITTI以及對(duì)應(yīng)的KITTI數(shù)據(jù)集上分別測(cè)試，以此來(lái)驗(yàn)證提出方法的魯棒性和泛化能力。

4.4 結(jié)果分析

本文選取精度、召回率、mAP, AP50, APS,APM, APL7個(gè)指標(biāo)來(lái)評(píng)判模型在檢測(cè)精度上的性能。APS, APM, APL分別表示對(duì)于小、中、大尺寸的交通標(biāo)志的平均檢測(cè)精度。按照MS-COCO數(shù)據(jù)集對(duì)尺寸的劃分標(biāo)準(zhǔn)[35]，其中目標(biāo)所占像素小于322的為小尺寸，大于322小于962的為中等尺寸，大于962的為大尺寸目標(biāo)。同時(shí)通過(guò)指標(biāo)FPS來(lái)衡量各個(gè)方法的檢測(cè)速度。為了驗(yàn)證元宇宙下交通標(biāo)志檢測(cè)網(wǎng)絡(luò)訓(xùn)練測(cè)試的有效性，所提出的網(wǎng)絡(luò)在虛擬數(shù)據(jù)集和真實(shí)數(shù)據(jù)集下進(jìn)行訓(xùn)練，并在同樣的真實(shí)場(chǎng)景下進(jìn)行測(cè)試，其結(jié)果如表2所示。

表2 在CURE-TSD數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)

其中，引用的對(duì)比方法均在CURE-TSD的真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練。本文對(duì)提出的網(wǎng)絡(luò)的評(píng)估分別兩種情況：(1)不使用跨域結(jié)構(gòu)，僅在CURE-TSD的真實(shí)數(shù)據(jù)部分上訓(xùn)練并測(cè)試；(2)使用跨域結(jié)構(gòu)，在整個(gè)CURE-TSD數(shù)據(jù)集以及Meta-CURE上訓(xùn)練并測(cè)試?？梢钥吹?，本文提出的方法在各個(gè)指標(biāo)下均優(yōu)于其他交通標(biāo)志檢測(cè)方法，并且所提出的跨域訓(xùn)練結(jié)構(gòu)能夠使得模型在真實(shí)場(chǎng)景下的精度高達(dá)89.7%，mAP高達(dá)48.0%，與在真實(shí)場(chǎng)景下訓(xùn)練的模型的精度僅相差2.7%。虛擬數(shù)據(jù)訓(xùn)練是元宇宙對(duì)交通標(biāo)志檢測(cè)任務(wù)的直接反映，表2中的4個(gè)對(duì)比實(shí)驗(yàn)均是在真實(shí)數(shù)據(jù)集下進(jìn)行訓(xùn)練和測(cè)試，他們的檢測(cè)精度也均低于本文在元宇宙下訓(xùn)練完成的結(jié)果。最后兩行對(duì)比了所提出的網(wǎng)絡(luò)分別在物理世界和元宇宙下訓(xùn)練后的測(cè)試結(jié)果。可以看到虛擬數(shù)據(jù)訓(xùn)練下的檢測(cè)精度與真實(shí)數(shù)據(jù)訓(xùn)練下模型的檢測(cè)精度并無(wú)明顯差異。

進(jìn)一步，表3通過(guò)訓(xùn)練數(shù)據(jù)的不同配置來(lái)驗(yàn)證所提出的方法能夠通過(guò)虛擬數(shù)據(jù)代替真實(shí)場(chǎng)景數(shù)據(jù)，減少數(shù)據(jù)采集、標(biāo)注的時(shí)間成本和人工成本。第1部分的訓(xùn)練數(shù)據(jù)為20 000張CURE-TSD數(shù)據(jù)集中的真實(shí)場(chǎng)景，第2部分包括10 000張的虛擬場(chǎng)景數(shù)據(jù)和5 000張的真實(shí)場(chǎng)景數(shù)據(jù)。測(cè)試數(shù)據(jù)集從CURE-TSD數(shù)據(jù)集中的真實(shí)場(chǎng)景數(shù)據(jù)組成。表3中可以看到，由于減少了真實(shí)場(chǎng)景數(shù)據(jù)訓(xùn)練，各個(gè)指標(biāo)都會(huì)有所下降。對(duì)于4個(gè)對(duì)比方法，由于無(wú)法將虛擬數(shù)據(jù)中的學(xué)習(xí)知識(shí)能夠較好的遷移到真實(shí)場(chǎng)景下，指標(biāo)會(huì)出現(xiàn)大幅度下降，文獻(xiàn)[10]在精度指標(biāo)上下降了5.0%，本文提出的方法僅下降了1.2%。其他指標(biāo)上，本文所提方法也可以較好的通過(guò)虛擬數(shù)據(jù)提取關(guān)鍵特征，在真實(shí)場(chǎng)景下具有較好的檢測(cè)性能。

表3 不同訓(xùn)練數(shù)據(jù)配置下的對(duì)比實(shí)驗(yàn)

圖6展示了上述方法在特殊場(chǎng)景下的測(cè)試樣例，可以看到本文提出的方法在一些極端場(chǎng)景下也具有優(yōu)異的檢測(cè)結(jié)果，進(jìn)一步說(shuō)明元宇宙下的交通標(biāo)志檢測(cè)模型訓(xùn)練和測(cè)試對(duì)實(shí)際應(yīng)用具有較大的貢獻(xiàn)。為了體現(xiàn)元宇宙下虛擬數(shù)據(jù)的豐富性可以提高模型的泛化能力，本文將在訓(xùn)練方式2下訓(xùn)練完成的模型在KITTI和VKITTI數(shù)據(jù)集上進(jìn)行測(cè)試，其結(jié)果如圖7所示。

圖6 本文提出的方法在CURE-TSD數(shù)據(jù)集上的測(cè)試結(jié)果

圖7 本文所提提方法在VKITTI和KITTI上的測(cè)試結(jié)果

從圖7可以直觀的看到，無(wú)論是在虛擬場(chǎng)景還是真實(shí)場(chǎng)景，所訓(xùn)練完成的模型均有較好的檢測(cè)性能。無(wú)論是不同尺寸還是不同場(chǎng)景下的交通標(biāo)志，都能夠?qū)ζ溥M(jìn)行精準(zhǔn)的定位和識(shí)別。本文將兩個(gè)數(shù)據(jù)集上各個(gè)類別的準(zhǔn)確率和平均置信度進(jìn)行統(tǒng)計(jì)，具體如表4所示。本文將置信度的閾值設(shè)置為0.7，對(duì)于置信度超過(guò)閾值的檢測(cè)結(jié)果將其判斷為識(shí)別正確。其中KITTI數(shù)據(jù)集上的平均測(cè)試精度為75.7%，在虛擬數(shù)據(jù)集VKITTI上的平均測(cè)試精度較KITTI數(shù)據(jù)集高了3.1%。KITTI和VKITTI上測(cè)試的平均置信度分別為74.7%和77.4%。選取5類出現(xiàn)次數(shù)較多的交通標(biāo)志進(jìn)行平均置信度的統(tǒng)計(jì)，其中“禁止停車”的標(biāo)簽識(shí)別率在KITTI和VKITTI上分別達(dá)到了82.1%和84.3%?？梢钥闯鰡l(fā)式注意力機(jī)制能夠在一定程度上提高模型的泛化能力，從而能夠使得元宇宙下訓(xùn)練完成的模型更好的適應(yīng)物理世界。

表4 提出方法在KITTI, VKITTI數(shù)據(jù)集上測(cè)試結(jié)果

圖8展示了所提出的方法在Meta-CURE數(shù)據(jù)集上的測(cè)試結(jié)果。Meta-CURE為本文提出的元宇宙數(shù)據(jù)域下的交通標(biāo)志數(shù)據(jù)集。數(shù)據(jù)集具備豐富多樣的變化場(chǎng)景，涵蓋了大部分車輛實(shí)際運(yùn)行過(guò)程中所面臨的工況?？梢钥吹?，通過(guò)元宇宙數(shù)據(jù)域的訓(xùn)練，模型在惡劣、復(fù)雜的天氣下實(shí)現(xiàn)對(duì)小尺寸交通標(biāo)志的精準(zhǔn)定位和識(shí)別。

圖8 本文所提方法在Meta-CURE數(shù)據(jù)集上的測(cè)試樣例

圖9對(duì)網(wǎng)絡(luò)在特征提取過(guò)程中的熱力圖進(jìn)行可視化。其中紅色部分代表特征聚焦區(qū)域，文獻(xiàn)[2,34]中的特征圖的可視化熱力圖中，聚焦區(qū)域并不能準(zhǔn)確的定位到所需要的目標(biāo)，且會(huì)將注意力定位到無(wú)關(guān)背景中。本文基于CAM可以更好地定位到圖中的交通標(biāo)志所在區(qū)域，從而提高特征提取能力。

圖9 本文所提方法與其他方法的熱力圖對(duì)比

4.5 消融實(shí)驗(yàn)

元宇宙為交通標(biāo)志檢測(cè)任務(wù)提供了更多更豐富的場(chǎng)景數(shù)據(jù)，可以更好地提高訓(xùn)練模型的魯棒性。因此本節(jié)中的消融實(shí)驗(yàn)均在元宇宙環(huán)境下進(jìn)行，本文將通過(guò)實(shí)驗(yàn)驗(yàn)證啟發(fā)式注意力機(jī)制和跨域檢測(cè)結(jié)構(gòu)對(duì)元宇宙下交通標(biāo)志檢測(cè)任務(wù)的有效性。實(shí)驗(yàn)均在CURE-TSD數(shù)據(jù)集上訓(xùn)練和測(cè)試，并加入計(jì)算量(Giga Floating-point Operations Per Second,GFLOPs)作為計(jì)算復(fù)雜的衡量指標(biāo)，結(jié)果如表5所示。

表5 在CURE-TSD數(shù)據(jù)集上的消融實(shí)驗(yàn)

可以看到，加入啟發(fā)式注意力機(jī)制后，模型的各個(gè)檢測(cè)精度均有所上升，能更好地適應(yīng)物理世界的駕駛場(chǎng)景。同時(shí)，該結(jié)構(gòu)上的變化對(duì)模型的尺寸規(guī)模并沒(méi)有產(chǎn)生明顯的影響，避免過(guò)大的計(jì)算負(fù)擔(dān)，實(shí)現(xiàn)檢測(cè)精度和檢測(cè)速度之間較好的均衡。跨域檢測(cè)模塊的增加使得虛擬數(shù)據(jù)集下訓(xùn)練完成的模型可以更好的適應(yīng)物理世界檢測(cè)，在CURE-TSD數(shù)據(jù)集上訓(xùn)練完成的模型在真實(shí)數(shù)據(jù)上測(cè)試的精度從85.3%上升至89.7%。因此，本文提出的基于知識(shí)蒸餾和均值教師模型的模型映射對(duì)于元宇宙下交通標(biāo)志檢測(cè)任務(wù)具有重要意義，一定程度上彌補(bǔ)了因虛實(shí)數(shù)據(jù)差異導(dǎo)致的檢測(cè)性能下降。

5 結(jié)束語(yǔ)

針對(duì)交通標(biāo)志檢測(cè)模型訓(xùn)練和測(cè)試條件苛刻，長(zhǎng)距離的多工況測(cè)試成本昂貴，且無(wú)法保證其安全性和可靠性等問(wèn)題，本文提出了一種面向元宇宙的交通標(biāo)志檢測(cè)新范式。通過(guò)開(kāi)源模擬器建立虛擬數(shù)據(jù)集，提高數(shù)據(jù)的數(shù)量和多樣性。構(gòu)建了基于知識(shí)蒸餾和均值教師模型的模型映射方法，以實(shí)現(xiàn)從元宇宙到物理世界的跨域?qū)W習(xí)，減少模型對(duì)真實(shí)數(shù)據(jù)集的依賴性。此外，本文還提出了基于視神經(jīng)科學(xué)和CAM的啟發(fā)式注意力機(jī)制，能夠加強(qiáng)檢測(cè)器的目標(biāo)定位和引導(dǎo)，提高模型對(duì)虛實(shí)數(shù)據(jù)的特征學(xué)習(xí)。提出的交通標(biāo)志檢測(cè)架構(gòu)在CURE-TSD, VKITTI和KITTI數(shù)據(jù)集上表現(xiàn)出了優(yōu)異的性能，即使在使用較少的真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練的情況下，在現(xiàn)實(shí)世界中也能獲得很好的檢測(cè)效果。與當(dāng)前先進(jìn)的目標(biāo)檢測(cè)方法相比，本文方法在檢測(cè)精度方面達(dá)到了89.7%。未來(lái)，作者團(tuán)隊(duì)將從虛擬數(shù)據(jù)構(gòu)建出發(fā)，繼續(xù)研究元宇宙對(duì)交通標(biāo)志檢測(cè)以及自動(dòng)駕駛中其他視覺(jué)技術(shù)的幫助和影響。本文提出的方法為解決交通標(biāo)志檢測(cè)中的數(shù)據(jù)集規(guī)模和質(zhì)量問(wèn)題提供了新思路，也為實(shí)現(xiàn)多場(chǎng)景下的穩(wěn)定高效運(yùn)行提供了新的途徑。