李頎， 葉小敏， 馮文斌

（陜西科技大學(xué) 電子信息與人工智能學(xué)院， 陜西 西安 710021）

1 引言

車(chē)輛檢測(cè)是先進(jìn)駕駛員輔助系統(tǒng)和自動(dòng)駕駛汽車(chē)的關(guān)鍵技術(shù)。但是在霧天條件下，視覺(jué)圖像嚴(yán)重受到影響，圖像模糊泛白，缺乏細(xì)節(jié)信息，車(chē)輛信息顯著度嚴(yán)重下降，直接導(dǎo)致了交通車(chē)輛檢測(cè)質(zhì)量的下降［1］。因此，在霧天進(jìn)行車(chē)輛檢測(cè)受到眾多的學(xué)者和科研人員的關(guān)注。He等人提出暗原色先驗(yàn)去霧理論［2］。Gao等人提出采用暗通道與亮通道結(jié)合解決暗通道去霧導(dǎo)致圖像發(fā)暗的問(wèn)題，該方法雖然解決了區(qū)域失真的問(wèn)題，但是處理后的圖像依然存在較多霧氣，對(duì)于霧天情況下的車(chē)輛識(shí)別依然比較困難［3］。毫米波雷達(dá)采用回波反射原理，不受天氣的干擾，在霧天依然能夠準(zhǔn)確檢測(cè)到目標(biāo)信息。因此，融合毫米波雷達(dá)和視覺(jué)結(jié)果也可以提高檢測(cè)的準(zhǔn)確率。Kim等提出了一種基于目標(biāo)運(yùn)動(dòng)狀態(tài)及形狀特征的車(chē)輛識(shí)別方法，通過(guò)毫米波雷達(dá)和攝像頭分別采集目標(biāo)的運(yùn)動(dòng)狀態(tài)和形狀特征，從而識(shí)別前向車(chē)輛，并應(yīng)用于自動(dòng)緊急制動(dòng)系統(tǒng)［4］。豐田汽車(chē)公司的Shigeki提出了一種基于單應(yīng)變換的毫米波雷達(dá)和相機(jī)聯(lián)合校準(zhǔn)方法，并使用占用網(wǎng)格方法對(duì)目標(biāo)進(jìn)行聚類(lèi)［5］。徐磊等將毫米波雷達(dá)的檢測(cè)結(jié)果轉(zhuǎn)換為相應(yīng)的感興趣區(qū)域，并使用可變形部件模型對(duì)感興趣區(qū)域內(nèi)的目標(biāo)進(jìn)行分類(lèi)，檢測(cè)速度達(dá)到29 FPS［6］。雖然融合毫米波雷達(dá)與機(jī)器視覺(jué)的車(chē)輛檢測(cè)已經(jīng)取得了一定的進(jìn)步，但是融合算法依舊存在以下幾點(diǎn)問(wèn)題：（1）融合算法沒(méi)有考慮霧天下視覺(jué)檢測(cè)受限的問(wèn)題；（2）融合算法沒(méi)有處理毫米波雷達(dá)采集數(shù)據(jù)中的干擾信息以及毫米波雷達(dá)采集的信息與視覺(jué)信息相互補(bǔ)充的問(wèn)題；（3）沒(méi)有考慮融合算法的實(shí)時(shí)性問(wèn)題。因此，在霧天條件下的車(chē)輛檢測(cè)和識(shí)別算法仍有待研究。

針對(duì)上述問(wèn)題，本文首先對(duì)視覺(jué)圖像進(jìn)行去霧；然后采用知識(shí)蒸餾改進(jìn)YOLO算法進(jìn)行視覺(jué)檢測(cè)，提高視覺(jué)檢測(cè)速度；最后采用基于潛在目標(biāo)距離匹配算法對(duì)視覺(jué)檢測(cè)結(jié)果和毫米波雷達(dá)檢測(cè)結(jié)果進(jìn)行決策級(jí)融合，去除毫米波雷達(dá)的干擾信息，同時(shí)對(duì)視覺(jué)檢測(cè)和毫米波雷達(dá)檢測(cè)的缺失信息進(jìn)行互相補(bǔ)足，提高大霧天氣下車(chē)輛檢測(cè)的準(zhǔn)確性。

2 基于圖像的車(chē)輛檢測(cè)算法設(shè)計(jì)

在公路上，由于地理特征和小氣候環(huán)境的影響，霧天非常常見(jiàn)。在霧天環(huán)境中，大氣光被空氣中的水蒸汽和顆粒物散射，導(dǎo)致攝像機(jī)采集的圖像對(duì)比度降低，缺乏圖像細(xì)節(jié)。因此本文采用去霧算法對(duì)原始圖像進(jìn)行處理。目前現(xiàn)有的去霧算法主要分為傳統(tǒng)圖像去霧算法和深度學(xué)習(xí)去霧算法。傳統(tǒng)圖像去霧算法又分為非物理模型算法和物理模型算法。非物理模型算法通過(guò)對(duì)圖像增強(qiáng)對(duì)比度來(lái)達(dá)到去霧的目的。物理模型算法是以大氣散射模型為研究基礎(chǔ)，通過(guò)各種先驗(yàn)信息求解無(wú)霧圖像［7］。深度學(xué)習(xí)的去霧算法采用端到端的方式進(jìn)行去霧，其中神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)原始圖像數(shù)據(jù)與所需樣本參數(shù)之間的直接映射關(guān)系，根據(jù)映射關(guān)系實(shí)現(xiàn)有霧到無(wú)霧的轉(zhuǎn)換［8］。本文選擇以上3種類(lèi)型的典型代表：自適應(yīng)直方圖均衡化、暗通道去霧算法以及DehazeNet算法進(jìn)行對(duì)比，性能對(duì)比結(jié)果如表1所示，針對(duì)道路上有霧圖像的處理結(jié)果如圖1所示。

圖1 去霧效果對(duì)比圖Fig.1 Comparison of defogging effects

表1 去霧算法性能對(duì)比Tab.1 Performance comparison of defogging algorithms

由表1和圖1可知，自適應(yīng)直方圖均衡化處理后的圖像對(duì)比度較高，但在增加去霧對(duì)比度的同時(shí)也放大了噪聲，導(dǎo)致圖像色彩與原圖像出現(xiàn)偏差，細(xì)節(jié)信息丟失。而暗通道去霧和Dehaze-Net算法去霧效果更好，更能還原圖像真實(shí)色彩，但是DehazeNet由于其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，實(shí)時(shí)性較差，單張圖像的處理速度為7 s，而本文研究對(duì)象為行駛的車(chē)輛，對(duì)實(shí)時(shí)性要求較高，所以本文選擇暗通道去霧算法對(duì)原始有霧圖像進(jìn)行去霧。

2.1 暗通道去霧

在圖像中，有霧存在的大氣散射模型如公式（1）所示：

其中：I（x）為原始圖像，J（x）為原始圖像的無(wú)霧狀態(tài)，t（x）是大氣光的透射率，A是大氣光值。根據(jù)大氣光值和透射率可以求得無(wú)霧圖像，如公式（2）所示。

算法流程圖如圖2所示。

圖2 暗通道先驗(yàn)去霧算法流程圖Fig.2 Flowchart of dark channel prior defogging algorithm

首先，輸入原始有霧圖像（圖3（a）），獲取有霧圖像的暗通道圖，采用局部最小值濾波得到大氣光和大氣光的透射率。然后，對(duì)粗估的透射率采用導(dǎo)向?yàn)V波進(jìn)一步細(xì)化。最后，根據(jù)原始圖像、大氣光值以及透射率實(shí)現(xiàn)圖像去霧，圖3（b）為去霧后圖像?？梢钥闯?，暗通道去霧算法有效去除了部分霧氣的干擾，有助于提高目標(biāo)識(shí)別的準(zhǔn)確性。

圖3 去霧前后結(jié)果對(duì)比圖Fig.3 Comparison of results before and after defogging

2.2 基于改進(jìn)的YOLOv5s的車(chē)輛檢測(cè)

本文研究對(duì)象為公路上的車(chē)輛，車(chē)輛行駛速度較快，尤其是在高速公路上，車(chē)輛行駛速度更快，因此對(duì)于車(chē)輛檢測(cè)的實(shí)時(shí)性要求就比較高。在自動(dòng)駕駛場(chǎng)景中，要求車(chē)輛檢測(cè)的時(shí)間在15～20 ms之間，同時(shí)如果檢測(cè)算法網(wǎng)絡(luò)復(fù)雜、計(jì)算量大也不利于在車(chē)上的嵌入式設(shè)備上進(jìn)行部署，因此本文選擇YOLOv5算法進(jìn)行車(chē)輛目標(biāo)的檢測(cè)。YOLOv5有5個(gè)版本，即YOLOv5x、YOLOv5l、YOLOv5m、YOLOv5s和YOLOv5n。各版本的性能見(jiàn)表2。本文綜合考慮計(jì)算資源、模型參數(shù)、檢測(cè)準(zhǔn)確率、部署能力和算法實(shí)用性，選擇YOLOv5s作為基礎(chǔ)算法，并對(duì)其進(jìn)行了提高檢測(cè)速度和模型壓縮的改進(jìn)。

表2 COCO數(shù)據(jù)集上5個(gè)版本的YOLOv5的綜合性能Tab.2 Comprehensive performance of five versions of YOLOv5 on the COCO dataset

YOLOv5s作為一種神經(jīng)網(wǎng)絡(luò)算法，其由輸入層、輸出層和隱藏層組成。輸入層通常表示要處理的信號(hào)，輸出層表示希望網(wǎng)絡(luò)產(chǎn)生的預(yù)期結(jié)果。數(shù)據(jù)處理主要由位于輸入層和輸出層之間的隱藏層執(zhí)行。每個(gè)連續(xù)的隱藏層都使用其上游層的輸出作為輸入，對(duì)其進(jìn)行處理，然后將結(jié)果傳遞給下游層［9］。YOLOv5s的算法思想為：檢測(cè)的圖像通過(guò)輸入層（Input）進(jìn)行預(yù)處理，并在主干網(wǎng)絡(luò)進(jìn)行特征提取。主干網(wǎng)絡(luò)獲得不同大小的特征圖，然后通過(guò)特征融合網(wǎng)絡(luò)（Neck）融合這些特征，最終生成3個(gè)特征圖（在YOLOv5中，尺寸表示為80×80、40×40和20×20）。檢測(cè)圖片中的小、中、大3個(gè)特征圖被送到預(yù)測(cè)頭（Head）之后，使用預(yù)設(shè)的先驗(yàn)錨對(duì)特征圖中的每個(gè)像素執(zhí)行置信度計(jì)算和邊界框回歸，獲得包括對(duì)象類(lèi)、類(lèi)置信度、框坐標(biāo)、寬度和高度信息的多維陣列（BBoxes）。通過(guò)設(shè)置相應(yīng)的閾值以過(guò)濾陣列中的無(wú)用信息，并執(zhí)行非最大抑制（NMS）過(guò)程，輸出最終檢測(cè)信息［10-11］。

由于本文選擇的YOLOv5s模型的目標(biāo)檢測(cè)時(shí)單張圖片耗費(fèi)平均時(shí)間為0.17 s，考慮最終還需要對(duì)視覺(jué)檢測(cè)結(jié)果和毫米波雷達(dá)檢測(cè)結(jié)果進(jìn)行融合，因此視覺(jué)檢測(cè)的實(shí)時(shí)性仍需要提高。本文提出基于知識(shí)蒸餾改進(jìn)YOLOv5s算法以提高YOLOv5s檢測(cè)的實(shí)時(shí)性。知識(shí)蒸餾利用傳遞學(xué)習(xí)來(lái)補(bǔ)充小模型中缺失的特定參數(shù)，以盡可能實(shí)現(xiàn)大模型的識(shí)別準(zhǔn)確率。本文中大模型是教師網(wǎng)絡(luò)，即原始的YOLOv5s車(chē)輛檢測(cè)模型；小模型是學(xué)生網(wǎng)絡(luò)，即改進(jìn)后的車(chē)輛檢測(cè)模型［12］。由于原始車(chē)輛檢測(cè)模型中的車(chē)輛特征提取網(wǎng)絡(luò)通道數(shù)比較大，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，因此本文將知識(shí)蒸餾引入特征提取網(wǎng)絡(luò)中，在目標(biāo)定位和分類(lèi)階段計(jì)算車(chē)輛特征提取的蒸餾損失，對(duì)損失進(jìn)行反向傳播訓(xùn)練學(xué)生網(wǎng)絡(luò)。本文知識(shí)蒸餾的過(guò)程如圖4所示。

圖4 蒸餾過(guò)程圖Fig.4 Distillation process diagram

在知識(shí)蒸餾過(guò)程中，根據(jù)教師網(wǎng)絡(luò)輸出的車(chē)輛目標(biāo)預(yù)測(cè)結(jié)果與學(xué)生網(wǎng)絡(luò)輸出的車(chē)輛目標(biāo)預(yù)測(cè)結(jié)果得到軟損失函數(shù)，通過(guò)對(duì)損失函數(shù)的反向傳播訓(xùn)練使學(xué)生網(wǎng)絡(luò)不斷向教師網(wǎng)絡(luò)靠近。但由于教師網(wǎng)絡(luò)的結(jié)果并非全部正確，為了保證學(xué)生網(wǎng)絡(luò)車(chē)輛預(yù)測(cè)結(jié)果的準(zhǔn)確性，引入硬損失函數(shù)，即通過(guò)真實(shí)車(chē)輛標(biāo)簽與學(xué)生網(wǎng)絡(luò)的車(chē)輛預(yù)測(cè)結(jié)果得到硬損失函數(shù)，通過(guò)α、β系數(shù)對(duì)軟硬損失函數(shù)進(jìn)行校正，得到最終的總損失函數(shù)。

測(cè)量學(xué)生和教師模型的相似性可以用公式（3）表示。?R是一個(gè)可以測(cè)量相似性的函數(shù)，用softmax明確表示。在計(jì)算軟損失時(shí)，當(dāng)softmax輸出的概率分布的熵值相對(duì)較小時(shí)，負(fù)標(biāo)簽的值非常接近0，對(duì)損失函數(shù)的貢獻(xiàn)非常小，導(dǎo)致學(xué)生模型在蒸餾過(guò)程中對(duì)負(fù)標(biāo)簽的關(guān)注度降低，因此引入溫度系數(shù)T解決這一問(wèn)題，如式（4）所示：

其中：I為softmax的logits輸入；T越高，教師模型輸出車(chē)輛類(lèi)別值概率分布越平坦，學(xué)生模型學(xué)到的知識(shí)越豐富。

總損失Ltotal如公式（5）表示：

其中：α和β為平衡系數(shù)，Lsoft為軟損失，也就是蒸餾損失，Lhard為硬損失，也就是學(xué)生損失。通過(guò)迭代訓(xùn)練使軟損失與硬損失的綜合訓(xùn)練損失所占的比重逐漸趨近1∶0。

Lhard公式如公式（6）所示：

Lsoft公式如式（7）所示：

在Lhard中是第i類(lèi)學(xué)生模型在T=1時(shí)的softmax輸出值；cj是i類(lèi)的基本真值，正標(biāo)簽取1，負(fù)標(biāo)簽取0。在Lsoft中，N是標(biāo)簽的數(shù)量，本文中標(biāo)簽主要為車(chē)輛，包含卡車(chē)、汽車(chē)、公交車(chē)等是第i類(lèi)教師模型在系數(shù)T處的softmax輸出值是第i類(lèi)學(xué)生模型在系數(shù)T處的softmax輸出值。

改進(jìn)后的YOLOv5s算法檢測(cè)結(jié)果如圖5所示。為了避免對(duì)有霧圖像檢測(cè)導(dǎo)致模型準(zhǔn)確率和召回率下降，使得檢測(cè)準(zhǔn)確率與COCO數(shù)據(jù)集統(tǒng)計(jì)的準(zhǔn)確率偏差較大，以及霧氣濃度不同導(dǎo)致檢測(cè)結(jié)果存在偏差等問(wèn)題，采用無(wú)霧數(shù)據(jù)集對(duì)改進(jìn)后的YOLOv5s進(jìn)行測(cè)試，統(tǒng)計(jì)改進(jìn)前后模型檢測(cè)的準(zhǔn)確率、召回率、預(yù)測(cè)時(shí)間和模型參數(shù)大小，檢測(cè)結(jié)果見(jiàn)表3。由表3可知，改進(jìn)后的YOLOv5s的召回率與準(zhǔn)確率基本保持與改進(jìn)前一致，但模型大小縮減為原來(lái)的72%，檢測(cè)速度提高了35%。

圖5 改進(jìn)前后YOLOv5s檢測(cè)結(jié)果對(duì)比Fig.5 Comparison of YOLOv5s detection results before and after improvement

表3 檢測(cè)結(jié)果對(duì)比Tab.3 Comparison of test results

3 融合毫米波雷達(dá)和視覺(jué)的車(chē)輛檢測(cè)算法設(shè)計(jì)

雖然去霧后視覺(jué)檢測(cè)準(zhǔn)確率有所提升，但是對(duì)于濃霧以及較遠(yuǎn)處的車(chē)輛信息依然顯著度不高，檢測(cè)準(zhǔn)確率難以大幅度提升且魯棒性不高，而毫米波雷達(dá)是依靠微波反射對(duì)目標(biāo)進(jìn)行檢測(cè)，所以其不受光線的干擾，霧天也不會(huì)對(duì)毫米波雷達(dá)產(chǎn)生影響。同時(shí)毫米波雷達(dá)還兼具微波制導(dǎo)與光波制導(dǎo)的特點(diǎn)，除了可以獲取目標(biāo)的距離信息，還可以獲取目標(biāo)的速度和加速度信息。因此，輔助駕駛和自動(dòng)駕駛常用其來(lái)進(jìn)行感知和目標(biāo)檢測(cè)。但是在實(shí)際檢測(cè)過(guò)程中，由于受到金屬等障礙物的回波干擾以及毫米波雷達(dá)自身存在的不穩(wěn)定因素，檢測(cè)結(jié)果中會(huì)出現(xiàn)干擾目標(biāo)和無(wú)效目標(biāo)。本文采用毫米波雷達(dá)和視覺(jué)檢測(cè)融合的方法實(shí)現(xiàn)對(duì)霧天車(chē)輛的檢測(cè)，以提高檢測(cè)的準(zhǔn)確率。

3.1 毫米波雷達(dá)數(shù)據(jù)篩選

為了濾除毫米波雷達(dá)檢測(cè)的無(wú)效目標(biāo)和干擾目標(biāo)，本文首先對(duì)毫米波雷達(dá)數(shù)據(jù)進(jìn)行篩選，保留行車(chē)道內(nèi)的車(chē)輛目標(biāo)。對(duì)于靜止目標(biāo)，考慮到車(chē)輛檢測(cè)后續(xù)決策和規(guī)劃中只有相鄰車(chē)道內(nèi)的靜止目標(biāo)需要檢測(cè)，非相鄰車(chē)道靜止目標(biāo)不會(huì)對(duì)本車(chē)造成影響，因此本文只檢測(cè)相鄰車(chē)道內(nèi)的全部目標(biāo)和車(chē)道內(nèi)非相鄰車(chē)道的非靜止目標(biāo)，根據(jù)相對(duì)位移和相對(duì)速度去除無(wú)效目標(biāo)，如式（8）、（9）所示：

式中：X0表示橫向相對(duì)距離，v表示相對(duì)速度。根據(jù)我國(guó)道路技術(shù)規(guī)范和國(guó)家標(biāo)準(zhǔn)GB/T 33577要求，雙向8車(chē)道是30 m，單車(chē)道為3.75 m，所以選定行車(chē)道的距離為28 m，相鄰車(chē)道的橫向相對(duì)距離為4.25 m。滿足上述條件的為需要去除的行車(chē)道以外的所有目標(biāo)以及相鄰車(chē)道以外的靜止目標(biāo)。

3.2 毫米波雷達(dá)與視覺(jué)的時(shí)空融合

本文采用坐標(biāo)系轉(zhuǎn)換來(lái)實(shí)現(xiàn)毫米波雷達(dá)和視覺(jué)的空間融合。圖6所示的藍(lán)色坐標(biāo)系是攝像機(jī)坐標(biāo)系，其坐標(biāo)原點(diǎn)位于車(chē)輛前擋風(fēng)玻璃處，坐標(biāo)平面與車(chē)輛坐標(biāo)平面平行；紅色坐標(biāo)系為毫米波雷達(dá)坐標(biāo)系，坐標(biāo)原點(diǎn)位于車(chē)輛前保險(xiǎn)杠中心，坐標(biāo)平面平行于車(chē)輛坐標(biāo)平面。

圖6 毫米波雷達(dá)和視覺(jué)傳感器坐標(biāo)系Fig.6 mm-wave radar and vision sensor coordinate system

毫米波雷達(dá)坐標(biāo)［XWYWZW］到圖像坐標(biāo)［uv］的轉(zhuǎn)換過(guò)程可以根據(jù)公式（10）進(jìn)行。其轉(zhuǎn)換過(guò)程為：毫米波雷達(dá)坐標(biāo)系轉(zhuǎn)為世界坐標(biāo)系，世界坐標(biāo)系轉(zhuǎn)為相機(jī)坐標(biāo)系，相機(jī)坐標(biāo)系轉(zhuǎn)為圖像坐標(biāo)系，最終完成毫米波雷達(dá)坐標(biāo)到圖像坐標(biāo)的轉(zhuǎn)換過(guò)程。

式中：dx、dy為每個(gè)單位像素對(duì)應(yīng)物理坐標(biāo)系下的大?。籪為相機(jī)焦距；R為旋轉(zhuǎn)矩陣；T為平移向量；Zc為毫米波雷達(dá)目標(biāo)點(diǎn)在相機(jī)坐標(biāo)系中的Z軸坐標(biāo)。

為了實(shí)現(xiàn)時(shí)間融合，毫米波雷達(dá)和攝像機(jī)的數(shù)據(jù)采集必須及時(shí)同步。毫米波雷達(dá)和相機(jī)采樣不均勻，幀速率分別約為10 FPS和30 FPS。本文以低頻毫米波雷達(dá)的測(cè)量時(shí)間作為參考，使高頻相機(jī)的數(shù)據(jù)向后兼容，實(shí)現(xiàn)毫米波雷達(dá)和相機(jī)之間的時(shí)間配準(zhǔn)。

3.3 毫米波雷達(dá)與視覺(jué)的決策級(jí)融合

毫米波雷達(dá)和相機(jī)收集的目標(biāo)數(shù)據(jù)完成時(shí)空對(duì)齊后，毫米波雷達(dá)數(shù)據(jù)在空間上轉(zhuǎn)換為圖像坐標(biāo)系，以形成圖像上感興趣的毫米波雷達(dá)目標(biāo)，但這不能識(shí)別目標(biāo)是否為同一車(chē)輛目標(biāo)。為了實(shí)現(xiàn)毫米波雷達(dá)檢測(cè)結(jié)果和視覺(jué)檢測(cè)結(jié)果的互相補(bǔ)充和糾正，本文對(duì)毫米波雷達(dá)檢測(cè)目標(biāo)和視覺(jué)檢測(cè)目標(biāo)進(jìn)行匹配。通常，多傳感器數(shù)據(jù)匹配算法主要是感興趣區(qū)域匹配和距離排序匹配方法［13-14］。由于區(qū)域匹配方法算法復(fù)雜性高，檢測(cè)算法在實(shí)際應(yīng)用中耗時(shí)較長(zhǎng)，不利于實(shí)時(shí)檢測(cè)。使用歐氏距離排序后，匹配算法的實(shí)現(xiàn)相對(duì)簡(jiǎn)單，速度較快。但由于該歐式距離匹配僅計(jì)算兩點(diǎn)之間的空間絕對(duì)距離，沒(méi)有考慮各種特征之間的聯(lián)系，并且本文中的匹配點(diǎn)來(lái)自兩個(gè)不同的傳感器，歐氏距離匹配方法獲得匹配結(jié)果并不理想，誤差較大，因此本文提出了一種改進(jìn)的歐式距離匹配算法，該方法結(jié)合歐式距離匹配與目標(biāo)類(lèi)型信息決定兩個(gè)傳感器測(cè)量的目標(biāo)數(shù)據(jù)是否針對(duì)同一運(yùn)動(dòng)目標(biāo)。歐式距離的計(jì)算公式如式（11）所示。

本文根據(jù)毫米波雷達(dá)檢測(cè)目標(biāo)的橫截面反射強(qiáng)度粗略估計(jì)目標(biāo)類(lèi)別。毫米波雷達(dá)檢測(cè)到的目標(biāo)橫截面與目標(biāo)類(lèi)型的對(duì)應(yīng)關(guān)系見(jiàn)表4。

表4 目標(biāo)橫截面與目標(biāo)類(lèi)型的對(duì)應(yīng)關(guān)系Tab.4 Correspondence between target cross-sections and target types m2

本文定義了兩個(gè)傳感器檢測(cè)到的目標(biāo)的位置-類(lèi)型相關(guān)矩陣，用｛D｝m×n表示，其中Dij是該矩陣中的一個(gè)元素，表示第i個(gè)攝像機(jī)目標(biāo)和第j毫米波雷達(dá)探測(cè)目標(biāo)。公式如式（12）所示：

其中：dCi表示相機(jī)中第i個(gè)目標(biāo)的距離測(cè)量值，dRi表示毫米波雷達(dá)中第j個(gè)目標(biāo)的距離測(cè)量值，m表示距離的偏差影響因素，目標(biāo)類(lèi)型相關(guān)的矩陣可以用ClassT表示。ClassCi和ClassRj分別表示攝像機(jī)視頻中檢測(cè)到的第i個(gè)目標(biāo)類(lèi)型和毫米波雷達(dá)中檢測(cè)出的第j個(gè)目標(biāo)類(lèi)型，兩者之間目標(biāo)類(lèi)型偏差的影響因素為f。

假設(shè)在任何給定時(shí)刻，攝像機(jī)檢測(cè)到視頻數(shù)據(jù)中有m個(gè)機(jī)動(dòng)目標(biāo)，毫米波雷達(dá)檢測(cè)到n個(gè)目標(biāo)。由于每個(gè)傳感器本身的檢測(cè)性能存在一定差異，因此兩個(gè)傳感器檢測(cè)到的目標(biāo)數(shù)量m和n并不完全相等。假設(shè)匹配的偏差閾值為Dth，根據(jù)方程（11）計(jì)算攝像機(jī)視頻中檢測(cè)到的第i個(gè)目標(biāo)與毫米波雷達(dá)檢測(cè)到的第一個(gè)目標(biāo)匹配的偏差為｛D｝m×n。找到滿足條件Dij＜Dth的數(shù)據(jù)目標(biāo)對(duì)，然后確定數(shù)據(jù)目標(biāo)對(duì)中偏差最小的數(shù)據(jù)目標(biāo)。如果在攝像機(jī)采集的視頻中檢測(cè)到的第i個(gè)目標(biāo)與毫米波雷達(dá)檢測(cè)到的目標(biāo)數(shù)據(jù)中的第j個(gè)目標(biāo)的相似性最大，則確定該數(shù)據(jù)對(duì)可以表示兩個(gè)傳感器檢測(cè)到目標(biāo)的同一對(duì)象。

最后本文利用加權(quán)信息融合算法對(duì)匹配后的結(jié)果進(jìn)行最終決策。在大霧天氣下，毫米波雷達(dá)可以檢測(cè)到更多的有效目標(biāo)，而視覺(jué)在正常天氣下的干擾信息更少。根據(jù)這兩種傳感器在霧天的識(shí)別能力和信息可靠性，本文設(shè)定在霧天下攝像機(jī)視覺(jué)識(shí)別權(quán)重為α，毫米波雷達(dá)識(shí)別權(quán)重為β，根據(jù)不同的天氣情況設(shè)置不同的權(quán)重值，信息融合后目標(biāo)屬于每一類(lèi)別的概率Prob表示為式（13）：

其中：Ec為視覺(jué)檢測(cè)的置信度，Rc為毫米波雷達(dá)檢測(cè)的目標(biāo)存在的可能性，α+β=1。根據(jù)不同的天氣情況設(shè)置不同的權(quán)重值，當(dāng)出現(xiàn)概率超過(guò)50%時(shí)，則認(rèn)為該目標(biāo)存在。目標(biāo)的最終類(lèi)別i_max為maxProb。

4 實(shí)驗(yàn)結(jié)果及對(duì)比分析

本文采集實(shí)車(chē)測(cè)試結(jié)果，視覺(jué)傳感器型號(hào)為CMOS攝像頭，采集分辨率為1 920×1 080，采集頻率為30幀/s。毫米波雷達(dá)選擇德國(guó)大陸ARS404雷達(dá)。ARS404是77 GHz的雷達(dá)傳感器，能夠同時(shí)檢測(cè)相對(duì)速度為-400～200 km/h的多個(gè)靜止和移動(dòng)目標(biāo)，可檢測(cè)多達(dá)250個(gè)原始點(diǎn)，有效探測(cè)距離為0～170 m。霧天主要分為薄霧、大霧、濃霧和強(qiáng)濃霧，其中水平能見(jiàn)度距離在1～10 km的稱(chēng)為薄霧，水平能見(jiàn)度距離在200～500 m的稱(chēng)為大霧，水平能見(jiàn)度距離在50～200 m的稱(chēng)為濃霧，水平能見(jiàn)度不足50 m的霧稱(chēng)為強(qiáng)濃霧。本文采集薄霧、大霧和濃霧3種天氣情況下的視覺(jué)數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)進(jìn)行研究，用來(lái)驗(yàn)證本文提出的目標(biāo)檢測(cè)效果的準(zhǔn)確性。

4.1 去霧后視覺(jué)檢測(cè)結(jié)果和分析

本文的去霧視覺(jué)檢測(cè)實(shí)驗(yàn)所用硬件為單個(gè)具有64 GB內(nèi)存的NVIDIA GeForce RTX 2080Ti GPU，操作系統(tǒng)為Ubuntu18.04。由于霧天場(chǎng)景較少，因此本文實(shí)際采集數(shù)據(jù)為1 500張，通過(guò)對(duì)晴朗天氣進(jìn)行加霧獲得2 500張數(shù)據(jù)，以及從網(wǎng)上尋找大霧天氣下的數(shù)據(jù)集1 500張，通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行增強(qiáng)，最終數(shù)據(jù)為10 000張，其中訓(xùn)練數(shù)據(jù)集為7 000張，測(cè)試數(shù)據(jù)集為3 000張。本文實(shí)驗(yàn)中采取的目標(biāo)檢測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)有準(zhǔn)確率以及召回率。圖7所示為去霧前后視覺(jué)檢測(cè)結(jié)果的對(duì)比圖。由圖中紅色標(biāo)記可知，（?。┙M去霧后檢測(cè)到了更多小目標(biāo)，（ⅱ）組去霧后避免了錯(cuò)誤識(shí)別的問(wèn)題，（ⅲ）組去霧后檢測(cè)到了更多的車(chē)輛目標(biāo)，因此去霧后的圖像可以獲得更多的細(xì)節(jié)信息，更能凸顯目標(biāo)，識(shí)別到更多的小目標(biāo)，同時(shí)還避免了一些誤檢和漏檢問(wèn)題。

圖7 去霧前后的檢測(cè)結(jié)果對(duì)比圖Fig.7 Comparison of detection results before and after defogging

經(jīng)過(guò)在數(shù)據(jù)集上測(cè)試，對(duì)比去霧前后目標(biāo)檢測(cè)的結(jié)果如表5所示。根據(jù)表5可知，去霧后在薄霧場(chǎng)景下的準(zhǔn)確率提高了6%，召回率提高了10%；在大霧場(chǎng)景下，準(zhǔn)確率提高了13%，召回率提高了6%；在濃霧場(chǎng)景下準(zhǔn)確率提高了5%，召回率提高了3%。在霧比較薄的情況下，去霧后使用視覺(jué)檢測(cè)可以有效提高檢測(cè)效率；但是在濃霧場(chǎng)景下，即使去霧，目標(biāo)檢測(cè)準(zhǔn)確率依然很低。

表5 去霧前后的目標(biāo)檢測(cè)結(jié)果Tab.5 Object detection results before and after defogging

4.2 毫米波雷達(dá)和視覺(jué)融合檢測(cè)結(jié)果和分析

毫米波雷達(dá)和視覺(jué)融合檢測(cè)結(jié)果的測(cè)試采用實(shí)際采集的天氣不同場(chǎng)景下的數(shù)據(jù)以及nuScenes數(shù)據(jù)集進(jìn)行測(cè)試，包含薄霧、大霧、濃霧等。針對(duì)不同的天氣設(shè)置不同的融合權(quán)重值。由表5可知，視覺(jué)檢測(cè)在薄霧天氣下，經(jīng)過(guò)去霧后，圖像中的霧氣殘留較少，對(duì)目標(biāo)識(shí)別的影響較小，其檢測(cè)準(zhǔn)確率較高為91.01%；而在大霧和濃霧天氣下，雖然經(jīng)過(guò)去霧，但是圖像中仍殘留較多霧氣，其檢測(cè)準(zhǔn)確率為82.45%和67.89%。毫米波雷達(dá)由于其自身的不穩(wěn)定因素，其檢測(cè)準(zhǔn)確率要低于薄霧下的視覺(jué)檢測(cè)，約為83%，但是由于其不受天氣影響，所以在薄霧、大霧和濃霧的天氣下，其準(zhǔn)確率相差不大。經(jīng)過(guò)測(cè)試，本文設(shè)置在薄霧下攝像機(jī)識(shí)別權(quán)重α為0.7，毫米波雷達(dá)β為0.3，如圖8（?。?、圖9（?。┙M所示；大霧下攝像機(jī)識(shí)別權(quán)重α為0.5，毫米波雷達(dá)β為0.5，如圖8（ⅱ）、圖9（ⅱ）組所示；濃霧下攝像機(jī)識(shí)別權(quán)重α為0.4，毫米波雷達(dá)β為0.6，如圖8（ⅲ）、圖9（ⅲ）組所示。實(shí)際采集數(shù)據(jù)檢測(cè)如圖8所示，nuScenes數(shù)據(jù)集檢測(cè)結(jié)果如圖9所示。

圖8 實(shí)際采集數(shù)據(jù)融合檢測(cè)結(jié)果Fig.8 Results of fusion detection of actual collected data

圖9 nuScenes數(shù)據(jù)集融合檢測(cè)結(jié)果Fig.9 Detection results of nuScenes dataset fusion

其中紅色二維框?yàn)楹撩撞ê鸵曈X(jué)檢測(cè)結(jié)果匹配成功后得到的目標(biāo)二維框，綠色二維框?yàn)楹撩撞ɡ走_(dá)檢測(cè)的目標(biāo)二維框，綠色的點(diǎn)為毫米波雷達(dá)檢測(cè)的目標(biāo)點(diǎn)。算法檢測(cè)結(jié)果見(jiàn)表6、表7。由表6可知，隨著霧氣指數(shù)的升高，圖像去霧后的視覺(jué)檢測(cè)準(zhǔn)確率仍呈非常明顯的下降，而毫米波和視覺(jué)融合的檢測(cè)結(jié)果無(wú)論是在薄霧、大霧還是濃霧的情況下都有穩(wěn)定較好的檢測(cè)率，同時(shí)也降低了毫米波雷達(dá)自身不穩(wěn)定引起的漏檢、誤檢問(wèn)題。相對(duì)于單一傳感器，本文提出方法的準(zhǔn)確率更高。由表7可知，本方法在nuScenes數(shù)據(jù)集下，薄霧天氣下準(zhǔn)確率可達(dá)92.01%，召回率達(dá)90.37%，在濃霧和大霧天氣下的準(zhǔn)確率也高于84%，召回率高于86%，可以實(shí)現(xiàn)在霧天下的車(chē)輛檢測(cè)。

表6 目標(biāo)檢測(cè)結(jié)果統(tǒng)計(jì)Tab.6 Statistics of target detection results

表7 nuScenes數(shù)據(jù)集的測(cè)試結(jié)果Tab.7 Test results of nuScenes dataset

5 結(jié)論

為了解決霧天車(chē)輛檢測(cè)比較困難的問(wèn)題，本文提出融合毫米波雷達(dá)和機(jī)器視覺(jué)方法檢測(cè)車(chē)輛目標(biāo)。首先通過(guò)去霧算法去除霧氣對(duì)視覺(jué)圖像的干擾；然后使用知識(shí)蒸餾算法改進(jìn)YOLOv5s，提高目標(biāo)檢測(cè)的實(shí)時(shí)性；最后使用改進(jìn)的歐式距離匹配算法匹配毫米波雷達(dá)檢測(cè)結(jié)果與視覺(jué)的檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法有效融合了毫米波雷達(dá)的檢測(cè)結(jié)果以及視覺(jué)的檢測(cè)結(jié)果，有效提高了有霧天氣下車(chē)輛的檢測(cè)準(zhǔn)確率，避免了單一傳感器帶來(lái)的誤檢和漏檢問(wèn)題，同時(shí)在實(shí)時(shí)性上滿足自動(dòng)駕駛場(chǎng)景要求，避免了多傳感器融合導(dǎo)致的實(shí)時(shí)性不夠的問(wèn)題。