摘 要：近些年來，在目標(biāo)檢測以及圖像分割等領(lǐng)域涌現(xiàn)了許多先進(jìn)的算法。在能見度較差的微光場景下如夜晚、大霧天氣等場景中，視頻圖像具有像素聲高、對比度低、無彩色信息等特點(diǎn)，算法的檢測性能受到明顯限制。與目前主流的ＲＧＢ 相機(jī)相比，毫米波雷達(dá)對上述復(fù)雜環(huán)境具有一定的免疫能力，可以在不利條件下輔助ＲＧＢ 相機(jī)進(jìn)行目標(biāo)檢測工作。以單階段目標(biāo)檢測器中實(shí)時性較高的ＹＯＬＯｖ５ｓ 為基礎(chǔ)，結(jié)合毫米波雷達(dá)的特性，提出了用于微光環(huán)境下目標(biāo)檢測的多模態(tài)識別網(wǎng)絡(luò)。與現(xiàn)有的傳感器融合方法相比，多模態(tài)識別網(wǎng)絡(luò)有幾個關(guān)鍵優(yōu)勢。系統(tǒng)以基于學(xué)習(xí)的方式融合了２ 種模態(tài)，只需要少量新場景的標(biāo)記圖像和雷達(dá)數(shù)據(jù)，因?yàn)槠淇梢猿浞掷靡呀?jīng)開源的大型圖像數(shù)據(jù)集進(jìn)行大批量的訓(xùn)練。這一突出特性使新系統(tǒng)能夠適應(yīng)高度復(fù)雜的現(xiàn)實(shí)環(huán)境。由于使用了高度計(jì)算效率的融合方法，系統(tǒng)是非常輕量級的，因此適用于各個復(fù)雜場景下的實(shí)時應(yīng)用。為了評估系統(tǒng)的性能，制作了一個小批量的雷達(dá)和攝像機(jī)融合數(shù)據(jù)集，包含普通光照和不同強(qiáng)度微光光照條件下的多模態(tài)數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，微光場景下多模態(tài)識別網(wǎng)絡(luò)的平均精度達(dá)到７６． ６％ ，相比Ｆａｓｔｅｒ Ｒ-ＣＮＮ 算法和ＹＯＬＯｖ７ 算法，全類平均精度（ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ｍＡＰ） 提高了１６． ８％ 和９． ３％ ，且誤檢、漏檢率低，達(dá)到了在微光環(huán)境下完成目標(biāo)檢測任務(wù)的要求。

關(guān)鍵詞：多模態(tài)識別網(wǎng)絡(luò)；毫米波雷達(dá)；目標(biāo)檢測；ＹＯＬＯｖ５ｓ；微光場景

中圖分類號：ＴＰ３９１． ４ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０７－１６０２－１２

０ 引言

近年來，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)發(fā)展迅速，２０１４ 年深度學(xué)習(xí)的目標(biāo)檢測算法以Ｒ-ＣＮＮ、ＦａｓｔＲ-ＣＮＮ［１］等為代表的兩階段算法走進(jìn)人們的視野。２０１５ 年，Ｒｅｄｍｏｎ 等［２］提出了更快、更輕巧的ＹＯＬＯ系列的單階段目標(biāo)檢測算法。其中ＹＯＬＯｖ５ 算法在不斷的更新優(yōu)化中，以其超快的速度和精確的檢測能力，成為在實(shí)時性要求較高場所中的優(yōu)先考慮項(xiàng)。Ｃｈｅｎ 等［３］構(gòu)建了新型ＨＤＳ-ＹＯＬＯｖ５ 網(wǎng)絡(luò)，使用ＨＯＯＫ-ＳＰＰＦ（空間金字塔池）特征提取模塊取代ＳＰＰＦ 骨干網(wǎng)絡(luò)，并實(shí)施了一個解耦的頭部模塊修改的置信度和回歸框架，顯著提高了網(wǎng)絡(luò)的特征提取能力，減少了特征損失；減少了分類和回歸之間的負(fù)面沖突，從而提高了識別精度和加速收斂。甄然等［４］提出了一種改進(jìn)的ＹＯＬＯｖ５ 算法，使用深度可分離卷積代替普通卷積層，并將Ｄｒｏｐｂｌｏｃｋ 與注意力機(jī)制添加至ＹＯＬＯｖ５ｓ 主卷積層的底層，有效增加了ＹＯＬＯｖ５ｓ 的泛化能力與識別能力并使其足夠輕量化。邱天衡等［５］提出了一種基于ＹＯＬＯｖ５ 的改進(jìn)模型ＹＯＬＯ-Ｇ，該模型通過引入Ｇｈｏｓｔ７ 模塊，并對網(wǎng)絡(luò)進(jìn)行剪枝、蒸餾操作，在將模型參數(shù)量縮減３． ９％ 、計(jì)算量減少４９％ 的同時，準(zhǔn)確率提高了約３％ 。

目前，一些簡單的多模態(tài)融合方法對于實(shí)際應(yīng)用是不切實(shí)際的，這是因?yàn)槿诤夏Ｐ托枰褂枚嗄B(tài)數(shù)據(jù)集從頭訓(xùn)練，圖像特征提取能力的獲取需要大量的標(biāo)注數(shù)據(jù)。與像ＩｍａｇｅＮｅｔ［６］和ＭＳＣＯＣＯ［７］這樣涵蓋數(shù)百個對象類別和場景的綜合圖像數(shù)據(jù)集不同，公開可用的相機(jī)和雷達(dá)數(shù)據(jù)集專門關(guān)注高度特定的應(yīng)用程序和場景［８］。Ｃｈｏ 等［９］和Ｗａｎｇ 等［１０］將來自單個傳感器的數(shù)據(jù)依次輸入卡爾曼濾波器。這種傳統(tǒng)的相機(jī)和雷達(dá)融合方法通常是將基于雷達(dá)的檢測過度簡化為點(diǎn)目標(biāo)檢測問題，或者使用手工設(shè)計(jì)融合策略。直到近些年才有對基于深度學(xué)習(xí)的融合進(jìn)行了研究，Ｃｈａｄｗｉｃｋ 等［１１］和Ｆｅｎｇ 等［１２］求助于完整的端到端卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ），該ＣＮＮ 以原始圖像和雷達(dá)數(shù)據(jù)為輸入，通過連接內(nèi)部圖像和雷達(dá)特征圖來實(shí)現(xiàn)融合。但是，實(shí)際應(yīng)用中用戶通常需要根據(jù)對象類別和部署環(huán)境來收集和注釋自己的數(shù)據(jù)集，這通常是不切實(shí)際的，為了應(yīng)對這一挑戰(zhàn)，本文提出了一種松散耦合的結(jié)構(gòu)，該結(jié)構(gòu)可以使用少量標(biāo)記的多模態(tài)數(shù)據(jù)來適應(yīng)新的場景。

１ 相關(guān)工作

１． １ 多模態(tài)融合的必要性

準(zhǔn)確的機(jī)器感知在智能系統(tǒng)（例如自動駕駛汽車［１３］）中起著至關(guān)重要的作用。隨著深度學(xué)習(xí)的發(fā)展，已經(jīng)提出了許多基于ＣＮＮ 的對象檢測器［１４］。盡管這些基于圖像的目標(biāo)檢測器在Ｉｍａｇｅ-Ｎｅｔ 和ＭＳＣＯＣＯ 等公共數(shù)據(jù)集上取得了很好的性能，但容易受到不利環(huán)境的影響，例如大霧天氣、煙霧或照明不良等。另一方面，毫米波雷達(dá)已經(jīng)成為全天候條件下的低成本傳感器，并已廣泛用于許多嵌入式應(yīng)用中［１５］。由于具有在黑暗中工作的能力和對空中障礙物的穿透性，毫米波雷達(dá)在ＲＧＢ 攝像機(jī)功能受到阻礙的非理想環(huán)境中與攝像機(jī)結(jié)合使用的方案已被廣泛采用。

圖１（ａ）顯示了使用ＤＢＳＣＡＮ 聚類和卡爾曼濾波器的基于雷達(dá)的跟蹤結(jié)果，其中３Ｄ 點(diǎn)云和３Ｄ 框被映射到二維圖像上，點(diǎn)上的顏色代表不同的深度。圖１（ｂ）顯示了ＹＯＬＯｖ５ｓ 的結(jié)果。在第一個場景中，雷達(dá)能夠定位到人體，而基于圖像的目標(biāo)檢測器由于照明不足而失敗。在第二個場景中，雷達(dá)未能將２ 個人分開，因?yàn)樗麄儽舜丝拷?，而ＹＯＬＯｖ５?可以將他們很好地分開。僅基于雷達(dá)的方法和僅基于圖像的方法都不能在２ 個場景中得到令人滿意的結(jié)果，這說明了２ 種傳感模態(tài)融合的必要性。

１． ２ 毫米波雷達(dá)及選型

毫米波雷達(dá)具有測距和測速功能以及同時探測多個目標(biāo)和抗干擾性強(qiáng)等特點(diǎn)，是一種非常重要的檢測傳感器。毫米波雷達(dá)的工作頻段為３０ ～ ３００ ＧＨｚ，以毫米波為傳播介質(zhì)，其波長介于光波和厘米波之間，因此毫米波雷達(dá)同時具有微波雷達(dá)和光電雷達(dá)的優(yōu)點(diǎn)。與厘米波雷達(dá)相比，具有質(zhì)量輕、體積小、波束窄和空間分辨率高的優(yōu)點(diǎn)。與電視、激光和紅外等光學(xué)雷達(dá)相比，具有除大雨天之外全天候全天時作業(yè)的特點(diǎn)。因此毫米波雷達(dá)在大多數(shù)環(huán)境下能可靠地工作。

本文采用德州儀器（Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ）的ＩＷＲ６８４３ 商用毫米波雷達(dá)，如圖（２ ）所示。ＩＷＲ６８４３ 是一款能夠在６０ ～ ６４ ＧＨｚ 運(yùn)行且基于調(diào)頻連續(xù)波（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ，ＦＭＣＷ）雷達(dá)技術(shù)的集成式單芯片毫米波傳感器。該器件采用ＴＩ 的低功耗４５ ｎｍ ＲＦＣＭＯＳ 工藝進(jìn)行構(gòu)建，并且在極小的封裝中實(shí)現(xiàn)了非常高的集成度。ＩＷＲ６８４３ 是適用于工業(yè)領(lǐng)域中的低功耗、自監(jiān)控、超精確雷達(dá)系統(tǒng)的理想解決方案。雖然ＩＷＲ６８４３毫米波雷達(dá)并不具有預(yù)測分類的功能，但是在方位角約為１４°、仰角約為５７°的范圍內(nèi)，經(jīng)多普勒和到達(dá)角（Ａｎｇｌｅ ｏｆ Ａｒｒｉｒａｌ，ＡＯＡ）估計(jì)之后，毫米波雷達(dá)生成一組點(diǎn)，其中每個點(diǎn)包括３Ｄ 空間位置和朝向雷達(dá)的徑向速度。盡管位置不準(zhǔn)確，但這些點(diǎn)可以強(qiáng)烈指示物體的占用和運(yùn)動信息。

１． ３ 目標(biāo)檢測算法

根據(jù)網(wǎng)絡(luò)的推理過程，基于深度學(xué)習(xí)的目標(biāo)檢測算法可以分為二階段和一階段。相對于二階段，一階段目標(biāo)檢測算法具有實(shí)時性強(qiáng)和擁有全局視野的優(yōu)勢，并且由于較低的計(jì)算開銷，更適合邊緣和嵌入式設(shè)備?？紤]到本文對于目標(biāo)檢測的實(shí)時性要求較高，將在經(jīng)典的一階段目標(biāo)檢測網(wǎng)絡(luò)———ＹＯＬＯ系列中選取ＹＯＬＯｖ５ｓ 作為目標(biāo)檢測基準(zhǔn)網(wǎng)絡(luò)，ＹＯＬＯｖ５ｓ 網(wǎng)絡(luò)結(jié)構(gòu)如圖３ 所示。

ＹＯＬＯ 系列算法是單階段目標(biāo)檢測算法的首創(chuàng)。在此之前的目標(biāo)檢測算法都是基于先產(chǎn)生候選區(qū)域再檢測目標(biāo)的兩階段算法，優(yōu)點(diǎn)是精度高，但是計(jì)算量大、速度慢、部署代價高。單階段目標(biāo)檢測算法將目標(biāo)檢測任務(wù)看作是回歸問題來處理，將候選區(qū)和檢測合二為一，使其檢測速度相比于其他兩階段算法有了很大提高。ＹＯＬＯｖ５ 是ＹＯＬＯ 系列算法中目前使用最廣泛的目標(biāo)檢測網(wǎng)絡(luò)，其較好地平衡了檢測精度與檢測速度，在各種實(shí)際場景中應(yīng)用廣泛。本文使用的ＹＯＬＯｖ５ｓ 網(wǎng)絡(luò)是ＹＯＬＯｖ５ 算法的輕量化版本，ＹＯＬＯｖ５ｓ 網(wǎng)絡(luò)由輸入端（Ｉｎｐｕｔ）、主干網(wǎng)絡(luò)（Ｂａｃｋｂｏｎｅ）、頸部網(wǎng)絡(luò)（Ｎｅｃｋ）和檢測輸出（Ｈｅａｄ）四部分組成。

待檢測數(shù)據(jù)在輸入端采用Ｍｏｓａｉｃ 數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算與自適應(yīng)圖片縮放等方式進(jìn)行數(shù)據(jù)預(yù)處理，之后送入主干網(wǎng)絡(luò)進(jìn)行特征提取，再進(jìn)入頸部網(wǎng)絡(luò)進(jìn)行特征融合，最終通過檢測頭輸出預(yù)測結(jié)果。ＹＯＬＯｖ５ｓ 的主干網(wǎng)絡(luò)由Ｆｏｃｕｓ 結(jié)構(gòu)、ＣＢＬ 模塊、ＣＳＰ結(jié)構(gòu)及ＳＰＰ 模塊組成。Ｆｏｃｕｓ 結(jié)構(gòu)將輸入的圖片進(jìn)行切片操作，得到?jīng)]有信息丟失的下采樣特征圖；ＣＢＬ 模塊提取目標(biāo)的特征；ＣＳＰ 模塊中的殘差結(jié)構(gòu)可以避免因?yàn)榫W(wǎng)絡(luò)加深而帶來的梯度消失，從而避免網(wǎng)絡(luò)退化；ＳＰＰ 模塊用來提取多尺度目標(biāo)的特征信息。頸部網(wǎng)絡(luò)使用ＦＰＮ＋ＰＡＮ 特征雙向金字塔結(jié)構(gòu)，擁有自上而下與自下而上２ 條通路，融合特征的同時保留目標(biāo)的位置信息和語義信息。

目前ＹＯＬＯｖ５ｓ 算法對能見度良好條件下的中大型、顯著型目標(biāo)的檢測效果較好，但對于能見度不足、背景復(fù)雜場景下的檢測效果欠佳，急需彌補(bǔ)其在復(fù)雜背景下的檢測缺陷，以完成在多種實(shí)際應(yīng)用場景中的檢測任務(wù)。

２ 多模態(tài)識別網(wǎng)絡(luò)的設(shè)計(jì)

２． １ 網(wǎng)絡(luò)設(shè)計(jì)

如１． ２ 節(jié)介紹，兩階段檢測器比單階段檢測器具有更高的準(zhǔn)確度，另外，毫米波雷達(dá)的點(diǎn)云數(shù)據(jù)可以強(qiáng)烈指示物體的占用和運(yùn)動信息［１６］，這可以幫助網(wǎng)絡(luò)更好地將對象與背景區(qū)分開。為了提高現(xiàn)有基于圖像的目標(biāo)檢測器的性能，設(shè)計(jì)了網(wǎng)絡(luò)中的框提案部分。此外，為了處理具有挑戰(zhàn)性的場景，基于圖像的對象檢測器未能提識別微光環(huán)境下的目標(biāo)時，利用雷達(dá)點(diǎn)云設(shè)計(jì)了點(diǎn)云數(shù)據(jù)的處理與跟蹤過程，該跟蹤器可作為替代基于圖像的目標(biāo)檢測器的模塊。

多模態(tài)識別網(wǎng)絡(luò)結(jié)構(gòu)如圖４ 所示。從圖像識別領(lǐng)域角度來看，本系統(tǒng)遵循兩階段目標(biāo)檢測器的設(shè)計(jì)方式。第一階段旨在匯總基于ＹＯＬＯｖ５ｓ 的目標(biāo)檢測器（Ｉ）和基于雷達(dá)的對象跟蹤器（Ｒ）的框提案：Ｂ ＝ ｛ＢＩ，ＢＲ ｝＝ ｛ｂＫ｝ ＱＫ＝ １ ，其中Ｋ ＝ Ｂ 是特征圖上框的總數(shù)。同時，對圖像和雷達(dá)分支的整個幀進(jìn)行全局特征提取，以獲得全局多模態(tài)特征圖ＧＩ 和ＧＲ 。然后，２ 個感興趣區(qū)域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ，ＲｏＩ）（ＰＳ-ＲｏＩ Ａｌｉｇｎ［１７］和ＲｏＩ Ａｌｉｇｎ［１８］）的裁剪操作，根據(jù)框建議的位置裁剪全局特征圖，以獲得每個特征圖上的框的局部特征：ＬＩ，ＬＲ ＝ Ｃｒｏｐｐｉｎｇ（ＧＩ，ＧＲ ，Ｂ），其中ＬＩ ＝｛ｌＩＫ｝ ＫＫ＝ １ ，ＬＲ ＝ ｛ｌＲｒ｝ ＫＫ＝ １ 是來自２ 種模式的局部特征圖上的框的集合。在第二階段，啟用融合的總體分類頭預(yù)測每個框的新位置和置信度得分：ｂ′Ｋ ＝Ｒｅｆｎｅｍｅｎｔ（ｌＩＫ ，ｌＲｒ，ｂＫ ）。在３． ３ 節(jié)的實(shí)驗(yàn)中驗(yàn)證了這個新的邊界框 ｂＫ′比原始的一個 ｂＫ 更可靠，因?yàn)樗M(jìn)一步包含了來自多模態(tài)特征圖ｌＩＫ 和ｌＲＫ信息。根據(jù)新的置信度得分，可以直接使用閾值來確定是否應(yīng)保留每個框提案。

綜上所述，多模態(tài)識別網(wǎng)絡(luò)主要由３ 個模塊組成：基于ＹＯＬＯｖ５ｓ 的目標(biāo)檢測器、一個基于雷達(dá)的對象跟蹤器和一個ＲｏＩＷｉｓｅ 頭部?？梢詫D像相關(guān)模塊進(jìn)行分離的權(quán)重訓(xùn)練，從而減輕了對大量標(biāo)記的多模態(tài)數(shù)據(jù)的依賴。

２． ２ 基于雷達(dá)的目標(biāo)跟蹤器

當(dāng)相機(jī)由于黑暗，能見度差或惡劣的天氣條件而導(dǎo)致明顯的性能下降時，基于圖像的對象檢測器可能無法在惡劣的環(huán)境下生成任何候選框［１９］。在這種情況下，為了確保系統(tǒng)仍然可以使用雷達(dá)點(diǎn)云數(shù)據(jù)生成理想的檢測結(jié)果，提出了一種基于雷達(dá)的目標(biāo)跟蹤器。在一個幀中，毫米波雷達(dá)數(shù)據(jù)是一組點(diǎn)，其中每個點(diǎn)由一個四維向量表示，該四維向量分別由ｘ（從左到右）、ｙ（從上到下）、ｚ（從后到前）軸上的坐標(biāo)和徑向速度（沿ｚ 軸的速度）組成。用以下方法表示第ｉ 點(diǎn)：

ｐｉ ＝ （ｘｉ，ｙｉ，ｚｉ，ｖｉ）∈ Ｒ４ 。（１）

波和噪聲發(fā)出的信號會嚴(yán)重影響雷達(dá)點(diǎn)云，并觸發(fā)許多的誤報(bào)點(diǎn)。因此，使用一種基于密度的聚類方法ＤＢＳＣＡＮ［２０］，從雜波中識別前景對象。來自前景對象的點(diǎn)可以分組為簇，而來自雜波的點(diǎn)通常以低密度分散。此外，與Ｋ-ｍｅａｎｓ 方法不同，ＤＢＳＣＡＮ不需要集群數(shù)量的先驗(yàn)信息，因此非常適合對象數(shù)量任意的對象檢測任務(wù)。定義２ 點(diǎn)之間的距離，在ＤＢ-ＳＣＡＮ 中用作密度連接檢查的距離度量：

ｄ（ｉ，ｊ）＝ αｘ（ｘｉ － ｘｊ） ２ ＋ αｙ（ｙｉ － ｙｊ） ２ ＋ αｚ（ｚｉ － ｚｊ） ２ ＋ αｖ（ｖｉ － ｖｊ） ２ ，（２）

式中：αｘ、αｙ、αｚ、αｖ 是分別用來平衡ｘ 軸、ｙ 軸、ｚ 軸以及沿ｚ 軸方向的速度中的元素貢獻(xiàn)的權(quán)重向量。在聚類過程中合并了速度信息，可以幫助基于雷達(dá)的目標(biāo)跟蹤器以不同的速度分離２ 個附近的對象。

在ＤＢＳＣＡＮ 之后，每個點(diǎn)都由集群的索引或異常值標(biāo)記。濾除異常值后，可以通過平均該簇中所有點(diǎn)的相應(yīng)值來估計(jì)每個簇的中心位置和沿ｚ 軸的速度。此外，對于每個群集，搜索屬于它的最外層點(diǎn)，并使用這些點(diǎn)來近似３Ｄ 邊界框的大小。每個集群的估計(jì)３Ｄ 邊界框通過下式定義：

Ｚ ＝ （ｘ，ｙ，ｚ，ｖ，ｗ，ｈ，ｔ）∈ Ｒ７ ， （３）

式中：ｗ、ｈ、ｔ 分別是３Ｄ 邊界框的寬度、高度和厚度。

２． ３ 數(shù)據(jù)融合策略

上述點(diǎn)云聚類和跟蹤步驟生成了雷達(dá)坐標(biāo)和時間戳下的三維包圍盒［２１］。為了實(shí)現(xiàn)２ 個傳感器之間的融合，需要一個統(tǒng)一的坐標(biāo)系和時間戳。在空間上，在ｚ 軸上對三維包圍盒進(jìn)行切片，得到截面。然后將這些截面投影到二維圖像中。每個點(diǎn)的投影如下：

式中：Ｋ 是３×３ 相機(jī)的本征矩陣，Ｔ 是３×４ 的外征矩陣，（ｘ，ｙ，ｚ）是雷達(dá)坐標(biāo)系中的３Ｄ 位置，（ｕ，ｖ）是圖像中的投影像素位置。由于２ 個傳感器的相對位置是固定的，所以Ｋ 和Ｔ 都可以離線計(jì)算。為了實(shí)現(xiàn)時間同步，將每個圖像幀與其最近的雷達(dá)幀相關(guān)聯(lián)。

２． ４ ＲｏＩ-Ｗｉｓｅ 頭部

為了充分發(fā)揮雷達(dá)的檢測能力，同時保持從大規(guī)模圖像數(shù)據(jù)集中提取圖像特征的魯棒性，提出了一個ＲｏＩ，主要包括三部分：Ｒ-ＣＮＮ 子網(wǎng)、融合頭部和總體分類模塊。Ｒ-ＣＮＮ 子網(wǎng)利用從豐富的圖像數(shù)據(jù)中學(xué)習(xí)到的知識進(jìn)行回歸和分類。融合頭部將２ 種感知模式的置信度得分聚合起來，以獲得更可靠的預(yù)測。融合頭部和總體分類模塊不經(jīng)過圖像特征的訓(xùn)練，因此對圖像的敏感度較低，可以使用少量的多模態(tài)標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。將在２． ４． １ 節(jié)詳細(xì)說明這３ 個組件以及感興趣區(qū)域特征提取的步驟。

２． ４． １ 每個ＲｏＩ 的特征提取

ＲｏＩＷｉｓｅ 頭部以從圖像分支和雷達(dá)分支裁剪的每個特征圖作為輸入。

① 圖像特征提取。分離了基于圖像的檢測器的內(nèi)部特征，并使用單個１ ×１ 卷積層構(gòu)造了一個４９０ 通道的位置敏感得分圖。然后利用ＰＳ-ＲｏＩ 對齊層根據(jù)每個方塊的位置裁剪得分圖。對于每個感興趣區(qū)域，可以得到一個７×７×１０ 的特征映射。ＰＳ-ＲｏＩ 對齊的細(xì)節(jié)可以在文獻(xiàn)［８］中找到。

② 雷達(dá)特征提取。由于雷達(dá)點(diǎn)云在三維空間中分布稀疏且長度不確定，很難直接利用點(diǎn)云進(jìn)行空間特征提取。為了利用卷積層強(qiáng)大的空間特征提取能力，可以通過３ 個預(yù)處理步驟將非結(jié)構(gòu)化雷達(dá)點(diǎn)云編碼為二維圖像：一是將點(diǎn)云投影到二維圖像坐標(biāo)中；二是計(jì)算投影點(diǎn)云在ｚ 軸上的點(diǎn)個數(shù)、平均深度和平均速度３ 個通道上的二維直方圖；三是將每個通道上的值歸一化到［０，１］。通過這些步驟，可以獲得一個三通道熱圖。然后，這個３ 通道熱圖被送入３ 層ＣＮＮ 以提取占用特征圖，該特征圖嵌入目標(biāo)存在于每個位置的概率。然后，ＲｏＩ 對齊層對占用圖進(jìn)行裁剪，并生成每個ＲｏＩ 的雷達(dá)特征，其大小也是７×７×１０。

２． ４． ２ ＲＣＮＮ 子網(wǎng)

提出了一個輕量級的Ｒ-ＣＮＮ 子網(wǎng)，該子網(wǎng)的置信度分?jǐn)?shù)輸出將與雷達(dá)分支的信息進(jìn)一步融合。該模塊可以對基于圖像的目標(biāo)檢測器進(jìn)行了額外的提案細(xì)化階段，從而提高了檢測框定位和分類的精度。具體來說，首先將每個感興趣區(qū)域的圖像特征映射，應(yīng)用一個包含２５６ 個通道的全連接層，然后用２ 個相同的全連接層進(jìn)行回歸和分類。輸出分別為ＣＤ向量和（Ｃ＋１）－Ｄ 向量。

２． ４． ３ 融合頭部

雷達(dá)點(diǎn)云雖然稀疏且分辨率較低，但能給出目標(biāo)存在的強(qiáng)烈指示，是Ｒ-ＣＮＮ 子網(wǎng)置信度評分的重要補(bǔ)充。因此，應(yīng)用一個融合頭部來聯(lián)合考慮２ 種感知方式，以更好地估計(jì)前景信息。具體來說，對于每個感興趣區(qū)域的雷達(dá)特征，使用核大小為７×７ 和１×１ 的２ 個卷積層來提取全局表示，這也是雷達(dá)的置信度得分。然后，２ 種模式的置信度得分相加，并發(fā)送到一個Ｓｉｇｍｏｉｄ 層作為最終得分。

２． ４． ４ 總體分類

如圖４ 所示，Ｒ-ＣＮＮ 和融合頭部的輸出構(gòu)造了一個（Ｃ＋１）－Ｄ 向量，其維數(shù)與基于ＹＯＬＯｖ５ｓ 的目標(biāo)檢測器的輸出相同。為了將２ 個（Ｃ＋１）－Ｄ 結(jié)果結(jié)合起來進(jìn)行更可靠的分類，引入一個基于學(xué)習(xí)的集成模塊，其詳細(xì)結(jié)構(gòu)如表１ 所示。第一個全連接層融合來自２ 個輸入的信息，第二個全連接層捕獲不同類別之間的相關(guān)性。最后的Ｓｏｆｔｍａｘ 層輸出一個二維向量，迫使網(wǎng)絡(luò)在前景和背景之間做出決定。

２． ５ 訓(xùn)練策略與損失函數(shù)

多模態(tài)識別網(wǎng)絡(luò)支持圖像相關(guān)模塊和雷達(dá)相關(guān)模塊的分離訓(xùn)練。這一特性使多模態(tài)識別網(wǎng)絡(luò)能夠在不同的大型圖像數(shù)據(jù)集上學(xué)習(xí)可推廣的圖像特征，同時學(xué)習(xí)如何通過小的多模態(tài)數(shù)據(jù)集聯(lián)合利用雷達(dá)和相機(jī)數(shù)據(jù)［２２］。系統(tǒng)以三步走的方式進(jìn)行訓(xùn)練。首先，訓(xùn)練基于圖像的目標(biāo)檢測器；其次，固定目標(biāo)檢測器并訓(xùn)練Ｒ-ＣＮＮ 子網(wǎng)，使用與Ｆａｓｔｅｒ Ｒ-ＣＮＮ 相同的損失函數(shù)［２３］。由于上述２ 個步驟只涉及圖像數(shù)據(jù)，所以可以在大規(guī)模的圖像數(shù)據(jù)集上進(jìn)行。前２ 個訓(xùn)練階段是在ＭＳＣＯＣＯ 和ＥＸＤＡＲＫ 的混合數(shù)據(jù)集上進(jìn)行的，而第三個訓(xùn)練階段是使用本文自采集的多模態(tài)數(shù)據(jù)集進(jìn)行。對于訓(xùn)練中參數(shù)的選擇，本文使用了Ａｄａｍ 優(yōu)化器，其初始學(xué)習(xí)率設(shè)置為１０－４ ，ｂａｔｃｈ ｓｉｚｅ 設(shè)置為３２，焦點(diǎn)損失中的γ 設(shè)置為２，α 設(shè)置為０． ７５，用于平衡正負(fù)樣本的貢獻(xiàn)，所有實(shí)驗(yàn)的ＮＭＳ 閾值都被設(shè)置為為０． ５。

在對多模態(tài)數(shù)據(jù)集進(jìn)行訓(xùn)練時，要求神經(jīng)網(wǎng)絡(luò)最小化的目標(biāo)函數(shù)包括２ 個項(xiàng)。首先，集成模塊確定特征圖上的框是否應(yīng)該保留，這是一個回歸問題。因此，這里使用焦點(diǎn)損失［２４］，定義為：

式中：ｙｉ∈［０，１］為關(guān)于保持或放棄特征圖上的框，ｐｉ為從系統(tǒng)中預(yù)測的置信度得分，α 為平衡正負(fù)樣本的因子，γ 為訓(xùn)練時強(qiáng)調(diào)正負(fù)的調(diào)制因子。該損失項(xiàng)僅針對來自基于圖像的檢測器的框計(jì)算，因?yàn)閬碜曰诶走_(dá)的跟蹤器反饋的信息不涉及集成模塊。

為了迫使融合模塊模仿二元分類器的行為，以生成關(guān)于所提出的特征圖上的框是否為正實(shí)例的可靠置信度分?jǐn)?shù)，使用二元交叉熵（Ｂｉｎａｒｙ Ｃｒｏｓｓ-Ｅｎｔｒｏ-ｐｙ，ＢＣＥ）損失：

ＬＢＣＥ，ｉ ＝ － ｙｉ ｌｂ ｑｉ， （６）

式中：ｑｉ 為融合模塊預(yù)測的置信度得分。為了訓(xùn)練的穩(wěn)定性，只計(jì)算正負(fù)２ 個樣本的損耗，２ 個樣本的交并比（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｕｎｉｏｎ，ＩｏＵ）分別大于０． ７ 或小于０． ３。為了平衡多任務(wù)訓(xùn)練，最終損失是上述２ 項(xiàng)的加權(quán)和：

３ 實(shí)驗(yàn)和結(jié)果

本節(jié)介紹實(shí)驗(yàn)設(shè)置，并通過大量的實(shí)驗(yàn)來驗(yàn)證本系統(tǒng)的性能和優(yōu)勢。

３． １ 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)硬件環(huán)境為Ｉｎｔｅｒ Ｃｏｒｅ ｉ７ 處理器，主頻２． ５ ＧＨｚ，內(nèi)存１６ ＧＢ；顯卡為ＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ３０９０，顯存２４ ＧＢ；操作環(huán)境為Ｕｂｕｎｔｕ２０． ０４；訓(xùn)練環(huán)境為Ｐｙｔｏｒｃｈ 框架。

以下實(shí)驗(yàn)共涉及３ 個數(shù)據(jù)集，分別是微軟團(tuán)隊(duì)提供的ＭＳＣＯＣＯ、專用暗圖像數(shù)據(jù)集ＥＸＤＡＲＫ 以及自行制作的多模態(tài)數(shù)據(jù)集。為了更加直觀，進(jìn)行了總結(jié)，并展示了一些示例圖像，數(shù)據(jù)集要素如表２ 所示。

ＭＳＣＯＣＯ 數(shù)據(jù)集全稱為Ｍｉｃｒｏｓｏｆｔ Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓｉｎ Ｃｏｎｔｅｘｔ（ＭＳＣＯＣＯ），是一個大規(guī)模的對象檢測、分割、關(guān)鍵點(diǎn)檢測和字幕數(shù)據(jù)集。在本文中，為了與專用暗圖像數(shù)據(jù)集相對應(yīng)，使用了一個包含１４０ ８９７ 張圖像的ＭＳＣＯＣＯ 子數(shù)據(jù)集，示例如圖５ 所示。

ＥＸＤＡＲＫ 是一個完全由微光圖像組成的數(shù)據(jù)集，在現(xiàn)實(shí)生活的各種場景中共收集了７ ３６３ 張光照強(qiáng)度很低的圖像。標(biāo)簽在邊界框和圖像類別上進(jìn)行注釋。該數(shù)據(jù)集中包含的１２ 個類別是ＭＳＣＯＣＯ數(shù)據(jù)集的８０ 個類別的子集，示例如圖５ 所示。

自采數(shù)據(jù)集是一個單類的人體檢測數(shù)據(jù)集。在采集過程中，讓志愿者隨機(jī)走在傳感器前面。在４ Ｈｚ 下對關(guān)鍵幀進(jìn)行采樣，最終得到１ ９２０ 幀圖像和毫米波雷達(dá)的點(diǎn)云數(shù)據(jù)。用二維包圍框?qū)γ恳粋€圖像關(guān)鍵幀進(jìn)行標(biāo)注。為了涵蓋不同的配置，在７ 個不同的位置收集數(shù)據(jù)，包括實(shí)驗(yàn)室、圖書館廣場、室內(nèi)大廳和２ 棟建筑的半開放平臺等等，示例如圖６ 所示。光照強(qiáng)度由常規(guī)光，暗光，微光到完全黑暗逐漸降低，４ 個光照水平均勻地分布在數(shù)據(jù)集中。每個圖像中包含１ ～ ５ 個人，７ 個不同位置分別使用字母ａ ～ ｇ 表示，自采數(shù)據(jù)集的詳細(xì)分布如圖７ 所示。

３． ２ 評估指標(biāo)

根據(jù)目標(biāo)檢測預(yù)測情況可分為正樣本和負(fù)樣本，真實(shí)情況可能為正例和反例。

預(yù)測結(jié)果可分為４ 類：

① Ｔｒｕｅ Ｐｏｓｉｔｉｖｅｓ（ＴＰ）：預(yù)測情況為正樣本，真實(shí)情況為正例；

② Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅｓ（ＦＰ）：預(yù)測情況為正樣本，真實(shí)情況為反例；

③ Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ（ＦＮ）：預(yù)測情況為負(fù)樣本，真實(shí)情況為正例；

④ Ｔｒｕｅ Ｎｅｇａｔｉｖｅ（ＴＮ）：預(yù)測情況為負(fù)樣本，真實(shí)情況為反例。

召回率（Ｒｅｃａｌｌ，Ｒ）表示正例中被檢測為正樣本的比例；準(zhǔn)確率（Ｐｒｅｃｉｓｉｏｎ，Ｐ）表示檢測為正樣本的樣本中正例的占比。計(jì)算如下：

Ｒ ＝ ＴＰ／ＴＰ ＋ ＦＮ， （８）

Ｐ ＝ ＴＰ／ＴＰ ＋ ＦＰ。（９）

通常情況下可以通過調(diào)節(jié)真實(shí)框和預(yù)測框的ＩｏＵ 閾值來改變準(zhǔn)確率和召回率。單獨(dú)用召回率或準(zhǔn)確率是不合理的，以召回率為橫坐標(biāo)，準(zhǔn)確率為縱坐標(biāo)做出Ｐ-Ｒ 曲線，可以看出對于一個目標(biāo)檢測模型準(zhǔn)確率和召回率是一對矛盾量。一般情況下使用Ｐ-Ｒ 曲線和坐標(biāo)軸圍起來的面積大小即平均精度（Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ＡＰ）值來衡量一個目標(biāo)檢測模型性能優(yōu)劣。在多目標(biāo)檢測時也會使用全類平均精度（ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ｍＡＰ）值作為衡量目標(biāo)檢測模型精度的指標(biāo)，其值為每一個類別的ＡＰ 值的均值。Ｆ１ 得分通常用于描述模型是否在召回率和精確率之間取得了良好的平衡：

Ｆ１ ＝ ２ × Ｒ × Ｐ／Ｒ ＋ Ｐ 。（１０）

值得注意的是，ｍＡＰ 與置信度閾值呈負(fù)相關(guān)，因?yàn)檩^高的置信度得分更早地截?cái)嗔耍校?曲線，而ＡＰ 依賴于ＰＲ 曲線以下的區(qū)域。因此，通常的做法是將置信度閾值設(shè)置得盡可能?。ɡ纾埃?１），以最大化映射上限。但是，像０． １ 這樣非常低的置信度閾值會導(dǎo)致大量的誤報(bào)，并且不適用于現(xiàn)實(shí)世界中的應(yīng)用程序。取而代之的是，一個適度的置信度閾值通常被用來平衡查全率和查準(zhǔn)率。因此，可以在不同的置信度閾值下測試ｍＡＰ 和Ｆ１ 的得分，以衡量模型的整體性能。

３． ３ 對比實(shí)驗(yàn)與結(jié)果分析

３． ３． １ 對比實(shí)驗(yàn)

本文采用相互競爭的方式驗(yàn)證多模態(tài)識別網(wǎng)絡(luò)的性能。

（１）ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ

作為ＹＯＬＯｖ５ 的輕量級版本，ＹＯＬＯｖ５ｓ 非常適合移動設(shè)備。為了讓檢測器同時學(xué)習(xí)白天和夜間的特征，在ＭＳＣＯＣＯ 和ＥＸＤＡＲＫ 的混合數(shù)據(jù)集上訓(xùn)練ＹＯＬＯｖ５ｓ，并將此Ｂａｓｅｌｉｎｅ 命名為ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ。因?yàn)樽圆杉瘮?shù)據(jù)集的類別（即Ｐｅｒｓｏｎ）包含在ＭＳＣＯＣＯ ／ ＥＸＤＡＲＫ 的１２ 個類別中，所以可以直接使用ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ 并在自收集數(shù)據(jù)集上測試。對于ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ，在訓(xùn)練過程中只使用圖像數(shù)據(jù)。同時，為了更好地驗(yàn)證多模態(tài)識別網(wǎng)絡(luò)的性能，采用與ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ 相同的訓(xùn)練方式訓(xùn)練ＦａｓｔｅｒＲ-ＣＮＮ，并將其命名為Ｆ-ＲＣＮＮ-Ｍｉｘｅｄ。

（２）簡單融合

最近深度相機(jī)和雷達(dá)融合方法通常遵循端到端范式。在文獻(xiàn)［９］中，雷達(dá)和圖像數(shù)據(jù)直接送入ＣＮＮ，通過級聯(lián)操作實(shí)現(xiàn)融合。作為Ｂａｓｅｌｉｎｅ，遵循這一思想，設(shè)計(jì)了一個簡單的融合檢測器，其方法如圖８ 所示。除了一個額外的雷達(dá)分支和相應(yīng)的串聯(lián)操作之外，它與ＹＯＬＯｖ５ｓ 以及Ｆａｓｔｅｒ Ｒ-ＣＮＮ 相似。

本文采用相互競爭的方式驗(yàn)證多模態(tài)識別網(wǎng)絡(luò)的性能。分別將基于圖像的單階段目標(biāo)檢測器ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ 和二階段目標(biāo)檢測器Ｆ-ＲＣＮＮ-Ｍｉｘｅｄ 與基于雷達(dá)的對象跟蹤器進(jìn)行簡單融合，再與本文提出的多模態(tài)識別網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn)來驗(yàn)證系統(tǒng)的有效性。實(shí)驗(yàn)結(jié)果如圖９（黃色曲線顯示了ＹＯＬＯｖ５ｓ 的Ｆ１ 得分，ｘ 軸表示設(shè)置給ＹＯＬＯｖ５ｓ 的置信度閾值。為了更好地可視化效果，圖像的ｙ 軸范圍是不同的）和圖１０ （黃色曲線顯示了ＦａｓｔｅｒＲ-ＣＮＮ 的Ｆ１ 得分，ｘ 軸表示設(shè)置給Ｆａｓｔｅｒ Ｒ-ＣＮＮ的置信度閾值）所示。

圖９ 和圖１０ 總結(jié)對比了實(shí)驗(yàn)中各個模型的總體性能。顯然，簡單融合的性能明顯不如其他２ 種方法，而ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ 算法具有很高的泛化能力，并在大規(guī)模的常規(guī)光數(shù)據(jù)集ＭＳＣＯＣＯ 和暗光數(shù)據(jù)集ＥＸＤＡＲＫ 上進(jìn)行訓(xùn)練，獲得了更高的ｍＡＰ。在常規(guī)光照條件下，ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ 的性能已經(jīng)非常顯著，因?yàn)楸疚淖杂袛?shù)據(jù)集在物體大小、密度和多樣性方面都是低難度的。然而在弱光子數(shù)據(jù)集上，多模態(tài)識別網(wǎng)絡(luò)在雷達(dá)的幫助下比ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ有更大的優(yōu)勢。具體來看，當(dāng)ＩｏＵ 閾值較低（例如０． ５）時，大部分改進(jìn)歸功于基于雷達(dá)的對象跟蹤器，這意味著基于雷達(dá)的對象跟蹤器追蹤到了一些被ＹＯＬＯｖ５ｓ 忽略的真實(shí)框，盡管其位置并不是很準(zhǔn)確。當(dāng)設(shè)置更高的ＩｏＵ 閾值為０． ７ 時，ＲｏＩ-Ｗｉｓｅ 頭部獲得了更高的改進(jìn)，驗(yàn)證了ＲｏＩ-Ｗｉｓｅ 頭部對框位置調(diào)整的有效性。此外，隨著置信度閾值的提高，ＹＯＬＯｖ５ｓ 將產(chǎn)生更少的候選框，從而使基于雷達(dá)的對象跟蹤器獲得更多的使用空間。

在實(shí)際應(yīng)用中，可以選擇一個合適的置信度閾值來平衡召回率和準(zhǔn)確度。在微光情況下，根據(jù)Ｆ１ 得分曲線，合適的置信度閾值在０． ２ 左右，表３ 為在該置信度閾值下，在ＩｏＵ 閾值為０． ５ 和０． ７ 時的檢測精度對比?？梢钥闯觯嗄B(tài)識別網(wǎng)絡(luò)的檢測精度較ＹＯＬＯｖ５ｓ-Ｍｉｘｅｄ 和Ｆ-ＲＣＮＮ-Ｍｉｘｅｄ 分別提高了１１． ５％ 、６． １％ 和１６． ８％ 、８． ５％ 。

總之，在訓(xùn)練數(shù)據(jù)不足的情況下，簡單融合方法的泛化能力和適應(yīng)性較差。這一缺點(diǎn)阻礙了其在實(shí)際場景中的應(yīng)用。相反，多模態(tài)識別網(wǎng)絡(luò)可以從豐富多樣的圖像數(shù)據(jù)集中受益，即使只有少量的多模態(tài)訓(xùn)練數(shù)據(jù)，也對部署場景有很強(qiáng)的適應(yīng)性。

３． ３． ２ 模型性能分析

為了更加客觀、全面評價多模態(tài)識別網(wǎng)絡(luò)的綜合性能，所有網(wǎng)絡(luò)均使用ＭＳＣＯＣＯ 和ＥＸＤＡＲＫ數(shù)據(jù)集進(jìn)行訓(xùn)練，測試集為ＥＸＤＡＲＫ 數(shù)據(jù)集的１ ／ １０，在檢測精度、模型占用內(nèi)存、浮點(diǎn)運(yùn)算次數(shù)和檢測速度等方面，與其他多種目標(biāo)檢測模型進(jìn)行對比，統(tǒng)一使用輸入圖片尺寸為３ × ６４０ ｐｉｘｅ ×６４０ ｐｉｘｅ，結(jié)果如表４ 所示。由于多模態(tài)識別網(wǎng)絡(luò)是兩階段檢測系統(tǒng)，且主要針對于暗光情況，所以其占用內(nèi)存、浮點(diǎn)運(yùn)算次數(shù)以及每秒傳輸幀數(shù)均略低于ＹＯＬＯｖ５ｓ，但是與其他模型相比，各項(xiàng)性能均獲得了較大提升，在ＧＰＵ 上檢測幀率達(dá)到４１． ７ 幀／ ｓ，可以滿足實(shí)時檢測要求?？傮w來說，多模態(tài)識別網(wǎng)絡(luò)保持了ＹＯＬＯｖ５ｓ 的高處理速度，且在具有挑戰(zhàn)的暗光場景中，獲得了比當(dāng)前最先進(jìn)的基于圖像的目標(biāo)檢測器更優(yōu)良的檢測性能。

３． ４ 檢測結(jié)果

以上模型在測試集部分圖像上的檢測結(jié)果對比如圖１１ 所示，圖例為３ 個處于暗光環(huán)境下的人體，部分目標(biāo)與背景區(qū)分度較低，檢測難度較高?？梢钥闯?，Ｆａｓｔｅｒ Ｒ-ＣＮＮ 模型全部誤檢，ＹＯＬＯｖ３、ＹＯＬＯｖ４、ＹＯＬＯｖ５ｓ、ＹＯＬＯｖ５ｌ 模型均存在不同程度的漏檢和誤檢，ＹＯＬＯｖ７ 模型和多模態(tài)識別網(wǎng)絡(luò)均檢測出全部目標(biāo)，其中多模態(tài)識別網(wǎng)絡(luò)預(yù)測框定位較精確，檢測到的目標(biāo)置信度更高。

４ 結(jié)束語

針對微光條件下物體檢測困難的問題，本文提出了一種基于ＹＯＬＯｖ５ｓ 的微光環(huán)境下的目標(biāo)檢測模型———多模態(tài)識別網(wǎng)絡(luò)。該系統(tǒng)通過引入基于雷達(dá)的目標(biāo)跟蹤器提高了對微光環(huán)境下物體的檢測能力；構(gòu)建ＲｏＩ-Ｗｉｓｅ 模塊提高整個模型的精度；使用焦點(diǎn)損失和ＢＣＥ 損失的加權(quán)和減少訓(xùn)練損耗。同時，為了驗(yàn)證多模態(tài)識別網(wǎng)絡(luò)在不同光照條件下的性能，收集并制作了用于雷達(dá)和相機(jī)融合的多模態(tài)數(shù)據(jù)集。經(jīng)大量實(shí)驗(yàn)驗(yàn)證，本文提出的多模態(tài)識別網(wǎng)絡(luò)在微光條件下，檢測平均精度均值為７６． ６％ ，檢測速度達(dá)到４１． ７ 幀／ ｓ。與ＹＯＬＯｖ３、ＹＯＬＯｖ４、ＹＯＬＯｖ５ｌ、ＹＯＬＯｖ５ｓ、ＹＯＬＯｖ７、Ｆａｓｔｅｒ Ｒ-ＣＮＮ 等模型相比，較好地平衡了檢測精度與檢測速度，兼顧了檢測實(shí)時性需要和較高的檢測精度，降低了模型部署難度，具有更好的檢測性能。

參考文獻(xiàn)

［１］ ＧＩＲＳＨＩＣＫ Ｒ． Ｆａｓｔ ＲＣＮＮ［Ｃ］∥２０１５ ＩＥＥＥ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）． Ｓａｎｔｉａｇｏ：ＩＥＥＥ，２０１５：１４４０－１４４８．

［２］ ＲＥＤＭＯＮ Ｊ，ＤＩＶＶＡＬＡ Ｓ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔ ａｌ． Ｙｏｕ ＯｎｌｙＬｏｏｋ Ｏｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ［Ｃ］∥２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）． Ｌａｓ Ｖｅｇａｓ：ＩＥＥＥ，２０１６：７７９－７８８．

［３］ ＣＨＥＮ Ｍ Ｊ，ＬＡＮ Ｚ Ｘ，ＤＵＡＮ Ｚ Ｘ，ｅｔ ａｌ． ＨＤＳＹＯＬＯｖ５：Ａｎ Ｉｍｐｒｏｖｅｄ Ｓａｆｅｔｙ Ｈａｒｎｅｓｓ Ｈｏｏｋ Ｄｅｔｅｃｔｉｏｎ ＡｌｇｏｒｉｔｈｍＢａｓｅｄ ｏｎ ＹＯＬＯｖ５ｓ ［Ｊ］． Ｍａｔｈｅｍａｔｉｃａｌ Ｂｉｏｓｃｉｅｎｃｅｓ ａｎｄＥｎｇｉｎｅｅｒｉｎｇ，２０２３，２０（８）：１５４７６－１５４９５．

［４］ 甄然，劉穎，孟凡華，等． 基于ＹＯＬＯｖ５ 的輕量化目標(biāo)檢測算法［Ｊ］． 無線電工程，２０２３，５３（６）：１２４２－１２５０．

［５］ 邱天衡，王玲，王鵬，等． 基于改進(jìn)ＹＯＬＯｖ５ 的目標(biāo)檢測算法研究［Ｊ］． 計(jì)算機(jī)工程與應(yīng)用，２０２２，５８ （１３ ）：６３－７３．

［６］ ＫＲＩＺＨＥＶＳＫＹ Ａ，ＳＵＴＳＫＥＶＥＲ Ｉ，ＨＩＮＴＯＮ Ｇ Ｅ．ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＮｅｕｒａｌＮｅｔｗｏｒｋｓ［Ｊ］． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，２０１７，６０（６）：８４－９０．

［７］ ＬＩＮ Ｔ Ｙ，ＭＡＩＲＥ Ｍ，ＢＥＬＯＮＧＩＥ Ｓ，ｅｔ ａｌ． ＭｉｃｒｏｓｏｆｔＣＯＣＯ：Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ ［Ｃ ］∥ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎＥＣＣＶ ２０１４． Ｚｕｒｉｃｈ：Ｓｐｒｉｎｇｅｒ，２０１４：７４０－７５５．

［８］ ＣＡＥＳＡＲ Ｈ，ＢＡＮＫＩＴＩ Ｖ，ＬＡＮＧ Ａ Ｈ，ｅｔ ａｌ． ｎｕＳｃｅｎｅｓ：ＡＭｕｌｔｉｍｏｄａｌ Ｄａｔａｓｅｔ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ ［ＥＢ ／ ＯＬ］．（２０１９－０３－２６）［２０２３－０８－０１］． ｈｔｔｐｓ：∥ａｒｉｘｉｖ． ｏｒｇ ／ ａｂｓ ／１９０３． １１０２７．

［９］ ＣＨＯ Ｈ，ＳＥＯ Ｙ Ｗ，ＫＵＭＡＲ Ｂ Ｖ Ｋ Ｖ，ｅｔ ａｌ． Ａ Ｍｕｌｔｉｓｅｎｓｏｒ Ｆｕｓｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｖｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄＴｒａｃｋｉｎｇ ｉｎ Ｕｒｂａｎ Ｄｒｉｖｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ［Ｃ］∥２０１４ ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）． Ｈｏｎｇ Ｋｏｎｇ：ＩＥＥＥ，２０１４：１８３６－１８４３．

［１０］ ＷＡＮＧ Ｘ，ＸＵ Ｌ Ｈ，ＳＵＮ Ｈ Ｂ，ｅｔ ａｌ． Ｏｎｒｏａｄ Ｖｅｈｉｃｌｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ ＭＭＷ Ｒａｄａｒ ａｎｄ ＭｏｎｏｖｉｓｉｏｎＦｕｓｉｏｎ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ ＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍｓ，２０１６，１７（７）：２０７５－２０８４．

［１１］ ＣＨＡＤＷＩＣＫ Ｓ，ＮＥＷＭＡＮ Ｐ． Ｒａｄａｒ ａｓ ａ Ｔｅａｃｈｅｒ：ＷｅａｋｌｙＳｕｐｅｒｖｉｓｅｄ Ｖｅｈｉｃｌｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｒａｄａｒ Ｌａｂｅｌｓ［Ｃ］∥２０２０ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）． Ｐａｒｉｓ：ＩＥＥＥ，２０２０：２２２－２２８．

［１２］ ＦＥＮＧ Ｄ，ＳＣＨＴＺ Ｃ Ｈ，ＲＯＳＥＮＢＡＵＭ Ｌ，ｅｔ ａｌ． ＤｅｅｐＭｕｌｔｉｍｏｄａｌ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ： Ｄａｔａｓｅｔｓ， Ｍｅｔｈｏｄｓ， ａｎｄＣｈａｌｌｅｎｇｅｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ，２０２１，２２（３）：１３４１－１３６０．

［１３］ 黃志忠． 基于ＳＴＦＴ 的汽車?yán)走_(dá)抗干擾處理方法［Ｊ］．無線電工程，２０２１，５１（４）：３１３－３１７．

［１４］ 朱玉剛． 基于深度學(xué)習(xí)的復(fù)雜環(huán)境下多目標(biāo)檢測方法研究［Ｄ］． 杭州：杭州電子科技大學(xué)，２０１９．

［１５］ 吳貽杰，賈浩男． 基于多傳感器信息融合的障礙物感知追蹤系統(tǒng)設(shè)計(jì)［Ｊ］． 無線電工程，２０２３，５３ （５ ）：１０６８－１０７７．

［１６］ 陳映謙． 基于信息融合的夜間行駛車輛檢測研究［Ｄ］．廣州：廣東工業(yè)大學(xué)，２０２２．

［１７］ ＬＩ Ｚ Ｍ，ＰＥＮＧ Ｃ，ＹＵ Ｇ，ｅｔ ａｌ． Ｌｉｇｈｔｈｅａｄ ＲＣＮＮ：Ｉｎ Ｄｅｆｅｎｓｅ ｏｆ Ｔｗｏｓｔａｇｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ［ＥＢ ／ ＯＬ］． （２０１７－１１－２０）［２０２３－０７－２０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ／ １７１１． ０７２６４．

［１８］ ＨＥ Ｋ Ｍ，ＧＫＩＯＸＡＲＩ Ｇ，ＤＯＬＬ？Ｒ Ｐ，ｅｔ ａｌ． Ｍａｓｋ ＲＣＮＮ［Ｃ］∥２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ （ＩＣＣＶ）． Ｖｅｎｉｃｅ：ＩＥＥＥ，２０１７：２９８０－２９８８．

［１９］ 梁晨晨，田金鵬，宋春林． 基于雷達(dá)和攝像頭傳感器融合的輔助駕駛目標(biāo)檢測算法［Ｊ］． 信息技術(shù)與信息化，２０２１（１２）：５－９．

［２０］ ＣＨＡＤＷＩＣＫ Ｃ，ＭＡＤＤＥＲＮ Ｗ，ＮＥＷＭＡＮ Ｐ． ＤｉｓｔａｎｔＶｅｈｉｃｌｅ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｒａｄａｒ ａｎｄ Ｖｉｓｉｏｎ［Ｃ］∥２０１９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）． Ｍｏｎｔｒｅａｌ：ＩＥＥＥ，２０１９：８３１１－８３１７．

［２１］ ＥＳＴＥＲ Ｍ，ＫＲＩＥＧＥＬ Ｈ Ｐ，ＳＡＮＤＥＲ Ｊ，ｅｔ ａｌ． Ａ ＤｅｎｓｉｔｙＢａｓｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｄｉｓｃｏｖｅｒｉｎｇ Ｃｌｕｓｔｅｒｓ ｉｎ Ｌａｒｇｅ ＳｐａｔｉａｌＤａｔａｂａｓｅｓ ｗｉｔｈ Ｎｏｉｓｅ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ ＤａｔａＭｉｎｉｎｇ． Ｐｏｒｔｌａｎｄ：ＡＡＡＩ，１９９６：２２６－２３１．

［２２］ 賈文博． 基于雷達(dá)與視覺融合的車輛檢測方法研究［Ｄ］． 大連：大連理工大學(xué)，２０２１．

［２３］ ＫＵＨＮ Ｈ Ｗ． Ｔｈｅ Ｈｕｎｇａｒｉａｎ Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ＡｓｓｉｇｎｍｅｎｔＰｒｏｂｌｅｍ［Ｊ］． Ｎａｖａｌ Ｒｅｓｅａｒｃｈ Ｌｏｇｉｓｔ，２０１０，５２（１）：７－２１．

［２４］ ＬＩＮ Ｔ Ｙ，ＧＯＹＡＬ Ｐ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔ ａｌ． Ｆｏｃａｌ Ｌｏｓｓ ｆｏｒＤｅｎｓｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２０，４２（２）：３１８－３２７．

作者簡介

吳學(xué)禮 男，（１９６１—），博士，教授。主要研究方向：智能控制和無人機(jī)風(fēng)險(xiǎn)規(guī)避。

趙俊棋 男，（１９９９—），碩士研究生。主要研究方向：圖像識別、目標(biāo)檢測。

劉雨涵 男，（１９９７—），碩士研究生。主要研究方向：圖像識別、目標(biāo)檢測。

（通信作者）甄 然 女，（１９７１—），碩士，教授。主要研究方向：非線性系統(tǒng)的智能控制。

基金項(xiàng)目：國家自然科學(xué)基金（６２００３１２９）；河北省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（１９２５０８０１Ｄ）