亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于孿生網絡的無人機目標多模態(tài)融合檢測

        2023-07-31 02:53:58韓自強岳明凱
        紅外技術 2023年7期
        關鍵詞:紅外卷積模態(tài)

        韓自強,岳明凱,張 驄,高 棋

        基于孿生網絡的無人機目標多模態(tài)融合檢測

        韓自強,岳明凱,張 驄,高 棋

        (沈陽理工大學 裝備工程學院,遼寧 沈陽 110159)

        為解決小型無人機“黑飛”對公共領域的威脅問題?;跓o人機目標多模態(tài)圖像信息,文中提出一種輕量化多模態(tài)自適應融合孿生網絡(Multimodal adaptive fusion Siamese network,MAFS)。設計一種全新的自適應融合策略,該模塊通過定義兩個模型訓練參數賦予不同模態(tài)權重以實現自適應融合;本文在Ghost PAN基礎上進行結構重建,構建一種更適合無人機目標檢測的金字塔融合結構。消融實驗結果表明本文算法各個模塊對無人機目標檢測精度均有提升,多算法對比實驗結果表明本文算法魯棒性更強,與Nanodet Plus-m相比檢測時間基本不變的情況下mAP提升9%。

        無人機;輕量化;孿生網絡;自適應融合策略;多模態(tài)圖像

        0 引言

        無人機因其具有造價低、安全風險系數小和機動性強等優(yōu)點在軍民領域有著廣泛的應用[1-3]。然而無人機的“黑飛”、“濫飛”現象日益增多對社會公共安全構成嚴重威脅。無人機目標具有飛行高度低、速度慢等特點,這使得通過傳統(tǒng)雷達和無線電檢測方法變得困難且成本高;基于聲音檢測無人機受噪聲干擾較大且檢測不明顯。除上述方法外,基于二維圖像數據的數據驅動方法也逐漸應用于無人機檢測中并取得了較好的效果。

        基于數據驅動的目標檢測方法主要以可見光圖像作為輸入源,但隨著檢測場景的復雜化和多元化僅靠單一的可見光圖像作為輸入無法有效獲取圖像中目標信息[4-5]。由于紅外成像設備主要利用目標輻射或反射的能量成像,與可見光圖像相比它不受光照影響,但存在圖像紋理特征缺失嚴重、對比度與分辨率低等情況。因此需要設計一種多模態(tài)目標檢測算法充分利用可見光圖像提供的紋理信息和紅外圖像提供的熱輻射信息,進而提升無人機目標檢測準確度。

        孿生網絡是一類包含2個或多個分支的神經網絡架構,各個分支共享網絡參數。孿生網絡通常以多個樣本作為輸入,利用輸出結果實現多樣本輸入特征融合。孿生網絡多用于計算機視覺領域。在目標檢測領域有學者提出一種基于YOLOv2的輕量級目標檢測模型[6],首先通過共享權重的特征提取網絡提取多分支輸入圖像特征,之后利用注意力模塊實現多特征融合。在目標跟蹤領域中,基于孿生網絡的目標跟蹤算法如Siamese FC[7],只使用離線訓練的模型對目標區(qū)域和模板區(qū)域進行相似度匹配,不需要在跟蹤過程中對模型進行實時更新。利用孿生網絡架構可以極大地提升算法推理效率,實現實時性目標檢測或目標跟蹤。同時利用多分支輸入特征,可以提高算法在目標檢測領域中的檢測精度。

        根據融合階段的不同可以將檢測融合算法分為3類,分別為像素級融合檢測、特征級融合檢測和決策級融合檢測[8]。像素級融合檢測就是先將紅外與可見光圖像進行融合,再對融合后的圖像進行檢測。這種方法好處是檢測與融合完全分開可以使用已有的融合算法處理圖像,但往往也會產生大量的數據冗余增加了檢測時間和后續(xù)檢測的難度。白玉、寧大海等[9-11]使用決策級融合檢測,首先采用卷積神經網絡對可見光與紅外圖像分別進行目標檢測,再根據提出的融合策略對檢測結果進行融合,但該方法只是對檢測結果的融合,缺乏對目標特征信息的互補。馬野、解宇敏等[12-14]將可見光與紅外圖像同時輸入神經網絡后分別進行特征提取,然后進行目標檢測后輸出結果?,F有方法雖然在不同階段對紅外與可見光信息進行融合,但網絡結構的局限性導致檢測速度過慢且難以部署到檢測設備。

        本文利用孿生網絡架構提出一種多模態(tài)自適應融合無人機目標檢測算法(MAFSnet)。該算法首先通過共享卷積權重的輕量化孿生網絡分別提取紅外與可見光圖像的特征信息,接著將提取的特征按照指定的融合策略進行自適應融合。將融合后的特征信息通過改進的Ghost PAN結構實現多尺度信息交互,最后通過簡易檢測頭輸出最終的預測結果。

        1 特征融合檢測算法

        圖1展示了本文所提出的孿生網絡檢測模型架構。首先將RGB image和IR image作為輸入流輸入到兩個編碼器中,分別用于提取彩色圖像和深度圖像之間的特征。其中兩個編碼器結構共享權重以減少算法訓練參數數量,并且僅在訓練階段使用RGB Image流。接著將兩種模態(tài)的多層次編碼輸出進行特征融合輸出3種不同尺度大小的編碼圖。將融合輸出的結果進行1×1卷積計算使通道數量減少到96。接著本文在Nanodet Plus-m[15]算法的基礎上對Ghost PAN進行改進,設計適合多模態(tài)融合的金字塔式結構用于多尺度融合,將不同層次的融合結果進行維度拼接及元素求和后輸出4種不同尺寸大小的顯著性預測圖。本文將在下文給出各個網絡模塊的詳細信息。

        圖1 MAFS網絡模型

        1.1 編碼器結構

        輕量化網絡模型通過減小網絡結構復雜度來降低訓練后模型的大小,在幾乎對精度不造成影響的前提下以適應更多的應用場景。本文選擇Shufflenet-V2輕量化網絡作為Baseline。該網絡由Ma[16]等人在2018年設計并提出,其中Shufflenet-V1引入大量的分組卷積以降低模型參數量。接著在Shufflenet-V2中引入channel split和channel shuffle減少分組卷積帶來的負面影響并增加不同分支之間的信息交互。本文所使用網絡結構如表1所示。

        表1 編碼器組成結構

        在表1中,該編碼結構對輸入多模態(tài)圖像分別進行下采樣,本文選擇后三層下采樣輸出。其中Stage(=2,3,4)與Shuffenet-V2具有相同的結構。

        1.2 融合模塊

        在多模態(tài)自適應融合算法中,本文對3種不同融合策略進行嘗試,如圖2所示。

        圖2 多模態(tài)融合策略

        在圖2(a)(b)(c)中將提取之后的特征向量分別進行元素相加運算、點積運算和通道級聯(lián)操作。對于圖2(a)本文考慮雙模態(tài)權重可能會對最終檢測結果產生影響,然后分別對兩種不同模態(tài)進行加權。初始化兩個值為1的可訓練參數,然后分別與編碼圖進行矩陣數乘運算輸出結果,最后將數乘結果執(zhí)行矩陣數加計算,其輸出結果Fusionadd∈×W×H可以表示為:

        IR=ir[,:,:]∈[0,) (1)

        RGB=rgb[,:,:]∈[0,) (2)

        Fusionadd=×IR+×RGB (3)

        式中:分別為紅外特征圖和彩色特征圖權值系數,取正數;表示通道維度;IR和RGB分別表示兩種不同模態(tài)的特征張量。

        在圖2(b)將提取之后的特征圖進行點積運算,其輸出結果Fusionmul∈×W×可以表示為:

        Fusionmul=IR×RGB (4)

        在圖2(c)中首先進行通道級聯(lián)后使用1×1的卷積進行降維,其輸出結果Fusionconcat∈×W×可以表示為:

        Fusionconcat=1×1(IR, RGB) (5)

        式中:表示concatenation操作;表示1×1卷積計算。

        1.3 改進多尺度融合Ghost PAN模塊

        在MAFSnet中添加多尺度融合結構為了提高模型的特征提取能力和檢測精度。針對無人機目標較小的特點,進一步優(yōu)化特征融合層以及多尺度檢測層的特征尺度,使得訓練出來的檢測模型能夠更好地適應無人機目標檢測,同時提高模型的檢測速度。

        如圖3所示,本文在Nanodet Plus-m算法的基礎上對Ghost PAN進行改進。向多尺度融合模塊輸入3種不同分辨率大小和通道數的特征圖。首先經過一個卷積核大小為1×1的卷積層把通道數降到96,接著將輸出的結果分別進行上采樣和下采樣操作,并將采樣輸出進行拼接。最后將拼接的結果與1×1卷積層輸出進行下采樣后相加。使用多尺度融合方法提高不同采樣輸出之間的信息交互能力。

        1.4 損失函數

        由于無人機目標信噪比低造成訓練正樣本和負樣本數量嚴重不匹配,當目標被嚴重遮擋時容易導致漏檢情況發(fā)生,因此需要更加復雜的分布對邊界框進行建模。

        為解決樣本不匹配問題本文使用Generalized Focal Loss和GIOU Loss[17]對網絡進行損失計算,并針對不同損失函數設定不同的權重系數,整體損失計算公式如下:

        Loss=FLoss+FLoss+GIOULoss (6)

        式中:、表示權重系數,在文中實驗部分分別設置為1.0、0.25和2.0。

        2 實驗結果與分析

        2.1 實驗準備

        本次實驗使用Anti-UAV數據集的訓練集[18]和Anti-UAV競賽[19]的測試-開發(fā)數據集來訓練MAFSnet模型,使用采集的無人機紅外數據集進行驗證。其中訓練集的紅外圖像分辨率為640×512,RGB圖像分辨率為1960×1080。由于訓練數據集是視頻的連續(xù)幀,相鄰圖片差別不大,因此需要進行一定程度地數據調整。首先對于訓練集每10幀取一張圖片,并去掉其中不包含無人機的圖片。最后得到總共6830張用于訓練的圖片,其中4681是白天拍攝,2149張拍攝于夜晚。測試集采集于沈陽理工大學龍翔體育場如圖4所示,針對紅外視頻序列每20幀抽取一張圖像并使用LabelImg工具進行標注,制取測試集數目共687張。其中采集測試集與訓練集的圖片不存在重疊。

        圖3 改進的Ghost PAN

        圖4 部分測試集數據

        2.2 訓練環(huán)境及參數配置

        本實驗使用Pytorch框架,在ubuntu20.04上運行,具體配置如表2所示。

        表2 實驗配置

        本實驗采用MAFSnet模型進行訓練,訓練批次batch szie設置為32,訓練權重采用Shufflenet-V2.pth,共迭代100輪次,具體配置如表3所示。

        表3 算法實現的具體參數配置

        2.3 數值評估方法

        本文使用COCO評估指標來評估目標檢測部分的性能。由于無人機目標的尺寸小,當存在幾個像素的偏差時可能會引起較大的IoU波動。預測的邊界框和ground truth標簽之間的IoU為50%表示預測足夠合理,因此AP50可能是一個更有用和更公平的度量邊界框。另外本文還使用平均準確率(mean average precision,mAP)對MAFSnet算法進行性能評價以判別模型正確分類的能力。利用Latency、Flops和Params來檢驗算法的檢測效率以及參數數量和模型復雜度。

        2.4 消融實驗

        本文在該部分將逐步介紹如何從Nanodet Plus-m改進到MAFSnet。

        首先對1.2中不同融合策略進行實驗設計,在本文中提出了3種不同的策略來融合紅外圖像和彩色圖像的編碼特征。為了比較它們的有效性和差異,文中在同一基線中執(zhí)行不同的策略,并分別展示AP50和mAP的實驗結果。如表4所示,求和運算策略在所有指標上都取得了更好的性能。本文認為求和操作更適合多模態(tài)特征融合,而乘積和concatenation結果較差。因此本文使用求和運算策略執(zhí)行其余的消融實驗和對比實驗。由于本文只在訓練階段進行多模態(tài)特征融合,且不同的融合策略不會對推理階段產生影響,因此不會影響到模型的計算量和模型參數。

        表4 多模態(tài)融合策略

        如表5顯示,針對不同模態(tài)設置不同權重對mAP和AP50的影響很大。未加入權重參數時AP50為80.60%,設置不同的權重參數后AP50可以達到83.00%,提升了3.0%。其中1:1的權重比例效果最差,因此本文認為針對不同模態(tài)設置不同權重比例是很有必要的。由于在算法驗證階段采用的是紅外圖像,所以會導致1:的AP50(81.69%)要優(yōu)于:1(80.71%),提升了1.2%。不同的權重系數會產生不同的檢測結果。在實驗部分,本文將初始化為1并將它們作為可訓練參數,它們是一種通過數據迭代進行自動學習的變量。利用隨機梯度下降的方法(即優(yōu)化器SGD)不斷調整自身數值使模型的損失(預測值和真實值之間的誤差)最小,從而獲得更好的檢測結果。以自主學習的方式加權融合紅外和可見光特征,可以保證網絡在引入豐富特征信息的同時,盡可能降低噪聲干擾。

        如表6所示,本文分別控制添加損失函數,用于評估損失函數對檢測精度的影響。加入GFLoss后MAFSnet的mAP為37.24%,當替換GIoULoss后mAP下降了0.37%。本文認為GFLoss更適合小目標檢測任務,當檢測目標較小時會導致正負樣本嚴重不匹配,從而預測一個不可信且質量極高的分數。而多損失函數可以提高模型性能,因此本文同時使用兩種損失函數訓練MAFSnet,提高算法魯棒性。其中多損失函數的損失權重與NanoDet-Plus[15]一致。

        表5 多模態(tài)融合的權重因子

        表6 損失函數

        如表7所示,本文首先嘗試將MAFSnet與Ghost PAN相結合,在保證模型參數和推理時間不變的情況下mAP提升了3.2%,添加前后的mAP分別為35.14%和36.26%。本文認為采用多模態(tài)融合對無人機檢測精度的提升是有效的。接著本文對Ghost PAN進行改進,對于該模塊本文首先進行結構重建形成新的PAN結構,在推理時間基本不變的前提下mAP提升4.2%,其中模型改進前后的mAP分別為36.26%和37.79%。如圖3中conv1×1模塊,本文采用共享卷積權重和非共享卷積權重兩種方法進行實驗,在表7中“*”代表非共享卷積權重。由表可知使用非共享卷積權重的mAP為38.26%,使用共享卷積權重的mAP為37.79%,提升了1.2%。實驗數據表明在模型復雜度基本不變的前提下,本文所設計的模塊實現了無人機目標檢測精度的提高。

        表7 改進Ghost PAN的消融實驗結果

        圖5展示了IR和RGB image分別經過特征提取之后(下采樣倍率為8、16、32)的可視化輸出,其中多模態(tài)輸入圖像未配準對齊。本文引入平行黃色虛線表示不同模態(tài)特征之間的差異。由第二列可知,當本文以無人機目標紅外圖像為基準時,彩色圖像目標位置會出現偏移,從而產生融合誤差如白色矩形框所示。由于無人機目標在圖像中像素面積占比小,使用融合的方法可以增加無人機目標更多特征,本文認為這種偏移對無人機目標檢測是有利的。因此可以利用多模態(tài)融合方法增強無人機目標在卷積神經網絡中的特征表示,從而增強無人機目標檢測精確度。

        圖5 多模態(tài)特征融合偏差

        2.5 多算法對比實驗

        為了更正確地驗證結果,本文微調YOLOv6-n[20]、YOLOX-tiny[21]、YOLOv8-n[22]和Nanodet Plus-m四種輕量化檢測算法,維持模型超參數不變且訓練配置如表2所示。表8表明MAFSnet獲得了最佳的檢測結果38.26%mAP。與剛剛發(fā)布的YOLOv8-n算法相比,在推理時間相差不大的情況下mAP提升了0.74%。MAFSnet與改進前的Nanodet Plus-m相比,在推理時間僅降低0.0008s的前提下mAP提升了9%。因此本文認為MAFSnet可以實現輕量化、實時性檢測無人機目標。

        本文選擇4張紅外圖像進行可視化實驗驗證。首先從沈陽理工大學龍翔體育場采集的數據集中選取兩張紅外圖像(a)和(b),它們分別包含草木和白云。接著在3rd-Anti-UAV數據集和NUDT-SIRST[23]數據集中分別選擇一張包含建筑背景的紅外圖像(c)和(d),其中d包含兩個無人機目標。如圖6所示,與其他目標檢測算法相比本文算法魯棒性更強,在多種復雜背景下都能更好地實現無人機目標檢測。在目標局部對比度不高(a)的情形下Nanodet Plus、YOLOv8和YOLOX皆不能很好地檢測到無人機目標。在冗余信號過多的情況下(c)只有本文算法和YOLOX準確獲得無人機目標的位置信息。由于本文算法存在多模態(tài)特征融合優(yōu)勢,更能適應復雜背景下的無人機目標檢測。

        表8 不同算法結果對比

        圖6 不同算法檢測結果

        3 結論

        為解決無人機濫用對社會構成的威脅,本文基于無人機圖像提出一種多模態(tài)自適應融合孿生網絡。首先使用輕量級孿生網絡ShuffleNetV2降低結構復雜度和模型參數,加快檢測速度。設計一種自適應融合策略實現多模態(tài)融合,有效結合多模態(tài)輸入圖像優(yōu)勢提高圖像信息利用率。將融合后的特征圖通過改進的Ghost PAN增強淺層特征的使用和提取以加強對無人機目標的檢測,提高模型的準確性。最后進行消融實驗和多算法對比實驗設計,消融實驗結果表明MAFSnet可以充分利用多模態(tài)無人機目標信息來提升無人機目標檢測準確度,同時本文所提出融合策略可以有效提升無人機目標檢測精度。多算法對比實驗結果表明本文算法在復雜環(huán)境背景下無人機目標檢測精度要優(yōu)于其它檢測算法,具有更強的魯棒性。同時與改進前的方法相比在檢測速度基本不變的情況下獲得9%的提升。

        然而本文算法仍有一些問題值得進一步研究,比如如何利用更高效的上下文信息、探討注意力模塊對不同模態(tài)的影響等。在未來的工作中,將繼續(xù)探索多模態(tài)融合和融合策略在無人機目標檢測中的應用。

        [1] 張辰, 趙紅穎, 錢旭. 面向無人機影像的目標特征跟蹤方法研究[J]. 紅外技術, 2015, 37(3): 224-228, 239.

        ZHANG Chen, ZHAO Hongying, QIAN Xu. Research on Target Feature Tracking Method for UAV Images[J]., 2015, 37(3): 224-228, 239.

        [2] 王寧, 李哲, 梁曉龍, 等. 無人機單載荷目標檢測及定位聯(lián)合實現方法[J]. 電光與控制, 2021, 28(11): 94-100.

        WANG Ning, LI Zhe, LIANG Xiaolong, et al. Joint realization method of single payload target detection and positioning of UAV[J]., 2021, 28(11): 94-100.

        [3] 楊欣, 王剛, 李椋, 等. 基于深度卷積神經網絡的小型民用無人機檢測研究進展[J]. 紅外技術, 2022, 44(11): 1119-1131.

        YANG Xin, WANG Gang, LI Liang, et al. Research progress in detection of small civilian UAVs based on deep convolutional neural networks [J]., 2022, 44(11): 1119-1131.

        [4] 粟宇路, 蘇俊波, 范益紅, 等. 紅外中長波圖像彩色融合方法研究[J]. 紅外技術, 2019, 41(4): 335-340.

        SU Yulu, SU Junbo, FAN Yihong, et al. Research on color fusion method of infrared medium and long wave images [J]., 2019, 41(4): 335-340.

        [5] 陳旭, 彭冬亮, 谷雨. 基于改進YOLOv5s的無人機圖像實時目標檢測[J]. 光電工程, 2022, 49(3): 69-81.

        CHEN Xu, PENG Dongliang, GU Yu. Real-time target detection of UAV images based on improved YOLOv5s [J]., 2022, 49(3): 69-81.

        [6] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]//2017(), 2017: 6517-6525.

        [7] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking[J/OL]. C, 2016. https://arxiv.org/abs/1606.09549

        [8] 閆號, 戴佳佳, 龔小溪, 等. 基于多源圖像融合的光伏面板缺陷檢測[J]. 紅外技術, 2023, 45(5): 488-497.

        YAN Hao, DAI Jiajia, GONG Xiaoxi, et al. Photovoltaic panel defect detection based on multi-source image fusion [J]., 2023, 45(5): 488-497.

        [9] MA Jiayi, MA Yong, LI Chang. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45: 153-178.

        [10] 白玉, 侯志強, 劉曉義, 等. 基于可見光圖像和紅外圖像決策級融合的目標檢測算法[J]. 空軍工程大學學報: 自然科學版, 2020, 21(6): 53-59, 100.

        BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. Target detection algorithm based on decision-level fusion of visible light images and infrared images [J]., 2020, 21(6): 53-59, 100.

        [11] 寧大海, 鄭晟. 可見光和紅外圖像決策級融合目標檢測算法[J]. 紅外技術, 2023, 45(3): 282-291.

        NING Dahai, ZHENG Sheng. Decision-level Fusion Object Detection Algorithm for Visible and Infrared Images[J]., 2023, 45(3): 282-291.

        [12] 馬野, 吳振宇, 姜徐. 基于紅外圖像與可見光圖像特征融合的目標檢測算法[J]. 導彈與航天運載技術, 2022(5): 83-87.

        MA Ye, WU Zhenyu, JIANG Xu. Target detection algorithm based on feature fusion of infrared image and visible light image [J]., 2022(5): 83-87.

        [13] 劉建華, 尹國富, 黃道杰. 基于特征融合的可見光與紅外圖像目標檢測[J]. 激光與紅外, 2023, 53(3): 394-401.

        LIU Jianhua, YIN Guofu, HUANG Daojie. Object detection in visible and infrared images based on feature fusion [J]., 2023, 53(3): 394-401.

        [14] 解宇敏, 張浪文, 余孝源, 等. 可見光-紅外特征交互與融合的YOLOv5目標檢測算法[J/OL]. 控制理論與應用, http://kns.cnki.net/kcms/detail/44.1240.TP.20230511.1643.024.html.

        XIE Yumin, ZHANG Langwen, YU Xiaoyuan, etc. YOLOv5 target detection algorithm based on interaction and fusion of visible light-infrared features [J/OL]., http://kns.cnki.net/kcms/detail /44.1240.TP.20230511.1643.024.html.

        [15] RangiLyu. NanoDet-Plus: Super fast and high accuracy lightweight anchor-free object detection model[EB/OL]. https://github.com/ RangiLyu/nanodet , 2021.

        [16] MA N, ZHANG X, ZHENG H T, et al. Shufflenet v2: Practical guidelines for efficient cnn architecture design[C]//(ECCV). 2018: 116-131.

        [17] LI X, WANG W, WU L, et al. Generalized focal loss: Learning qualified and distributed bounding boxes for dense object detection[J]., 2020, 33: 21002-21012.

        [18] JIANG Nan,WANG Kuiran, PENG Xiaoke. Anti-UAV: A Large-Scale Benchmark for Vision-Based UAV Tracking[J]., 2023, 25: 486-500, DOI: 10.1109/TMM.2021.3128047.

        [19] ZHAO J, WANG G, LI J, et al. The 2nd Anti-UAV workshop & challenge: Methods and results[J/OL]. arXiv preprint arXiv:2108.09909, 2021.

        [20] LI C, LI L, JIANG H, et al. YOLOv6: A single-stage object detection framework for industrial applications[J/OL]. arXiv preprint arXiv:2209.02976, 2022.

        [21] GE Z, LIU S, WANG F, et al. Yolox: Exceeding yolo series in 2021[J/OL]. arXiv preprint arXiv:2107.08430, 2021.

        [22] Github. Yolov5[EB/OL]. https://github.com/ultralytics/yolov5, 2021.

        [23] LI B, XIAO C, WANG L, et al. Dense nested attention network for infrared small target detection[J]., 2022, 32: 1745-1758.

        Multimodal Fusion Detection of UAV Target Based on Siamese Network

        HAN Ziqiang,YUE Mingkai,ZHANG Cong,GAO Qi

        (Shenyang Ligong University, College of equipment Engineering, Shenyang 110159, China)

        To address the threat of small drones "black flying" to the public domain. Based on the multimodal image information of an unmanned aerial vehicle (UAV) target, a lightweight multimodal adaptive fusion Siamese network is proposed in this paper. To design a new adaptive fusion strategy, this module assigns different modal weights by defining two model training parameters to achieve adaptive fusion. The structure is reconstructed on the basis of a Ghost PAN, and a pyramid fusion structure more suitable for UAV target detection is constructed. The results of ablation experiments show that each module of the algorithm in this study can improve the detection accuracy of the UAV targets. Multi-algorithm comparison experiments demonstrated the robustness of the algorithm. The mAP increased by 9% when the detection time was basically unchanged.

        UAV, lightweight, Siamese network, adaptive fusion strategy, multimodal image

        TN219

        A

        1001-8891(2023)07-0739-07

        2023-06-01;

        2023-06-21.

        韓自強(1999-),男,碩士研究生,主要從事探測、控制與信息對抗技術。E-mail:hanzq@sylu.edu.cn。

        岳明凱(1971-),男,教授,博士,研究方向:武器系統(tǒng)安全控制,探測、控制與毀傷技術。E-mail:13032486996@163.com。

        遼寧省教育廳基本科研面上項目(LJKMZ20220605)。

        猜你喜歡
        紅外卷積模態(tài)
        網紅外賣
        基于3D-Winograd的快速卷積算法設計及FPGA實現
        閃亮的中國紅外『芯』
        金橋(2021年4期)2021-05-21 08:19:20
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        TS系列紅外傳感器在嵌入式控制系統(tǒng)中的應用
        電子制作(2019年7期)2019-04-25 13:17:14
        基于傅里葉域卷積表示的目標跟蹤算法
        基于快速遞推模糊2-劃分熵圖割的紅外圖像分割
        國內多模態(tài)教學研究回顧與展望
        基于HHT和Prony算法的電力系統(tǒng)低頻振蕩模態(tài)識別
        由單個模態(tài)構造對稱簡支梁的抗彎剛度
        計算物理(2014年2期)2014-03-11 17:01:39
        亚洲av无码国产精品色软件| 午夜无码熟熟妇丰满人妻| 日本久久精品在线播放| 在线观看午夜视频国产| 国模冰莲自慰肥美胞极品人体图 | 欧美人妻精品一区二区三区| 人妻精品久久中文字幕| 日本免费一区二区精品| 五月色丁香婷婷网蜜臀av| 国产熟女露脸大叫高潮| 欧美日韩中文字幕久久伊人| 少妇人妻在线伊人春色| 亚洲码欧美码一区二区三区| 免费国产裸体美女视频全黄| 国内成人精品亚洲日本语音| 91久久大香伊蕉在人线国产| 日韩欧美亚洲国产精品字幕久久久| 精品国内自产拍在线观看| 加勒比在线一区二区三区| 亚洲中文字幕一区av| 国产精品毛片va一区二区三区| 中国一 片免费观看| 国产在线高清无码不卡| 国产午夜免费啪视频观看| 国产一区二区三区乱码| 99在线播放视频| 加勒比一本大道大香蕉 | 国产精品9999久久久久仙踪林 | 中文AV怡红院| 成人自拍三级在线观看| 精品国产精品国产偷麻豆| 国产一区日韩二区欧美三区| 亚洲伊人免费综合网站| 一区二区三区人妻av| 人妻激情另类乱人伦人妻 | 亚瑟国产精品久久| 亚洲小说图区综合在线| 亚洲一区二区av免费观看| 又色又爽又黄的视频软件app| 美女高潮无遮挡免费视频| 青青草免费高清视频在线观看|