亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        面向無人機(jī)場(chǎng)景的深度網(wǎng)絡(luò)模型壓縮與加速設(shè)計(jì)方法

        2024-01-02 08:35:20張佳奇李魏然王勝科
        軟件導(dǎo)刊 2023年12期
        關(guān)鍵詞:剪枝批量卷積

        張佳奇,郭 宣,李魏然,王勝科

        (1.中國海洋大學(xué) 信息科學(xué)與技術(shù)學(xué)院,山東 青島 266100;2.青島第九中學(xué),山東 青島,266000)

        0 引言

        近年來,隨著無人機(jī)技術(shù)快速發(fā)展,無人機(jī)低空遙感成為了衛(wèi)星遙感數(shù)據(jù)的重要補(bǔ)充,被廣泛應(yīng)用于農(nóng)業(yè)、安防、交通和戰(zhàn)場(chǎng)等領(lǐng)域。相較于衛(wèi)星遙感圖像,無人機(jī)圖像獨(dú)特的優(yōu)勢(shì)主要體現(xiàn)在便攜性好、成本較低及能實(shí)現(xiàn)多角度拍攝等方面。

        目前,無人機(jī)目標(biāo)檢測(cè)任務(wù)通常通過離線處理無人機(jī)拍攝的圖像或?qū)D像傳輸至服務(wù)器進(jìn)行處理。然而,第一種方式并未充分利用無人機(jī)實(shí)時(shí)檢測(cè)分析的優(yōu)勢(shì);第二種方式則依賴于網(wǎng)絡(luò),既需要考慮數(shù)據(jù)傳輸過程中的隱私保護(hù)問題,還需要承擔(dān)較高成本。此外,由于無人機(jī)圖像具有高分辨率特點(diǎn),在實(shí)際應(yīng)用場(chǎng)景中對(duì)自然場(chǎng)景的檢測(cè)算法效果不佳,無法直接應(yīng)用于工業(yè)應(yīng)用中。因此,改進(jìn)現(xiàn)有目標(biāo)檢測(cè)算法,在無人機(jī)上搭載的邊緣智能設(shè)備,實(shí)現(xiàn)在線分析高分辨率圖像這一功能是目前一大挑戰(zhàn),也具有重要的實(shí)際應(yīng)用價(jià)值。

        本文主要對(duì)無人機(jī)高分辨率圖像下的目標(biāo)檢測(cè)算法與模型壓縮方法進(jìn)行研究,結(jié)合具體硬件平臺(tái)進(jìn)行模型部署實(shí)驗(yàn)。主要工作如下:①通過分組卷積和通道混洗策略對(duì)目標(biāo)檢測(cè)算法的主干網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì),結(jié)合通道注意力機(jī)制提升網(wǎng)絡(luò)精度;②在網(wǎng)絡(luò)剪枝層面,結(jié)合具體數(shù)據(jù)集對(duì)目標(biāo)檢測(cè)模型進(jìn)行通道剪枝;③針對(duì)無人機(jī)單類別檢測(cè)任務(wù)中目標(biāo)實(shí)例尺寸相對(duì)固定的特點(diǎn),對(duì)輸出部分進(jìn)行優(yōu)化,最多可減少30%的參數(shù)量。

        通過實(shí)驗(yàn)與在實(shí)際硬件上的運(yùn)行情況可知,本文方法相較于YOLOv5 算法,在無人機(jī)數(shù)據(jù)集VisDrone 和自建數(shù)據(jù)集OUC-UAV-DET 上的精度分別提升2%、4%,在英偉達(dá)硬件(Xavier)上推理速度約減1 ms。通過通道剪枝方法,能在保持算法精度的同時(shí)減少2 ms 的推理速度;對(duì)無人機(jī)單類別檢測(cè)任務(wù)中輸出部分進(jìn)行相關(guān)優(yōu)化后,推理時(shí)間最多能減少2 ms。

        1 相關(guān)工作

        通過對(duì)目標(biāo)檢測(cè)算法的發(fā)展歷史進(jìn)行研究后,將其劃分為傳統(tǒng)算法階段和深度學(xué)習(xí)階段。2012 年前,傳統(tǒng)目標(biāo)檢測(cè)階段主要采用手工提取特征的方法。通過滑窗遍歷技術(shù),從整張圖像中提取有價(jià)值的特征,并利用支持向量機(jī)算法[1]或AdaBoost 分類方法[2]分類提取特征。此外,通過對(duì)整個(gè)圖像進(jìn)行特征提取,能將目標(biāo)檢測(cè)看作為回歸問題,從而實(shí)現(xiàn)快速預(yù)測(cè)。這兩種方法可看作為兩個(gè)階段目標(biāo)檢測(cè)算法和單階段目標(biāo)檢測(cè)算法的雛形。

        早期,將卷積神經(jīng)網(wǎng)絡(luò)用到目標(biāo)檢測(cè)領(lǐng)域的是Over-Feat[3],在此之前卷積神經(jīng)網(wǎng)絡(luò)已在圖像分類任務(wù)中取得了一定的成果。隨后,目標(biāo)檢測(cè)主要分為以R-CNN 系列[4-6]為代表的兩階段目標(biāo)檢測(cè)算法和以YOLO 系列為代表的單階段目標(biāo)檢測(cè)算法。其中,R-CNN 系列算法通過劃分區(qū)域來檢測(cè)對(duì)象,并非同時(shí)檢測(cè)整張圖像。這種方式具有兩個(gè)特點(diǎn):算法需要多次計(jì)算才能提取所有對(duì)象;在算法執(zhí)行過程中不同系統(tǒng)接替工作。因此,R-CNN 系列算法屬于兩階段算法。

        單階段目標(biāo)檢測(cè)算法(You Only Look Once,YOLO)的誕生是目標(biāo)檢測(cè)領(lǐng)域的一次突破,即僅用單個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)圖像的類別概率和邊界框坐標(biāo)[7]。由于算法自身只有一個(gè)神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)端到端優(yōu)化,這種端到端的統(tǒng)一檢測(cè)設(shè)計(jì)使得YOLO 架構(gòu)在推理過程中訓(xùn)練更快,實(shí)現(xiàn)實(shí)時(shí)訓(xùn)練,也保證了接近兩階段目標(biāo)檢測(cè)算法的高平均精度。目前,最具代表性的YOLO 框架YOLOv5 已可滿足一般使用場(chǎng)景,但在無人機(jī)高分辨率圖像的場(chǎng)景下,邊緣設(shè)備上的推理速度無法滿足實(shí)際應(yīng)用需求,其網(wǎng)絡(luò)結(jié)構(gòu)仍有壓縮和優(yōu)化空間。

        2016 年來,由于實(shí)際應(yīng)用需要,輕量化的卷積神經(jīng)網(wǎng)絡(luò)研究開始逐漸浮現(xiàn),為視覺深度學(xué)習(xí)模型在邊緣智能設(shè)備上的應(yīng)用提供了可能性。其中,輕量級(jí)研究較為經(jīng)典的工作包括基于深度可分離卷積的MobileNet 系列[8-10]。在ShuffleNetv2[11]中,從內(nèi)存訪問代價(jià)和顯卡并行性方向分析了如何設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò),才能進(jìn)一步減少運(yùn)行時(shí)間,并提出輕量化網(wǎng)絡(luò)設(shè)計(jì)的4 條準(zhǔn)則及CSPNet[12]、VoVNet[13]、RepVGG[14]、GhostNet[15]等 輕量化網(wǎng)絡(luò) 結(jié)構(gòu)。此外,模型壓縮方式還包含神經(jīng)網(wǎng)絡(luò)剪枝、知識(shí)蒸餾等從大模型中產(chǎn)生小模型的方法。

        綜上,本文使用分組卷積與通道混洗策略對(duì)檢測(cè)算法YOLOv5 的主干網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì),既使用通道注意力機(jī)制提升網(wǎng)絡(luò)精度,又在網(wǎng)絡(luò)剪枝層面結(jié)合具體數(shù)據(jù)集對(duì)檢測(cè)模型進(jìn)行通道剪枝。此外,對(duì)于無人機(jī)單類別檢測(cè)任務(wù),針對(duì)其目標(biāo)實(shí)例尺寸相對(duì)固定的特點(diǎn)優(yōu)化了模型的輸出部分。

        2 輕量化目標(biāo)檢測(cè)算法

        2.1 基于統(tǒng)計(jì)的語義相似度算法

        本文對(duì)YOLOv5 的主干網(wǎng)絡(luò)進(jìn)行改進(jìn),主要基于分組卷積通道混洗策略和深度可分離卷積。圖1 展示了網(wǎng)絡(luò)的整體結(jié)構(gòu),該網(wǎng)絡(luò)去除了Fcous 結(jié)構(gòu),使用S1、S2 模塊替代YOLOv5 中的C3 模塊,在頸部采用更簡單的直接相加方式進(jìn)行特征融合。

        Fig.1 Overall structure of the network圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)

        YOLOv5 在輸入層后引入一種名為Focus 的結(jié)構(gòu),如圖2 所示。該結(jié)構(gòu)對(duì)特征圖進(jìn)行間隔取樣得到4 個(gè)圖像,并將它們連接起來以使通道數(shù)量增加4 倍;然后通過卷積操作生成新的特征圖,以便在下采樣后保留所有空間信息。實(shí)際上,在淺層網(wǎng)絡(luò)中該結(jié)構(gòu)的效果并不顯著,主要從減少計(jì)算量和參數(shù)量角度所設(shè)計(jì)。

        Fig.2 Fcous module圖2 Fcous模塊

        為此,本文使用3×3 的卷積網(wǎng)絡(luò)替代Focus 結(jié)構(gòu),盡管Focus 結(jié)構(gòu)的設(shè)計(jì)初衷是為了減少計(jì)算量和參數(shù)量,但實(shí)驗(yàn)證明使用卷積替代Focus 可獲得更好的效果。特別是,對(duì)于不含GPU 和NPU 加速的芯片,頻繁的切片操作會(huì)增加緩存占用、加重計(jì)算負(fù)擔(dān),導(dǎo)致在部署時(shí),許多推理框架無法高效適配Focus的高性能算子。

        本文使用3×3 卷積網(wǎng)絡(luò)在改造目標(biāo)檢測(cè)網(wǎng)絡(luò)時(shí),充分考慮了網(wǎng)絡(luò)輕量化設(shè)計(jì)的4 個(gè)準(zhǔn)則[11]:①使用相同的通道尺寸可最小化內(nèi)存訪問量;②避免過度使用分組卷積;③避免網(wǎng)絡(luò)過于碎片化;④不能忽略元素間的操作(例如shortcut、Add)。

        YOLOv5 的主干網(wǎng)絡(luò)主要由C3 層組成,該層是CSP 結(jié)構(gòu)改進(jìn)后的版本,在與CSP 近乎相似的損耗上能取得更好的結(jié)果。然而,YOLOv5 因多次使用高通道數(shù)通道的C3層,將導(dǎo)致中間層通道之間的階躍差距較大。根據(jù)準(zhǔn)則①可知,高通道數(shù)的C3 層對(duì)CPU 性能并不友好。為了解決這個(gè)問題,本文將整個(gè)特征圖按通道分為c'、c -c'兩個(gè)部分,主要有以下優(yōu)點(diǎn):將整個(gè)特征圖分為兩組,這種分組方式與分組卷積不同,不會(huì)增加卷積時(shí)的組數(shù),符合準(zhǔn)則②;經(jīng)過特征圖分組后,將c'組通過短連接通道,而c -c'組經(jīng)過一系列卷積層后,使輸入輸出通道數(shù)保持一致,符合準(zhǔn)則①。

        在特征融合部分,本文依然采用特征金字塔網(wǎng)絡(luò)和路徑聚合結(jié)構(gòu)。為了滿足準(zhǔn)則①中的最優(yōu)化內(nèi)存訪問和使用,在路徑聚合結(jié)構(gòu)采用相同的通道數(shù)進(jìn)行特征圖融合,使用特征圖直接相加的方式實(shí)現(xiàn)特征圖融合。

        2.2 高效的通道注意力模塊

        注意力機(jī)制在深度神經(jīng)網(wǎng)絡(luò)中可被看作是一個(gè)對(duì)象選擇過程。SENet[16]開創(chuàng)了通道注意力的先河,核心是一個(gè)用來收集全局信息的壓縮和激勵(lì)模塊。

        首先,全局空間信息通過全局平均池化層匯集到壓縮模塊中,激勵(lì)模塊使用全連接層和非線性激活函數(shù)獲得注意力向量;然后,輸入特征的每個(gè)通道通過乘以注意力向量進(jìn)行加權(quán)。此外,SE 模塊能起到強(qiáng)調(diào)重要通道并抑制噪音的作用,缺點(diǎn)是在壓縮模塊中,全局平均池化無法很好的提取復(fù)雜的全局信息。同時(shí),在激勵(lì)模塊中,兩個(gè)全連接層增加了模型復(fù)雜性。

        對(duì)于本文而言,通道注意力機(jī)制的重要作用是降低模型的復(fù)雜性。為了在被分割后的混洗通道中恢復(fù)被打亂的通道信息,促進(jìn)通道間信息的交流,提升模型檢測(cè)性能。本文受SENet 啟發(fā),在S1 與S2 模塊中添加通道注意力eSE模塊,如圖3 所示。同時(shí),為了提升SE 模塊的執(zhí)行效率,本文將SENet 中兩個(gè)全連接層替換為一個(gè)點(diǎn)卷積,以降低模型的復(fù)雜性,提升執(zhí)行效率。由特征圖的可視化(見圖4,彩圖掃OSID 可見,下同)可見,注意力機(jī)制對(duì)模型存在積極影響。

        Fig.3 eSE module圖3 eSE 模塊

        Fig.4 Visualization results of feature maps圖4 特征圖可視化結(jié)果

        3 目標(biāo)檢測(cè)算法剪枝

        3.1 基于批量歸一化層的通道剪枝

        剪枝技術(shù)可分為結(jié)構(gòu)化剪枝和非結(jié)構(gòu)化剪枝。其中,非結(jié)構(gòu)化剪枝技術(shù)可有效平衡參數(shù)數(shù)量和模型性能,但由于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的變化,需要特殊硬件設(shè)備支持其正確運(yùn)行。相比之下,結(jié)構(gòu)化剪枝技術(shù)可顯著減少網(wǎng)絡(luò)中濾波器組和特征通道數(shù)量,使模型高效運(yùn)行,無需復(fù)雜的算法設(shè)計(jì)和特殊的硬件。為此,本文采用批量歸一化層系數(shù)評(píng)估每個(gè)通道網(wǎng)絡(luò)參數(shù)的重要性,以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)化剪枝。

        批量歸一化可將每個(gè)層的神經(jīng)元輸出標(biāo)準(zhǔn)化,以維持激活值的分布穩(wěn)定,從而加快模型訓(xùn)練速度,有效抑制過擬合現(xiàn)象發(fā)生。批量歸一化的主要優(yōu)點(diǎn)之一是有助于穩(wěn)定深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練。深度神經(jīng)網(wǎng)絡(luò)對(duì)權(quán)重的初始化非常敏感,不良的初始權(quán)重會(huì)導(dǎo)致訓(xùn)練難以收斂,而批量歸一化可減少神經(jīng)網(wǎng)絡(luò)對(duì)權(quán)重初始化的敏感性,使訓(xùn)練過程更穩(wěn)定。此外,通過批量歸一化還可有效改善神經(jīng)網(wǎng)絡(luò)的性能。在訓(xùn)練過程中,由于輸入分布的變化,網(wǎng)絡(luò)可能產(chǎn)生不準(zhǔn)確的預(yù)測(cè)結(jié)果,而批量歸一化可有效減少內(nèi)部協(xié)變量偏移,從而提升神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確性。

        批量歸一化層的計(jì)算公式如式(1)所示,每個(gè)通道的輸出值z(mì)out與系數(shù)γ呈正相關(guān),在γ接近于0 時(shí)激活值非常小。本文假設(shè)去掉γ趨于0 的通道,對(duì)于模型的影響不大,并且實(shí)際實(shí)驗(yàn)結(jié)果也符合預(yù)想。

        由于不同數(shù)據(jù)集批量歸一化層系數(shù)分布的規(guī)律不同,可通過增加約束方法使其符合要求。在OUC-UAV-DET數(shù)據(jù)集上訓(xùn)練發(fā)現(xiàn),批量歸一化層的系數(shù)呈正態(tài)分布,但其期望并不在0 附近,無法直接根據(jù)γ進(jìn)行剪枝。因此,本文在損失函數(shù)中添加L1 正則約束,嘗試將批量歸一化層的系數(shù)分布期望調(diào)整到0附近。

        其中:第一項(xiàng)是正常訓(xùn)練的損失函數(shù);第二項(xiàng)是正則化約束;g(s)=|s|;λ為正則系數(shù)。

        在反向傳播時(shí),損失函數(shù)的導(dǎo)數(shù)由式(3)所示。

        在添加正則項(xiàng)后,隨著訓(xùn)練進(jìn)行,批量歸一化層參數(shù)正態(tài)分布的期望趨向于0,此時(shí)可進(jìn)行剪枝操作。在設(shè)定γ閾值時(shí),應(yīng)不能大于任何通道批量歸一化層的最大γ,通過該閾值可有效剪除低于閾值的通道。通常情況下,剪枝結(jié)束后還需要重新訓(xùn)練模型以恢復(fù)模型精度。

        3.2 針對(duì)單類目標(biāo)檢測(cè)的輸出層剪枝

        YOLOv5 結(jié)構(gòu)在網(wǎng)絡(luò)的3 個(gè)或4 個(gè)不同階段輸出檢測(cè)結(jié)果。其中,3 個(gè)輸出層對(duì)應(yīng)的輸出由上至下分別通過P3、P4 和P5 進(jìn)行表示,第4 個(gè)輸出根據(jù)具體情況可能會(huì)由P2 或P6 進(jìn)行表示。當(dāng)輸入圖像大小為640×640 時(shí),經(jīng)過8倍下采樣的P3 檢測(cè)層特征圖大小為80×80,特征圖中每個(gè)像素點(diǎn)可檢測(cè)原始大小在8×8 像素以上的目標(biāo)。以此類推,P4 經(jīng)過16 倍下采樣負(fù)責(zé)檢測(cè)16×16 以上的目標(biāo),P5 經(jīng)過32 倍下采樣負(fù)責(zé)檢測(cè)16×16 以上的目標(biāo)。圖5 為對(duì)原始的YOLOv5輸出層剪枝后的輸出結(jié)構(gòu)。

        在VisDrone 數(shù)據(jù)集、OUC-UAV-DET 數(shù)據(jù)集中,某些類別的樣本尺寸相對(duì)固定。本文認(rèn)為在檢測(cè)尺寸相對(duì)固定的類別時(shí),對(duì)多個(gè)尺度的特征進(jìn)行融合并不能提升模型性能。為此,本文針對(duì)YOLO 的輸出層進(jìn)行剪枝,表1 為YOLOv5s 模型通過裁剪掉輸出層對(duì)參數(shù)量和計(jì)算量的影響。

        4 實(shí)驗(yàn)結(jié)果與分析

        4.1 數(shù)據(jù)集

        本文使用的數(shù)據(jù)集包括VisDrone 數(shù)據(jù)集和中國海洋大學(xué)無人機(jī)目標(biāo)檢測(cè)(OUC-UAV-DET)數(shù)據(jù)集。

        VisDrone 航拍小目標(biāo)數(shù)據(jù)于2018 年提出,旨在為無人機(jī)應(yīng)用場(chǎng)景下的物體檢測(cè)提供一個(gè)相對(duì)通用和全面的大規(guī)模數(shù)據(jù)集。該數(shù)據(jù)集包含10 209 張靜態(tài)圖像(6 471 張用于訓(xùn)練,548 張用于驗(yàn)證,1 610 張用于測(cè)試及1 580 張未標(biāo)注的圖像),主要關(guān)注人類和車輛,并定義了直立行人、非站立狀態(tài)的人、小汽車、貨車、公共汽車、卡車、面包車、自行車、遮陽蓬三輪車和三輪車共10 個(gè)感興趣的對(duì)象類別。

        中國海洋大學(xué)無人機(jī)目標(biāo)檢測(cè)(OUC-UAV-DET)數(shù)據(jù)集由中國海洋大學(xué)視覺實(shí)驗(yàn)室采集和標(biāo)注。該數(shù)據(jù)集主要在校園、海灘和街道等人車密集的場(chǎng)所拍攝,采用大疆無人機(jī)作為圖像采集設(shè)備。目前,該數(shù)據(jù)集包括2 071張高分辨率的靜態(tài)圖像,包括人、自行車、汽車、面包車、貨車、自行車、公共汽車、摩托車和船共9類目標(biāo)。

        4.2 實(shí)驗(yàn)環(huán)境

        本文訓(xùn)練的GPU 為2080Ti(顯存12 GB),部署時(shí)使用英偉達(dá)的Jetson AGX Xavier 平臺(tái),算力為30 Tops,最大功耗為30 W。實(shí)驗(yàn)的操作系統(tǒng)為Ubuntu18.4,安裝了包括TensorRT 8.5.2、cuDNN 8.6.0、CUDA 11.4.19、OpenCV 4.5.4等軟件庫的JetPack5.1軟件包。

        4.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

        在目標(biāo)檢測(cè)中,平均值(Average Precision,AP)、均值平均精度(mean Average Percision,mAP)是兩個(gè)重要的衡量指標(biāo)[17,18],mAP 為AP 值除以類別數(shù),由式(1)所示。mAP@50 值指交并比閾值為0.5 的mAP,mAP@50∶95 指交并比閾值分別在0.5 與0.95 之間每隔0.05 的mAP 的平均值,AP 為準(zhǔn)確率—召回率曲線下的面積。

        PR 曲線由改變IOU 閾值產(chǎn)生的多組準(zhǔn)確率與召回率,在平面坐標(biāo)系下對(duì)應(yīng)的點(diǎn)連接而成。目前,主流計(jì)算PR 曲線下面積(即AP)的方式有VOC 數(shù)據(jù)集和COCO 數(shù)據(jù)集的計(jì)算方式。本文使用COCO 方式進(jìn)行AP 計(jì)算,實(shí)驗(yàn)時(shí)延指推理時(shí)間與非極大值抑制耗時(shí)的總和。

        4.4 結(jié)果分析

        表2 為本文方法與原始YOLOv5 的比較結(jié)果。由此可知,本文方法相較于YOLOv5n 及其他模型精度更高,推理速度更快,更適用于無人機(jī)實(shí)時(shí)檢測(cè)場(chǎng)景,體現(xiàn)了本文設(shè)計(jì)網(wǎng)絡(luò)的優(yōu)越性。表3 的消融實(shí)驗(yàn)證明,添加高效的注意力模塊(eSE)和使用ADD 進(jìn)行特征融合,能有效提升模型的mAP,降低時(shí)延。表4 為使用批量歸一化層的通道剪枝方法后,YOLOv5s 在OUC-UAV-DET 數(shù)據(jù)集上的測(cè)試結(jié)果。由此可知,當(dāng)閾值為0.65 時(shí)模型精度大幅下跌,且速度提升已不明顯,因此本文選用0.6為剪枝閾值。

        Table 2 Model evaluation on the VisDrone dataset表2 VisDrone數(shù)據(jù)集模型評(píng)估

        Table 3 Ablation experiments表 3 消融實(shí)驗(yàn)

        Table 4 Channel pruning results on the OUC-UAV-DET dataset表4 OUC-UAV-DET 數(shù)據(jù)集通道剪枝結(jié)果

        由表5 可知,單類目標(biāo)的YOLO 輸出層剪枝在Vis-Drone 數(shù)據(jù)集和OUC-UAV-DET 數(shù)據(jù)集上的可行性,在只保留P3 層的情況下模型精度并未下降,只在P3 層輸出時(shí)的檢測(cè)效果甚至更好,證實(shí)了在檢測(cè)尺寸相對(duì)固定的類別時(shí),對(duì)多個(gè)尺度的特征進(jìn)行融合并不能提升模型性能。

        Table 5 Comparison of vehicle detection using different output layers表5 車輛檢測(cè)使用不同輸出層比較

        4.5 邊緣設(shè)備部署結(jié)果分析

        模型轉(zhuǎn)換后,模型精度略微下降,可能是由于單精度(fp32)浮點(diǎn)數(shù)轉(zhuǎn)半精度(fp16)浮點(diǎn)數(shù)所帶來的損失。表6為各模型在邊緣設(shè)備Xavier 上的性能,結(jié)果與表2 類似。由此可知,本文改進(jìn)的輕量化目標(biāo)檢測(cè)模型在VisDrone 與OUC-UAV-DET 數(shù)據(jù)集上的表現(xiàn)優(yōu)于YOLOv5、YOLOv6及YOLOv7 的輕量版本。表7 展示了推理一張高分辨率的4 000×2 250 圖像,從端到端所消耗的時(shí)間及幀率。由此可知,本文方法理論上可達(dá)到6.1 FPS的預(yù)測(cè)速度。

        Table 6 Model performance on Jetson platform表6 Jetson 平臺(tái)模型性能

        Table 7 Inference speed of the model on Jetson platform(high-resolution image cropping)表7 Jetson 平臺(tái)模型推理速度(高分辨率圖像切圖)

        5 結(jié)語

        本文從輕量化網(wǎng)絡(luò)設(shè)計(jì)與模型剪枝方向出發(fā),對(duì)Vis-Drone 數(shù)據(jù)集與OUC-UAV-DET 全類別和特定類別進(jìn)行優(yōu)化,從模型與算法層面提升了無人機(jī)目標(biāo)檢測(cè)算法的性能。通過輕量化改造YOLOv5 的主干網(wǎng)絡(luò),引入了一種更高效的通道注意力機(jī)制提升網(wǎng)絡(luò)精度。實(shí)驗(yàn)證明,該方法在公開無人機(jī)數(shù)據(jù)集VisDrone 和自建數(shù)據(jù)集OUC-UAVDET 上,能在保持較高精度的基礎(chǔ)上具備更快的推理速度。

        同時(shí),本文針對(duì)無人機(jī)單類別檢測(cè)任務(wù)中目標(biāo)實(shí)例尺寸相對(duì)固定的特點(diǎn),采用網(wǎng)絡(luò)剪枝方法減少網(wǎng)絡(luò)輸出層,結(jié)合OUC-UAV-DET 數(shù)據(jù)集中批量歸一化層系數(shù)服從正態(tài)分布的規(guī)律,在損失函數(shù)中添加正則項(xiàng),逐漸將批量歸一化層系數(shù)分布的期望值趨于0。然后,根據(jù)批量歸一化層的系數(shù)絕對(duì)值大小,評(píng)估網(wǎng)絡(luò)中各通道的重要性,并根據(jù)閾值對(duì)不重要通道進(jìn)行裁剪。實(shí)驗(yàn)證明,兩種剪枝方式在相關(guān)數(shù)據(jù)集上取得了良好的成效。

        此外,本文在英偉達(dá)Jetson 平臺(tái)上對(duì)模型進(jìn)行部署和測(cè)試,結(jié)果表明在邊緣智能設(shè)備上,本文設(shè)計(jì)的輕量化目標(biāo)檢測(cè)模型和剪枝方法均取得了一定成效。基于此次研究,能使人們深入理解和掌握無人機(jī)目標(biāo)檢測(cè)算法和應(yīng)用,為無人機(jī)目標(biāo)檢測(cè)應(yīng)用提供重要的技術(shù)支持。未來,將進(jìn)一步擴(kuò)充高分辨率航拍圖像的數(shù)據(jù)量,通過更多實(shí)際場(chǎng)景數(shù)據(jù)提升模型的泛化性,以應(yīng)對(duì)在不同場(chǎng)景的實(shí)際檢測(cè)過程中可能遇到的問題。

        猜你喜歡
        剪枝批量卷積
        人到晚年宜“剪枝”
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        批量提交在配置分發(fā)中的應(yīng)用
        基于YOLOv4-Tiny模型剪枝算法
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        剪枝
        天津詩人(2017年2期)2017-03-16 03:09:39
        淺議高校網(wǎng)銀批量代發(fā)
        基于AUTOIT3和VBA的POWERPOINT操作題自動(dòng)批量批改
        一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
        成人午夜特黄aaaaa片男男| 91精品国产综合久久久蜜臀九色| 亚洲国产精品激情综合色婷婷| 给你免费播放的视频| 内射囯产旡码丰满少妇| 亚洲国产成人无码影院| 18禁成人免费av大片一区| 精品国产一区二区三区三级| 亚洲中文字幕久久精品无码喷水| 国产小毛片| 亚洲国内精品一区二区在线| 国产一级一级内射视频| 欧美在线 | 亚洲| 日韩欧美亚洲中字幕在线播放| 中文字幕人妻在线少妇完整版| 亚洲欧洲免费无码| 国产情侣久久久久aⅴ免费| 尤物无码一区| 中文字幕日本在线乱码| 国产精品爽爽ⅴa在线观看| 亚洲av永久无码一区| 国产av天堂亚洲国产av麻豆| 日本综合视频一区二区| av色欲无码人妻中文字幕| 亚洲一区爱区精品无码| 亚洲国产av自拍精选| 手机在线观看免费av网站| 中年熟妇的大黑p| 日本理论片一区二区三区| 在线国产丝袜自拍观看| 和黑人邻居中文字幕在线 | 国产精品成人99一区无码| 国产精品无码mv在线观看| 国语淫秽一区二区三区四区| 亚洲欧美国产国产综合一区| 91精品啪在线观看国产18| 视频在线亚洲视频在线| 国产97在线 | 日韩| 亚洲一区二区三区在线网站| 男女视频网站免费精品播放| 强开小婷嫩苞又嫩又紧视频|