亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合非臨近跳連與多尺度殘差結構的小目標車輛檢測

        2023-12-23 10:14:08張浩董鍇龍高尚兵劉斌華奇凡張格
        中國圖象圖形學報 2023年12期
        關鍵詞:特征檢測信息

        張浩,董鍇龍,高尚兵,劉斌,華奇凡,張格

        1.淮陰工學院交通工程學院,淮安 223003;2.淮陰工學院計算機與軟件工程學院,淮安 223003

        0 引言

        車輛檢測是一項在復雜場景下對實時變化的目標進行分類和定位的計算機視覺任務,實現(xiàn)方法包括多步驟的傳統(tǒng)檢測方法和端到端的深度學習檢測方法。傳統(tǒng)檢測方法需要人工手動設計目標特征,通過繁瑣的滑動窗口策略由傳統(tǒng)分類器對結果進行輸出(Dalal 和Triggs,2005)。不僅識別率低,而且相當耗時,不能滿足車輛檢測準確率和實時性的需求(Azevedo 等,2014;Niknejad 等,2012)。而深度學習的檢測方法由深度網(wǎng)絡自動學習目標特征,通過候選框或直接回歸得到結果,既準確又省時,包括兩階段的檢測器,如R-CNN(regions with convolutional neural network)、SPP-Net(spatial pyramid pooling network)、Fast R-CNN、Faster R-CNN(Girshick 等,2014;He 等,2015;Girshick,2015;Lee 等,2016 )和單階段的檢測器,如YOLO(you only look once)、SSD(single shot multibox detector)(Redmon 等,2016;Liu 等,2016)。相較于兩階段的檢測器,單階段的YOLO 算法精度高、收斂快,可直接進行目標的定位和分類,較好地滿足了實時性的需求。然而在小目標檢測方面依然存在嚴重的漏檢、誤檢和目標輪廓特征模糊的問題。

        針對上述問題,相關研究分析了其主要原因并提出了相應的解決方案:1)由于現(xiàn)有模型缺少一種高效的特征融合策略,不同層次間的信息難以及時交互。為此,Dai 等人(2021)針對小目標檢測,取代現(xiàn)有的跨層特征融合操作,設計了一種非對稱的上下文調(diào)制模塊(asymmetric contextual module,ACM),通過一個自下而上的調(diào)控途徑集成上下文信息,以交換高級語義和微妙的低級細節(jié)。為了豐富深層次小目標信息,Li 等人(2023)提出了一種密集嵌套注意網(wǎng)絡(dense nested attention network,DNA-Net),通過密集嵌套互動模塊以實現(xiàn)高層和低層特征之間的漸進式互動,結合級聯(lián)通道和空間注意模塊以增強多層次特征。該方法在不同尺度、形態(tài)和信噪比條件下,使檢測精度取得了顯著的提升。戴坤等人(2022)提出一種融合策略優(yōu)選和雙注意力機制的單階段目標檢測算法FDA-SSD(fusion double attention single shot multibox detector)。結合特征金字塔(feature pyramid network,F(xiàn)PN)確定最優(yōu)的多層特征圖組合及融合過程,之后連接雙注意力模塊,通過對各個通道和空間特征的權重再分配,提升模型對通道特征和空間信息的敏感性,最終產(chǎn)生包含豐富語義信息和凸顯重要特征的特征圖組。2)遮擋、光照和遠距離等場景嚴重影響了模型對圖像特征的提取。為強化模型對車輛輪廓信息的利用,杜文漢等人(2022)提出一種基于改進Canny 算子的運動目標邊緣提取方法,通過提取當前幀運動目標邊緣,以解決因邊緣細節(jié)缺失而漏識別的問題。Zhang 等人(2020)和Li 等人(2021)分別提出了一種基于區(qū)域注意力的三頭網(wǎng)絡和一種雙注意融合模塊,通過增加對小目標車輛邊緣信息的關注,提高復雜環(huán)境下模型對小物體識別的敏感性。3)由于下采樣會導致圖像特征的丟失,影響檢測結果,Cheng 等人(2021)采用一種圖像雙重切割方法,將分割后圖像的上層語義與下層位置信息進行融合來減少特征值的丟失。王紅霞等人(2023)提出一種融合跨階段連接與倒殘差的目標檢測方法NAS-FPNLite(neural architecture search-feature pyramid networks lite)。通過將不同特征層之間逐元素相加的特征融合方式替換為通道疊加的方式,使得進行深度可分離卷積時保持更高的通道數(shù),并將輸入的特征層與最終的輸出層做跳躍連接,進行充分特征融合,減少特征丟失。此外,研究發(fā)現(xiàn),先驗框尺寸的大小和數(shù)量以及小目標物體在特征圖和原圖上感受野尺寸的無法對應也是導致漏檢率和誤檢率高的重要原因(Luo 等,2022;Zhang等,2022;曹家樂 等,2022)。

        基于以上,本文通過研究航拍場景下小目標車輛的視覺特征,提出一種融合非臨近跳連與多尺度殘差結構的小目標車輛檢測算法。主要貢獻如下:1)針對航拍場景下目標車輛微小,YOLOv5s 算法漏檢嚴重的問題,設計4 種不同尺度的檢測層,根據(jù)自身感受野大小,使每個網(wǎng)格單元對應到原圖上的感受野更小,專門用于微小目標的檢測。2)構建一種非臨近跳連特征金字塔結構(non-adjacent hop network,NHN),通過并行策略促進網(wǎng)絡深淺層的特征融合,完成相鄰層次的特征提取,使用跳連相加策略強化非臨近層次間的信息交互,減少特征丟失。3)引入反卷積和并行策略,在減少特征丟失的前提下,通過參數(shù)學習和突破每一維度下信息量的方式,擴充小目標車輛的細節(jié)信息,提高檢測器的魯棒性。4)設計一種多尺度殘差邊緣輪廓特征提取策略(multi-scale residual edge contour feature extraction strategy,MREFE),構建多尺度殘差結構,采用雙分支并行的方法捕獲不同層級的多尺度信息,通過多尺度下的高語義信息與初始淺層信息的逐像素作差,實現(xiàn)圖像邊緣特征提取,降低極端環(huán)境(光照、雨、雪)對模型檢測精度的影響。5)采用K-Means++聚類算法生成與數(shù)據(jù)集相匹配的先驗框,提升檢測精度。最后,通過在十字路口、沿途車道兩個典型應用場景的實驗驗證,并與目標檢測領域的幾種主流算法進行對比分析。

        實驗結果表明,本文算法的綜合性能最優(yōu),單位時間圖像檢測數(shù)量FPS(frames per second)為90.1幀/s,平均精度均值(mean average precision,mAP)為84.2%,在滿足實時性的前提下,能夠較好地平衡檢測速度與精度。

        1 數(shù)據(jù)采集與預處理

        1.1 實驗數(shù)據(jù)的采集

        將不同場景下的航拍視頻作為數(shù)據(jù)來源,分別以垂直和傾斜角45°的方式對十字路口和沿途車道進行拍攝,視頻分辨率為1 080 p,待檢測車輛的絕對像素均值約為30 × 15,符合MS COCO(Microsoft common objects in context)數(shù)據(jù)集對小目標的定義(Lin等,2014),如圖1所示。

        圖1 部分數(shù)據(jù)樣本Fig.1 Selected data samples

        1.2 數(shù)據(jù)的預處理

        為實現(xiàn)樣本數(shù)據(jù)的多元化,對不同場景、不同環(huán)境和不同密集程度的車輛視頻進行篩選和取幀處理。每30幀取1幅圖像作為樣本,共記1 900幅。使用開源軟件對其標注,并按8∶1∶1 的比例設置訓練集、驗證集和測試集。將小型矯車和公交車、油罐車等大型車輛分別定義為vehicle 和bigvehicle,對于目標遮擋超過90%或目標像素小于8 × 8時進行舍棄,不做標注。

        2 NHN-YOLOv5s-MREFE模型設計

        2.1 網(wǎng)絡架構

        作為一種先進的單級檢測器,YOLOv5s在速度、靈活性和模型的部署上具有極強的優(yōu)勢。這意味著它可以很容易地被嵌入到終端設備上,非常適合航拍場景下的實時小目標車輛檢測。本文在YOLOv5s的基礎上,提出了一種融合非臨近跳連與多尺度殘差結構的小目標車輛檢測算法,其網(wǎng)絡結構如圖2所示。

        圖2 NHN-YOLOv5-MREFE網(wǎng)絡結構圖Fig.2 NHN-YOLOv5-MREFE network structure diagram

        輸入端以隨機縮放、隨機裁剪和隨機排布的方式對輸入圖像進行數(shù)據(jù)增強。骨干網(wǎng)絡C3 模塊通過深淺層融合提取目標特征。SPPF(spatial pyramid pooling fast)模塊通過對多個MaxPool 進行串聯(lián),增大網(wǎng)絡感受野。在頸部網(wǎng)絡,反卷積和并行策略分別通過增大圖像分辨率和增加特征圖維度的方式提升檢測精度。

        此外,并行策略通過共享卷積核有效解決了隨著網(wǎng)絡層數(shù)加深而導致參數(shù)量過大的問題,滿足了實時性的需求。非臨近跳連的特征金字塔結構(NHN)強化了模型對不同尺度物體的檢測能力。多尺度殘差邊緣輪廓特征提取策略(MREFE),通過多尺度下的高語義信息與初始淺層信息的逐像素作差實現(xiàn)圖像邊緣特征提取,進而輔助網(wǎng)絡模型完成目標分類。預測端則通過增加檢測層來解決YOLOv5s 的漏檢問題并負責輸出類別概率、置信度和邊界框坐標。

        2.2 密集小目標檢測層

        YOLOv5s 通過3 個不同尺度的檢測層可以針對性地預測大、中、小目標,但由于航拍場景下的車輛更加微小,YOLOv5s 漏檢問題嚴重,已不能滿足檢測需求。因此,有必要增加一個檢測層來負責微小車輛的檢測。在NHN-YOLOv5s-MREFE 模型中,640 × 640 像素的輸入圖像分別經(jīng)過4 倍、8 倍、16 倍和32 倍的下采樣,生成了4 種不同尺度的特征圖。Anchor 尺寸也隨著下采樣倍數(shù)的增大而增大,個數(shù)由原來的9 個增加到12 個,如圖3所示。

        圖3 多尺度檢測結構圖Fig.3 Multi-scale detection structure diagram

        在前向推斷的過程中,4 個檢測層分別輸出對應的預測信息,包括預測框的中心點坐標(x,y)、寬度w、高度h和置信度參數(shù)c,通過與標簽信息進行比對,計算預測值與真實值之間的損失,進而指導反向傳播中參數(shù)的調(diào)整,從而在反復訓練的過程中優(yōu)化模型性能,其中整個損失包括3 個部分,具體為

        式中,定位損失Lossciou用來計算預測框與標定框之間的誤差;分類損失Losscls用來判斷錨框與標定框的分類是否正確;Lossobj用來計算網(wǎng)絡置信度損失。

        2.3 非臨近跳連的特征金字塔結構

        多尺度的目標檢測一直以來都是計算機視覺任務的一個難點,針對被測物體尺寸相差過大會導致模型精度下降的問題,特征金字塔網(wǎng)絡(feature pyramid networks,F(xiàn)PN)(Lin 等,2017)及其改進方法PANet(path aggregation network)(Liu 等,2018)通過多尺度的拼接融合,使淺層的語義信息和深層的位置信息得到強化,進而提升模型性能。YOLOv5s 采用路徑聚合網(wǎng)絡構建的特征金字塔結構,雖然提升了模型的檢測精度和推理速度,但由于受到拼接融合的影響,在信息傳遞的過程中(如圖4(c)所示)淺層的位置信息會被逐漸稀釋,導致預測結果的位置出現(xiàn)偏差。同時,順序集成特征的方式更加注重相鄰層次的特征提取,忽略了與其他層次的信息交互,容易造成目標的誤識別。

        圖4 非臨近跳連網(wǎng)絡結構圖Fig.4 Non-adjacent hop network structure diagram

        借 鑒DenseNet(dense convolutional network)(Huang 等,2017)密集跳連的思想,本文構建了一個全新的非臨近跳連特征金字塔網(wǎng)絡結構NHN,用于對航拍場景下的小目標車輛進行實時檢測,如圖4所示?;诰矸e神經(jīng)網(wǎng)絡固有的金字塔結構(如圖4 中的路徑(a)所示),通過并行策略分別構建了一條自頂向下(如圖4 中的路徑(b)所示)和一條自左向右的傳播路徑(如圖4 中的路徑(c)所示),使深層的語義信息向淺層傳遞,淺層的位置信息向深層融合。此外,跳連相加策略(如圖4 紅線部分所示)在強化各層次信息交互的同時融合了更多未被影響的原始信息,解決了位置信息在傳遞過程中被逐漸稀釋的問題,有效降低了模型的誤檢率。

        圖4 路徑(a)對應模型結構的骨干網(wǎng)路,由5 個階段組成,每個階段都是一種組合操作且具有相同的尺寸,如階段1 為Conv+BN+SiLU,階段2 為Conv+BN+SiLU+CSP1_1。不同階段之間采用2 倍的下采樣進行縮放,并將具有最強特征的最后一層作為該階段的輸出。最后使用1 × 1 的卷積運算對階段5 的通道數(shù)進行控制,并在橫向相加的協(xié)助下構建路徑(b)。

        在圖4 路徑(b)中,借鑒FPN 和PANet 的思想,NHN 網(wǎng)絡在各階段之間使用反卷積的方式重塑特征圖尺寸,相比上采樣的插值算法,反卷積不僅實現(xiàn)了像素的填充,還增加了參數(shù)學習的過程,在增大特征圖分辨率的同時,還原了更多的小目標信息,如圖5所示。并且每個階段的輸出都會與圖4路徑(a)中對應的特征進行橫向相加,強化了語義信息在淺層的表達能力,但由于多尺度的目標檢測需要在每個階段分別進行預測,因此,通過對底層階段進行1 × 1 卷積并結合下采樣和橫向相加構建了一條圖4路徑(c)去強化深層的位置信息。

        圖5 上采樣和反卷積的結構圖Fig.5 Up-sampling and deconvolution structure diagram((a)up-sampling;(b)deconvolution)

        通過特征層的橫向相加,增加了特征圖每一維度下的信息量,相比Concat拼接融合,并行策略改變了特征圖增加維度的固有形式,更加專注于每一維度下信息量的突破,如圖6所示。

        圖6 并行策略和Concat的結構圖Fig.6 Parallel strategy and Concat structure diagram

        同時,由于對應通道的特征圖語義類似,并行策略使其共享一個卷積核,使參數(shù)量大大減少。如果只考慮單個通道輸出,設兩路輸入的通道分別為A1,A2,…,Ac和B1,B2,…,Bc,具體為

        式中,fConcat為拼接融合策略,fadd為并行策略,c為通道數(shù),Ai和Bi分別為兩個輸入通道,Ki為對應通道的卷積核。

        此外,在圖4 路徑(c)中,NHN 網(wǎng)絡除了與相鄰層次進行橫向相加,在輸出端還增加了與圖4 路徑(a)的跳連相加,使各層次的特征信息在空間維度上進行融合,實現(xiàn)特征重用,保證了每個階段兼具語義和位置信息。

        2.4 多尺度殘差邊緣輪廓特征提取

        對車輛輪廓信息提取的好壞是取得優(yōu)異結果的關鍵,尤其是存在遮擋或極端環(huán)境(光照、雨、雪)情況下。同時,由于邊緣輪廓信息主要存在于目標與目標、目標與背景間,因此,現(xiàn)有算法大多采用Sobel算子或Canny 算子逐個檢測像素鄰域并通過灰度變換進行量化來判定邊緣位置。該方法雖然可以有效定位、完成特征提取,但在算法復雜度和模型推理速度上有所欠缺。

        考慮算法的實時性并結合強化特征提取的目的,本文提出一種多尺度殘差邊緣輪廓特征提取策略(MREFE),與傳統(tǒng)灰度變換和控制閾值的方式不同,MREFE 策略遵循特征逐漸細化的原則,融合并行策略,構建了一種多尺度殘差結構,主要通過多尺度下的高語義信息與初始淺層信息的差異實現(xiàn)圖像邊緣特征提取,如圖7所示。

        圖7 多尺度殘差邊緣輪廓特征提取Fig.7 Multi-scale residual edge contour feature extraction

        經(jīng)過非臨近跳連特征金字塔網(wǎng)絡NHN 強化的特征圖Fi,j具有豐富的細節(jié)信息,而骨干網(wǎng)絡由于對車輛輪廓信息的低敏感度,使特征圖Xi,j保留了更多除邊緣信息以外的特征。因此,MREFE 采用雙分支并行的方法捕獲不同層級的多尺度信息,通過Fi,j與Xi,j逐像素作差,達到提取車輛邊緣特征的目的。進而輔助NHN-YOLOv5s-MREFE 模型實現(xiàn)目標分類,提升模型的檢測精度,降低漏檢率和誤檢率。具體步驟如下:

        1)通過2D 卷積、反卷積對NHN 輸出的特征圖Fi,j的尺寸和通道數(shù)進行調(diào)整;

        2)對多尺度下的高語義信息與初始淺層信息作差,完成車輛輪廓信息的提取,具體為

        式中,Ei,j表示提取到的邊緣輪廓信息;Fi,j表示通過執(zhí)行步驟1)得到的高語義信息特征圖,其尺寸和通道數(shù)與Xi,j相同;Xi,j表示特征提取階段由主干網(wǎng)絡輸出的特征圖;W、H分別表示特征圖所對應的網(wǎng)格單元(grid cell)。

        3)將邊緣輪廓信息Ei,j與豐富的高語義信息Fi,j進行多尺度特征的相加融合,使車輛輪廓更加明晰,具體為

        式中,Outi,j表示邊緣輪廓信息Ei,j與特征圖Fi,j相加融合之后的輸出。

        4)分別由SiLU 函數(shù)和1 × 1的卷積對Outi,j完成激活操作和特征壓縮后,輸出結果。

        2.5 K-Means++聚類算法

        選取合適的先驗框,能夠加快模型收斂,提升檢測速度和精度。然而,隨著場景的變化和檢測層的增加,基于MS COCO 數(shù)據(jù)集確定的Anchor個數(shù)和尺寸已不能滿足檢測需要。但YOLOv5s 仍采用與YOLOv2 相同的K-Means 算法隨機初始化聚類中心,導致初始值過于集中,進而出現(xiàn)了局部最優(yōu)解。為此,NHN-YOLOv5s-MREFE 模型采用K-Means++聚類算法盡可能使聚類中心更加分散,生成了12 組不同寬高比的Anchor,促使結果達到全局最優(yōu),如表1 所示。結果表明,相比于原始尺寸[5,6,8,14,15,11]、[10,13,16,30,33,23]、[30,61,62,45,59,119]、[116,90,156,198,373,326],重新聚類后的結果更為集中,寬高比更加符合小目標車輛數(shù)據(jù)集的分布特點。

        表1 K-Means++聚類結果Table 1 K-Means++clustering results

        3 實驗結果分析

        3.1 實驗環(huán)境及實施細節(jié)

        為驗證NHN-YOLOv5s-MREFE 模型的有效性,以YOLOv5s-6.0 版本作為基礎框架設計消融實驗,并與目標檢測領域常見的幾種主流算法進行對比分析,實驗硬件環(huán)境如表2所示。

        表2 實驗環(huán)境配置Table 2 Experimental environment configuration

        在NHN-YOLOv5s-MREFE 模型的訓練和測試階段,輸入圖像被縮放到640 × 640 像素,并由主干網(wǎng)絡(CSPDarkNet-53)完成圖像特征的提取,然后輸出的特征圖送入非臨近跳連特征金字塔網(wǎng)絡(NHN),用于強化各層之間的信息交互,并結合多尺度殘差邊緣輪廓特征提取策略(MREFE),提升模型性能,最終得到4 種不同尺度的特征圖(20 × 20、40 × 40、80 × 80 和160 × 160)。因為數(shù)據(jù)集中均為小目標車輛,存在大量的標簽信息,直接訓練即可達到理想的效果,且由于模型結構的改變,官方發(fā)布的預訓練權重將不再適用于本模型。

        為了實驗的科學性,在消融實驗和對比實驗中均不加載預訓練權重,且經(jīng)過多次實驗,發(fā)現(xiàn)迭代400 次為最優(yōu),并設置每次輸入10 個樣本(batch size=10)。為加速模型收斂,使用Adam 優(yōu)化器替代傳統(tǒng)隨機梯度下降法對模型參數(shù)進行自適應調(diào)整,設置初始學習率為0.01,學習率動量為 0.937,權重衰減系數(shù)為0.000 5。為促進模型實現(xiàn)全局最優(yōu),前10 個epoch 使用warm up 訓練預熱,訓練預熱之后采用余弦退火算法再次調(diào)整學習率。除此之外,其余均為6.0版本的默認參數(shù)。

        3.2 實驗評估指標

        為準確評估NHN-YOLOv5s-MREFE 模型的性能,本文將精確率(precision,P)、召回率(recall,R)、平均精度(average precision,AP)、平均精度均值(mean average precision,mAP)、單位時間圖像檢測數(shù)量(frames per second,F(xiàn)PS)和模型參數(shù)量(Params)作為評估指標,設置交并比(intersection over union,IoU)為0.5,當預測框和真實框的交并比大于等于0.5時,則認為成功預測到目標位置。

        3.3 實驗對比分析

        為驗證NHN-YOLOv5s-MREFE 模型所提及的NHN、反卷積、并行策略、MREFE 和K-Means++聚類算法是否有利于提升航拍場景下小目標車輛的檢測精度,設計消融實驗對網(wǎng)絡模型進行客觀評價,并結合實驗結果進行分析。

        表3 所示為NHN-YOLOv5s-MREFE 的消融實驗結果,展示了以YOLOv5s 為基準和施加不同策略的組合模型迭代400 次的準確率、召回率和mAP 值。表3 中,NHN 為非臨近跳連特征金字塔網(wǎng)絡,MREFE 為多尺度殘差邊緣輪廓特征提取策略??梢钥闯?,引入各改進策略后的模型7,即本文提出的NHN-YOLOv5s-MREFE 模型性能提升最為顯著,與模型1(YOLOv5s)相比,精確率(P)、召回率(R)和平均精度均值(mAP)分別提升13.7%、1.6%和8.1%,驗證了本文算法在航拍場景下對小目標車輛識別的有效性。

        表3 NHN-YOLOv5s-MREFE消融實驗Table 3 NHN-YOLOv5s-MREFE ablation experiment

        從表3 可知,NHN(非臨近跳連特征金字塔網(wǎng)絡)的施加對模型1(基準模型)性能的提升具有積極的影響。通過NHN 的跳連相加,強化了模型對深層語義與淺層位置信息的融合能力,使非臨近層次的特征在空間維度上實現(xiàn)重用,有效解決了因特征的低效融合而導致的預測框位置偏差問題,與模型1(YOLOv5s)相比,NHN 的精確率(P)提升3.3%。并且在NHN 結構中,預測端微小目標檢測層的增加,實現(xiàn)了感受野與原圖小尺寸目標的對應,使模型的召回率(R)提升3.1%,減少了微小車輛的漏檢問題。但由于復雜的場景信息和較少的成像像素,為模型后續(xù)的特征提取帶來了極大的困難。為此,本文在模型3 和模型4 中分別施加反卷積和并行策略。

        消融數(shù)據(jù)表明,相較于模型2(NHN),模型3(反卷積)的各指標均有所下降,模型4(并行策略)以犧牲3%的召回率,換回了精確度6.7%的提升。而同時引入反卷積和并行策略的模型5,在確保召回率基本不變的情況下,使模型精確度提升了3.6%??梢?,反卷積通過參數(shù)學習雖然可以自適應學出一種最優(yōu)的上采樣方法,但在kernel size無法整除strides 或卷積核權重不均勻的情況下,會使圖像產(chǎn)生棋盤效應,且此效應不可根除,嚴重影響了模型的性能(王建明 等,2021)。而并行策略能顯著提升模型的檢測精度,通過擴充特征圖每一維度下的信息量,一定程度上削弱了棋盤效應的影響。

        為了進一步提升模型性能,減弱遮擋或極端環(huán)境的影響,本文在模型5(NHN+反卷積+并行策略)的基礎上分別施加MREFE 策略(多尺度殘差邊緣輪廓特征提取策略)和引入K-Means++對標注框重新聚類的數(shù)據(jù)表明,MREFE 策略通過融合圖像輪廓信息,能夠大幅提升檢測精度,只降低少量召回率。而K-Means++算法可以根據(jù)復雜場景信息重新聚類,確定Anchor 的個數(shù)和尺寸,加快模型收斂,提升檢測速度與精度。

        為了進一步驗證NHN-YOLOv5s-MREFE 模型性能的優(yōu)越性,引入單位時間圖像檢測數(shù)量(FPS)和模型參數(shù)量(Params)對比檢測速度和模型大小,并與目標檢測領域常見的幾種主流算法進行對比分析,包括單階段的YOLOv3、YOLOv4、YOLOv5s 和雙階段的Faster R-CNN。對于主干網(wǎng)絡的選取,F(xiàn)aster R-CNN 為ResNet-50,YOLOv3 為DarkNet-53,YOLOv4、YOLOv5s 和NHN-YOLOv5s-MREFE 均 以CSPDarkNet-53 作為主干網(wǎng)絡。此外,F(xiàn)aster R-CNN的輸入圖像尺寸最大,為800 × 800 像素。YOLOv3、YOLOv4 和YOLOv5s 的圖像尺寸統(tǒng)一縮放為416 ×416 像素和640 × 640 像素,并分別輸出了3 個不同尺度的圖像特征。

        為了對結果進行客觀評價,實驗在同等配置下使用相同的超參數(shù)(與消融實驗相同)對模型進行訓練,測試結果詳見表4。另外,表5 給出了各算法在不同場景下的誤檢和漏檢數(shù)據(jù)對比。

        表4 本文算法與其他主流算法的性能對比Table 4 Performance comparison of this algorithm with other mainstream algorithms

        表5 不同模型誤檢和漏檢情況對比Table 5 Comparison of model misdetection and missed detection

        圖8 給出了各算法在不同場景下的可視化結果對比,第1、2、3 行分別是十字路口(垂直)場景、沿途車道(傾斜)場景和沿途車道(垂直)場景。其中,紅色預測框和藍色預測框分別表示vehicle 和bigvehicle 類別,黃色框和紫色框則代表誤檢和漏檢目標。

        圖8 不同算法的效果識別圖Fig.8 Effect recognition chart of different algorithms((a)Faster R-CNN;(b)YOLOv3;(c)YOLOv4;(d)YOLOv5s;(e)NHN-YOLOv5s-MREFE)

        結合對表4 和圖8 的分析可知,F(xiàn)aster R-CNN 作為雙階段目標檢測的代表算法,對航拍場景下的小目標車輛具有一定的檢測能力,相較于單階段的YOLO 算法,雖然實時性遠達不到實際應用的需求,但在多數(shù)場景下各類預測框的定位和大小正確且類別判斷基本無誤。這說明輸入端圖像分辨率的大小可以影響模型的檢測性能,分辨率越大,越有利于圖像特征的提?。ń瓭蓾?等,2023)。相比于Faster R-CNN,單階段的YOLO 算法總體性能得到了大幅優(yōu)化,各項指標均有一定程度的提升,其中,檢測速度提升最為顯著,相比與Faster R-CNN,YOLOv3 和YOLOv4 提升了4 倍,YOLOv5s 更是提升了8 倍以上,但漏檢和誤檢的問題嚴重,無法滿足小目標車輛檢測環(huán)節(jié)對準確率的要求。

        而本文提出的NHN-YOLOv5s-MREFE 在上述算法中mAP值表現(xiàn)最為優(yōu)秀,相比于Faster R-CNN、YOLOv3、YOLOv4 和YOLOv5s 分別提升了10.5%、6.4%、22.6%和8.1%,且該算法預測框的大小和位置分布更加準確,對于其他主流算法均存在的漏檢和誤檢問題也表現(xiàn)出更加令人滿意的識別效果。從圖8 中可以看出,由于拍攝距離較遠、目標較小和目標與護欄之間邊緣細節(jié)特征的不準確,導致其他算法均存在誤檢(黃色框),如:不能準確判斷車輛類型(Faster R-CNN-c、YOLOv3-b-c、YOLOv5s-c),產(chǎn)生一物多框(Faster R-CNN-b、YOLOv3-a、YOLOv5s-a-c)或將護欄判定為車輛(YOLOv4-c、YOLOv5s-a-b),只有NHN-YOLOv5s-MREFE 算法能夠準確地檢測所有目標,且具有更低的漏檢率。

        由于非臨近跳連特征金字塔網(wǎng)絡(NHN)和多尺度殘差邊緣輪廓特征提取策略(MREFE)會消耗一定的計算時間,相較于YOLOv5s,本文模型檢測速度雖有所減慢,但仍是Faster R-CNN 的6 倍,YOLOv3 和YOLOv4 的1.5 倍,可以滿足實時性的需求。此外,模型參數(shù)量僅為Faster R-CNN 的1/3,YOLOv3 的1/6,YOLOv4 的1/5,易嵌入無人機等小型設備。綜合實驗結果來看,NHN-YOLOv5s-MREFE 算法可以較好地平衡檢測速度與精度,略微降低檢測速度,但顯著提升了檢測精度,并能夠滿足目標檢測的實時性需求,更加適用于航拍場景下的檢測任務。

        4 結論

        針對YOLOv5s 算法在小目標車輛檢測中出現(xiàn)的漏檢、誤檢和目標輪廓特征模糊等問題,本文創(chuàng)新性地提出了一種非臨近跳連與多尺度殘差結構的小目標車輛檢測算法。構建非臨近跳連特征金字塔結構(NHN)以強化非臨近層次的信息交互,引入反卷積、并行策略豐富圖像特征,設計多尺度殘差邊緣輪廓特征提取策略(MREFE)減少復雜環(huán)境對檢測精度的影響,同時引入K-Means++聚類算法加速模型收斂,共同提升模型的檢測性能。使用無人機對十字路口、沿途車道兩個典型應用場景進行多角度拍攝獲取實驗數(shù)據(jù),設計消融實驗并通過多場景的對比分析,驗證本文算法的檢測性能。

        實驗結果表明,NHN-YOLOv5s-MREFE 模型的mAP 值達到84.2%,F(xiàn)PS 保持在90.1 幀/s,在有效減少漏檢率和誤檢率的同時,能夠精準快速地檢測出形態(tài)多變、邊緣模糊和尺寸微小的小目標車輛。相較于其他幾種主流算法,NHN-YOLOv5s-MREFE 在綜合性能上有著較大的優(yōu)勢,可以滿足航拍場景下小目標車輛檢測的速度和精度需求,在交通流量、密度等參數(shù)的測量和統(tǒng)計、車輛定位與跟蹤等場景下有較高的應用價值。后續(xù)將對輕量化的網(wǎng)絡模型進行研究,探求一種模塊間的數(shù)據(jù)共享的方法,在保證網(wǎng)絡輕量化的同時提升算法精度和泛化能力,使其能夠廣泛應用于多場景下的車輛檢測任務。

        猜你喜歡
        特征檢測信息
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        抓住特征巧觀察
        訂閱信息
        中華手工(2017年2期)2017-06-06 23:00:31
        小波變換在PCB缺陷檢測中的應用
        展會信息
        中外會展(2014年4期)2014-11-27 07:46:46
        線性代數(shù)的應用特征
        河南科技(2014年23期)2014-02-27 14:19:15
        欧洲熟妇色xxxx欧美老妇多毛网站 | 亚洲一区二区三区影院| 啦啦啦www在线观看免费视频| 在线不卡av片免费观看| 亚洲人成网7777777国产| 婷婷丁香91| 国产av91在线播放| 各类熟女熟妇激情自拍| 亚洲av无码乱码国产麻豆| 亚洲人成电影网站色| 精品国产乱码久久久久久婷婷| 丰满岳乱妇一区二区三区| 一本无码人妻在中文字幕免费| 波多野结衣视频网址| 日本丰满妇人成熟免费中文字幕| 亚洲va成无码人在线观看| 国产成人自拍视频视频| 日本美女在线一区二区| 18禁止进入1000部高潮网站| 久久午夜无码鲁丝片午夜精品 | 精品人妻一区三区蜜桃| 久9re热视频这里只有精品| 久久夜色精品国产噜噜麻豆| 99久久精品自在自看国产| 久热re在线视频精品免费| 一区二区三区国产亚洲网站| 少妇人妻无奈的跪趴翘起| 强开小婷嫩苞又嫩又紧视频| 国产亚洲日本精品无码| 天天影视色香欲综合久久| 久久国产乱子精品免费女| 中文字幕一区二区三区精品在线| 久久精品亚洲成在人线av乱码| 高潮毛片无遮挡高清视频播放| 国产精品久久人妻无码| 久久国产色av| 亚洲青涩在线不卡av| h视频在线免费观看视频| 青青草免费手机视频在线观看| 中文字幕乱码熟妇五十中出| 精品熟女日韩中文十区|