王沛雪，張富春，董晨樂

(延安大學 物理與電子信息學院，陜西 延安 716000)

0 引言

隨著經濟的發(fā)展和社會的進步，自動駕駛技術的研究與發(fā)展受到人們的廣泛關注[1]。在自動駕駛領域，良好的實時交通目標檢測與識別對保障道路環(huán)境安全十分重要。道路交通目標檢測通常分為4類：車輛檢測、行人檢測、交通標志檢測和其他障礙物檢測。如何準確快速地識別前方道路上出現的物體，為規(guī)范行車安全、保護公共安全并制定下一步如何避免障礙物的策略，擁有重大的實際意義。

近年來，深度學習的發(fā)展帶動了基于卷積神經網絡(CNN，convolutional neural network)[1]的目標檢測算法的迅猛發(fā)展，其具有結構簡單、檢測效果好、速度快等優(yōu)勢，已成為當前目標檢測研究的主流方向[2]。目前，基于深度學習的目標檢測算法分為兩種類型：兩階段模型(Two-stage)和單階段模型(One-stage)[3]。其中，兩階段模型通過生成目標候選框區(qū)域來進行分類和目標定位任務，代表算法以區(qū)域建議網絡的R-CNN為主，隨后發(fā)展出Fast R-CNN[4]、Faster R-CNN[5]等算法，檢測精度大幅提升，但參數量較大，導致檢測速度慢。單階段模型將目標檢測問題變?yōu)橐粋€回歸問題，不生成指定的候選區(qū)域，直接輸出分類和定位信息，以YOLO算法和SSD[6]系列算法為代表。相比于兩階段目標檢測算法，單階段目標檢測算法在檢測精度上雖然有所降低，但在檢測速度上得到了一定幅度的提升。盡管近些年來世界各地的專家學者們圍繞交通場景中的目標檢測算法的研究取得相當大的進步與發(fā)展，但從長遠的角度來看，現有的目標檢測算法并不能滿足實際的應用需求，仍有許多問題亟待解決：如存在待檢測目標密集且遮擋、由于設備或環(huán)境原因造成捕獲圖像存在分辨率低或模糊以及所捕獲照片背景復雜等情況，從而使檢測精度和速度難以滿足實際需求。

針對交通目標檢測領域存在的諸多挑戰(zhàn)，文獻[7]在基于Tiny-YOLOv3模型的基礎上增加卷積層和引入1×1卷積核來增強模型特征提取能力，減少模型計算力，保證了檢測實時性，但不適用各種復雜交通場景下的檢測任務；文獻[8]提出了一種新的多傳感器和多級增強卷積網絡結構模型MME-YOL，在處理尺度、遮擋和照明等問題中該模型檢測效果很好，但模型復雜度較高；文獻[9]提出了一種Attention-YOLOv4，在主干網絡中將注意力機制與殘差塊結合，提高復雜背景下目標的檢測精度，但低分辨率圖像中物體的檢測能力不足；文獻[10]改進了YOLOv4-Tiny算法，通過暗通道先驗理論對圖片進行去霧處理，提高了在雨、霧等惡劣環(huán)境下小目標識別能力，但模型結構復雜，不易于移動端的部署；文獻[11]提出了Faster R-CNN和YOLO的混合模型來進行檢測，擁有較高的檢測精度，但檢測速度慢，訓練時間長，無法滿足實時性要求。

本文提出了一種改進的基于YOLOv7[12]交通目標檢測算法，旨在解決目前關于復雜交通場景下道路交通目標檢測算法的問題。本文的主要貢獻有以下幾點：在原有YOLOv7網絡結構上新增加一個淺層網絡檢測頭，提高模型對小目標的檢測能力；提出一個新的模塊EL-MHSA，將多頭注意力機制(MHSA，multi-head self attention)融入主干網絡中，增強模型獲取全局信息的能力；在頸部網絡加入協調注意力(CA，coordinate attention)模塊，使模型可以忽略無關信息的干擾，提高模型檢測能力；將損失函數改為SIoU，減少損失函數收斂不穩(wěn)定的問題，提高了網絡對于目標尺寸的魯棒性。實驗結果表明，改進的YOLOv7算法在復雜交通目標檢測任務中檢測精度mAP@0.5和mAP@0.5：0.95分別提升了2.5%和1.4%的同時，檢測速度可以達到96.2 FPS，滿足復雜交通場景下目標檢測的準確性和實時性要求。

1 YOLOv7算法概述

YOLOv7是目前目標檢測YOLO系列中比較先進的算法，該網絡進一步提高了目標檢測的速度與精度。YOLOv7算法相比于其他算法，在5～160 FPS間的速度和精度方面表現得更優(yōu)秀。

YOLOv7算法采用了許多新的策略，如高效聚合注意力網絡(ELAN，efficient layer aggregation network)、基于級聯的模型(concatenation-based models)縮放、卷積重參數化等，并在速度和精度之間取得了很好的平衡。YOLOv7網絡結構主要由輸入端(Input)、主干網絡(Backbone)、頸部網絡(Neck)和頭部(Head)組成，如圖1所示。Input模塊將輸入的圖像經數據增強、裁剪、縮放等一系列處理后，將圖像統一變?yōu)?40×640像素，以便能滿足主干網絡的輸入要求。Backbone模塊主要由卷積(BConv)、ELAN層和MPConv層這3個部分組成。其中，BConv用于提取不同尺度的圖像特征；ELAN模塊結構對不同尺度的連接路徑進行控制，在預防了由于輸入信息和梯度信息在經過多層網絡傳播后出現信息丟失的同時還提升了網絡精度。MPConv模塊通過融合當前特征層和卷積處理后的信息的方式，從而提高網絡的提取能力。Neck模塊中，在頸部中引入路徑聚合特征金字塔網絡(PAFPN，path aggregation feature pyramid network)結構，加強不同層次間的特征聚合。在Head模塊中，YOLOv7利用3種不同大小尺寸的IDetect檢測頭，經過重參數化輸出3個不同尺寸的預測結果。

圖1 YOLOv7網絡結構圖

圖2 改進后的網絡結構圖

2 改進的YOLOv7算法

2.1 總體網絡結構

為了解決目前交通場景中目標檢測由光照、遮擋、目標小以及背景復雜等原因[13]而造成模型檢測精度較低，出現漏檢和誤檢現象的問題，本文使用YOLOv7網絡進行改進，改進后的網絡模型如2所示，其中虛線框起來的部分即改進的模塊。

2.2 增加淺層網絡檢測層

原YOLOv7模型通過8倍、16倍和32倍下采樣的方式獲取3種不同大小的特征圖，其尺寸分別為80×80、40×40、20×20，并將他們輸入到特征融合網絡中。在特征提取過程中，淺層網絡更關注目標的細節(jié)信息，例如目標的紋理和邊緣特征[14]；而深層網絡更注重于提取目標的語義信息。由于特征圖經過多次卷積和池化后，大部分遠景小目標特征信息會丟失，通過原始網絡的檢測頭很難檢測到這些信息。

交通道路場景下存在大量小尺度目標和密集遮擋目標，而這些目標特征信息大多存在于網絡更淺層，因此需要擴大網絡檢測尺度范圍，檢測出更小尺度目標，提高模型的檢測性能。本文在YOLOv7模型上通過淺層網絡P2增加了一個新的檢測頭，模型結構如圖3所示。該檢測頭通過主干網絡將輸入圖像經過4倍下采樣操作而得到，具有160×160 的分辨率，該特征含有待檢測目標更豐富的細節(jié)特征信息，可以增強模型對小目標特征的提取能力。盡管添加小目標檢測頭增加了模型的計算量和內存開銷，但是有助于增強微小目標的檢測能力。

圖3 添加淺層網絡檢測層結構圖

2.3 EL-MHSA模塊

由于交通目標檢測的圖像往往包含著許多復雜背景或者目標之間存在遮擋的問題，其圖像經過多次卷積層提取特征后，存在許多非感興趣區(qū)域信息，這些信息會干擾模型對目標的檢測，從而影響了檢測效果。為了更好地提取交通檢測目標的關鍵信息并弱化無關背景的干擾[15]，本文對YOLOv7網絡中的ELAN模塊進行改進，將多頭自注意力機制融入ELAN模塊中，如圖4所示。具體來說是將ELAN模塊中的要使用Cat進行融合的兩個3×3卷積改為多頭自注意力機制，可以在目標檢測中建立長距離依賴關鍵，而且對于路測圖像檢測表現出更好的效果，解決了路測圖像中因無效信息引起檢測效果不佳的問題，能更高效地提取圖像特征信息。在特征層間添加全局注意力雖然可以有效增加目標檢測的精度，但是也會使模型帶來額外的計算量和內存開銷，因此本文只在主干網絡Backbone中以最低分辨率的ELAN層(即ELAN4模塊)進行多頭注意力的融合。

圖4 改進的EL-MHSA模塊

多頭注意力機[16]是一種全局操作，在網絡中融入多頭注意力機制可以有效地獲取特征圖中目標周圍的上下文信息，增強模型全局信息的關注能力。多頭注意力機制的結構如圖5所示。MHSA由多個自注意力模塊組成，每個Self-Attention模塊在不同空間上捕捉全局特征信息。

圖5 多頭注意力機制結構圖

Q、K、V分別為 Query、Key、Value 矩陣，1×1 表示逐點卷積，WQ、WK、WV為注意力權重，整個過程中所學習并更新的就是注意力權重，RW和RK分別為像素a到b之間寬、高的相對位置編碼信息。使用多頭注意力機制可以將特征圖的全局信息與CNN卷積的局部信息相結合，從而形成參數量較少且能力更強的特征圖[17]。

2.4 協調注意力機制(CA)

由于待檢測的交通目標尺寸差異頗大且分布不均勻，使用原網絡來檢測時會出現漏檢誤檢的情況，因此在網絡中引入協調注意這種高效的注意力機制，讓模型更加關注自己感興趣的部分，增強網絡對檢測目標的提取能力。

CA注意力機制相比較傳統的SE注意力機制，它將位置信息嵌入到通道注意力機制中，避免使用2維全局池化造成的位置信息的丟失[18]。CA注意力機制還是一種輕量化的模型，它可以靈活地插入任何的網絡，還不會產生大量的計算開銷。

CA的結構如圖6所示，其中XAvg Pool和YAvg Pool分別表示沿著水平和垂直方向進行一維全局池化，進行各個通道間特征的聚合，使網絡結構可以獲得更多的感受野。

圖6 CA注意力機制結構圖

此過程可以表示為：

(1)

(2)

f=δ{F1([zh，zw])}

(3)

其中：[ ，]表示在某一空間維度進行拼接操作。然后將沿著空間維度拆分的兩個張量fh和fw，利用1×1卷積、Fh、Fw將其變?yōu)榫哂邢嗤卣鞯膹埩浚玫浇Y果如下所示：

gh=δ[Fh(fh)]

(4)

gw=δ[Fw(fw)]

(5)

最后，將得到的結果與輸入特征圖相乘，得到CA輸出結果如式(6)所示：

(6)

通過向YOLOv7網絡中插入CA模塊，可以使模型更加關注自己感興趣的區(qū)域，削弱復雜背景下無關信息的干擾，從而提高模型的檢測效果。

2.5 損失函數的改進

YOLOv7網絡的損失函數同YOLOv5網絡相同，都是由置信度損失、分類損失和坐標損失這3部分組成。YOLOv7網絡的坐標損失采用CIoU來計算，是在先前的損失函數的基礎上增加了對寬高比之間的考慮，但是并沒有考慮預測框和真實框之間的角度和比例，即真實框與預測框之間的方向不匹配的問題。為此，Gevorgyan等人在CIoU的基礎上提出了SIoU損失函數算法[19]，它不僅聚合了以往損失函數的優(yōu)點，而且還考慮了真實框與預測框之間的矢量角，并重新定義了損失函數。

簡單來說，SIoU損失函數更加全面細致地考慮了目標檢測中各個因素的影響，使得模型更加準確地學習目標特征和位置信息，從而提高檢測精度。因此，本文采用性能更加高效的SIoU來代替模型的CIoU損失函數，增加了網絡損失函數的收斂性，從而提高了模型的精度。SIOU 損失函數由4個Cost函數組成：即角度損失、距離損失、形狀損失和IoU損失。

角度損失是指在目標檢測任務中，用于度量預測框與真實框之間角度差異的一種損失函數。其計算方式通常采用如余弦距離等方法，通過將角度誤差映射為連續(xù)值來進行優(yōu)化。角度損失的引入可以進一步提升目標檢測模型對于目標位置和方向的識別能力，提高模型的精度和魯棒性。角度損失定義為：

(7)

為了進一步提高目標檢測模型的精度和可靠性，角度成本計算被引入到距離成本中。重新定義的距離成本不僅考慮了預測框與真實框之間的位置差異，還融合了角度誤差的測量，通過同時優(yōu)化位置和方向的損失函數來學習目標檢測任務中的特征表示。這種重新定義的距離成本相對于傳統的只考慮位置的距離計算方式，能夠更準確地對目標位置和方向進行建模，并在目標尺度和旋轉角度變化較大的情況下表現出更好的魯棒性和泛化能力。角度成本計算被應用為距離成本，為此重新定義距離成本如下：

(8)

距離損耗是目標檢測中用于度量預測框和真實框之間距離差異的一種損失函數。它通常采用均方誤差、IoU等方式來計算。在距離損耗的優(yōu)化過程中，除了考慮位置信息，還需要關注目標的尺度和旋轉角度等其他關鍵特征。距離損耗定義為：

(9)

由以上分析可知，在目標檢測任務中，綜合考慮位置、尺度和旋轉角度等關鍵特征的SIoULoss損失函數公式可以表示為：

(10)

3 實驗結果及分析

3.1 實驗環(huán)境

本文實驗環(huán)境在Linux系統中運行，利用兩塊內存為32 G的v100 GPU進行訓練，Python版本為3.8，CUDA版本為10.2，深度學習框架為Pytorch1.8.0。

模型訓練參數設置：迭代次數epoch=100，batch_size=8，學習率選取0.01，權重衰減系數為0.000 5，動量為0.937，輸入圖片采用640×640的分辨率，其余均采用默認設置。

3.2 數據集

本文選用由伯克利AI實驗室發(fā)布的公開交通場景數據集BDD 100 K中的10 K來驗證改進的YOLOv7模型在復雜交通情況下的有效性和優(yōu)越性。該數據集是在6種不同天氣、場景和白天、黃昏、夜晚共3種不同時間段的所采集的圖[20]，且該數據集有Person、Rider、Car、Bus、Truck、Bike、Motor、Traffic light、Traffic sign、Train這10個感興趣的對象類別，其各類別標簽數量如圖7所示，該數據集基本上涵蓋了交通檢測中所出現的所有基本目標。

圖7 BDD100K數據集各類標簽分布圖

在本次實驗中，本文按照8∶1∶1的比例對數據集進行了劃分。其中，訓練集包含8 000張圖像，驗證集包含1 000張圖像，測試集包含1 000張圖像。這些數據集的使用，旨在評估和改進YOLOv7模型在交通場景下的表現，以期提高交通檢測的準確度和效率。

3.3 評價指標

本文的性能評價主要采用以下4個指標：檢測精度(AP)、平均檢測精度(mAP)、準確率-召回率(P-R)曲線以及檢測速度(FPS)。相關指標的計算公式如下所示，旨在綜合評估本文提出的基于YOLOv7的交通目標檢測模型在不同方面的表現：

(11)

(12)

(13)

(14)

式中，TP為模型預測正確的正樣本數，Fp為模型誤檢的正樣本數，FN為模型漏檢的正樣本數。需要注意的是，由于檢測結果是基于一定置信度閾值得出的，因此在計算AP時需要對不同置信度下的結果進行平均化處理。具體而言，需要計算多個不同置信度閾值下的AP值，然后求其平均值，得到最終的mAP指標。

3.4 消融實驗

為了更好地驗證本文所提出的改進模型與方法的有效性，使用BDD00K數據集進行消融實驗。不同的改進策略使得模型的結構、檢測精度、速度、參數量也進行變化，具體的實驗結果如表1所示。

表1 算法在BDD100K數據集上的消融實驗結果

模型1為原始的YOLOv7算法的實驗結果，將本次結果作為后面幾組實驗的對比基準，檢測的mAP@0.5為57.3%，mAP@0.5∶0.95為31.9%，檢測速度是最快的。模型2在原網絡結構的基礎上引入EL-MHSA模塊，使BDD100K數據集mAP@0.5和mAP@0.5∶0.95分別提升了1.4%和0.9%，提升了網絡的整體性能。模塊3在頸部添加了CA協調注意力，挖掘各個通道間的相互依賴關系，增強對目標特征的提取能力，使mAP@0.5和mAP@0.5∶0.95分別提升了0.6%和0.2%。模塊4通過增加一個小目標檢測層保留了更多淺層細節(jié)信息，使模型的mAP@0.5和mAP@0.5∶0.95分別提升了2.3%和1.0%。模塊5將損失函數改為SIoU，mAP@0.5和mAP@0.5∶0.95分別提升了1.6%和0.4%，雖然提升的效果較小，但是在模型收斂方面有著較好的結果。

通過上述實驗，發(fā)現模塊4添加小檢測頭與模塊6整體改進的實驗數據相差不大，這是因為將上述所有模塊融入網絡中后，模型參數量增加，網絡結構相比單加模塊的方式更為復雜，影響了檢測精度?？偟膩碚f，每種改進的策略都可以讓模型性能有不同程度的提升。將每個模塊都融入后的算法與YOLOv7原算法相比，mAP@0.5和mAP@0.5：0.95分別提升2.5%和1.4%，表明該改進算法可以促進網絡對交通目標特征的學習，更易避免誤檢與漏檢情況的發(fā)生。該算法檢測速度為96.2 FPS，比最快的YOLOv7降低了10.2，但是完全可以滿足檢測實時性的要求。

3.5 改進算法與YOLOv7算法在BDD100K中各個類別的比較

為了驗證本文算法模型的優(yōu)越性，讓本文改進算法和YOLOv7算法各項參數指標相同的情況下，將兩個算法在BDD100K數據集中訓練的各個類別的AP值進行對比，結果如圖8所示。從圖中明顯可以看到本文改進算法的每個類別的平均精度都高于原始算法。其中，car的AP值從80.5%到84.1%，提升了3.6個百分點；bus的AP值從66.4%到68.6%，提高了2.2個百分點；person的AP值從68.2%到71.1%，提高了1.9個百分點；bike的AP值從50.8%到52.9%，提高了2.1個百分點；truck的AP值從67.9%到69.1%，提高了1.2個百分點；motor的AP值從49.1%到53.5%，提高了4.4個百分點；rider的AP值從50.1%到52.4%，提高了2.3個百分點；traffic sign的AP值從73.6%到74.7%，提升了0.9個百分點；traffic light的AP值從68%到71.6%，提升了3.6個百分點；尤其是train目標，由于檢測物體標注過于少，原算法沒有檢測出這個物體，而改進的算法檢測出精度為1.8%。從以上數據可以得出，本文改進的算法相比于YOLOv7原算法表現出更為優(yōu)越的性能，對交通道路場景下檢測任務具有更可觀的檢測效果。

圖8 改進算法與YOLOv7算法在BDD100K中10個類別比較

為了更加直觀地展示出本文改進算法在真實場景下的效果，在BDD100K數據集的測試集中隨機選擇了多張不同交通場景下的圖片進行對比分析，如圖9所示。其中，左側為本文改進算法的結果圖，右側為YOLOv7算法的結果圖。

圖9 不同交通場景下模型檢測對比結果

圖9的(a)組圖片檢測的是背景比較復雜的場景，右圖將車子上面的梯子誤檢成交通燈，左圖并沒有出現誤檢的情況；(b)組圖片是在夜間圖像像素模糊情況下進行檢測的結果，右圖將墻的邊沿檢測成了交通標志，而左圖正確地檢測出目標；(c)組圖片是在黃昏時光照不均勻的情況下的檢測結果，明顯可以看出，右圖由于光線昏暗且樹木遮掩，沒有識別出車輛，而左圖準確地檢測出被遮掩的車輛；(d)組圖片在目標交叉密集時，左圖明顯比右圖的精度檢測高?？偟膩碚f，本文改進的算法相對于YOLOv7算法表現出了更好的性能，一定程度上改善了漏檢和誤檢問題，可以更好地適應于交通場景下的檢測任務。

3.6 對比試驗

3.6.1 本文算法與其他同類改進算法對比試驗

本實驗將本文改進的算法與其它采用BDD100K公共數據集且應用于交通目標檢測的改進算法的性能進行比較，如表2所示。本文改進的算法相比AFFB_YOLOv5s[20]和M-YOLO[21]算法的檢測精度分別高了8.3%與3.0%，檢測速度分別高了20.3和33.2?？梢姡疚母倪M的算法相較于其他改進的算法表現出更為顯著的優(yōu)勢，可以更好地解決交通目標檢測中出現漏檢與誤檢問題的情況。

表2 本文算法與同類改進算法對比結果

3.6.2 本文算法與其他主流算法對比實驗

本實驗將改進的算法與Faster R-CNN、SSD、YOLO-v3[22]、YOLOv4[24]、YOLOv5和YOLOv7算法在同等條件下進行實驗對比，實驗結果如表3所示。

表3 不同算法在BDD100K數據集的性能對比結果

本文通過改進算法，針對現有目標檢測算法在實時性和精度之間的權衡問題，提出了一種新的解決方案。實驗結果表明，Faster R-CNN算法的mAP@0.5值為30.7%、FPS值為14.2，檢測速度太低，無法滿足實時性的需求；SSD算法的mAP@0.5值為28.1%、FPS值為39，相比Faster R-CNN，在提高速度方面有提升，但是檢測精度下降了2.6個百分點；而YOLOv3、YOLOv44和YOLOv5算法在檢測速度上都有很大的提升，但其檢測精度仍然存在局限。

相比之下，本文改進算法在速度和精度方面達到了一個良好的平衡。雖然相較于原算法，速度方面有所降低，但96.2 FPS的速度仍然是除原算法之外最優(yōu)的，完全可以滿足實時檢測任務的需求。在精度方面，本文算法在mAP@0.5和mAP@0.5∶0.95等多個評價指標上排列第一，明顯優(yōu)于其他主流算法。因此，本文算法可以在實時性和精度之間取得一個更好的平衡，為目標檢測任務提供了更加高效和準確的解決方案。

4 結束語

本文在YOLOv7網絡的基礎上進行改進，并將改進算法應用于交通場景的目標檢測中。通過在YOLOv7原網絡中融入全局注意力機制，設計一個新的EL-MHSA模塊，獲取全局結構化信息；通過在頸部網絡加入CA協調注意力機制，使其更好地提取細節(jié)特征；通過添加一個淺層網絡檢測頭，進一步提取小目標特征信息；通過改變網絡損失函數，減輕了模型收斂不穩(wěn)定問題。在BDD100K數據集上的實驗結果表明，該改進算法檢測結果優(yōu)于其它主流目標檢測模型，檢測精度在達到59.8%mAP的同時，檢測速度為96.2 FPS，該算法可以在保證檢測速度的同時還可以提高算法精度，在一定程度上減輕了誤檢和漏檢問題，能夠有效地完成交通場景下的目標檢測任務。但是，由于模型中添加檢測頭和注意力機制等方法使得模型復雜度上升，參數量變大，檢測速度稍有下降，后期可以考慮采用更加高級的特征提取算法和更加先進的目標檢測網絡結構，以進一步提高模型的檢測精度和速度。此外，還可以探索基于深度學習的模型量化和剪枝技術，以減小模型的計算和存儲開銷，從而提高模型在邊緣設備上的應用效果。