張 磊，康進實，楊勁濤

(甘肅公航旅信息科技有限公司，蘭州 730000)

0 引言

超限超載運輸損壞公路路面、路基和橋梁，對交通安全、國家道路、運輸市場秩序等造成了極大危害。為加強對非法超限運輸治理，保障公路設施和人民生命財產(chǎn)安全，發(fā)展與完善智能治超系統(tǒng)[1]具有重大的現(xiàn)實意義。

在智能治超場景下，貨車在高速出入口經(jīng)過不停車稱重檢測，攝像頭拍攝貨車側方圖輸入給模型，模型實時識別出貨車車型繼而確定貨車限重，結合稱重與限重來判斷貨車是否存在超載運輸。因此，貨車車型的限重識別是智能治超中的重要技術環(huán)節(jié)。我國交通運輸部根據(jù)貨車車軸數(shù)量和聯(lián)結方式，確定了不同貨車進入高速公路的重量限額，表1展示了部分不同貨車類型及其重量限制。但由于確定貨車限重比較復雜，目前的工作主要是由收費站工作人員在高速公路入口處人工完成，存在識別速度慢，識別結果不準確等問題。

表1 貨車類型和重量限制

為了實現(xiàn)車型識別的自動化，傳統(tǒng)進行車型識別的方法主要有地感線圈法[2]、激光紅外線識別[3]以及動態(tài)壓電檢測法[4]。地感線圈法和動態(tài)壓電檢測法通過在路段下埋設電感線圈或壓電開關，不同類型的車輛經(jīng)過產(chǎn)生不同的電感信號波形來區(qū)分不同的車型。這樣的方法不容易區(qū)分相似車型，在車速較快時準確率不高，且安裝成本高，需要破壞路面，不易維護。激光紅外線識別通過在檢測道路的旁邊設立紅外線發(fā)射裝置和接收裝置。發(fā)射裝置發(fā)射紅外線到車體，接收裝置接收從車體反射回去的光線，根據(jù)車輛不同部位的反射信息不同來設別出不同的車型。這樣的方法都存在施工復雜且維護成本較高等缺點。傳統(tǒng)的識別方式已經(jīng)無法滿足信息化、智能化交通系統(tǒng)的建設需求了。

近年來，機器學習以及計算機視覺技術的發(fā)展成功應用在了車型識別領域。劉衛(wèi)東等[5]提出將機器視覺技術用于高速收費車型的判別。桑軍等人[6]使用Faster R-CNN來實現(xiàn)實時的車型識別。賀甜[7]利用卷積神經(jīng)網(wǎng)絡對公路貨車常見的九種車型進行了識別與分類。盡管這些方法能在一定程度上實現(xiàn)貨車的分類，但其依賴車輛外形特征進行車型識別，未充分利用貨車軸數(shù)作為貨車車型判別的首要特征。Mo等人[8]分析建立了車軸數(shù)量與位置分布和貨車限重之間的關系，提出了一種以改進的霍夫和聚類算法為核心的圓檢測方法來識別貨車輪軸。張念等人[9]提出了一種改進的YOLOv3模型，該模型首先對圖像中貨車及其輪軸的位置進行檢測和識別分類，然后，提取輪軸預測框中心點位置及貨車預測框位置，最后，通過計算輪軸中心點與貨車預測框位置信息的相對關系來判定貨車與輪軸的隸屬關系，進而由輪軸數(shù)實現(xiàn)貨車車型識別。盡管這些方法對感興趣目標識別的算法不同，但由于進一步考慮了貨車與輪軸的位置關系，均實現(xiàn)了更精準的貨車車型識別。

與上述工作不同，本文從3個方面對貨車車型識別模型提出改進。從數(shù)據(jù)方面，考慮到現(xiàn)實中更加復雜的場景，本文通過模擬惡劣天氣、圖像噪聲和數(shù)據(jù)損壞來對原始數(shù)據(jù)進行增強，豐富訓練數(shù)據(jù)多樣性，從而提高模型在自然場景中的魯棒性。從模型方面，本文改進了現(xiàn)有YOLOv5s模型，通過添加注意力機制來增強模型對位置信息的編碼從而提高模型識別準確性。在貨車與輪軸隸屬關系判別算法方面，本文提出了一種通用的判別算法能適用于更加豐富的場景，彌補了現(xiàn)有算法的不足。

1 YOLOv5網(wǎng)絡模型結構分析

YOLO[10-12](You Only Look Once)以其高效、高精度、重量輕等優(yōu)點成為目前最著名的目標檢測算法之一，YOLOv5[13]作為YOLO的檢測網(wǎng)絡系列之一，在實時目標檢測任務中應用廣泛。本文在YOLOv5的基礎上進行改進，用于貨車及其車軸的實時識別。本文首先介紹了YOLOv5的網(wǎng)絡結構。如圖1所示，YOLOv5的網(wǎng)絡結構由輸入、主干網(wǎng)絡、頸部網(wǎng)絡和預測四部分組成。

輸入：輸入是對輸入圖像進行圖像預處理的階段。預處理包括數(shù)據(jù)增強、自適應圖像縮放和錨幀計算。YOLOv5采用馬賽克數(shù)據(jù)增強方法，通過隨機布局、裁剪和縮放，將四幅圖像拼接成一張新照片，極大地豐富了檢測內容。并且在批歸一化計算中可以直接計算四幅圖像的數(shù)據(jù)，提高了訓練效率。YOLOv5將錨框計算嵌入到訓練中，在初始錨框上輸出預測框，然后與真值進行比較，計算損失，從而不斷更新錨框尺寸，自適應計算最優(yōu)錨框值。

主干網(wǎng)絡：主干網(wǎng)絡實現(xiàn)圖像特征提取，它包括Focus、CBL、CSP1、CSP2和SPP五個模塊。Focus的關鍵作用是對輸入圖像進行切片，使特征圖像變小，減少層數(shù)和參數(shù)，提高卷積運算速度。CBL由卷積層(Conv)、批量歸一化層(BN)和激活函數(shù)(Leaky ReLU)組成。它的功能是對切片圖像進行卷積、歸一化和激活操作。CSP網(wǎng)絡有CSP1和CSP2兩種結構，在特征提取中使用了具有殘差結構的CSP來優(yōu)化網(wǎng)絡中的梯度，使得層與層反向傳播時梯度值得到增強，從而可以有效避免由于網(wǎng)絡加深而導致的梯度消失。 SPP由CBL和MaxPool組成 SPP模塊最重要的功能是擴大感受野。SPP使用不同大小的卷積核輸入不同大小的特征圖進行最大池化，然后將不同的結果與沒有池化操作的數(shù)據(jù)拼接，使得輸出的特征向量維數(shù)保持一致。

圖1 YOLOv5網(wǎng)絡結構

頸部網(wǎng)絡：頸部網(wǎng)絡實現(xiàn)多尺度特征信息融合，它采用特征金字塔網(wǎng)絡 (FPN，feature pyramid network)和金字塔注意網(wǎng)絡 (PAN，pyramid attention network)的結構，由若干自下而上的路徑和若干自上而下的路徑組成。FPN自上而下對特征圖進行上采樣，并將提取的特征與主干網(wǎng)絡提取的特征融。PAN用于自下而上對特征圖進行下采樣，提取的特征與FPN層提取的特征進行融合。通過FPN+PAN，可以聚合主干網(wǎng)絡和檢測網(wǎng)絡提取的特征，提高網(wǎng)絡的特征融合能力。提取的特征通過CSP2模塊進行融合。

預測：YOLOv5考慮到邊界幀中心點的距離信息，在IOU[14](intersection over union)損失函數(shù)的基礎上使用新的損失函數(shù)CIOU[15](complete intersection over union)。在此過程中還使用了DIOU_NMS[16](distance intersection over union based non-maximum suppression)來代替?zhèn)鹘y(tǒng)的NMS操作，目的是更好地抑制冗余幀，從而進一步提高算法的檢測精度。

2 改進的貨車車型識別算法

2.1 復雜場景下的數(shù)據(jù)增強

在實際檢測中常常遇到光線弱、雨雪天氣等復雜場景[17]，由于傳統(tǒng)的識別算法容易受到上述復雜場景的影響，因此，無法滿足真實場景的應用。一個簡單有效的方式是盡可能使訓練數(shù)據(jù)覆蓋更多的場景，然而對應復雜場景下的數(shù)據(jù)難以收集。為了克服這一局限性，本文使用ImageNet-C[18]中的數(shù)據(jù)增強技術來模擬惡劣天氣、圖像噪聲和數(shù)據(jù)損壞等復雜場景，以增強數(shù)據(jù)集的多樣性，從而提高模型的魯棒性[19]。

ImageNet-C是評估視覺模型在損壞情況下的魯棒性的一個眾所周知的基準，它總共包含19種數(shù)據(jù)增強，分為四類即天氣、模糊、噪聲和數(shù)字(如圖2所示)。天氣模擬惡劣天氣，如霧，雪，霜和濺。模糊使用不同的技術平滑圖像像素的強度，如高斯，玻璃，運動，散焦和變焦。噪聲使用不同的函數(shù)隨機擾動像素值，如射擊，脈沖，高斯和散斑。數(shù)字由修改圖像分辨率(即JPEG壓縮，像素化，彈性)或像素強度(即飽和度，亮度和對比度)引起的各種數(shù)據(jù)損壞構成。本文在每一次迭代之前隨機選擇對原始數(shù)據(jù)進行增強，以豐富數(shù)據(jù)的多樣性，提高模型的魯棒性與泛化能力[20]。

圖2 不同數(shù)據(jù)增強示例

2.2 改進的通道注意力機制Local-SE

YOLOv5頸部結構為FPN + PAN模型，如圖3所示。FPN是一個自頂向下的特征金字塔，通過上采樣和卷積傳遞高級語義特征。但FPN只增強了語義信息，沒有傳遞位置信息。PAN結構通過在FPN之后添加一個自底向上的特征金字塔很好地補償了這一點。PAN對3種不同尺寸的圖像分別使用8次、16次和32次下采樣和卷積來完成特征提取和轉移，在此過程中，會丟失大量的位置信息，使得模型在檢測小目標時精度降低。

圖3 FPN+PAN模型

近年來，注意機制[21]被廣泛用于提高現(xiàn)代深度神經(jīng)網(wǎng)絡的性能，為了解決上述問題，本文在通道注意力機制[22](SE-Net Squeeze-and-Excitation Networks)的基礎上引入了一種新的注意力機制。SE模塊關注通道之間的關系，允許模型自動識別不同通道特征的重要性，但忽略了位置信息。位置信息在捕獲目標結構的視覺任務中非常重要，而PAN會產(chǎn)生大量的通道和位置信息，本文將位置信息嵌入到通道注意中，形成一種新的注意機制Local-SE。Local-SE在YOLOv5中的實現(xiàn)如圖4所示。它將被添加到PAN結構的下采樣過程中。

圖4 Local-SE注意力機制

為了更好地解釋Local-SE，首先簡要介紹SE模塊。標準卷積本身很難獲得通道關系，但這些通道關系信息對模型的最終分類決策具有重要意義。SE模塊通過使模型更多的關注最具信息量的通道特征并抑制不重要的通道特征來實現(xiàn)更好的特征提取。其工作原理是：首先對卷積得到的特征圖進行擠壓得到通道的全局特征，然后對全局特征進行激勵，學習各通道之間的關系，得到各通道的權重，最后與原始特征圖相乘得到最終特征。給定輸入f，第c個通道的擠壓方程如下：

(1)

其中：zc是第c個通道的全局特征，它是通過用特征編碼通道上的整個空間而獲得的。H和W分別表示特征圖的高度和寬度。Gsq表示集合中特征映射壓縮后的全局平均。

通過擠壓得到特征的全局描述后，需要通過激勵操作得到通道之間的關系。傳統(tǒng)的SE模塊使用sigmoid形式的門控機制：

s=Fex(z，W)=σ(g(z，W))=σ(W2ReLU(W1z))

(2)

其中：Fex表示激勵操作，W1和W2表示兩個線性變換，每個通道的權值通過學習得到。σ為非線性激活函數(shù)，它歸一化以獲得通道的重要性。

式(1)只壓縮了全局空間信息，沒有保留位置信息，本文提出的Local-SE旨在彌補這一缺失。將式(1)分解為垂直V和水平L的兩個方向，希望在不同方向對每個通道進行成對的一維特征編碼。垂直方向高度為v的第c個通道的輸出為：

(3)

同樣，水平方向上寬度為l的第c個通道的輸出為：

(4)

式(3)和式(4)將沿著水平和垂直兩個空間方向收集特征，并將最終在相應的方向上生成一對感知特征圖。與SE模塊的不同之處在于，Local-SE可以在一個空間方向上學習各個通道之間的關系權重，同時在另一個空間方向上收集精確的位置信息。這種方法有助于YOLOv5更精確地定位感興趣的目標。

為了充分利用收集到的位置信息，本文提出了一種新的計算權重的方法。創(chuàng)建一個共享的1×1卷積變換函數(shù)F，由式(3)和式(4)生成的聚集特征的子集將被送到該函數(shù)中，激勵操作為：

f′=σ(F(zv，zl))

(5)

(6)

(7)

其中：Fv和FL為兩個1×1的卷積操作，σ為sigmoid函數(shù)，wv和wl為不同通道的注意力權重。把得到的權重與原始特征圖相乘，得到最終的特征。Local-SE模塊輸出特征X為：

(8)

綜上所述，Local-SE模塊不僅考慮不同通道的重要性，還關注編碼的位置信息。本文將兩個不同方向的注意同時應用到輸入張量上，得到的注意圖可以確定對應的方向是否存儲了感興趣的目標。此外還可以在編碼過程中調整注意力，使感興趣目標位置的定位更加準確，從而提高模型的目標檢測能力。

2.3 貨車車型判斷

貨車車型的判斷方法應當適應多種場景，當一幀圖像中僅包含單輛貨車時(如圖5(a)所示)，只需要對輪軸進行計數(shù)便可識別出單輛貨車車型。當一幀圖像中包含非完整的多輛貨車時(如圖5(b)所示)，需要先去除非法目標，才能正確識別貨車車型。當一幀圖像中包含完整的多輛貨車時(如圖5(c)所示)，需要判斷輪軸與不同貨車之間的隸屬關系才能進行正確識別。

圖5 一幀圖像中的不同情況

本文針對上述不同情況，提出了一種通用的基于目標位置信息的判別算法。該算法利用貨車與輪軸的位置信息，通過分析輪軸與貨車分布位置關系來判斷貨車與輪軸的隸屬關系。

圖6 貨車與輪軸隸屬關系判定算法

貨車與輪軸隸屬關系判定算法流程如圖6所示。首先，利用優(yōu)化后的YOLOv5網(wǎng)絡識別貨車側方圖像，得到貨車及輪軸的預測框坐標。在此基礎上，提取輪軸預測框中心點位置信息和貨車預測框邊緣點信息，如果輪軸中心點落在邊緣框內則記錄進行下一步處理。然后，提取貨車預測框中心點位置信息，計算貨車預測框中心點與輪軸中心點的位置關系，根據(jù)輪軸位于貨車中心點下方的先驗知識判定貨車與輪軸的隸屬關系。最后，篩選出輪軸數(shù)量大于1的目標，得到貨車類型的識別結果。

3 實驗結果與分析

本文實驗所使用的操作系統(tǒng)為Ubuntu 20.04.5，處理器為Intel-Xeon CPU E5-2630 v4，顯卡為Nvidia GeForce TITAN XP，編程語言為Python 3.7.13，深度學習框架為Pytorch 1.12.0。

3.1 數(shù)據(jù)集與實驗設置

本文使用的數(shù)據(jù)集為自主采集的貨車車輛行駛數(shù)據(jù)圖像及網(wǎng)絡上收集的圖像，共3 000張，如圖7(a)所示。其中，2 400張用于訓練，600張用于測試。數(shù)據(jù)集使用labelimg標注圖像軟件工具對原始圖像數(shù)據(jù)集進行標注，如圖7(b)所示。

圖7 數(shù)據(jù)集處理

所有實驗均使用YOLOv5s模型，并加載在COCO(Common Object Context)數(shù)據(jù)集上訓練好的模型作為預訓練權重。模型總共訓練600個世代，其中前50個世代固定模型的主干網(wǎng)絡。設置批大小為16，使用Adam優(yōu)化器，初始學習率為0.01。

3.2 實驗評估指標

實驗采用的評估指標包括：精確率(Precision)、召回率(Recall)、平均精度(AP，Average Precision)和F1分數(shù)，具體定義如下：

Precision=TP/(TP+FP)

(9)

Recall=TP/(TP+FN)

(10)

(11)

(12)

其中：TP為真實值是正樣本，模型預測得出的結果為正樣本，F(xiàn)N為真實值是正樣本，模型預測得出的結果為負樣本，F(xiàn)P是真實值為負樣本，模型預測得出的結果為正樣本，TN是真實值為負樣本，模型預測得出的結果為負樣本。

3.3 模型訓練

完成數(shù)據(jù)集收集與標注之后，將提出的數(shù)據(jù)增強添加到數(shù)據(jù)預處理模塊中，搭建基于Local-SE注意力機制的YOLOv5s模型。修改數(shù)據(jù)配置文件和模型配置文件，使用在COCO數(shù)據(jù)集上預訓練好的模型來初始化模型參數(shù)，使用經(jīng)典YOLOv5s的損失函數(shù)，設置好優(yōu)化器參數(shù)。

完成上述設置后，模型開始訓練，隨著迭代次數(shù)的增加，模型的每一次預測結果與標注結果進行比對，計算損失利用梯度來更新模型參數(shù)。模型訓練過程中訓練集與驗證集損失如圖8所示，識別平均準確率如圖9所示，經(jīng)過300次迭代之后，各項數(shù)值變化基本趨于平穩(wěn)狀態(tài)，模型完成訓練。訓練結束后，輸入一張貨車形式側方位圖片，模型可以準確的識別出圖片中貨車和輪軸所在區(qū)域，模型輸出的形式為目標類別，錨框的中心點坐標、錨框的寬高以及識別目標的置信度。根據(jù)模型輸出，送入到本文提出的貨車與輪軸隸屬關系的判別算法中，即可得到最終貨車車型識別結果。

圖8 訓練集及驗證集損失曲線

圖10 測試集各參數(shù)指標

圖9 訓練集平均準確率曲線

3.4 實驗結果分析

本文在添加數(shù)據(jù)增強和注意力機制的基礎上對模型的實驗結果進行分析。圖10展示了模型在不同分數(shù)閾值下貨車和輪軸的精確率、召回率和F1分數(shù)，實驗結果選取的分數(shù)閾值為0.5。貨車車型識別在測試集上的表現(xiàn)如表2所示，檢測模型對貨車和輪軸的識別精度分別達到了99.34%和99.22%。通過判斷輪軸與貨車的隸屬關系，模型最終在測試集上對貨車車型識別的準確率為98.71%?？偟膩碚f，該模型能夠對貨車車型及其輪軸進行較為準確的識別。

表2 貨車車型識別模型測試結果

表3展示了在YOLOv5s模型基礎上添加數(shù)據(jù)增強和注意力機制對實驗結果的影響。從表中可以看到，添加數(shù)據(jù)增強和注意力機制都在不同程度上提高了模型對貨車和輪軸的識別準確率，從而提高了貨車車型的識別準確率。數(shù)據(jù)增強是從訓練數(shù)據(jù)層面擴展了訓練域的覆蓋范圍，在一些光照條件弱，模糊的場景下提高了模型的識別能力。注意力機制的引入是在特征方面增強了模型對上下文信息的編碼，提高了模型對小目標的定位與識別能力。綜上，本文提出的兩種方法在不同的層面上對模型的識別起到了促進作用。

表3 貨車車型識別模型消融實驗

為了更加直觀地展示本文所提出模型的改進效果，圖11為部分改進前后模型預測結果對比。圖11(a)從左往右分別展示了3種經(jīng)典YOLOv5s模型預測失敗的示例：左圖由于輪軸分布密集，光線強度弱，數(shù)據(jù)集中對于6軸以上的貨車側方圖片占比較少，從而導致原始的模型預測失??；中間圖因為光照和輪軸形變的因素，導致原始模型漏檢；右邊圖主要是光照因素導致模型僅定位了貨車而未能檢測出其對應輪軸位置。圖11(b)展示了改進后的模型對預測結果的改善，由于數(shù)據(jù)增強的引入，讓模型對光照、噪聲、模糊等因素的干擾具有了一定的魯棒性，此外注意力機制的加入也提高了模型對密集輪軸的預測的性能。

總的來說，從定量與定性結果上都展示出了所提出方法的有效性。優(yōu)化后的模型對貨車和輪軸的識別準確率高達99%，在此基礎上使用本文提出的貨車與輪軸隸屬關系判定算法能夠對貨車車型進行準確的識別。本文提出的方法能幫助貨車超載判斷實現(xiàn)無人化、自動化，對智能治超的應用具有一定的參考價值。

4 結束語

針對智能治超場景下的貨車車型識別問題，本文從數(shù)據(jù)集處理、模型設計和貨車車型判別算法3個方面提出改進。本文建立了貨車側方圖像數(shù)據(jù)集，并對圖像進行數(shù)據(jù)增強來模擬不同的復雜場景，豐富了訓練數(shù)據(jù)的多樣性，提高了模型的魯棒性與泛化性。通過加入Local-SE這一注意力機制來優(yōu)化YOLOv5網(wǎng)絡加強了其對位置信息的編碼能力，提高了模型的檢測精度。最后，本文提出了一種通用的基于目標位置信息的判別算法來判定貨車及其輪軸隸屬關系，彌補了現(xiàn)有判別算法的不足?？偟膩碚f，本文提出的方法實現(xiàn)了對貨車車型自動、快速和準確的識別，為智能治超的應用提供了一定參考意義。

本研究存在的不足是數(shù)據(jù)集中貨車圖像主要為側方位，下一步研究需要擴充更多的數(shù)據(jù)樣本，甚至是更多的數(shù)據(jù)形式(如：視頻數(shù)據(jù)，三維點云數(shù)據(jù)等)，進一步提高貨車車型識別模型的應用范圍。