劉洺睿，車 奔，董洪波，朱若籬

(1.長安大學 地質工程與測繪學院，陜西 西安 710061；2.西安電子科技大學 廣州研究院，廣東 廣州 510555；3.中煤科工西安研究院(集團)有限公司，陜西 西安 710077；4.Department of Economics，Queen’s University，Ontario Kingston K7L3N6)

露天煤礦是我國煤炭生產體系的重要組成部分，目前我國露天煤礦總計450 余座，總產能約為9.5 億t/a，占我國煤炭總產量的25%以上[1]。可以說，露天煤礦為國家能源安全與經(jīng)濟發(fā)展提供了重要支撐。露天煤礦采場中車輛眾多，交通情況復雜，重型車輛、設備的視野盲區(qū)面積較大，碰撞、側翻事故時有發(fā)生，給礦山安全生產帶來了極大隱患，嚴重影響著煤礦的生產和安全。因此，加強露天煤礦車輛的位置監(jiān)測，及時確定車輛的位置信息對于降低安全事故隱患，提高生產效率至關重要。

隨著新一代信息技術與智能化技術加速融合，露天煤礦的智能化建設也明顯提速，無人機搭載光學傳感器進行智能化監(jiān)測就是其中之一。無人機遙感影像技術在近年來快速發(fā)展，因其能夠快速高效獲得高分辨率的低空遙感圖像，有效降低人力成本，而被廣泛應用[2]。其中程健等[3]應用無人機采集采空區(qū)圖像，并且提出一種混合域注意力網(wǎng)絡對地裂縫進行分析。秦曉輝等[4]針對礦山場景下目標尺度跨度大的特殊性，提出了CDDPP (Convolution Downsampling with Different Padding Positions)下采樣方法，改進預測Head，顯著提高了實際應用中模型的檢測精度。利用無人機遙感圖像實時獲取露天礦區(qū)的畫面，精確識別煤礦采場中車輛位置，合理利用無人機技術能切實有效的保障運輸過程中車輛和人員的安全性，減少事故的發(fā)生?；诘V區(qū)采場地域范圍大，地面監(jiān)控監(jiān)測困難，消耗人力物力多等問題，研究無人機遙感圖像的智能識別對于預防礦區(qū)采場車輛事故很有必要。

無人機遙感圖像中目標物體的像素通常只有幾十個像素，在高分辨圖像中占比極少，應用一般的檢測方法難以精確的檢測[5]。近年來，學者們針對遙感圖像中目標尺度差異大、小目標密集分布的問題對一些主流檢測器做出了改進。其中Wei Zhiwei 等[6]提出了尺度自適應模塊，通過動態(tài)調整圖像塊的尺寸來平衡目標尺度，使目標信息更加明確。Yin Ruihong 等[7]設計了AF-SSD，通過多層特征融合結構融合較淺層和較深層的特征信息，以此來增加檢測目標的有效信息。M.Zand[8]、M.Kim[9]、J.Redmon[10]等均以YOLOv3模型為基礎，融合深層淺層特征的結構以完成遙感圖像小目標檢測任務，同時保證了較高的推理速度?？紤]到對整張圖像或者特征圖進行超分辨非常耗時，Wu Jingqian 等[11]通過關鍵點預測獲得可能存在目標的潛在位置，然后在這些位置對應的圖像區(qū)域進行超分辨和檢測，避免了無目標區(qū)域的無效運算。此外，Ran Qiong 等[12]設計了一個輕量級的檢測模型MSCCA，通過融合多尺度的背景信息和增強的通道注意力來增強光學遙感圖像中的小目標檢測。

綜上所述，研究者們常見的做法是改進特征提取方式、改進損失函數(shù)、增加小目標檢測頭以及應用各類注意力機制，以此來與主流檢測器結合，增強算法對遙感圖像的檢測能力。而在露天煤礦采場遙感影像中背景信息更復雜、車輛尺寸占比更小，應用之前的深度學習算法仍無法有效提取出車輛的特征信息。此外，露天煤礦采場的地形復雜，應用傳統(tǒng)的影像采集設備成本較高、效率低下，而且無法完整地收集到全局場景信息。針對以上問題，本文提出一種改進的YOLOv7[13]模型，將深度學習的目標檢測方法進行優(yōu)化提升，并創(chuàng)新應用于煤礦采場無人機遙感圖像的小目標檢測，高精度識別采場中礦用卡車的位置，為礦區(qū)卡車行駛安全提供理論支撐。

1 基本原理和方法

基于深度學習的遙感圖像目標檢測已經(jīng)在海洋、氣象、天文、軍事等領域得到了廣泛的應用，但是應用在煤礦露天采場監(jiān)測領域的研究還較少[2]。隨著目標檢測方法的不斷發(fā)展，檢測精度高且速度快的目標檢測算法層出不窮。目前，較為流行的目標檢測算法大致可分為兩種：一種是兩階段方法，其中具有代表性的是R-CNN[14]、Fast R-CNN[15]、Faster R-CNN[16]等，這類算法檢測精度高，但是計算量大，結構復雜，檢測推理速度慢；另一種是單階段方法，采用單一回歸分類思想，其中具有代表性的是YOLO[17]、SSD[18]等算法，直接在原始圖像上完成輸入和輸出，具有端到端檢測的特點，相較于兩階段檢測方法，其在精度差距不大的情況下大大提高了檢測速度。本文選取目前最具代表性的單階段目標檢測算法YOLOv7，在保持高速的同時不失精確度，并在此基礎上進一步優(yōu)化。首先，由于通用目標檢測算法對于小目標檢測缺乏關注，檢測不敏感，往往檢測出較多無用的信息，本文將著重關注包含小目標信息的特征層，加強對感興趣區(qū)域的關注程度，引入強化圖像局部和顯著性特征的通道注意力機制[19]。其次，為了更好滿足目標檢測輸出的實時性，加快神經(jīng)網(wǎng)絡的推理速度，引入部分卷積神經(jīng)網(wǎng)絡(Partial Convolution)[20]，以此來進一步增強網(wǎng)絡的性能；最后，基于交并比(IoU)[21]的度量(例如IoU 本身及其擴展)對微小物體的位置偏差非常敏感，并且在用于基于錨的檢測器時會大大降低檢測性能，為此使用一種稱為歸一化Wasserstein 距離NWD(Normalized Wasserstein Distance)的新度量[22]，通過它們對應的高斯分布計算他們之間的相似性，從而進一步提高對小目標檢測的準確性。

1.1 YOLOv7 基礎網(wǎng)絡模型

YOLOv7 是目前比較先進的單階段實時目標檢測器，它主要由兩部分構成：主干網(wǎng)絡Backbone 負責初步提取圖片的信息；Head 部分對提取到的特征做進一步的加工及合理利用，最終檢測頭解析前面提取的特征，從而做出分類檢測。YOLOv7 網(wǎng)絡模型的主干網(wǎng)絡部分主要由卷積模塊CBS、ELAN 模塊、MP 模塊和SPPCSPC 模塊構成。YOLOv7 的原始網(wǎng)絡結構如圖1 所示。

圖1 YOLOv7 原始網(wǎng)絡結構Fig.1 Original network structure of YOLOv7

1.2 Partial Conv 網(wǎng)絡模型

為了同時減少計算冗余和內存訪問，設出更快速的神經(jīng)網(wǎng)絡，Chen Jierun 等[20]提出了Partial Convolution 模塊(之后稱為PConv 模塊)用以更有效地提取空間特征。它只需在輸入通道的一部分上應用常規(guī)卷積進行空間特征提取，保持其余通道不變。對于連續(xù)或規(guī)則的內存訪問，將第一個或最后一個連續(xù)的Cp通道視為整個特征圖的代表進行計算，其計算量CFLOPs為：

式中：h為輸入通道的高度；w為輸入通道的寬度；Cp為輸入通道的深度；k為卷積核的長度。其計算量僅為常規(guī)卷積的計算量CFLOPs的。PConv 模塊的內存訪問較小，約為h×w×2Cp，僅為常規(guī)卷積的。

PConv 模塊基本工作原理如圖2 所示。

圖2 PConv 模塊基本工作原理Fig.2 Basic principle of the PConv module

1.3 改進的ELAN-P 模塊

ELAN 模塊是一個高效的網(wǎng)絡結構，它通過控制最短和最長的梯度路徑，使網(wǎng)絡能夠學習到更多的特征，并且具有更強的魯棒性。由于PConv 模塊相對于普通卷積Conv 模塊可以更快速地提取輸入分支的特征，更好地訪問內存，所以本文使用PConv 模塊來代替普通卷積Conv 模塊，在不失去通道特征數(shù)的同時，來保持高效的計算速度。改進后的ELAN-P 模塊如圖3 所示。

圖3 ELAN 與ELAN-P 對比Fig.3 Comparison between the ELAN and ELAN-P modules

1.4 Partial Conv-eSE 網(wǎng)絡模型

eSE(Effective Squeeze and Extraction Block)是基于SE(Squeeze and Extraction)注意力模塊而來[23]。SE注意力模塊，是一種通道注意力模塊；常常被應用于視覺模型中，通過它能對輸入特征圖進行通道特征加強，而且最終SE 模塊輸出，不改變輸入特征圖的大小。SE 模塊基本工作原理如圖4 所示。

圖4 SE 模塊工作原理Fig.4 Principle of the SE module

SE 模塊中，為避免模型過于復雜，2 個FC 層(全連接層)需要減小通道數(shù)量。第一FC 層使用縮小率r將輸入特征通道C減少到C/r，第二FC 層將縮小的通道擴展為C，這會導致通道信息丟失。而eSE 僅使用一個具有C通道的FC 層，而不使用降低通道尺寸的兩個FC，從而維護了通道信息，從而提高了性能。eSE 模塊針對SE 模塊升級部分如圖5 所示。

圖5 SE 模塊與eSE 模塊Fig.5 Comprison between the SE and eSE modules

針對遙感圖像背景信息復雜，待檢測目標在圖像中像素占比較小，提取小目標特征困難，通過結合通道注意力機制進一步提取小目標特征，加強對特征區(qū)域的關注程度。針對普通卷積輸出特征速度慢的問題，本文在eSE 注意力模塊的輸入通道上結合PConv 模塊提出一種新的注意力模塊PC-eSE 模塊，并將PCeSE 模塊嵌入到YOLOv7 原始網(wǎng)絡Backbone 的3 個輸出通道中，進一步快速且有效地提取特征。改進后的YOLOv7 模型如圖6 所示。

圖6 PC-eSE 模塊工作流程Fig.6 Flow chart of the PC-eSE module

1.5 改進的損失函數(shù) NWD-Loss

無人機遙感圖像小目標檢測是一個非常具有挑戰(zhàn)性的問題，由于小目標在原始圖片中所占像素小和檢測器原始損失函數(shù)的固有缺陷，使用YOLOv7 原本的損失函數(shù)始終不能得到令人滿意的結果。基于IoU 度量的損失函數(shù)本身對小目標的位置偏差非常敏感，在基于Anchor 的檢測器中使用時，嚴重降低了性能?；诖藛栴}，本文采用基于Wasserstein 距離的小目標檢測評估方法NWD 度量(可以很容易地嵌入到任何基于Anchor 的檢測器的損失函數(shù)中)，將檢測邊框Bounding Boxs 建模為二維高斯分布，通過它們對應的高斯分布計算它們之間的相似性。經(jīng)過對比這種方法可以有效提高YOLOv7 檢測器的檢測精度，使之更好地識別出遙感圖像中的小目標。

connecting rod→conrod連桿；variable resistor→varistor可變電阻。

對于水平邊框D=，其中 (cx,cy)，w和h分別為中心坐標。水平邊界框可以建模為二維高斯分布N(μ,Σ)，其中：

邊界框A和B之間的相似性可以轉化為2 個高斯分布之間的分布距離，此處使用Wasserstein distance(w2)來計算分布距離。對于邊界框A=(cxa,cya,wa,ha)和B=(cxb,cyb,wb,hb) 建模的Na和Nb，可進一步得出：

通過得到的距離，使用指數(shù)形式歸一化，得到新的度量NWD，即：

式中：S為與數(shù)據(jù)集相關的一個超參數(shù)，可通過模型訓練得到。與IoU 相比，NWD 對位置偏差更平滑，在相同的閾值下，可以更好地區(qū)分出目標位置?；谝陨戏治觯琇oss 函數(shù)可設為：

式中：Np為 預測框p的高斯分布模型；Ng為GT boxes g的高斯分布模型。經(jīng)過對比分析，NWD 方法可以顯著降低假陰性。

2 實驗設備及數(shù)據(jù)

2.1 實驗設備

本文實驗環(huán)境為Ubuntu20.04、Python3.8、PyTorch1.13.0，相關硬件配置和模型參數(shù)見表1，其中訓練次數(shù)epoch 為100。

表1 硬件配置和模型參數(shù)Table 1 Hardware configuration and model parameters

2.2 實驗數(shù)據(jù)集

本文采用的數(shù)據(jù)集為露天煤礦采場礦用卡車數(shù)據(jù)集。露天煤礦采場礦用卡車數(shù)據(jù)集來源為無人機低空遙感影像，均為無人機搭載光學數(shù)碼相機拍攝的露天煤礦采場工作時的視頻影像，包含不同煤礦和不同天氣情況的采場工作場景。本文將遙感影像逐幀截取，由于所獲得的遙感圖像重復率較高，可能會增加訓練成本和計算負擔，所以每隔兩幀就移除一幀圖像，最終共獲得露天煤礦采場遙感圖像3 789 張。按照7∶2∶1 的比例劃分，其中2 653 張用于訓練集，758 張用于驗證集，378 張用于測試集。部分數(shù)據(jù)集示例如圖7 所示。接著通過LabelImg 工具進行標注，采用的是水平框，標簽格式為YOLO 格式，其中只包含車(car)一個類型，卡車統(tǒng)一標記為car。標注后的數(shù)據(jù)集包含復雜場景和簡單場景，共有36 320 個目標框，能充分體現(xiàn)露天煤礦采場中的現(xiàn)實情景，為本次實驗的主要研究對象。

圖7 煤礦卡車數(shù)據(jù)集示例Fig.7 Examples of the dataset of mining trucks

2.3 評價指標

本文針對模型性能優(yōu)劣采用的評價指標為精確度P(precision)，即模型預測目標中，預測正確的比例，計算公式為：

式中：TP為將正類預測為正類數(shù)，即正確預測；FP為將負類預測為正類數(shù)，即錯誤預測。

召回率R(recall)是所有真實目標中，模型預測正確的比例，計算公式為：

式中：FN為將正類預測為負類數(shù)，即錯誤預測。

平均精度Pmav(mean average precision，mAP)是所有類別預測精準的平均值，計算公式為：

式中：Pav為每一類別P值的平均值，本次采用的Pmav僅是閾值為0.5 時計算出來的值；N為類別總數(shù)；t為時間。

檢測速度采用的指標是每秒檢測圖片數(shù)量，即幀率，單位為帖/s，模型大小采用的指標是參數(shù)量，即模型參數(shù)的數(shù)量總和，單位為Mb。

3 實驗結果分析與評價

3.1 檢測結果

為了驗證所提出模型性能，使用上文所提到的訓練參數(shù)及數(shù)據(jù)集。在YOLOv7 改進網(wǎng)絡中訓練使用的官方數(shù)據(jù)增強方法，圖幅大小在輸入網(wǎng)絡結構時會被有效調整為640×640 和1 280×1 280，在這2 種圖幅大小下都進行了驗證，最終640×640 大小的效果較優(yōu)，也是本文選取的圖幅大小，隨后對改進的YOLOv7 模型進行多次實驗，最終模型均收斂，并且獲得了較好的精確度與召回率。對比原始的YOLOv7 模型，Pmav(IoU為0.5)由87.3%上升到94.5%，對比增加了7.2%，改進前后的P-R曲線如圖8 所示。

圖8 YOLOv7 改進前后P-R 曲線對比Fig.8 Comparison between the precision-recall curves of the original and improved YOLOv7 models

改進前后的YOLOv7 網(wǎng)絡效果如圖9 所示，在圖9a 中有卡車未被成功檢測，性能較差，而圖9b 為改進后的網(wǎng)絡模型檢測效果，可以有效改善卡車目標的漏檢。

圖9 YOLOv7 改進前后效果對比Fig.9 Comparison between the extraction effects of the original and improved YOLOv7 models

對每張圖片的平均推理速度由76 帖/s 上升到95 帖/s，對比增加了19 帖/s。有效證明改進模型可以快速檢測出露天煤礦采場的礦用卡車小目標。

3.2 消融實驗

為了進一步驗證模型的改進效果，采用消融實驗對各個改進方面進行驗證。消融實驗驗證的標準包括模型的精確度Pmav和參數(shù)量(Mb)。其中，模型參數(shù)量越小代表模型越輕量化。結果見表2。

表2 消融實驗Table 2 Results of ablation experiments

通過表2 可以看出，改進后的YOLOv7 網(wǎng)絡模型在輸入相同尺寸圖片的情況下，Pmav值超過了其他的組合，有效提升了檢測精度。

3.3 對比實驗

將改進后的YOLOv7 網(wǎng)絡模型與其他深度學習目標檢測網(wǎng)絡模型進行對比和分析。實驗將YOLOv5、YOLOv6、YOLOv8、Faster-RCNN 和YOLOv7 原始網(wǎng)絡進行比較。實驗選用Pmav(閾值為0.5)作為檢測指標。最終結果見表3。

表3 對比實驗(IoU=0.5)Table 3 Results of comparison experiments (IoU=0.5)

其中，F(xiàn)aster-RCNN 原始網(wǎng)絡較其他原始網(wǎng)絡表現(xiàn)好，但是其屬于雙階段目標檢測算法，相比于其他算法計算推理速度慢，需要的算力資源更多。YOLOv5、YOLOv6 和YOLOv8 都屬于YOLO 系列，它們的優(yōu)點是檢測速度快但是對于小物體的檢測不夠精確，對比YOLOv7 原始網(wǎng)絡它們檢測精度低，容易造成漏檢現(xiàn)象。改進后的YOLOv7 網(wǎng)絡相較于其他的深度學習檢測方法精度有明顯的提高，彌補了原始網(wǎng)絡在小目標檢測方面的不足，進一步提高了網(wǎng)絡的魯棒性。

4 結論

a.針對露天煤礦采場環(huán)境復雜、礦用卡車位置檢測困難的問題，提出一種基于露天煤礦場景深度學習的無人機遙感影像目標檢測算法。通過構建2 種不同模塊和一種新的損失函數(shù)引入到YOLOv7 原始網(wǎng)絡中，提高了對無人機遙感圖像中小目標的識別精度。

b.在煤礦采場卡車數(shù)據(jù)集上對所提出改進YOLOv7方法進行評估，其檢測精度Pmav比原始YOLOv7 網(wǎng)絡模型提高7.2%，相比于其他主流遙感目標檢測方法在精度上有明顯提升。實驗結果表明，該算法具有較高的識別精度，能夠對礦區(qū)卡車的位置進行準確定位。

c.將進一步改進網(wǎng)絡結構及模型，降低模型的參數(shù)量，使模塊可以快速部署于邊緣設備。