徐宏偉，李 然，張家旭

（大連海洋大學信息工程學院，遼寧 大連 116023）

0 引 言

當今，由于部分人缺乏環(huán)保意識，垃圾亂扔的現(xiàn)象隨處可見，一些垃圾出現(xiàn)在湖面等水域上。如果這些垃圾不及時清理，將會污染水資源，影響正常生活環(huán)境。傳統(tǒng)的解決方案是作業(yè)人員在湖面上進行垃圾捕撈，這種方式依賴大量人力，且存在高風險。因此，一種水面智能清污機器人應運而生，準確識別水面上的垃圾變的尤為關(guān)鍵。隨著人工智能和機器學習的發(fā)展，學者們提出了新的湖面目標檢測方法[1-3]。文獻[4]將人工智能應用于湖面目標檢測，并用實測數(shù)據(jù)驗證了檢測方法，證明基于神經(jīng)網(wǎng)絡(luò)的人工智能解決方案以非常低的計算成本實時提供了較好的檢測性能。文獻[5]通過改進數(shù)據(jù)稀疏性和小目標特征的R-CNN，利用非最大值抑制模型來消除可能的重疊檢測框，提出了一種基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的海防雷達目標檢測方法。該算法利用雙階段目標檢測器進行目標檢測識別，但單階段目標檢測器比雙階段檢測器重量輕。單階段檢測器使用單一前饋網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括分類和回歸，以創(chuàng)建邊界框來定位目標，比雙階段檢測器速度更快，代表算法有YOLOv4、YOLOv7、SDD 等。文獻[6]改進了YOLOv4 模型中的Mosaic 數(shù)據(jù)增強算法以進行數(shù)據(jù)擴充，并利用動態(tài)加權(quán)平衡損失改善類別不平衡，提高了檢測精度。文獻[7]結(jié)合YOLOv5 和暗通道去霧算法，融合了SE 注意力機制模塊和改進的非極大值抑制模型，提高了海上艦船識別的精確度。文獻[8]通過輕量化SSD 的骨干網(wǎng)絡(luò)，并采用深度可分離卷積和注意力機制等優(yōu)化策略，提高了檢測精度。由于模型版本的更新迭代，上述單階段目標檢測器模型的檢測精度已經(jīng)被新的版本——YOLOv7所超越，改進后的模型參數(shù)量大，推理時間長，在檢測精度與推理時間兩方面都需要改進。文獻[9]通過使用GhostNet 網(wǎng)絡(luò)替換YOLOv7 的主干特征提取網(wǎng)絡(luò)，并使用深度可分離卷積替換普通卷積，提高了微藻目標檢測的精度和速度。上述算法需要更換YOLOv7 的主干特征提取網(wǎng)絡(luò)和所有的卷積層，操作過程復雜、工作量大，可以使用更加簡化的半結(jié)構(gòu)化剪枝技術(shù)對模型進行輕量化。為了在保持模型精度的同時提高推理時間，近年來提出了許多技術(shù)，如剪枝、量化和知識蒸餾。量化需要專門的硬件支持來實現(xiàn)高效的部署，而這在嵌入式板中可能無法實現(xiàn)；知識蒸餾要求學生模型具有魯棒性，以吸收和保留從教師模型中獲得的信息，這需要花費大量的時間和復雜的計算；與之相比，剪枝既不需要復雜的計算，也沒有硬件約束。使用結(jié)構(gòu)化或非結(jié)構(gòu)化剪枝技術(shù)，小心地修剪掉不影響總體精度的冗余權(quán)重，以增加目標檢測器模型的稀疏性。

因此本研究將利用剪枝技術(shù)加速對象檢測器，結(jié)合湖面垃圾圖像特征，并基于YOLOv7 目標檢測模型，提出一種輕量化湖面漂浮物檢測模型C-X-YOLOv7。該模型使用了一種新穎的剪枝方法——半結(jié)構(gòu)化剪枝，使用深度優(yōu)先搜索算法生成父子卷積核計算圖，利用特定的內(nèi)核模式剪枝卷積核和相關(guān)的連通性，從而降低迭代剪枝的計算成本。融合CA 注意力機制模塊來加強特征提取能力，使用湖面垃圾漂浮物數(shù)據(jù)集對模型進行訓練與測試，并與其他常用檢測模型進行檢測效果的對比，以期為湖面垃圾漂浮物檢測識別提供一種新思路。

1 算法理論

1.1 CA 注意力機制模塊

CA 注意力機制模塊[10]不僅考慮了通道信息，還考慮了方向相關(guān)的位置信息。它通過對不同通道的特征進行加權(quán)，從而提高模型對重要特征的關(guān)注度，進一步提高模型的性能。計算公式如下：

式中：X表示輸入的特征圖；g(X)表示通過全局平均池化（Global Average Pooling）對X進行降維得到的特征向量；σ表示Sigmoid 函數(shù)。

首先對輸入的特征圖X進行全局平均池化，得到一個特征向量g(X)；再將g(X)輸入到一個全連接層中，得到一個向量z；然后將z輸入到一個Sigmoid 函數(shù)中，得到一個0~1 之間的值，表示每個通道的權(quán)重；最后將權(quán)重與原始特征圖X逐元素相乘，得到加權(quán)后的特征圖f_{CA}(X)。CA 注意力機制結(jié)構(gòu)如圖1 所示。

圖1 CA 注意力機制結(jié)構(gòu)流程圖

1.2 DFS 算法

DFS（Depth First Search，深度優(yōu)先搜索）算法過程為沿著每一個可能的路徑向下進行搜索，直到不能再深入為止，并且每一個節(jié)點只能訪問一次。

算法搜索遍歷的步驟如下：

1）首先找到初始節(jié)點A。

2）依次從A未被訪問的鄰接點出發(fā)，對整個圖進行深度優(yōu)先遍歷。

3）若有節(jié)點未被訪問，則回溯到初始節(jié)點，繼續(xù)進行深度優(yōu)先遍歷。

4）直到所有與頂點A路徑相通的節(jié)點都被訪問過一次。

2 C-X-YOLOv7 模型的構(gòu)建

2.1 注意力模塊

目前，輕量級網(wǎng)絡(luò)的注意力機制大都采用SE 模塊，僅考慮了通道間的信息，忽略了位置信息，所以本研究引入CA 注意力機制模塊。將CA 注意力機制添加進YOLOv7 結(jié)構(gòu)中，共有兩種方法：第一種，將Backbone 骨干特征提取網(wǎng)絡(luò)中所有的C3 模塊均替換成CA 模塊，替換后檢測效果有提升，可以檢測到未做改動前檢測不到的目標，但是準確率、召回率以及平均精度均值均有下降，需要手動調(diào)整閾值，才能達到滿意的效果；第二種，在Backbone 骨干特征提取網(wǎng)絡(luò)的最后一層添加CA 注意力模塊，替換原有輸出層，替換后檢測效果比第一種方法略有提高，并且不需要手動調(diào)整閾值，所以在本文研究中使用第二種方法將CA 注意力機制模塊引入本文模型中。

2.2 改進的半結(jié)構(gòu)化剪枝框架X-Toss

高精度的目標檢測使得檢測模型更加復雜，產(chǎn)生較大的內(nèi)存占用和更多的推理時間。為了減少操作延遲，同時保持模型精度，采用剪枝技術(shù)是一種有效的手段。在剪枝技術(shù)中，基于模型的半結(jié)構(gòu)化剪枝可以提供比非結(jié)構(gòu)化剪枝更好的稀疏性，同時確保比結(jié)構(gòu)化剪枝技術(shù)更好的準確性。當前的技術(shù)主要集中在3×3 卷積核上，這限制了可實現(xiàn)的稀疏性，進而限制了推理加速的優(yōu)勢。因此，為了增加此類模型的稀疏性，基于模型的剪枝技術(shù)有時會在這3×3個卷積核上使用連通性修剪。但是，連接剪枝中使用的“每層最后一個內(nèi)核”這項標準，會導致其中重要信息的丟失，從而降低模型的精確率。

為了解決這些問題，本文提出了一種三步剪枝方法來剪枝1×1 卷積核：

1）將1×1 個卷積核組成3×3 個臨時權(quán)重矩陣；

2）對這些權(quán)重矩陣應用卷積核模型修剪；

3）將臨時權(quán)重矩陣分解為1×1 卷積核，并重新分配給它們的原始層。

半結(jié)構(gòu)化剪枝的X-Toss 流程圖如圖2 所示。

圖2 半結(jié)構(gòu)化剪枝的X-Toss 流程圖

1）使用深度優(yōu)先搜索（DFS）算法尋找模型中的父子層耦合，由此得到的父子圖用來減少剪枝的計算需求。當父層的修剪反映在圖中的子層中時，計算成本就會減少；然后跟蹤DFS，在子圖中識別出3×3 和1×1 卷積核，并對它們應用特定內(nèi)核大小的剪枝。

通過標準組合法在所有可能的組合中生成模型掩模，使用以下公式計算：

式中：n是矩陣的大??；k是模型掩模的大小。使用以下兩個標準來縮小所使用的卷積核模型的數(shù)量：丟棄所有沒有相鄰非零權(quán)重的模型，這樣做是為了保持卷積核模型的半結(jié)構(gòu)化性質(zhì)；通過使用范圍[-1，1]內(nèi)的隨機初始化計算內(nèi)核的L2范數(shù)來選擇最常用的卷積核模型。k的取值范圍為1~8，這可以產(chǎn)生8 種不同類型的圖案組。為了提高模型的稀疏度，非零權(quán)重的數(shù)量需要更低。文獻[11-12]在卷積核模型修剪中使用了由內(nèi)核中的4 個非零權(quán)重組成的4 通道模型。但是這導致模型具有相對較低的稀疏性，并且為了克服這個問題，文獻[11-12]使用的方式為連接性剪枝。由于連接性剪枝的局限，在本文研究的X-TOSS 框架中使用2 通道模型，使用2 個非零權(quán)重。

2）通過算法為3×3卷積核模型修剪。首先使用3×3父核權(quán)重作為輸入，并初始化一個變量來存儲內(nèi)核權(quán)重。創(chuàng)建一個由2EP 模型組成的模型組，初始化一個空列表（L2_dict），在應用模型組中的卷積核模型后，該列表可以存儲臨時卷積核的L2范數(shù)。接著遍歷卷積核模型，計算卷積核的L2范數(shù)，這個L2范數(shù)存儲在L2_dict list 中。通過使用來自L2_dict 的L2范數(shù)找到臨時內(nèi)核的最佳卷積核模型，將卷積核模型的值存儲，并更新為其原始權(quán)重矩陣。遍歷父層中的所有內(nèi)核，并將其存儲為父層組中其余3×3 內(nèi)核的內(nèi)核掩碼。為父核找到合適的模型后，利用卷積映射將這些模型應用于相應的子內(nèi)核。通過執(zhí)行1×1 到3×3 內(nèi)核轉(zhuǎn)換，將這種模型匹配方法應用于1×1 內(nèi)核。對特定組中的所有內(nèi)核應用相同的內(nèi)核掩碼，可以減少框架修剪整個模型所花費的時間。

3）通過算法為1×1 內(nèi)核進行修剪。通過執(zhí)行1×1到3×3 的變換，在內(nèi)核修剪中移除了連通性剪枝，這可以保持模型的準確性，并減少因連通性剪枝而導致的損失。

2.3 C-X-YOLOv7 模型

將CA 注意力模塊融入在YOLOv7 的Backbone 端，將提出的半結(jié)構(gòu)化剪枝框架X-Toss 應用在Conv 卷積層。C-X-YOLOv7 模型結(jié)構(gòu)如圖3 所示。

圖3 C-X-YOLOv7 模型結(jié)構(gòu)

3 湖面漂浮物（垃圾）檢測試驗

3.1 試驗環(huán)境及參數(shù)設(shè)置

本文試驗運行系統(tǒng)為Windows 10，Intel Xeon Silver 4210（CPU），16 GB RAM，GTX 2080Ti（GPU），NVIDIA 高性能嵌入式計算機Jetson TX2，軟件為Pycharm 2021，CUDA 10.1，CUDNN 7.4.2，深度學習框架為Pytorch 1.7.1。

3.2 評估標準

目標檢測領(lǐng)域通常使用如下三種數(shù)據(jù)進行評估：精確率、召回率、平均精度均值。為了客觀地評價本文提出的C-X-YOLOv7 模型的效果，也采用這三種數(shù)據(jù)作為評價指標。計算公式為：

式中：TP 為湖面漂浮物被正確預測的個數(shù)；FP 是湖面漂浮物被錯誤預測的個數(shù)；FN 是湖面漂浮物未被預測到的個數(shù)；AP 是平均精度；P是精確率；R是召回率；mAP 是平均精度均值；N是樣本數(shù)量類別。

推理加速比（Inference Speedup）是一個無單位的比值，用于衡量模型推理或預測速度的提升程度，計算方式是將優(yōu)化前的推理時間除以優(yōu)化后的推理時間。例如，如果優(yōu)化前的推理時間是10 s，優(yōu)化后的推理時間是5 s，那么推理加速比就是=2，表示推理速度提升了2×。

3.3 消融試驗

為了驗證本文提出的X-Toss 半結(jié)構(gòu)化剪枝框架CX-YOLOv7 模型的客觀性和有效性，將不同的模型在相同的系統(tǒng)、相同的硬件配置下進行對比試驗。在配置環(huán)境及初始訓練參數(shù)一致的情況下，本文改進的YOLOv7網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型在硬件RTX 2080Ti 上總體試驗結(jié)果如表1 所示。

表1 不同改進策略的湖面垃圾識別效果對比

在不同的硬件上，將未進行任何修剪的基礎(chǔ)模型（Base Model, BM）的試驗數(shù)據(jù)作為標準，將本文的半結(jié)構(gòu)化剪枝框架X-Toss 分別與Pat DNN（PD）[12]、Neural Magic SparseML（NMS）[13]、Network Slimming（NS）[14]這三種使用不同修剪方法的框架進行對比。在RTX 2080 Ti 上，X-Toss 在YOLOv7 模型上實現(xiàn)1.98×的推理時間加速比；在NVIDIA Jetson TX2 上，X-Toss 在YOLOv7 模型上實現(xiàn)2.17×的推理時間加速比。現(xiàn)階段性能較好的修剪框架PD 在RTX 2080 Ti 上的推理時間加速比為1.69×，在JetsonTX2 上的推理時間加速比為2.05×，X-Toss 在RTX 2080 Ti 和Jetson TX2 上的推理時間加速比分別比PD 提升了0.29×和0.12×，并且使用能耗均低于上述幾種修剪框架，試驗數(shù)據(jù)如表2 所示。不同檢測模型對于湖面上的塑料瓶這一種類漂浮物的檢測結(jié)果如圖4 所示。

表2 不同剪枝方法框架在兩種硬件條件下的結(jié)果對比

圖4 不同模型的湖面垃圾檢測對比試驗結(jié)果

從結(jié)果得出，YOLOv7 模型的準確率略低于CYOLOv7 模型并且存在漏檢的問題，C-YOLOv7 模型雖然精確度有提升，但是依然存在漏檢的情況，甚至出現(xiàn)了誤檢。C-X-YOLOv7 模型對湖面垃圾的識別準確率較前兩種方法均有提高，并且解決了漏檢和誤檢的問題。C-X-YOLOv7 模型的準確率為91.7%，較其他兩種模型分別提高了5.2%和2.6%；平均精度均值為68.6%，較其他兩種模型分別提高了3.3%和1.5%。

4 結(jié) 論

本文研究以YOLOv7 模型為基礎(chǔ)，提出了C-XYOLOv7 模型。通過添加CA 注意力機制模塊和改進半結(jié)構(gòu)化剪枝框架X-Toss 輕量化了YOLOv7 模型，提高了對湖面漂浮物（垃圾）的檢測精度和速度。本文中湖面漂浮物的數(shù)據(jù)集主要依靠網(wǎng)絡(luò)搜尋獲取，數(shù)據(jù)集背景類型大致相同，相對單一簡單。今后的研究將進一步豐富湖面漂浮物數(shù)據(jù)集，并考慮湖面波浪反光干擾的因素，在去除湖面反光等干擾因素方面有創(chuàng)新性研究成果。