李德鑫 閆志剛 孫久運

（中國礦業(yè)大學環(huán)境與測繪學院，江蘇徐州221116）

傳統(tǒng)河道漂浮垃圾分布情況調(diào)查主要通過人工巡河開展，不僅耗時耗力，且無法做到實時監(jiān)測。隨著信息技術(shù)和攝影技術(shù)的發(fā)展，利用無人機、無人船航拍河道的方式逐漸代替了人工巡檢，開展了基于航拍影像和目標檢測技術(shù)的河道漂浮垃圾識別的相關(guān)研究。

目前，較為有效的方法主要包括基于傳統(tǒng)機器學習的目標檢測技術(shù)和基于深度學習的目標檢測技術(shù)。傳統(tǒng)目標檢測技術(shù)的實現(xiàn)流程為：圖像分割，按目標的顏色、面積、紋理等在分割區(qū)域進行特征提取，利用分類器進行分類識別。如ALI等［1］利用采集影像時間與河道影像亮度之間的概率分布圖設(shè)置閾值，來分割水面漂浮的木屑。左建軍等［2］首先通過背景差法分割漂浮物區(qū)域，利用BP算法訓練樣本特征，然后將特征化數(shù)據(jù)輸入分類器進行分類。基于傳統(tǒng)機器學習的圖像目標檢測雖然取得了一定進展，但模型魯棒性較差，且中間過程需要人為干預，端到端的深度學習目標檢測算法應運而生?；谏疃葘W習的目標檢測算法可大致分為雙階段目標檢測算法和單階段目標檢測算法兩類。雙階段目標檢測算法最具代表性的有 Fast R-CNN［3］、Faster R-CNN［4］、RFCN［5］和 Mask R-CNN［6］，該系列算法檢測精度雖高，但檢測速度過慢，達不到實時性的效果，因此不適用于河道巡檢這種大型工程。單階段目標檢測算法最具代表性的是YOLO系列［7-9］和SSD系列［10-11］，因其省去了區(qū)域提取這一步驟，極大提高了檢測速度，學者們開始將單階段目標檢測算法應用于河道漂浮物檢測領(lǐng)域。雷李義等［12］基于SSD深度學習模型，在自制數(shù)據(jù)集上對比分析了各種特征提取網(wǎng)絡(luò)，最終選擇了性能較好的Resnet-50，實現(xiàn)了水面漂浮物的分類檢測。魏莉莉［13］基于TensorFlow框架采用VGG網(wǎng)絡(luò)提取特征，對河道漂浮物進行了分類識別。唐小敏等［14］基于SSD與Faster R-CNN深度學習模型，通過對比各特征提取網(wǎng)絡(luò)，選擇了基于ResNet-101特征提取網(wǎng)絡(luò)的SSD深度學習模型，實現(xiàn)了河道漂浮物的分類檢測。單階段目標檢測算法速度雖快，但在小目標檢測精度以及多類別檢測精度方面還有待提高。

本研究將YOLOv5s深度學習模型應用到河道漂浮垃圾分類檢測領(lǐng)域，為河道治理提供決策依據(jù)。顧及到漂浮垃圾在無人機影像中占比較小以及類別不均衡等問題，對YOLOv5s算法的檢測機理進行了深入剖析，通過對模型各模塊進行針對性改進，降低了各類別目標檢測精度之間的差異，提高了對小目標的檢測精度。

1 檢測算法原理

1.1 YOLO檢測算法

YOLO（You Only Look Once）算法的提出，開創(chuàng)了目標檢測算法的新紀元。其中，YOLOv1算法省去了窮舉候選框這一步驟，檢測速度相比雙階段目標檢測算法有了很大的提升，能夠達到實時性的效果，但是該算法對于小目標的檢測精度并不理想。針對YOLOv1算法的不足，REDMON等［9］在兼顧實時性檢測效果的同時，提升了多尺度目標檢測精度。在一些公開數(shù)據(jù)集的測試上，YOLO系列的v4版本在檢測精度和檢測速度方面已經(jīng)略優(yōu)于其它單階段目標檢測算法［15］。YOLOv5在v4版本的基礎(chǔ)上采用Pytorch框架，簡化了代碼，提升了在GPU中的運行速度。因此本研究基于YOLOv5s算法開展河道漂浮垃圾檢測，該算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

YOLOv5s將經(jīng)過自適應縮放至608×608大小的圖片劃分為S×S個網(wǎng)格，然后通過以上模塊中一系列的卷積、歸一化、激活等操作，將特征提取到19×19、38×38、76×76 3個不同尺寸的特征圖上來預測3種不同大小的目標。特征圖共有3×( )1+4+B個通道，負責預測3種不同形狀的目標。其中3代表錨框（Anchor box）個數(shù)，1代表錨框置信度（Confidence）（式1），4為先驗錨框坐標相對于預測框坐標的偏移量(tx,ty,th,tw)，B為目標類別總數(shù)。錨框置信度C公式為

式中，P(O)為目標中心點落在該網(wǎng)格中的概率，落在該網(wǎng)格中取1，否則，取0；I為真實框（GroundTruth Box）與預測框（Predict Box）之間的交并比（Intersec-tion Over Union，IOU），即兩個框的交集面積與并集面積之比。

若目標中心點落在某個網(wǎng)格內(nèi)，該網(wǎng)格則需要負責預測目標屬于第i類的概率P(Ci|O)。將P(Ci|O)與置信度相乘便可得到該錨框的類別置信度，本研究用S表示。該乘積既預測了錨框?qū)儆谀骋活惖念悇e，也包含了錨框的準確度。錨框的類別置信度計算公式為

對于錨框，若不加以抑制該模型最后將會在一幅圖上產(chǎn)生( )76×76+38×38+19×19 ×3=22 743個預測框。通過計算每個錨框與該類別置信度最高錨框的交并比，若大于預先設(shè)定的閾值則舍棄該錨框，然后在剩下的框中選取一個最大的框，再刪除其周圍IOU大于閾值的框，如此反復迭代得到該目標的最終錨框，該過程稱為非極大值抑制（Non-Maximum Suppression，NMS）。

最后通過梯度下降反復迭代計算錨框與真實框（Ground Truth）的LOSS函數(shù)，得到在LOSS取得最小值情況下每個錨框的類別得分和坐標偏移量，在此基礎(chǔ)上用錨框的坐標偏移量去微調(diào)先驗框得到預測框（Bounding Box），使得預測框不斷接近真實框。損失計算包括邊界框損失、置信度損失以及類別損失。置信度損失和類別損失采用的是二進制交叉熵損失函數(shù)（BCELoss）（式（3）），邊界框損失采用的是GIoU損失函數(shù)（式（4））。

式中，LB為二進制交叉熵損失函數(shù)；P'為樣本的預測值；y為樣本真實類別，y=1表示是該類目標，y=0則表示不是該類目標。

式中，LG為GIoU損失函數(shù)；D為包圍真實框與預測框的最小矩形面積；B為預測框；Bg為真實框。

1.2 YOLOv5s算法網(wǎng)絡(luò)結(jié)構(gòu)改進

相較于單階段目標檢測算法，YOLOv5s算法對在無人機影像中占比較小且存在類別不均衡的河道漂浮垃圾的檢測精度還有待提高。針對YOLOv5s算法在檢測小目標和類別不均衡目標方面的不足，本研究對數(shù)據(jù)增強預處理模塊進行了優(yōu)化，對SPP模塊［16］以及損失函數(shù)模塊做了改進，改進后的算法稱為YOLOv5s-enhanced。

YOLOv5s算法中數(shù)據(jù)增強分為Mosaic增強［17］和圖像增強［18-19］。Mosaic增強通過隨機縮放、裁剪、排列等方式，最多將4幅影像拼接成1幅影像，來豐富圖像的背景，進而提高算法的檢測性能。圖像增強主要包括圖像的仿射、透視等，使算法能夠感受同一目標的不同形態(tài)，來減弱算法的過擬合［20］。本研究將Mosaic增強模塊改為最多可將9幅影像隨機拼接成1幅影像，來提高模型對小目標的檢測性能；另外，為了消除河道上陽光反射對河流漂浮物的影響，在圖像增強模塊對圖像進行了直方圖均衡化處理。圖2顯示了YOLOv5s算法與YOLOv5s-enhanced算法在訓練過程中的數(shù)據(jù)增強效果（其中，“0”表示嚴重污染物，“1”表示中度污染物，“2”表示輕度污染物）。從圖2中可以看出，由9幅隨機影像拼接的圖片能夠進一步豐富圖像背景，并相應地提高了單批次訓練數(shù)據(jù)的數(shù)量（batch_size）；另外，經(jīng)直方圖均衡化處理后的圖像減弱了光照的影響，亮度變化單一，有利于提高模型的魯棒性。

在SPP模塊中，增加一個3×3大小的最大值池化濾波器，來提升模型的感受野，進而提高小目標的檢測精度。為保證SPP模塊輸出通道數(shù)與CSP2_1模塊輸入通道數(shù)保持一致，現(xiàn)將SPP模塊中第2卷積核的權(quán)重矩陣增加1/4個通道數(shù)的參數(shù)。改進前后的SPP模塊結(jié)構(gòu)對比如圖3所示。

在YOLOv5s損失函數(shù)中，置信度和分類損失函數(shù)采用的是BCELoss，它給予每一類目標相同的權(quán)重值，不利于正負樣本不均衡的河流漂浮物檢測。本研究采用Focal損失函數(shù)來計算置信度和類別的損失，F(xiàn)ocal損失函數(shù)式為

式中，F(xiàn)ocal_Loss代表Focal損失函數(shù)；α和γ用來解決正負樣本不均衡問題的兩個協(xié)調(diào)參數(shù)。

2 實驗設(shè)備與數(shù)據(jù)集

2.1 試驗數(shù)據(jù)集制作

試驗所用數(shù)據(jù)均來源于精靈四RTK大疆無人機對徐州奎河、廢黃河的傾斜攝影。通過在不同時間段下，讓無人機以不同姿態(tài)對河道進行攝影作業(yè)，來增加影像的時空多樣性，從而保證算法訓練結(jié)果的周密性。其中，無人機攝影作業(yè)時間為7∶00～19∶00，飛行高度為15～70 m，相機與水平方向夾角（相機姿態(tài)）有45°、60°和90°。圖4展示了多樣性數(shù)據(jù)集中的部分原始影像與局部放大圖，各影像獲取參數(shù)如表1所示。

對徐州市多條河道進行實地調(diào)查發(fā)現(xiàn)，河道中漂浮垃圾以農(nóng)藥袋和生活垃圾為主。依據(jù)《徐州市城市河道保潔質(zhì)量標準》并結(jié)合徐州市水務(wù)局相關(guān)水質(zhì)專家意見，本研究按照漂浮垃圾對水質(zhì)的污染程度將其分為3類：嚴重污染物（農(nóng)藥袋）、中度污染物（生活垃圾袋）、輕度污染物（玻璃瓶、硬紙箱等其它垃圾）。

本研究共采集了河道無人機影像3 011幅，去除圖像中沒有河流區(qū)域以及質(zhì)量較差的影像。最終利用標注工具Labelme對673幅影像進行了標注，共標注邊界框2 952個，并將標注信息保存為Json格式文件。將標注后的影像按照8∶2劃分訓練集和測試集。表2展示了訓練集和測試集中3類污染物的個數(shù)。圖5展示了多樣性數(shù)據(jù)集中的部分標注影像（影像獲取參數(shù)見表1），其中嚴重污染物，中度污染物（生活垃圾袋）以及輕度污染物（玻璃瓶、硬紙箱等其它垃圾）分別由不同線框標注。

2.2 實驗設(shè)備及參數(shù)設(shè)置

本研究在搭建的Pytorch深度學習框架上對自制的河道漂浮垃圾數(shù)據(jù)集進行訓練和測試。用到的硬件設(shè)備主要有Intel（R）Core（TM）i7-8750H CPU@2.20 GHz型號的電腦CPU，NVIDIA GeForce GTX 1060型號的電腦GPU，三星DDR4 2667MHz 16GB的內(nèi)存條，大疆Phantom4 RTK無人機。軟件環(huán)境為Windows10操作系統(tǒng)，Python3.6編程語言，Pytorch1.7.1深度學習框架，Labelme圖片標注工具。

訓練階段的超參數(shù)設(shè)置：梯度下降采用批量梯度下降法，一個批次（batch）為4，初始學習率設(shè)置為0.001，衰減系數(shù)設(shè)置為0.000 5，動量設(shè)置為0.937，F(xiàn)ocal_Loss函數(shù)中的α設(shè)置為0.25，γ設(shè)置為2。

3 試驗結(jié)果與分析

3.1 模型精度分析

在多分類任務(wù)中，一般采用類別均衡準確率（mean average precision，mAP）來反映模型檢測精度（式（6））?？紤]到數(shù)據(jù)集中各類別樣本數(shù)量差異較大，傳統(tǒng)的類別均衡準確率只能反映模型的總體檢測精度，不能較好地反映各類樣本檢測精度之間的差別，本研究引入各類別均衡準確率的方差（smAP）來衡量模型性能，如式（7）所示。

式中，mAP為多個樣本查準率和查全率曲線下面積的均值；mapi為數(shù)據(jù)集中各種類目標的類別均衡準確率；P為查準率；R為查全率；map為數(shù)據(jù)集總的類別均衡準確率。

本研究在測試集上對YOLOv5s和YOLOv5s-enhanced算法的性能進行了對比分析，結(jié)果如表3所示。

由表3可知，在本研究自制的河道漂浮垃圾數(shù)據(jù)集上，YOLOv5s-enhanced算法的mAP比YOLOv5s算法提高了3.47%；另外，YOLOv5s-enhanced算法的smAP為4.46%，YOLOv5s算法的smAP為10.4%，可見，YOLOv5s-enhanced算法對各類垃圾檢測精度的差異有所下降，這是由于Focal_Loss函數(shù)中α、γ參數(shù)所起到的調(diào)和作用所致。

3.2 模型識別結(jié)果對比

分別使用YOLOv5s-enhanced算法和YOLOv5s算法對訓練數(shù)據(jù)集開展訓練，對兩個訓練好的深度網(wǎng)絡(luò)模型，使用測試數(shù)據(jù)集進行了測試。圖6展示了20 m無人機視角下河道漂浮垃圾的檢測結(jié)果，低空飛行下漂浮垃圾占據(jù)了影像的較大部分，兩種算法都能較好地識別垃圾。

圖7展示了60 m無人機視角下河道漂浮垃圾的檢測結(jié)果，高空飛行下漂浮垃圾在影像中占比較小，YOLOv5s-enhanced算法相較于YOLOv5s算法出現(xiàn)漏檢的概率要低。

兩種算法對無人機不同飛行高度、不同飛行角度、不同時間段下所采集河道影像的檢測效果如圖8所示。由圖8可知，YOLOv5s-enhanced算法對高空無人機視角下的小目標檢測精度總體上優(yōu)于YOLOv5s算法。

4 結(jié) 語

基于YOLOv5s深度學習網(wǎng)絡(luò)對河道無人機影像進行了漂浮垃圾的分類檢測。首先通過RTK-無人機采集徐州市內(nèi)廢黃河、奎河等河流的影像，依據(jù)需求利用Labelme標注工具對影像中的河道漂浮垃圾按污染程度進行分類標注，建立了一個小型的河道漂浮垃圾數(shù)據(jù)集；針對單階段目標檢測算法在檢測小目標、類別不均衡目標方面的不足，對YOLOv5s模型的數(shù)據(jù)增強、SPP以及損失函數(shù)等模塊進行了針對性改進，其中，在SPP模塊中增加了一個3×3的卷積核來進一步提升模型的感受野，從而提高小目標的檢測精度；在損失函數(shù)模塊中，取代二進制交叉熵函數(shù)，使用Focal_Loss函數(shù)計算置信度和類別損失，來解決正負樣本不均衡問題；最后在測試集上對兩種算法進行了性能測試，結(jié)果發(fā)現(xiàn)YOLOv5-enhanced模型提高了小目標的檢測精度，另外模型的mAP比原始模型提高了3.47%。目前，該算法已經(jīng)應用于RTK-無人機實時巡檢系統(tǒng)，該系統(tǒng)通過讀取RTK-無人機的實時位置，來分析河道漂浮物污染程度的位置分布。