周裔揚，鄧三鵬，祁宇明，王 振，陳 偉，李丁丁

（1.天津職業(yè)技術(shù)師范大學(xué)機器人及智能裝備研究院，天津 300222；2.天津市智能機器人技術(shù)及應(yīng)用企業(yè)重點實驗室，天津 300352）

0 引言

移動機器人目標檢測是機器人對抗、軍事偵察和物料搬運等領(lǐng)域的關(guān)鍵技術(shù)。移動機器人通過所部署的視覺傳感器了解周圍的復(fù)雜環(huán)境，識別周圍的目標，并對其進行定位。近年來，基于深度學(xué)習的目標檢測算法在檢測效果方面取得了進展，同傳統(tǒng)方法相比，在復(fù)雜環(huán)境下的準確率和檢測速度有著質(zhì)的飛躍。深度學(xué)習檢測算法在語音識別、圖像識別和自然語言處理等領(lǐng)域得到應(yīng)用，基于卷積神經(jīng)網(wǎng)絡(luò)的移動機器人檢測算法具有廣泛的應(yīng)用前景和重大的實用價值[1]。卷積神經(jīng)網(wǎng)絡(luò)是一種通過對現(xiàn)有的大量數(shù)據(jù)進行訓(xùn)練從而搭建一個具有特定特征的模型來進行特征學(xué)習的機器學(xué)習方法，目前為止已經(jīng)有R-CNN，F(xiàn)aster R-CNN，F(xiàn)ast R-CNN 和YOLO 等檢測算法。YOLO 采用徹底的端到端的檢測方法，不需要區(qū)域建議尋找目標，具有檢測速度快，背景誤判率低等優(yōu)點[2]。目前經(jīng)過幾年的更新迭代，已經(jīng)更新到Y(jié)OLOv5。

1 基于改進YOLOv5 網(wǎng)絡(luò)模型及識別原理

1.1 YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)

Yolov5 目標檢測網(wǎng)絡(luò)中有Yolov5s、Yolov5m、Yolov5l 和Yolov5x 一共四個版本。Yolov5s 網(wǎng)絡(luò)是Yolov5 系列中深度最小，特征圖寬度最小的網(wǎng)絡(luò)，是其它3 種的基礎(chǔ)。鑒于研究的檢測目標是移動機器人，根據(jù)檢測的目標大小，為了保證檢測目標的速度和精度以及后續(xù)的研究目的，由此選擇Yolov5s 作為主干網(wǎng)絡(luò)。Yolov5s 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5 核心的運行流程為：

（1）輸入端部分：輸入端首先使用Mosaic 數(shù)據(jù)增強的方式對數(shù)據(jù)集進行隨機縮放、隨機裁剪、隨機排布，通過選取4 張圖片進行拼接后投入訓(xùn)練，這樣的方式豐富了圖像的背景，同時也增強了網(wǎng)絡(luò)檢測小目標的能力，大大提高了網(wǎng)絡(luò)的魯棒性[3]。在YOLO算法中，根據(jù)數(shù)據(jù)集的差異，初始都會有設(shè)定長寬的錨框。在訓(xùn)練過程中，網(wǎng)絡(luò)會在初始錨框的基礎(chǔ)上，先輸出預(yù)測框然后同真實框ground truth 進行比較，計算出雙方的差距，再反向更新錨框，迭代網(wǎng)絡(luò)參數(shù)，這樣就可以獲取訓(xùn)練集中最佳的錨框值。

（2）骨干網(wǎng)絡(luò)部分：骨干網(wǎng)絡(luò)部分包括Focus 結(jié)構(gòu)和CSP 結(jié)構(gòu)。Focus 結(jié)構(gòu)指的是輸入608×608×3的圖像，隨后進行切片操作，從而得到304×304×12的特征圖，隨后再經(jīng)過一次32 個卷積核的卷積操作，最后輸出304×304×32 的特征圖[4]。在Yolov5s中，含有兩種CSP 結(jié)構(gòu)，其中，Backbone 主干網(wǎng)絡(luò)使用CSP1_X 結(jié)構(gòu)，Neck 則使用CSP2_X 結(jié)構(gòu)。

（3）多尺度特征融合模塊[5]部分：多尺度特征融合模塊使用的是FPN（Feature Pyramid Networks，特征金字塔網(wǎng)絡(luò)）+PAN（Pyramid Attention Network，金字塔注意力網(wǎng)絡(luò)）結(jié)構(gòu)。FPN 是通過由上而下的方式將頂端的特征信息與骨干網(wǎng)絡(luò)的特征信息相融合，傳遞強語義特征信息，隨后PAN 再通過由下而上的方式進一步實現(xiàn)強定位特征的傳遞。兩者相結(jié)合構(gòu)成了多尺度特征融合模塊部分，加強網(wǎng)絡(luò)的特征信息。

（4）預(yù)測端部分：預(yù)測端輸出3 個尺度的特征圖，分別為19×19、38×38 和76×76 的網(wǎng)格，對應(yīng)檢測大目標、中目標、小目標。在最后，使用非極大值抑制（NMS）的方法，篩選掉重復(fù)冗余的預(yù)測框，保留下置信度最高的預(yù)測框信息，完成預(yù)測。

1.2 改進的YOLOv5 的網(wǎng)絡(luò)

使用Varifocal Loss 替換原先的Focal Loss 來訓(xùn)練密集目標檢測器來預(yù)測IACS（置信度和定位精度的IoU 感知分類評分）[6]。Varifocal Loss 源自于Focal Loss。在密集目標檢測器訓(xùn)練中，常常會有前景類和背景類之間及其不平衡的問題，所以我們常常會使用Focal Loss 在解決此類問題。Focal Loss 定義為：

其中y∈{±1}為ground truth 類，而p∈[1，-1]則為前景類的預(yù)測概率。如公式所示，調(diào)制因子（為前景類和為背景類）的作用是減少簡單樣例的損失貢獻，同時相對增加誤分類樣例的重要性。

因此，F(xiàn)ocal Loss 防止了訓(xùn)練過程中大量的簡單負樣本淹沒檢測器，并將檢測器聚焦在稀疏的一組困難的例子上。

在訓(xùn)練密集目標檢測器時，通過借鑒Focal Loss的加權(quán)方法來解決在對連續(xù)IACS 進行回歸時類別不平衡的問題。但與此同時，不同的Focal Loss 處理的正負相等，存在不對稱的對待。這里Varifocal loss也是基于binary cross entropy loss，定義為：

其中p為預(yù)測的IACS，代表目標分數(shù)。對于前景點時，將其ground truth 類q設(shè)為生成的邊界框和它的ground truth（gt_IoU）之間的IoU，否則為0，在對于背景點時，所有類的目標q為0。

如公式所示，使用q的因子縮放損失后，Varifocal loss 僅減少了負例（q=0）的損失貢獻，并沒有以同樣的方式降低正例（q＞0）的權(quán)重。因為positive 樣本相對于negatives 樣本非常罕見，由此保留它們的學(xué)習信息。另一方面，受PISA 的啟發(fā)將正例與訓(xùn)練目標q加權(quán)。如果一個正例的gt_IoU 比較高，則它對損失的貢獻就會比較大。因此需要把訓(xùn)練的重點放在那些高質(zhì)量的正面例子上，高質(zhì)量的正面例子同低質(zhì)量的例子相比，其可以獲得更高的AP，對訓(xùn)練也更為重要。

2 實驗及分析

2.1 移動機器人數(shù)據(jù)集選擇

移動機器人數(shù)據(jù)集包含了醫(yī)療機器人、巡邏機器人、防爆機器人、消防機器人、物流機器人等各個機器人功能領(lǐng)域，并在不同的移動機器人移動視頻中截取了一部分圖片作為數(shù)據(jù)集，在數(shù)據(jù)集選擇方面涵蓋了絕大部分主流的移動機器人，同時也涵蓋了各種移動機器人工作場景，具有豐富的多樣性和優(yōu)秀的泛化能力。

2.2 移動機器人硬件平臺搭建

實驗設(shè)計的整體框架流程圖如圖2。

圖2 整體框架流程圖

首先在平臺上訓(xùn)練好基于YOLOv5 的移動機器人模型，然后將訓(xùn)練好的模型部署在Jetson TX2 開發(fā)板上，移動機器人利用攝像頭實時采集現(xiàn)場圖像后傳輸?shù)絁etson TX2 開發(fā)板中進行處理，Jetson TX2 開發(fā)板利用訓(xùn)練好的模型實時監(jiān)測圖像中是否含有移動機器人，最后將檢測結(jié)果通過串口發(fā)送給終端STM32，STM32 控制移動機器人采取追蹤，撤退等操作。最終搭建的機器人系統(tǒng)硬件如圖3，RGB-D 相機固定在移動機器人前端，處理采集環(huán)境信息的開發(fā)板固定在移動機器人后端。二維激光雷達位于移動機器人最上方，其通過高速旋轉(zhuǎn)的激光發(fā)射器和接受器來獲得移動機器人周圍二維水平面上的點云信息，幫助移動機器人獲取自身的位置，為移動機器人自主導(dǎo)航提供支持。

圖3 移動機器人硬件平臺

2.3 模型訓(xùn)練與實驗環(huán)境

實驗中的運行環(huán)境：CPU 為Intel i7 9750H，GPU為NVIDIA GeForce RTX 2060，內(nèi)存為16G，操作系統(tǒng)為windows 10，安裝CUDA11.2 庫文件，開發(fā)語言為Python，訓(xùn)練平臺是Pycharm，訓(xùn)練采用的深度學(xué)習框架為pytorch1.8.1。訓(xùn)練選用的batchsize 為16，epochs為300，選用的權(quán)重為YOLOv5s。

圖為改進后的YOLOv5 網(wǎng)絡(luò)損失函數(shù)曲線，由圖4 可以看出，訓(xùn)練模型迭代80 次后損失函數(shù)收斂。直到訓(xùn)練完成時，都未產(chǎn)生過擬合的現(xiàn)象，訓(xùn)練效果理想。

圖4 改進的YOLOv5 損失函數(shù)曲線

2.4 結(jié)果分析

實驗檢測效果如圖5 所示，各種類型的移動機器人可以被很好的檢測出來。

圖5 部分檢測識別效果

在機器學(xué)習模型評估中，混淆矩陣解析法是評價模型準確度中最基本和直觀的方法。混淆矩陣如圖6 所示。

圖6 混淆矩陣解析法

準確率（Precision）指的是所得數(shù)值與真實值之間的精確程度；預(yù)測正確的正例數(shù)占預(yù)測為正例總量的比率，一般情況下，準確率越高，說明模型的效果越好。準確率公式如下：

召回率（Recall）：預(yù)測對的正例數(shù)占所有正例的比率，一般情況下，Recall 越高，說明有更多的正類樣本被模型預(yù)測正確，模型的效果越好。召回率公式如下：

模型評估中，單一追求Precision 或者單一追求Recall 都會造成非常嚴重的錯誤檢測，所以我們需要對模型的Precision 和Recall 兩者進行結(jié)合，綜合考量。由此我們使用mAP（mean Average Precision）對目標檢測算法性能進行評價。AP指的是，利用不同的Precision 和Recall 的點的組合作圖以后所圍成圖形的面積，這個面積就是某個類的AP值，而mAP就是所有的類的AP值求平均。

通過分析訓(xùn)練數(shù)據(jù)，并使用Python 繪制mAP圖像，圖像如圖7。

圖7 模型性能評估

通過數(shù)據(jù)結(jié)果，該模型的mAP達到了94.6%，檢測效果優(yōu)異，絕大部分的移動機器人樣本都可以被該模型很好的檢測出來。

為了驗證YOLOv5 改進算法的性能，研究選取相同的數(shù)據(jù)集并在不同的算法上進行對比實驗。對比實驗包含的算法有SSD 算法、Faster R-CNN 算法、YOLOv5 算法和改進后的YOLOv5 算法，對比結(jié)果如表1。

表1 不同算法檢測性能對比

分析數(shù)據(jù)可以看出，改進后的YOLOv5 目標檢測算法相對于Faster R-CNN 算法和SSD 算法的各項模型評估指標都有顯著提升。而比起改進前的YOLOv5目標檢測算法在mAP上提升了1.69%，識別速度也達到了89 幀/秒。

3 結(jié)語

研究將YOLOv5 目標檢測網(wǎng)絡(luò)模型應(yīng)用到移動機器人目標檢測領(lǐng)域，使用訓(xùn)練集對目標檢測網(wǎng)絡(luò)模型迭代80 次后損失函數(shù)收斂。通過使用Varifocal Loss 替換原先的Focal Loss 來訓(xùn)練密集目標檢測器來預(yù)測IACS 改進后的檢測網(wǎng)絡(luò)性能提升，目標檢測模型mAP 達到94.6%，且對環(huán)境具有一定的魯棒性，實現(xiàn)了移動機器人的目標檢測精確度提升。但移動機器人種類較多，后續(xù)將在數(shù)據(jù)集完善、提高不同情形下的識別準確率等方面進一步研究。