劉送永，劉后廣，陳 松

（中國(guó)礦業(yè)大學(xué) 機(jī)電工程學(xué)院，江蘇 徐州 221116）

管道運(yùn)輸具有運(yùn)量大、運(yùn)輸方便、成本低等優(yōu)點(diǎn)，在國(guó)民經(jīng)濟(jì)中所占的比重越來(lái)越大[1]。管道巡檢維護(hù)過(guò)程多由管道機(jī)器人完成[2-3]。視覺(jué)系統(tǒng)是管道巡檢機(jī)器人的關(guān)鍵技術(shù)，它可以檢測(cè)和識(shí)別管道中各種各樣的目標(biāo)物，并將識(shí)別結(jié)果傳送給計(jì)算機(jī)終端，與發(fā)送操作指令的管道巡檢機(jī)器人控制系統(tǒng)共同完成整個(gè)管道檢查過(guò)程[4-5]。

在目標(biāo)檢測(cè)算法中，最經(jīng)典的是Faster R-CNN[6-8]和YOLO 算法，基于深度學(xué)習(xí)的YOLO 算法與R-CNN算法相比，具有檢測(cè)速度快、模型訓(xùn)練簡(jiǎn)單等優(yōu)點(diǎn)[9-10]，因而更適合目標(biāo)實(shí)時(shí)檢測(cè)。一般的機(jī)器人視覺(jué)系統(tǒng)由照明、圖像采集、圖像預(yù)處理、圖像分析處理、自動(dòng)決判等部分組成[11-12]。

為了更好地解決管道內(nèi)可視化問(wèn)題，本文基于管道機(jī)器人搭建了視覺(jué)系統(tǒng)，通過(guò)對(duì)管道淤積物目標(biāo)檢測(cè)方法的改進(jìn)，模擬管道淤積物環(huán)境，制作管道淤積物圖像數(shù)據(jù)集，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)淤積物圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，存儲(chǔ)訓(xùn)練后的權(quán)重參數(shù)，并通過(guò)實(shí)驗(yàn)驗(yàn)證該視覺(jué)系統(tǒng)用于管道巡檢的可行性。

1 實(shí)驗(yàn)平臺(tái)總體組成

實(shí)驗(yàn)平臺(tái)的總體組成包括 CMOS 工業(yè)相機(jī)、鏡頭、LED 燈、PLC 控制器、管道巡檢機(jī)器人、管道淤積物等，如圖1 所示。實(shí)驗(yàn)平臺(tái)具有管道內(nèi)淤積物的檢測(cè)識(shí)別與定位測(cè)距兩大功能。針對(duì)管道淤積物特殊檢測(cè)實(shí)驗(yàn)環(huán)境，在Windows 10 操作系統(tǒng)下搭建環(huán)境，運(yùn)用 Anaconda 3 安裝深度學(xué)習(xí)框架 Tensorflow-Gpu以及計(jì)算機(jī)視覺(jué)開(kāi)源數(shù)據(jù)庫(kù)OpenCV 2.3，使用Python語(yǔ)言在Spyder 中進(jìn)行集成開(kāi)發(fā)。

圖1 系統(tǒng)總體組成圖

2 視覺(jué)系統(tǒng)架構(gòu)設(shè)計(jì)

鑒于管道機(jī)器人的視覺(jué)系統(tǒng)本身較為復(fù)雜、集成度較高且應(yīng)用環(huán)境特殊的特點(diǎn)，本實(shí)驗(yàn)平臺(tái)利用模塊化思想對(duì)該視覺(jué)系統(tǒng)進(jìn)行搭建。該視覺(jué)系統(tǒng)主要由以下幾大模塊組成：圖像采集模塊、淤積物檢測(cè)分類模塊、標(biāo)定參數(shù)優(yōu)化設(shè)定模塊、淤積物測(cè)距定位模塊。具體架構(gòu)如圖2 所示。

（1）圖像采集模塊。將相機(jī)鏡頭安裝在管道巡檢機(jī)器人前端，機(jī)器人在管道行進(jìn)過(guò)程中，相機(jī)會(huì)把管道內(nèi)部的環(huán)境以圖像的形式傳輸或存儲(chǔ)到遠(yuǎn)程的計(jì)算機(jī)中。

（2）淤積物檢測(cè)分類模塊。對(duì)相機(jī)采集到的圖像進(jìn)行預(yù)處理，把每一類型的淤積物制作成標(biāo)簽，利用神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取訓(xùn)練。

（3）標(biāo)定參數(shù)優(yōu)化設(shè)定模塊。在張正友標(biāo)定方法的基礎(chǔ)上，對(duì)所選的工業(yè)相機(jī)進(jìn)行標(biāo)定，得到選定相機(jī)的初始參數(shù)，然后利用所得參數(shù)結(jié)合傳統(tǒng)的模擬退火算法，對(duì)所選用的相機(jī)內(nèi)部及外部參數(shù)進(jìn)行優(yōu)化。

（4）淤積物測(cè)距定位模塊。為完成單目視覺(jué)的圖像定位功能，首先需要在相機(jī)成像坐標(biāo)系和地球物理坐標(biāo)系之間換算關(guān)系的基礎(chǔ)上，設(shè)計(jì)出適用于管道內(nèi)部的定位測(cè)距模型，再通過(guò)單目視覺(jué)定位測(cè)距算法，求解出淤積物的位置坐標(biāo)及其與管道機(jī)器人之間的距離。

圖2 管道巡檢機(jī)器人視覺(jué)系統(tǒng)軟件架構(gòu)

3 管道淤積物檢測(cè)與定位算法

3.1 YOLO 模型及預(yù)測(cè)方法

鑒于該實(shí)驗(yàn)平臺(tái)被檢測(cè)對(duì)象的特殊性，為了能夠有效地將淤積物檢測(cè)識(shí)別出來(lái)，本設(shè)計(jì)采用YOLO[13]算法模型，其實(shí)現(xiàn)原理或具體工作流程如圖3 所示。首先將采集的圖片進(jìn)行448×448 像素預(yù)處理，然后將圖片劃分為S×S個(gè)網(wǎng)格。為了提高淤積物的實(shí)時(shí)檢測(cè)效果，設(shè)計(jì)選用卷積神經(jīng)網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型有24個(gè)卷積層，2 個(gè)全連接層。最后，該算法輸出一個(gè)S×S×3×(5+C)的張量，其中的S是被處理的網(wǎng)格數(shù)目，C是類別數(shù)目[14]。

圖3 YOLO 算法實(shí)現(xiàn)原理

3.1.1 學(xué)習(xí)率更新策略

當(dāng)訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)達(dá)到最小化時(shí)，學(xué)習(xí)率的大小可以根據(jù)權(quán)值更新進(jìn)行調(diào)整。如果學(xué)習(xí)率低，則訓(xùn)練速度慢；但如果學(xué)習(xí)率過(guò)高，則訓(xùn)練結(jié)果較為發(fā)散。

鑒于該檢測(cè)系統(tǒng)較為復(fù)雜，實(shí)時(shí)性要求較高，因此該視覺(jué)系統(tǒng)學(xué)習(xí)率迭代次數(shù)的衰減階段為多項(xiàng)式衰減[15]機(jī)理，具體衰減過(guò)程如圖 4 所示，參數(shù)設(shè)置見(jiàn)表 1。這樣的設(shè)計(jì)能夠有效防止前述網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中，因?qū)W習(xí)率過(guò)低導(dǎo)致某個(gè)參數(shù)不是最優(yōu)解。

圖4 多項(xiàng)式衰減

表1 多項(xiàng)式衰減參數(shù)設(shè)置

3.1.2 改進(jìn)的YOLO 損失函數(shù)

在巡檢過(guò)程中，管道機(jī)器人受到視角的影響，所采集到的圖像會(huì)出現(xiàn)淤積物重疊的現(xiàn)象。為了避免該現(xiàn)象對(duì)檢測(cè)結(jié)果造成影響，需對(duì)YOLO 損失函數(shù)進(jìn)行改進(jìn)優(yōu)化。將淤積物遮擋檢測(cè)視為一種誤差，在損失函數(shù)設(shè)計(jì)過(guò)程中添加方差函數(shù)，這樣就能夠使用維度聚類預(yù)測(cè)邊界框，改善檢測(cè)精度不高的問(wèn)題。

分類評(píng)定函數(shù)模型和極大似然估計(jì)函數(shù)概率求解模型如式（1）和式（2）:

式中，x和y為管道淤積物圖像的當(dāng)前位置；θ為未知參數(shù)；l(θ)為損失函數(shù)；L(θ)為極大似然估計(jì)函數(shù)；hθ為未知參數(shù)θ對(duì)應(yīng)的模型；為輸入值；為輸出值。損失函數(shù)越小，模型的魯棒性越好。由于該實(shí)驗(yàn)平臺(tái)環(huán)境的特殊性，淤積物大小沒(méi)有規(guī)律性，當(dāng)淤積物較小時(shí)，會(huì)導(dǎo)致檢測(cè)邊框在管道附近浮動(dòng)，工業(yè)相機(jī)捕捉不到較小的淤積物。因此，本文采用對(duì)比度歸一化的思想來(lái)改進(jìn)YOLO 算法的損失函數(shù)。具體損失函數(shù)如式（3）所示：

式中，λcoord代表檢測(cè)邊框的權(quán)重值，代表第i個(gè)像素網(wǎng)格中含有的淤積物，代表第i個(gè)網(wǎng)格第j個(gè)檢測(cè)邊框需要預(yù)測(cè)的淤積物，w、h代表淤積物圖片的寬度和高度，C為管道內(nèi)淤積物種類數(shù)，S2為圖片劃分網(wǎng)格數(shù)，B為每個(gè)邊界框的預(yù)測(cè)值，為概率模型。

所設(shè)計(jì)的算法模型中，含有目標(biāo)幀的權(quán)值設(shè)置為5，不含目標(biāo)幀的設(shè)置為0.5；針對(duì)預(yù)測(cè)框架中含有目標(biāo)物的情況，無(wú)論他們屬于何種類型，其權(quán)值均設(shè)置為 1。為了使損失函數(shù)的收斂速度加快，該設(shè)計(jì)采用反向思維的方式，對(duì)模型中損失函數(shù)進(jìn)行求導(dǎo)處理，淤積物的位置測(cè)量表達(dá)式為：

淤積物檢測(cè)概率計(jì)算式為：

檢測(cè)邊框內(nèi)置信度計(jì)算式為：

本實(shí)驗(yàn)系統(tǒng)通過(guò)設(shè)計(jì)學(xué)習(xí)率多項(xiàng)式衰減變化策略和對(duì)檢測(cè)算法損失函數(shù)的改進(jìn)，旨在提高對(duì)管道淤積物的檢測(cè)識(shí)別能力，避免檢測(cè)不到較小淤積物的情況出現(xiàn)，提高特殊環(huán)境下實(shí)時(shí)檢測(cè)的魯棒性。

3.2 單目視覺(jué)定位測(cè)距模型

針對(duì)該實(shí)驗(yàn)平臺(tái)的特殊情況，設(shè)計(jì)了一種基于幾何約束的定位測(cè)距模型。由于該實(shí)驗(yàn)平臺(tái)涉及的管道為圓柱狀，里面淤積物大多滑落在管道內(nèi)壁底側(cè)，當(dāng)管道機(jī)器人搭載著該視覺(jué)系統(tǒng)在圓柱狀管道內(nèi)巡檢作業(yè)時(shí)，可以將他們視為在一個(gè)平行面內(nèi)，因此針對(duì)該種特殊環(huán)境可以建立一套與之匹配的定位測(cè)距專用模型，具體原理如圖5 所示。C點(diǎn)是工業(yè)相機(jī)的光學(xué)中心點(diǎn)，以其在管道底面T上的投影O為原點(diǎn)。在模型設(shè)計(jì)過(guò)程中考慮了巡檢機(jī)器人所攜帶的相機(jī)與淤積物之間的高度偏差和傾斜角，所以該模型可以測(cè)得管道淤積物的實(shí)際位置。

圖5 幾何約束的定位測(cè)距原理圖

由上述模型原理圖可以得知CC0為該實(shí)驗(yàn)平臺(tái)工業(yè)相機(jī)的焦距，為相機(jī)在實(shí)時(shí)檢測(cè)管道淤積物時(shí)相機(jī)的成像平面，θ為管道巡檢機(jī)器人在巡檢過(guò)程中搭載的相機(jī)與管道底面的夾角，CO是工業(yè)相機(jī)相對(duì)于管道底面的高度h，P是管道底面上任意一點(diǎn)，是P通過(guò)工業(yè)相機(jī)所成像的位置點(diǎn)，通過(guò)計(jì)算可以求得目標(biāo)點(diǎn)P的坐標(biāo)值，隨之也可以求取目標(biāo)點(diǎn)P到工業(yè)相機(jī)光心的距離CP：

4 實(shí)驗(yàn)結(jié)果及分析

為了進(jìn)一步檢測(cè)所設(shè)計(jì)的YOLO 算法的有效性，在實(shí)驗(yàn)初始階段準(zhǔn)備淤積物樣本數(shù)為800 個(gè)，實(shí)驗(yàn)過(guò)程中程序迭代次數(shù)為500 次。將管道淤積物隨意布置在波紋管道中，打開(kāi)搭建在管道機(jī)器人上的視覺(jué)系統(tǒng)，控制管道機(jī)器人在管道中進(jìn)行模擬實(shí)驗(yàn)?；诟倪M(jìn)YOLO 算法對(duì)管道淤積物檢測(cè)識(shí)別、定位測(cè)距結(jié)果如圖6、7 所示。

通過(guò)在YOLO 算法中加入學(xué)習(xí)率調(diào)整機(jī)制，經(jīng)過(guò)新型衰減調(diào)整模型，學(xué)習(xí)率在訓(xùn)練過(guò)程中會(huì)不斷發(fā)生變化。在相同迭代次數(shù)的前提下，不僅能夠減少訓(xùn)練時(shí)間，也能使訓(xùn)練快速收斂達(dá)到理想效果。除此之外，通過(guò)對(duì)YOLO 算法中損失函數(shù)的改進(jìn)，使得管道內(nèi)被部分遮擋的淤積物也能被準(zhǔn)確地識(shí)別檢測(cè)出來(lái)。針對(duì)特殊環(huán)境所設(shè)計(jì)模型的定位測(cè)距結(jié)果與實(shí)際存在一定偏差，雖然該偏差在誤差允許范圍內(nèi)，但今后還需要對(duì)模型進(jìn)一步優(yōu)化改進(jìn)。

圖6 管道淤積物識(shí)別檢測(cè)結(jié)果

圖7 管道淤積物定位測(cè)距結(jié)果

5 結(jié)語(yǔ)

管道巡檢機(jī)器人視覺(jué)系統(tǒng)是未來(lái)管道智能化檢測(cè)發(fā)展的關(guān)鍵技術(shù)之一，目前視覺(jué)系統(tǒng)已被應(yīng)用在各行各業(yè)，但是如何提高視覺(jué)檢測(cè)的速度、準(zhǔn)確度仍是視覺(jué)系統(tǒng)的重難點(diǎn)之一。本次設(shè)計(jì)的視覺(jué)系統(tǒng)實(shí)驗(yàn)平臺(tái)，可以使學(xué)生對(duì)管道巡檢機(jī)器人視覺(jué)系統(tǒng)的搭建過(guò)程進(jìn)行具體的學(xué)習(xí)，為今后進(jìn)一步開(kāi)展高精度檢測(cè)識(shí)別技術(shù)研究打下基礎(chǔ)。