孟浩，安福旺，吉力特

(內(nèi)蒙古京能盛樂熱電有限公司，內(nèi)蒙古呼和浩特 011518)

0 前言

智能巡檢機(jī)器人改變了電力、石化、交通、隧道、冶金、煤礦等領(lǐng)域的傳統(tǒng)運(yùn)維與巡檢方式，已經(jīng)在配電站、變電站、管廊、交隧、冶金焦?fàn)t、油氣化工、礦山地下變電所、巷道場景、廠用電氣、風(fēng)電機(jī)艙等場景取得了廣泛的應(yīng)用。

巡檢機(jī)器人在大型機(jī)械設(shè)備的運(yùn)行現(xiàn)場，比如軌交車輛、礦用或者碼頭皮帶輸送機(jī)等得到了日益普及的應(yīng)用，以保障機(jī)械設(shè)備的安全可靠運(yùn)行。

科技部“關(guān)于加快場景創(chuàng)新以人工智能高水平應(yīng)用促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展的指導(dǎo)意見”，為巡檢機(jī)器人的深入、廣泛應(yīng)用創(chuàng)造了廣闊的前景，不斷涌現(xiàn)的應(yīng)用場景，將巡檢機(jī)器人由研究應(yīng)用迅速轉(zhuǎn)入產(chǎn)業(yè)化、規(guī)模化，市場容量達(dá)到上千億規(guī)模，極大地提升各個行業(yè)的智能化、數(shù)智化水平。

與此同時，目前工業(yè)場景巡檢機(jī)器人的巡檢點(diǎn)設(shè)置是人員手動設(shè)置的?？紤]到工業(yè)現(xiàn)場的復(fù)雜環(huán)境下，通常巡檢點(diǎn)的數(shù)量龐大，設(shè)置巡檢點(diǎn)的任務(wù)耗費(fèi)大量人力和時間，且一旦巡檢點(diǎn)的設(shè)備改變，還得人工增加或刪除巡檢點(diǎn)。典型情況下，一臺巡檢機(jī)器人的巡檢點(diǎn)數(shù)量從幾十個到上百個。一個項目多臺機(jī)器人的巡檢點(diǎn)數(shù)量從上百個到上千個。手工方式設(shè)置巡檢點(diǎn)已經(jīng)成為規(guī)模應(yīng)用的一個瓶頸，降低了勞動效率，且也有違于自動巡檢機(jī)器人的初衷。

本文作者提出基于自動視覺掃描生成巡檢任務(wù)的機(jī)器人巡檢方法，利用機(jī)器人掃描環(huán)境的視頻流，將所有圖片送入到Y(jié)OLOv4目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行解析和篩選，并運(yùn)用SIFT匹配方式去掉重復(fù)目標(biāo)，可以自動生成復(fù)雜現(xiàn)場設(shè)備的巡檢點(diǎn)。在隧道電纜的機(jī)器人巡檢項目中應(yīng)用，相比于人工設(shè)置方式，提高效率90%。

1 系統(tǒng)架構(gòu)與方案

1.1 管廊巡檢機(jī)器人簡介

管廊巡檢機(jī)器人的核心部件主要由云臺模塊、主控模塊、通信模塊、避障和電源模塊組成。其中：

(1)云臺模塊主要包括可見光相機(jī)和紅外熱像儀；

(2)主控模塊主要是控制機(jī)器人的行走以及云臺的轉(zhuǎn)動；

(3)通信模塊主要完成機(jī)器人相關(guān)參數(shù)信息與遠(yuǎn)程服務(wù)器之間的信號傳輸，根據(jù)現(xiàn)場的通信條件和要求，可以采用WiFi、4G、5G的方式；

(4)避障模塊包括機(jī)器人的前后安裝有超聲波雷達(dá)，具有前后運(yùn)行方向檢測障礙物后停車的防碰撞保護(hù)功能；

(5)電源模塊通常采用磷酸鐵鋰電池。

電纜隧道巡檢機(jī)器人見圖1，可實(shí)現(xiàn)對地下管廊環(huán)境與設(shè)備的不間斷監(jiān)控及火災(zāi)應(yīng)急處置。機(jī)器人采用軌道移動方式，搭載高清攝像機(jī)及紅外熱成像儀，實(shí)現(xiàn)隧道實(shí)時監(jiān)控與測溫診斷；機(jī)器人集成有害氣體、煙霧、光照度、溫濕度等傳感器以及定位裝置和語音對講系統(tǒng)，實(shí)時監(jiān)測隧道環(huán)境信息，管理員通過監(jiān)控后臺實(shí)現(xiàn)對巡檢機(jī)器人的實(shí)時控制、數(shù)據(jù)接入、統(tǒng)計分析以及多維度展示。

圖1 電纜隧道巡檢機(jī)器人

此外，巡檢器人設(shè)有存儲器、處理器以及搭載有可見光攝像頭的云臺；存儲器存儲計算機(jī)程序；啟動巡檢機(jī)器人，使其進(jìn)入設(shè)備探索狀態(tài)，巡檢機(jī)器人開啟儀表設(shè)備巡查模式，并開啟搭載有可見光攝像頭的云臺，同時，處理器執(zhí)行計算機(jī)程序以實(shí)現(xiàn)自動視覺掃描生成巡檢任務(wù)。

1.2 自動視覺掃描生成巡檢任務(wù)的架構(gòu)

圖2是巡檢機(jī)器人自動視覺掃描生成巡檢任務(wù)的架構(gòu)，也就是巡檢點(diǎn)的工作流程。

圖2 自動視覺掃描生成巡檢目標(biāo)流程

說明如下：

(1)可見光視頻云臺針對當(dāng)前待巡檢的行進(jìn)道路方向，以180°廣角進(jìn)行不間斷連續(xù)旋轉(zhuǎn)掃描，并在掃描過程中錄像保存視頻流；

(2)當(dāng)視頻流傳回時進(jìn)行等間隔抽幀采樣，設(shè)采樣間隔時間為t(例如t取0.5 s，設(shè)置的時間間隔t能夠保證視頻清晰以及兩圖儀表重疊率不過高)，并與當(dāng)前時間進(jìn)行同步記錄設(shè)為Tn，同時每隔時間t記錄機(jī)器人以及云臺當(dāng)前的位置坐標(biāo)，即機(jī)器人可根據(jù)抽幀圖像的當(dāng)前時刻返回真實(shí)時刻的空間位置信息，因此可在該幀對應(yīng)的時間記錄當(dāng)前機(jī)器人位置坐標(biāo)與云臺坐標(biāo)集合，由此得出當(dāng)前視頻幀圖像的時空坐標(biāo)集：

Pn={xn，yn，zn，hn，θn，γn，Tn}

(1)

其中：xn、yn、zn表示機(jī)器人在整個場景中的位置坐標(biāo)，取值范圍根據(jù)機(jī)器人地圖范圍而定；hn為云臺當(dāng)前的上升高度，取值范圍為[0，hmax]，hmax表示云臺最大上升高度；θn表示當(dāng)前云臺攝像頭攝影方向的水平旋轉(zhuǎn)角度，取值范圍為[0°，360°]，此處0°為云臺攝影正方向，即默認(rèn)方向；γn表示云臺攝像頭的俯仰視角度，取值范圍為[-45°，45°]，此處0°表示水平方向，-45°為以地平面向下拍攝，45°為以地平面向上拍攝。

(3) 將每一視頻幀的圖像In與其時空坐標(biāo)集Pn建立對應(yīng)關(guān)系，然后在機(jī)器人掃描完整個區(qū)間后將所有圖像送入目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行解析與篩選。目標(biāo)檢測器如圖3所示[1-4]。

圖3 目標(biāo)檢測器

目標(biāo)檢測器包括24個卷積層和2個全連接層，其中卷積層使用1×1卷積來做通道縮減，然后緊跟3×3卷積，且卷積層和全連接層中均采用Leaky ReLU激活函數(shù)，最后一層采用線性激活函數(shù)。

圖像輸入YOLOv4目標(biāo)檢測網(wǎng)絡(luò)[5-11](見圖4)后，首先調(diào)整為416×416，進(jìn)入CNN卷積層，主干網(wǎng)絡(luò)采用CSPDarkNet53，其組成為CSPNet與DarkNet53，Darknet53共有5個大殘差塊，通過殘差網(wǎng)絡(luò)將輸入層與輸出層的結(jié)果相加；卷積后的池化層采用SPP實(shí)現(xiàn)，即空間金字塔池化，然后采用PANet進(jìn)行實(shí)例分割，生成目標(biāo)box，并通過YOLO head進(jìn)行最后的特征拼接，輸出 box完成目標(biāo)檢測與分割提取。通過CSPNet可增強(qiáng)CNN的學(xué)習(xí)能力，能夠在輕量化的同時保持準(zhǔn)確性、降低計算瓶頸、降低內(nèi)存成本。

圖4 YOLOv4目標(biāo)檢測網(wǎng)絡(luò)

首先，詳細(xì)記錄下每張圖像中檢測到的儀表數(shù)量、種類以及它們的置信度。如果一張圖像中沒有檢測到儀表，將其排除。然后，如果一張圖像中儀表的數(shù)量少于預(yù)設(shè)的閾值，會進(jìn)一步考察這些儀表的置信度。如果這些儀表的平均置信度低于另一個預(yù)設(shè)值，也會將這張圖像排除。對于剩下的圖像，會再次記錄其中儀表的數(shù)量、種類以及它們的平均置信度。這些未被排除的圖像將作為預(yù)選圖像，進(jìn)行下一步的相似度判斷。這種流程旨在篩選出那些包含有效且可識別的儀表圖像，確保它們的數(shù)量和質(zhì)量都滿足預(yù)設(shè)的要求。

(4)解析時記錄對應(yīng)圖像中檢出儀表的個數(shù)N、類別數(shù)C、全部檢測目標(biāo)的平均置信度B；若圖像中無儀表則刪除該圖像，當(dāng)儀表數(shù)量存在但數(shù)量少于預(yù)設(shè)閾值，則繼續(xù)判斷這些目標(biāo)檢測框的置信度，若太低則刪除；其余未刪除的圖像記錄有儀表上述3類數(shù)據(jù)，將未刪除的圖像作為預(yù)選圖像進(jìn)入步驟(5)。

通過目標(biāo)檢測網(wǎng)絡(luò)對原圖進(jìn)行檢測，首先儀表個數(shù)N依據(jù)獲取檢出的目標(biāo)長度獲得，類別數(shù)C則根據(jù)檢出類別進(jìn)行去重累加，平均置信度B則通過計算所有檢出目標(biāo)除以檢出數(shù)量來獲得。

(5)篩選后的圖像進(jìn)行場景相似度判定，以圖像拍攝時的原始時間先后順序排列，并設(shè)置相似度比對梯度S，即每隔S張分為另一梯度，并在該S張圖像內(nèi)進(jìn)行相似度判定。在該梯度內(nèi)以檢出儀表數(shù)N和平均置信度B依次為參考依據(jù)，選擇其值最高的圖像作為比對參考圖像，依次對下一張目標(biāo)圖像進(jìn)行SIFT[12]匹配，即將目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行SIFT匹配，若能夠匹配則認(rèn)為這兩個圖像在該SIFT匹配下相似，然后將SIFT匹配相似且圖像中儀表類別數(shù)C均相同的圖像歸為新的一組，若匹配不上則歸為另一組，并進(jìn)行該組內(nèi)的判斷，直至對該梯度內(nèi)的所有圖像進(jìn)行迭代判定；在新的這一組圖像中，選擇檢出儀表數(shù)N、平均置信度B依次為參考，選擇值最高的圖像作為預(yù)置巡檢點(diǎn)圖像，將該梯度中其他圖像作為參考巡檢點(diǎn)；然后依次針對每一梯度進(jìn)行同樣操作，若到最后分割不均，則剩余圖像單成一組，直至遍歷所有篩選后的圖像，生成預(yù)置巡檢任務(wù)表。

(6)管理員查看所有預(yù)選圖像與預(yù)置巡檢點(diǎn)圖像，并根據(jù)實(shí)際需求進(jìn)行篩選、替換、增刪，并生成人工修正后的最后巡檢點(diǎn)集以及對應(yīng)的巡檢任務(wù)，同時其他參考巡檢點(diǎn)信息依舊保存，需要時可以采用。

2 測試案例與測試結(jié)果

2.1 巡檢點(diǎn)自動獲取流程

(1) 啟動圖1所示的電纜巡檢機(jī)器人，并從前端控制機(jī)器人進(jìn)入設(shè)備巡查模式，將其初始位置遙控至場景的起始點(diǎn)，并在地圖頁面規(guī)劃好固定線路。機(jī)器人開始沿規(guī)劃好的線路行進(jìn)，并慢速勻速水平轉(zhuǎn)動搭載有可見光攝像機(jī)的云臺。自動旋轉(zhuǎn)的范圍為水平方向[-90°，90°]，即以兩側(cè)為主；垂直方向為[-45°，45°]，主要輔助巡查可能在某些低處或高處漏掉的設(shè)備。同時進(jìn)行視頻錄制，錄制視頻時每0.5 s記錄一次機(jī)器人以及云臺的位置信息。

(2) 根據(jù)不同現(xiàn)場的儀表設(shè)備個數(shù)、場地大小，錄制視頻的時長可能不一致。此實(shí)施例中錄制時長為3 min，錄制完成后保存錄制的視頻流并獲取錄制的起始與結(jié)束時間。

(3) 以視頻起始的第一幀圖像作為抽幀的起始圖像，并以錄制起始時間為首幀圖像的時間坐標(biāo)，之后以0.5 s為間隔進(jìn)行抽幀。由于在錄制視頻時已經(jīng)對每0.5 s間隔的位置信息進(jìn)行記錄，因此抽幀后的圖像位置坐標(biāo)即可認(rèn)定為同等時間視頻中的位置信息，此時便可以對每一幀的圖像打上一個時空信息的標(biāo)簽。

(4) 打上標(biāo)簽后的每一幀圖像即與現(xiàn)場位置建立了動態(tài)的關(guān)聯(lián)，方便在后續(xù)篩選出巡檢點(diǎn)后直接獲得機(jī)器人與云臺的位置關(guān)系?，F(xiàn)在將所有抽幀圖像依次送入儀表目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行第一次篩選，若網(wǎng)絡(luò)未檢測到目標(biāo)儀表則直接刪除該幀圖像，若存在目標(biāo)儀表，在此實(shí)施例中作者嚴(yán)格控制儀表個數(shù)閾值，即認(rèn)為只要存在儀表(N≥1)即為有效樣本，暫不判定置信度，實(shí)際使用時若儀表數(shù)量太多，可根據(jù)情況修改閾值，再進(jìn)行置信度判定進(jìn)行篩選。

(5) 通過第一次篩選去除了沒有目標(biāo)儀表的無效幀，對剩余的圖像根據(jù)數(shù)量進(jìn)行梯度劃分，默認(rèn)梯度為7(可根據(jù)實(shí)際數(shù)量設(shè)置)。在該梯度內(nèi)以檢出儀表數(shù)、平均置信度依次為參考依據(jù)，選擇其值最高的圖像作為比對參考圖像，依次對組內(nèi)其他圖像進(jìn)行判定迭代。若能夠進(jìn)行匹配，則將其與參考圖像歸為新的一組，若匹配失敗則將比對圖像歸為新的一組，再重復(fù)以上操作迭代判斷新一組的相似度。

(6) 在新的一組圖像中以檢出儀表數(shù)、平均置信度依次為參考，選擇值最高的圖像作為預(yù)置巡檢點(diǎn)圖像，其余為參考巡檢點(diǎn)。如此操作遍歷所有第一次篩選后的圖像，完成所有圖像的預(yù)置巡檢點(diǎn)篩選并生成預(yù)置巡檢任務(wù)表。如圖5—7所示，為實(shí)施此方法所得巡檢任務(wù)列表、巡檢點(diǎn)集和巡檢點(diǎn)平面位置。

圖5 巡檢任務(wù)列表

圖6 巡檢點(diǎn)集示例

圖7 巡檢點(diǎn)平面位置

(7) 根據(jù)圖5所得列表，管理員可以查看所有的自動分組并調(diào)節(jié)圖像，或增刪、替換巡檢點(diǎn)，生成最終的巡檢任務(wù)。

2.2 測試案例

上述巡檢點(diǎn)自動獲取流程應(yīng)用于案例1-4的4個工程項目，具體測試數(shù)據(jù)見表1。

表1 自動巡檢點(diǎn)/手工巡檢點(diǎn)測試數(shù)據(jù)

其中：機(jī)器人的巡檢速度按照現(xiàn)場的機(jī)器人機(jī)型不同、軌道鏈接不同以及用戶使用要求，可以通過機(jī)器人運(yùn)行參數(shù)設(shè)置。

巡檢點(diǎn)的數(shù)量主要是根據(jù)機(jī)器人巡檢路徑上設(shè)備數(shù)量、環(huán)境檢測的要求來確定的。

人工配置巡檢點(diǎn)的速度與現(xiàn)場工程師的技術(shù)水平、熟練程度相關(guān)，但通常都是經(jīng)過培訓(xùn)的工程師，技能水平相差不太大。

自動配置巡檢點(diǎn)時間是指機(jī)器人通過視頻檢測自動解析出巡檢點(diǎn)的時間，需要人工來給這些自動配置的巡檢點(diǎn)按照現(xiàn)場的設(shè)備或者環(huán)境來命名。

2.3 測試結(jié)果分析

從上述測試案例的數(shù)據(jù)看，巡檢點(diǎn)數(shù)量越多，自動巡檢點(diǎn)算法的優(yōu)勢越明顯。上述案例中自動巡檢相比手工巡檢耗時效率提高平均值為90.54%。

3 結(jié)論

文中的主要工作總結(jié)如下：

(1)設(shè)計了YOLOv4目標(biāo)檢測網(wǎng)絡(luò)(圖3)用于現(xiàn)場設(shè)備的檢測與分割提取。

(2)目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行SIFT匹配作為相似度判斷的依據(jù)，來消除重復(fù)的識別目標(biāo)。

(3)對篩選后的圖像進(jìn)行場景相似度判定，以圖像拍攝時的原始時間先后順序排列，并設(shè)置相似度比對梯度S，即每隔S張分為一梯度，并在該S張圖像內(nèi)進(jìn)行相似度判定。在該梯度內(nèi)以檢出儀表數(shù)N和平均置信度B依次為參考依據(jù)，選擇其值最高的圖像作為比對參考圖像，依次對下一張目標(biāo)圖像進(jìn)行SIFT匹配，即將目標(biāo)圖像與基準(zhǔn)圖像進(jìn)行SIFT匹配。若能夠匹配則認(rèn)為這兩張圖像在該SIFT匹配下相似，然后將SIFT匹配相似且圖像中儀表類別數(shù)C均相同的圖像歸為新的一組，若匹配不上則歸為另一組，并進(jìn)行該組內(nèi)的判斷，直至該梯度內(nèi)所有圖像完成迭代判定。

(4)結(jié)合目標(biāo)檢測與圖像評估算法，在流程上一步到位解決了設(shè)備添加與巡檢點(diǎn)添加，且均為自動生成，同時可以采用其他備選點(diǎn)位，相對人工拍攝減少了大量時間。

該算法已經(jīng)在隧道電纜的機(jī)器人巡檢項目中應(yīng)用，相比于人工設(shè)置方式，即自動巡檢相比人工巡檢提高效率90%以上。