畢逢東 周淦 張晨光 姬少英 彭良瑞 閆睿劼

摘要：針對移動定位和目標(biāo)感知兩大問題，研究軟件與硬件協(xié)同的巡檢機(jī)器人系統(tǒng)設(shè)計(jì)方案。在移動定位方面，設(shè)計(jì)一種結(jié)合激光雷達(dá)、單目攝像頭、慣性測量單元、GPS等多種傳感器的即時(shí)定位與地圖構(gòu)建的技術(shù)方案，并采用在巡檢環(huán)境中設(shè)置二維碼路標(biāo)輔助視覺定位的方法;在目標(biāo)感知方面，以表計(jì)信息提取任務(wù)為例，設(shè)計(jì)一種基于深度學(xué)習(xí)的表計(jì)檢測、定位與文本識別方法。結(jié)果表明，通過引入基于5G移動通信及Wi-Fi的網(wǎng)絡(luò)通信功能實(shí)現(xiàn)了具有網(wǎng)絡(luò)管理平臺的巡檢機(jī)器人系統(tǒng)，系統(tǒng)達(dá)到實(shí)際應(yīng)用要求，有效提升了巡檢的自動化和智能化水平。

關(guān)鍵詞：巡檢機(jī)器人； 移動定位； 目標(biāo)感知； 深度學(xué)習(xí)； 文本識別

中圖分類號：TP 242 ??文獻(xiàn)標(biāo)志碼：A

文章編號：1673-5005（2024）03-0180-08 ??doi：10.3969/j.issn.1673-5005.2024.03.020

Hardware-software co-design of inspection robot system

BI Fengdong1， ZHOU Gan2， ZHANG Chenguang2， JI Shaoying2， PENG Liangrui3，4， YAN Ruijie3，4

（1.PetroChina Natural Gas Marketing Company， Beijing 100101， China;2.Beijing Elitenect Technologies Company， Beijing 100085， China;3.Department of Electronic Engineering， Tsinghua University， Beijing 100084， China;4.Beijing National Research Center for Information Science and Technology， Beijing 100084， China）

Abstract： Aiming to two major problems of mobile positioning and object perception， the hardware-software co-design schemes of inspection robot system were explored. For the mobile positioning， a simultaneous localization and mapping strategy by combining LiDAR， monocular camera， inertial measurement unit， GPS and other sensors was designed， and an improved visual positioning scheme was introduced by using the ArUco marker road sign detection. For the object perception， taking the task of meter information extraction as an example， the deep learning based meter detection， localization and text recognition methods were adopted. The results show that， by incorporating the 5G mobile communication and Wi-Fi network communication functions， an intelligent inspection robot system with network management platform is implemented. The developed inspection robot system has met the requirements in practical applications， which effectively enhances the automation and intelligence level of inspection.

Keywords： inspection robot; mobile positioning; object perception; deep learning; text recognition

由于石油化工領(lǐng)域的生產(chǎn)場所和設(shè)備裝置存在可燃?xì)怏w和有毒氣體泄漏風(fēng)險(xiǎn)，通常以人工巡檢的方式對設(shè)備運(yùn)行狀態(tài)進(jìn)行監(jiān)測［1］，需要較多人力投入，也對人身安全帶來潛在威脅。近年來，隨著石油化工行業(yè)安全環(huán)保要求的不斷提高，并且人工成本日益增加，實(shí)現(xiàn)生產(chǎn)場所的智能化［2］、無人化管理成為趨勢。在石油化工行業(yè)中，一些機(jī)械式機(jī)器人已得到應(yīng)用［3-5］。通過研發(fā)并使用地面智能巡檢機(jī)器人替代人工，可以有效提升工作效率，消除安全隱患［6］。地面智能巡檢機(jī)器人與固定攝像頭監(jiān)控相比，具有靈活自主的特點(diǎn)。由于實(shí)際廠站環(huán)境復(fù)雜多樣，巡檢任務(wù)要求各異，研制巡檢機(jī)器人面臨兩大技術(shù)難題：移動定位與目標(biāo)感知。在移動定位方面，傳統(tǒng)的即時(shí)定位與成圖SLAM （simultaneous localization and mapping） 技術(shù)所使用的傳感器主要包括激光雷達(dá)和攝像頭［7］。為克服特定傳感器本身的局限性，需要設(shè)計(jì)基于多傳感器融合的移動定位技術(shù)方案。在目標(biāo)感知方面，對于常規(guī)的抄表作業(yè)等巡檢任務(wù)，巡檢機(jī)器人不僅需要具備目標(biāo)檢測、定位與分析功能，還需要進(jìn)行異常告警處理。筆者對巡檢機(jī)器人系統(tǒng)進(jìn)行軟硬件協(xié)同設(shè)計(jì)，以目標(biāo)感知中的表計(jì)信息提取任務(wù)為例，針對傳統(tǒng)方法［8］易受環(huán)境變化影響問題，設(shè)計(jì)一種基于深度學(xué)習(xí)的表計(jì)檢測、定位與文本識別方法，可支持機(jī)械式表計(jì)和電子式表計(jì)的示數(shù)讀取。

1 移動定位方法

1.1 基于多傳感器的移動定位

在巡檢機(jī)器人硬件配置方面，采用多種可提供位置或者運(yùn)動相關(guān)信息的傳感器模塊，包括感知機(jī)器人線加速度、角速度和三軸姿態(tài)角的慣性測量單元IMU、提供機(jī)器人周圍空間深度信息的激光雷達(dá)LiDAR、用于檢測機(jī)器人周圍環(huán)境特征點(diǎn)的單目攝像頭、紅外熱成像傳感器［9］以及北斗衛(wèi)星定位GPS等傳感器。多傳感器融合的移動定位方法流程如圖1所示，主要包括慣性測量單元、視覺定位組件、激光雷達(dá)定位組件和因子圖等。

慣性測量單元IMU對檢測到的車體線加速度和角速度進(jìn)行預(yù)積分［10］，預(yù)積分模塊實(shí)時(shí)輸出的位移信息分別輸入到激光雷達(dá)定位模塊與單目視覺定位模塊。IMU位姿變換信息可以用于消除因車體運(yùn)動產(chǎn)生的點(diǎn)云數(shù)據(jù)幀內(nèi)畸變現(xiàn)象，并且可以用于輔助視覺定位模塊恢復(fù)車體運(yùn)動位移尺度信息以及圖像特征點(diǎn)的深度信息。由于單目攝像頭不能獲取三維空間中特征點(diǎn)與車體之間的距離，估算出來的位移可能與車體真實(shí)位移存在多種比例關(guān)系。因此可以使用IMU預(yù)積分的位移信息來恢復(fù)單目視覺定位數(shù)據(jù)與真實(shí)世界之間的比例以及圖像特征點(diǎn)在三維空間中的位置。

視覺定位組件分為4部分，包括視覺特征提取、深度關(guān)聯(lián)、視覺里程計(jì)和視覺回環(huán)模塊。其中深度關(guān)聯(lián)模塊的作用是獲取二維視覺特征點(diǎn)在三維空間下的深度信息，具體方法是將激光雷達(dá)坐標(biāo)系下的點(diǎn)云數(shù)據(jù)變換到以相機(jī)為中心的極坐標(biāo)系下，同時(shí)歸一化后的視覺特征點(diǎn)也映射到該極坐標(biāo)系下，通過在極坐標(biāo)系下搜索距離視覺特征點(diǎn)最近的3個(gè)激光雷達(dá)數(shù)據(jù)點(diǎn)構(gòu)成平面，視覺特征點(diǎn)和相機(jī)光心構(gòu)成的直線與鄰近的3個(gè)激光雷達(dá)數(shù)據(jù)點(diǎn)構(gòu)成的平面相交，交點(diǎn)即為視覺特征點(diǎn)對應(yīng)的三維空間映射點(diǎn)。根據(jù)視覺特征點(diǎn)對應(yīng)的三維空間映射點(diǎn)與歸一化的視覺特征點(diǎn)之間的比例關(guān)系，可以得到視覺特征點(diǎn)的深度信息。視覺里程計(jì)模塊中，選取視覺關(guān)鍵幀，利用關(guān)鍵幀中的特征點(diǎn)、關(guān)鍵幀對應(yīng)的相機(jī)位姿與IMU預(yù)積分的位移信息計(jì)算對應(yīng)幀的重投影誤差，

通過非線性優(yōu)化求解得到車體的位姿信息，包括三維空間位置信息和旋轉(zhuǎn)角度。視覺回環(huán)模塊通過視覺詞袋模型計(jì)算當(dāng)前關(guān)鍵幀與歷史關(guān)鍵幀的相似度，檢測車體是否回到了以前到達(dá)過的位置。

激光雷達(dá)定位組件分為4部分，包括去畸變、點(diǎn)云特征提取、激光雷達(dá)里程計(jì)和激光雷達(dá)回環(huán)模塊。其中點(diǎn)云特征提取模塊通過計(jì)算數(shù)據(jù)點(diǎn)的曲率，將其分為角特征點(diǎn)和面特征點(diǎn)。利用視覺定位模塊提供的位姿初值，激光雷達(dá)里程計(jì)模塊中將當(dāng)前時(shí)刻激光雷達(dá)特征點(diǎn)與上一時(shí)刻的激光雷達(dá)特征點(diǎn)進(jìn)行匹配對齊，當(dāng)兩幀數(shù)據(jù)特征點(diǎn)之間距離小于閾值時(shí)，更新當(dāng)前車體位姿，輸出激光雷達(dá)里程計(jì)信息，包括車體三維空間位置信息和旋轉(zhuǎn)角度信息。激光雷達(dá)回環(huán)模塊通過計(jì)算當(dāng)前幀點(diǎn)云與歷史關(guān)鍵幀點(diǎn)云的匹配程度，進(jìn)行回環(huán)檢測。

基于單一傳感器定位得到的里程計(jì)信息存在累積誤差，需要利用概率圖模型方法進(jìn)行整體優(yōu)化。因子圖［11］ （factor graph）是一種用于SLAM的概率圖模型。將激光雷達(dá)里程計(jì)信息、激光雷達(dá)回環(huán)信息、用于輔助視覺定位二維碼路標(biāo)信息及北斗衛(wèi)星定位（GPS）信息等輸入到因子圖中，因子圖使用ISAM2［12］（incremental smoothing and mapping，增量平滑與建圖）算法修正定位累積誤差，更新車體位姿和地圖信息。最后，修正后的車體位姿反饋到IMU預(yù)積分模塊，更新IMU的偏置（bias），用于下一時(shí)刻的預(yù)積分。

1.2 基于二維碼路標(biāo)檢測的單目視覺定位

為提高定位精度采用在巡檢環(huán)境中部署ArUco二維碼路標(biāo)用于輔助視覺定位。所采用的ArUco二維碼路標(biāo)實(shí)際尺寸為10 cm×10 cm。其中5 cm×5 cm的點(diǎn)陣塊對應(yīng)唯一的路標(biāo)編號，四周有一圈黑色點(diǎn)陣塊，有助于改進(jìn)二維碼的可辨識度。利用單目攝像頭獲取圖像，提取二維碼路標(biāo)角點(diǎn)，采用相機(jī)校準(zhǔn)中常用的PNP （perspective-N-point）算法可求解得到單目攝像頭的位姿信息，輸入到因子圖中，用于輔助定位。

2 表計(jì)信息提取方法

以巡檢中的抄表作業(yè)為例，說明目標(biāo)感知技術(shù)方案設(shè)計(jì)過程。巡檢環(huán)境中的設(shè)備一般既有機(jī)械式表計(jì)也有電子式表計(jì)，電子式表計(jì)數(shù)據(jù)可以聯(lián)網(wǎng)回傳。巡檢機(jī)器人在替代人工抄表作業(yè)時(shí)，通過自主導(dǎo)航到達(dá)表計(jì)位置附近，利用云臺上搭載的用于視覺目標(biāo)感知的攝像頭獲取圖像。在圖像中首先進(jìn)行目標(biāo)檢測及圖像預(yù)處理，然后利用語義分割算法提取指針和刻度線，再結(jié)合文本檢測與識別結(jié)果得到表計(jì)示數(shù)，如圖2所示。

2.1 表計(jì)檢測與表盤圖像語義分割

對于表計(jì)檢測，可采用基于深度學(xué)習(xí)的目標(biāo)檢測方法，采用YOLO［13］系列算法中的YOLOv5作為表計(jì)檢測網(wǎng)絡(luò)。對檢測到的指針式表盤區(qū)域進(jìn)行圖像預(yù)處理，包括均值濾波、顏色校正以及基于自適應(yīng)直方圖均衡的圖像增強(qiáng)，消除圖像中的噪聲干擾以及光照變化的影響。

基于深度學(xué)習(xí)的指針提取，一般利用U-Net、Deeplab等圖像分割算法，通過先驗(yàn)信息獲取表計(jì)讀數(shù)［14］。本文中采用基于U-Net的指針提取方法。

對于常見的指針式表計(jì)，刻度線通常處于數(shù)字區(qū)域與回轉(zhuǎn)中心組成的扇形區(qū)域外部的附近扇環(huán)形區(qū)域中，且每個(gè)刻度數(shù)字均對應(yīng)一條主刻度線。將該扇環(huán)區(qū)域的坐標(biāo)由以回轉(zhuǎn)中心為原點(diǎn)的笛卡爾坐標(biāo)系轉(zhuǎn)換到極坐標(biāo)系，然后使用卷積神經(jīng)網(wǎng)絡(luò) （convolutional neural network， CNN）模型對刻度線進(jìn)行定位。通過分析表盤上的刻度線樣式，設(shè)計(jì)如圖3所示的10層卷積神經(jīng)網(wǎng)絡(luò)用于定位主刻度線。

該網(wǎng)絡(luò)主要由卷積核長寬尺寸為3×3像素的卷積層組成，卷積層的特征圖進(jìn)行實(shí)例歸一化（instance normalization， IN）后，送入ReLU激活函數(shù)。網(wǎng)絡(luò)輸入層通道數(shù)為16，之后每兩個(gè)卷積層進(jìn)行一次最大池化，通道數(shù)增加一倍，最后一次池化后，增加了一層256通道的卷積層。輸出層采用卷積核長寬尺寸為1×1像素的8通道卷積層進(jìn)行降維輸出。

提取主刻度線后，依據(jù)表計(jì)的回轉(zhuǎn)中心可以確定主刻度線對應(yīng)刻度示數(shù)的角度，通過利用指針附近刻度示數(shù)及對應(yīng)角度，可計(jì)算出指針表示數(shù)值。通過利用文本識別獲得的物理單位信息還可確定表計(jì)讀數(shù)的物理意義。

2.2 表計(jì)文本識別

采用深度學(xué)習(xí)模型對表計(jì)圖像中的文本進(jìn)行檢測與識別。文本檢測采用基于分割的DBNet網(wǎng)絡(luò)［15］。文本識別常用模型包括基于CNN-LSTM-CTC的結(jié)構(gòu)［16］和基于注意力機(jī)制的編碼器與解碼器結(jié)構(gòu)。通過分析表計(jì)文本的特點(diǎn)，設(shè)計(jì)了一種基于注意力機(jī)制的編碼器與解碼器結(jié)構(gòu)的文本識別模型，如圖4所示。

輸入圖像后，首先對圖像進(jìn)行大小歸一化，例如圖像歸一化寬度為512像素、高度為64像素。歸一化圖像送入卷積神經(jīng)網(wǎng)絡(luò)ResNet，得到特征圖，特征圖送入編碼器得到隱含表示v。在解碼器中，利用當(dāng)前解碼時(shí)間步（time step）t對應(yīng)字符的嵌入表征與編碼器輸出的隱含表示計(jì)算注意力系數(shù)α（t），其中，字符嵌入表征在訓(xùn)練階段采用文本真值進(jìn)行計(jì)算，在推理階段采用解碼器預(yù)測文本進(jìn)行計(jì)算。利用注意力系數(shù)對編碼器輸出的隱含表示進(jìn)行加權(quán)求和，得到上下文向量Ct。將上下文向量Ct送入解碼器進(jìn)行自回歸解碼，得到輸出的預(yù)測文本。編碼器與解碼器均采用長短時(shí)記憶（long short-term memory， LSTM）網(wǎng)絡(luò)［17-18］，網(wǎng)絡(luò)結(jié)構(gòu)為兩層雙向網(wǎng)絡(luò)，每層單向LSTM單元個(gè)數(shù)為256。

3 系統(tǒng)架構(gòu)

基于移動定位和目標(biāo)感知方法，設(shè)計(jì)的輪式智能巡檢機(jī)器人系統(tǒng)架構(gòu)主要包含智能巡檢機(jī)器人終端、邊緣計(jì)算節(jié)點(diǎn)、管理平臺3部分，如圖5所示。智能巡檢機(jī)器人進(jìn)行巡檢工作時(shí)基于自身構(gòu)建的地圖進(jìn)行自主導(dǎo)航定位，在巡檢區(qū)域內(nèi)進(jìn)行巡檢作業(yè)。巡檢過程中涉及實(shí)時(shí)處理的智能識別任務(wù)通過機(jī)器人自身邊緣計(jì)算模塊實(shí)現(xiàn)，部分計(jì)算量較大的智能識別功能由邊緣計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)。巡檢過程中的相關(guān)數(shù)據(jù)如視頻流、傳感器狀態(tài)、巡檢情況可通過現(xiàn)場無線網(wǎng)絡(luò)如5G或Wi-Fi回傳至機(jī)器人管理平臺。值班人員可通過網(wǎng)絡(luò)訪問機(jī)器人管理平臺進(jìn)行場站監(jiān)控和管理。巡檢機(jī)器人具有離線檢測和聯(lián)網(wǎng)續(xù)傳功能，出現(xiàn)網(wǎng)絡(luò)故障等異常情況時(shí)將報(bào)警并切換到人工操作。

巡檢機(jī)器人軟件方面使用Linux操作系統(tǒng)，軟件開發(fā)基于ROS（robot operating system）。系統(tǒng)主要包括硬件層、算法層以及應(yīng)用層。硬件層中硬件驅(qū)動包括各個(gè)外設(shè)如激光雷達(dá)、慣性測量單元、GPS等模塊的相關(guān)驅(qū)動。機(jī)器人通過驅(qū)動獲取傳感器數(shù)據(jù)后進(jìn)行數(shù)據(jù)時(shí)間對齊處理，保證數(shù)據(jù)的時(shí)間一致性。算法層主要包含移動定位與目標(biāo)感知算法，也包含路徑規(guī)劃、避障、運(yùn)動控制等輔助算法。應(yīng)用層實(shí)現(xiàn)機(jī)器人的業(yè)務(wù)邏輯，如自主導(dǎo)航定位、執(zhí)行巡檢任務(wù)、智能分析設(shè)備狀態(tài)、數(shù)據(jù)匯總與上報(bào)、告警管理等。

4 試驗(yàn)結(jié)果

4.1 定位試驗(yàn)結(jié)果

為了驗(yàn)證機(jī)器人在地圖上的定位精度，在如圖6（a）所示室內(nèi)地圖上選取了10個(gè)測量點(diǎn)，測量機(jī)器人沿不同方向到達(dá)測試位置后的位姿。圖中黃色圓點(diǎn)為測量點(diǎn)，紅色圓點(diǎn)為二維碼路標(biāo)。

每個(gè)測量點(diǎn)測30次，計(jì)算位姿平均值與標(biāo)準(zhǔn)差如表1所示。其中機(jī)器人本體的三維空間位置為x、 y和z，姿態(tài)為三維空間旋轉(zhuǎn)角，包括橫滾角αroll、俯仰角αpitch、偏航角αyaw。試驗(yàn)數(shù)據(jù)表明，室內(nèi)定位誤差約為2 cm，角度誤差約為1°。

為便于分析不同傳感器定位效果，手動控制機(jī)器人在環(huán)境中行走，創(chuàng)建環(huán)境地圖。提取建圖過程中計(jì)算出的機(jī)器人軌跡進(jìn)行分析。

圖6（b）為融合激光雷達(dá)點(diǎn)云與未融合激光雷達(dá)點(diǎn)云的視覺里程計(jì)軌跡對比，其中“cam_with_lidar（有激光雷達(dá)）”是融合了激光雷達(dá)點(diǎn)云數(shù)據(jù)，視覺特征點(diǎn)與激光雷達(dá)點(diǎn)云進(jìn)行過深度關(guān)聯(lián)的機(jī)器人視覺里程計(jì)軌跡，“cam_no_lidar（無激光雷達(dá)）”是未融合激光雷達(dá)的機(jī)器人視覺里程計(jì)軌跡?？梢钥闯?，未融合激光雷達(dá)點(diǎn)云深度信息的視覺里程計(jì)誤差較大，而融合激光雷達(dá)點(diǎn)云深度的視覺里程計(jì)在機(jī)器人回到原點(diǎn)附近時(shí)，可基本實(shí)現(xiàn)閉環(huán)，誤差較小。

巡檢機(jī)器人的多傳感器融合定位軌跡如圖6（c）所示，“l(fā)idar_with_cam（有視覺定位）”是融合視覺里程計(jì)之后的激光雷達(dá)里程計(jì)軌跡，“l(fā)idar_no_cam（無視覺定位）”是未融合視覺里程計(jì)的激光雷達(dá)里程計(jì)軌跡，“pose_after_loop（閉環(huán)軌跡）”是經(jīng)過因子圖優(yōu)化后的閉環(huán)軌跡，它更加接近真值。主圖是整個(gè)軌跡，子圖是整個(gè)軌跡的局部放大，可以看出，融合視覺里程計(jì)之后的激光雷達(dá)里程計(jì)軌跡更加平滑，經(jīng)過因子圖優(yōu)化后的閉環(huán)軌跡進(jìn)一步消除了噪聲。

4.2 表計(jì)信息提取試驗(yàn)結(jié)果

表計(jì)信息提取算法開發(fā)軟件環(huán)境所用計(jì)算機(jī)操作系統(tǒng)為Ubuntu 20.04，深度學(xué)習(xí)工具軟件為PyTorch，使用4塊Nvidia TITAN X顯卡進(jìn)行模型訓(xùn)練所需的并行計(jì)算。

為完成表計(jì)檢測、表計(jì)示數(shù)分析和表計(jì)上的中英文文本識別任務(wù)，需要采集真實(shí)數(shù)據(jù)。數(shù)據(jù)來源包括在多個(gè)天然氣場站和化工廠等場所采集的溫度表、壓力表、壓差表等常見指針式表計(jì)及電子式表計(jì)。表計(jì)目標(biāo)檢測使用的數(shù)據(jù)集圖像總計(jì)10366張，其中訓(xùn)練集9366張，驗(yàn)證集1000張，測試集1000張；指針檢測數(shù)據(jù)集圖像共有3572張，其中訓(xùn)練集3372張，驗(yàn)證集100張，測試集100張。

對于表計(jì)上的中英文文本識別任務(wù)，還采用了公開數(shù)據(jù)集和合成數(shù)據(jù)補(bǔ)充訓(xùn)練集樣本。所采用兩個(gè)常用的公開數(shù)據(jù)集為ICDAR MLT 2019數(shù)據(jù)集和RCTW數(shù)據(jù)集。具體數(shù)據(jù)集信息如表2所示。

在表計(jì)檢測任務(wù)上，對比YOLOv5模型、YOLOv3和Faster-RCNN，YOLOv5模型的檢測準(zhǔn)確率最優(yōu)達(dá)到98.8%，YOLOv3與Faster-RCNN檢測準(zhǔn)確率分別為97.7%和98.0%。在不同光照、視角和背景條件下，采用YOLOv5模型的表計(jì)檢測結(jié)果如圖7（a）所示。對于圖片模糊、背光等情形，容易出現(xiàn)漏檢。

在指針提取任務(wù)上，采用U-Net網(wǎng)絡(luò)的試驗(yàn)結(jié)果如圖7（b）所示。該方法能夠準(zhǔn)確定位指針，在出現(xiàn)雙指針或者紅色警示條、表盤被遮擋等情況下，也能較好地完成指針提取。

在文本識別任務(wù)上，首先采用合成樣本和公開數(shù)據(jù)集樣本進(jìn)行模型預(yù)訓(xùn)練，然后加入部分真實(shí)樣本進(jìn)行模型參數(shù)細(xì)調(diào)訓(xùn)練，對真實(shí)樣本采用多種數(shù)據(jù)增強(qiáng)方法，包括旋轉(zhuǎn)、剪裁、添加噪聲等。訓(xùn)練完成后模型在測試集上平均字符識別率為94%。識別每張圖像的平均時(shí)間為0.02 s。

圖8列出了機(jī)械式表計(jì)文本識別結(jié)果示例，紅色字體表示識別結(jié)果有誤。對于圖8（a）和（b）中字跡較為清晰的圖像，識別正確率較高。對于文字帶邊框的情形，如圖8（b）中的“1.6”， 識別結(jié)果有誤，后續(xù)可在訓(xùn)練集中添加類似的帶邊框的數(shù)字樣本加以改進(jìn)。對于圖8（c）中比較模糊的圖像，識別性能也有所下降。

在完成指針提取和文本識別后，采用CNN模型對刻度線進(jìn)行定位，如圖7（c）所示。通過進(jìn)一步與文本識別結(jié)果進(jìn)行匹配，能夠確定每個(gè)主刻度線對應(yīng)的示數(shù)，從而根據(jù)指針角度確定表計(jì)最終示數(shù)。若示數(shù)超出預(yù)設(shè)閾值，則進(jìn)行告警處理。

4.3 實(shí)際系統(tǒng)部署與測試

輪式巡檢機(jī)器人系統(tǒng)配置如圖9所示。系統(tǒng)采用四輪差動轉(zhuǎn)向底盤。主機(jī)采用 Intel i7雙核1.7 GHz CPU，16GB 內(nèi)存，32 GB eMMC 閃存和256G SSD硬盤，并采用Nvidia GeForce GTX 1060顯卡或NVIDIA Jetson AGX Xavier等模塊用于并行計(jì)算。云臺配備可見光攝像頭（圖像分辨率為1920×1080）和熱成像攝像頭，可見光攝像頭用于視覺目標(biāo)檢測與識別，熱成像攝像頭用于測溫。慣性測量單元（IMU）采用三馳（SC-AHRS-100D4）型號，激光雷達(dá)采用速騰聚創(chuàng)150 m16線型號。用于視覺定位的單目攝像頭采用海康MV-CA020-10GC型號的 200萬像素4 mm鏡頭。巡檢機(jī)器人可選配氣體檢測傳感器（氧氣、硫化氫、氨氣、一氧化碳等）。移動通信模塊采用四信5G工業(yè)路由器。巡檢機(jī)器人具有自動充電功能，可在巡檢環(huán)境中部署充電樁。另外巡檢機(jī)器人具有防爆功能（防爆等級：Ex d e mb IIB T4 Gb）。

采用本文技術(shù)方案的巡檢機(jī)器人系統(tǒng)已經(jīng)在多個(gè)天然氣場站、化工廠以及油田進(jìn)行現(xiàn)場運(yùn)行，執(zhí)行抄表、氣體泄露檢測等多種任務(wù)，如圖9所示。

巡檢機(jī)器人對某場站調(diào)壓計(jì)量撬上多個(gè)壓力表進(jìn)行信息提取的實(shí)測結(jié)果如表3所示?！皦毫?shí)際值”為值班人員核驗(yàn)得到的現(xiàn)場表計(jì)真實(shí)示數(shù)，“壓力讀表值”為機(jī)器人自動提取的表計(jì)讀數(shù)，將二者之差的絕對值除以量程，得到誤差。表3中相對誤差的平均值約為1%。

5 結(jié) 論

（1）為巡檢機(jī)器人的移動定位和目標(biāo)感知提供了軟硬件協(xié)同的技術(shù)解決方案；采用包括激光雷達(dá)、單目攝像頭、慣性測量單元等傳感器實(shí)現(xiàn)移動定位，并引入二維碼路標(biāo)輔助視覺定位進(jìn)一步消除定位累積誤差，通過引入基于深度學(xué)習(xí)的表計(jì)信息提取等方法，實(shí)現(xiàn)目標(biāo)感知與分析，新技術(shù)方案經(jīng)測試達(dá)到實(shí)際使用要求。

（2）所研發(fā)的巡檢機(jī)器人可有效替代人工進(jìn)行智能巡檢，設(shè)計(jì)一種基于深度學(xué)習(xí)的表計(jì)檢測、定位與文本識別方法，可支持機(jī)械式表計(jì)和電子式表計(jì)的示數(shù)讀?。煌ㄟ^引入5G移動通信及Wi-Fi的網(wǎng)絡(luò)通信功能，實(shí)現(xiàn)了具有網(wǎng)絡(luò)管理平臺的輪式巡檢機(jī)器人系統(tǒng)；系統(tǒng)通過多種傳感器獲取信息，可以完成室內(nèi)及室外自主導(dǎo)航、設(shè)備巡檢等多種任務(wù)，并可根據(jù)需要搭載氣體泄露檢測儀等裝置，對異常進(jìn)行告警處理。

參考文獻(xiàn)：

［1］ STEELE J P， HAN Q， KARKI H， et al. Development of an oil and gas refinery inspection robot［R］. V04AT04A016，2014.

［2］ 何玉榮，宋志超，張燕明，等.機(jī)器學(xué)習(xí)在水力壓裂作業(yè)中的應(yīng)用綜述［J］.中國石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，45（6）：127-135.

HE Yurong， SONG Zhichao， ZHANG Yanming， et al. Review on application of machine learning in hydraulic fracturing ［J］. Journal of China University of Petroleum （Edition of Natural Science）， 2021，45（6）：127-135.

［3］ 趙軍友，張亞寧，畢曉東，等.噴砂除銹爬壁機(jī)器人磁吸附結(jié)構(gòu)優(yōu)化設(shè)計(jì)及整機(jī)性能試驗(yàn)［J］.中國石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，44（4）：94-99.

ZHAO Junyou， ZHANG Yaning， BI Xiaodong， et al. Optimum design of magnetic adsorption structure and machine performance test for sand blasting and rust-removing wall-climbing robot［J］. Journal of China University of Petroleum（Edition of Natural Science）， 2020，44（4）：94-99.

［4］ 鄭杰，尚祖躍，竇益華，等.模塊化同步自主變徑輸氣管道機(jī)器人的研究設(shè)計(jì)［J］.石油機(jī)械，2023，51（11）：154-162.

ZHENG Jie， SHANG Zuyue， DOU Yihua， et al. R&D for modular synchronous autonomous variable diameter gas pipeline robot ［J］.China Petroleum Machinery，2023，51（11）：154-162.

［5］ 丁建新，李雪松，宋先知，等.水平井鉆井提速-減阻-清屑多目標(biāo)協(xié)同優(yōu)化方法［J］.石油機(jī)械，2023，51（11）：1-10.

DING Jianxin， LI Xuesong， SONG Xianzhi， et al. Multi-objective collaborative optimization method for ROP improvement，drag reduction and hole cleaning in horizontal well drilling［J］.China Petroleum Machinery，2023，51（11）：1-10.

［6］ 劉標(biāo).防爆巡檢機(jī)器人在天然氣分輸站的應(yīng)用［J］.化工管理，2021，28（21）：196-198.

LIU Biao. Application of explosion proof inspection robot in natural gas distribution station［J］. Chemical Enterprise Management， 2021，28（21）：196-198.

［7］ CADENA C， CARLONE L， CARRILLO H， et al. Past， present， and future of simultaneous localization and mapping： toward the robust-perception age［J］. IEEE Transactions on Robotics， 2016，32（6）：1309-1332.

［8］ 康磊，鄭豪威.基于機(jī)器視覺的指針式儀表自動識別算法研究［J］.石油工業(yè)技術(shù)監(jiān)督，2022，38（3）：20-23.

KANG Lei， ZHENG Haowei. Research on automatic recognition algorithm of pointer instrument based on machine vision［J］. Technology Supervision in Petroleum Industry， 2022，38（3）：20-23.

［9］ 劉慧舟，胡瑾秋，張來斌，等.基于紅外熱成像與CNN的壓裂裝備故障精準(zhǔn)識別及預(yù)警［J］.中國石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，45（1）：158-166.

LIU Huizhou， HU Jinqiu， ZHANG Laibin， et al. Accurate identification and early-warning of faults of fracturing equipments based on infrared thermal imaging and convolutional neural network ［J］. Journal of China University of Petroleum （Edition of Natural Science）， 2021，45（1）：158-166.

［10］ QIN T， LI P， SHEN S. VINS-Mono： a robust and versatile monocular visual-inertial state estimator［J］. IEEE Transactions on Robotics， 2018，34（4）：1004-1020.

［11］ SHAN T， ENGLOT B， MEYERS D， et al. LIO-SAM： tightly-coupled lidar inertial odometry via smoothing and mapping：IEEE/RSJ International Conference on Intelligent Robots and Systems［C］. Vilamoura-Algarve， Portugal： IEEE， 2020：5135-5142.

［12］ KAESS M， JOHANNSSON H， ROBERTS R， et al. iSAM2： incremental smoothing and mapping using the Bayes tree［J］. The International Journal of Robotics Research， 2012，31（2）：216-235.

［13］ REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection： Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition［C］. ?Las Vegas： NV， ?2016：779-788.

［14］ ZHOU D， YANG Y， ZHU J， et al. Intelligent reading recognition method of a pointer meter based on deep learning in a real environment［J］. Measurement Science and Technology， 2022，33（5）：055021.

［15］ LIAO M， WAN Z， YAO C， et al. Real-time scene text detection with differentiable binarization［J］. AAAI Conference on Artificial Intelligence， 2020，34（7）：11474-11481.

［16］ GRAVES A， FERNNDEZ S， GOMEZ F， et al. Connectionist temporal classification： labelling unsegmented sequence data with recurrent neural networks： International Conference on Machine Learning［C］. ?Pittsburgh， Pennsylvania： ACM， 2006：369-376.

［17］ 王金龍，李凡鵬，胡鵬基，等.基于深度學(xué)習(xí)的水下井口彎曲應(yīng)力預(yù)測方法［J］.石油機(jī)械，2023，51（8）：64-72.

WANG Jinlong， LI Fanpeng， HU Pengji， et al. A method for predicting bending stress of subsea wellhead based on deep learning［J］.China Petroleum Machinery，2023，51（8）：64-72.

（編輯 沈玉英）

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目（U1636124）

第一作者：畢逢東（1971-），男，高級工程師，碩士，研究方向?yàn)槌擎?zhèn)燃?xì)庵悄芑芾淼?。E-mail： bifengdong@petrochina.com.cn。

通信作者：彭良瑞（1972-），女，副研究員，博士，博士生導(dǎo)師，研究方向?yàn)橹悄軋D文信息處理等。E-mail： penglr@tsinghua.edu.cn。

引用格式：畢逢東，周淦，張晨光，等.巡檢機(jī)器人系統(tǒng)的軟硬件協(xié)同設(shè)計(jì)［J］.中國石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，48（3）：180-187.

BI Fengdong， ZHOU Gan， ZHANG Chenguang， et al. Hardware-software co-design of inspection robot system［J］. Journal of China University of Petroleum （Edition of Natural Science），2024，48（3）：180-187.