吳 憂，袁 雪

（北京交通大學(xué) 電子信息工程學(xué)院，北京 100044）

伴隨著國家的快速發(fā)展，工業(yè)所需的電站等電路基礎(chǔ)設(shè)施越來越多，出于對安全的考慮，對電站的設(shè)備進(jìn)行定期巡視檢查顯得尤為重要.通過巡檢可以采集電站設(shè)備圖像，監(jiān)視設(shè)備信息以及故障報(bào)警，實(shí)現(xiàn)對電站設(shè)備的遠(yuǎn)程監(jiān)控，及時(shí)排除安全隱患，減少設(shè)備故障，延長設(shè)備使用周期，避免停工停產(chǎn)維修帶來的巨大損失.

過去的巡檢方式主要是人工巡檢，但工作效率和人員安全等方面存在著諸多問題，開始逐步采用巡檢機(jī)器人和視覺技術(shù)相結(jié)合的方式解決上述問題.文獻(xiàn)［1］利用圖像復(fù)原、圖像濾波及圖像分割等傳統(tǒng)視覺技術(shù)對變電站指針式儀表進(jìn)行識(shí)別和后處理，能有效解決水霧和抖動(dòng)等外界干擾因素造成的模糊問題.文獻(xiàn)［2］使用基于粒子群優(yōu)化SVM［3］算法建立煤礦設(shè)備匹配模型，實(shí)現(xiàn)巡檢機(jī)器人對煤礦設(shè)備的精確識(shí)別與分類.文獻(xiàn)［4］通過中值濾波方法除去圖像噪聲，利用顏色圖像區(qū)域搜索緊急性目標(biāo)區(qū)域定位，采用脈沖耦合神經(jīng)網(wǎng)絡(luò)對儀表圖像中的數(shù)字實(shí)行分割和二值化處理，經(jīng)過樣本匹配算法實(shí)現(xiàn)變電站儀表識(shí)別.文獻(xiàn)［5］采用模板匹配算法識(shí)別儀表讀數(shù)，基于Hough 變換和線狀特征判斷指示燈、開關(guān)等設(shè)備部件的狀態(tài)信息.文獻(xiàn)［6］基于概率潛在語義分析（Probabilistic Latent Semantic Analysis，PLSA）的顏色屬性訓(xùn)練算法確定開關(guān)柜狀態(tài)指示燈的輪廓，采用HSV 判斷指示燈的亮暗.

傳統(tǒng)的視覺算法在實(shí)際應(yīng)用過程中存在準(zhǔn)確率低、速度慢的問題，為了滿足工程應(yīng)用的準(zhǔn)確率和實(shí)時(shí)性，深度學(xué)習(xí)算法逐漸替代傳統(tǒng)視覺算法用于巡檢任務(wù)，其中包括目標(biāo)檢測、語義分割、實(shí)例分割等算法.目標(biāo)檢測算法，例如兩階段檢測器R-CNN 系列［7-9］和單階段檢測器YOLO 系列［10-13］，致力于預(yù)測圖像中存在的感興趣的目標(biāo)的類別和邊界框；語義分割算法，例如FCN 系列［14-15］和DeepLab 系列［16-20］，從像素級(jí)理解圖像內(nèi)容，為圖像中的每一個(gè)像素分配一個(gè)類別，但是對同一類別的不同對象無法區(qū)分；而實(shí)例分割算法與語義分割算法較為類似，但不同的是實(shí)例分割可以區(qū)分同一類別的不同對象，從而得到每一個(gè)對象的精確輪廓，主要包括兩階段實(shí)例分割Mask R-CNN［21］、TensorMask［22］和單階段實(shí)例分 割YOLACT［23］、Blendmask［24］、Polarmask［25］、SOLO 系列［26-27］等.現(xiàn)有的部分研究已經(jīng)將深度學(xué)習(xí)算法應(yīng)用于巡檢任務(wù)過程中，文獻(xiàn)［28］通過傳統(tǒng)的視覺算法提取圖像中設(shè)備儀表狀態(tài)信息，運(yùn)用深度學(xué)習(xí)算法實(shí)時(shí)檢測工作人員是否佩戴安全帽.文獻(xiàn)［29］采用AlexNet［30］卷積神經(jīng)網(wǎng)絡(luò)對少量儀表設(shè)備進(jìn)行識(shí)別和分類.文獻(xiàn)［31］基于SSD［32］目標(biāo)檢測算法實(shí)現(xiàn)巡檢圖像中目標(biāo)設(shè)備的識(shí)別及定位.文獻(xiàn)［33］針對儀表所處的復(fù)雜環(huán)境提出基于YOLOv3［12］網(wǎng)絡(luò)改進(jìn)的儀表設(shè)備檢測方法，對目標(biāo)檢測方法中的傳統(tǒng)計(jì)算機(jī)視覺算法和深度學(xué)習(xí)算法進(jìn)行研究分析.文獻(xiàn)［34］提出一種改進(jìn)的YOLOv4［13］網(wǎng)絡(luò)結(jié)構(gòu)滿足指針式儀表實(shí)時(shí)識(shí)別定位，利用新穎的指針式儀表讀數(shù)方法解決儀表讀數(shù)誤差大、泛化性差等一系列問題.文獻(xiàn)［35］基于改進(jìn)型YOLOv3 的配電設(shè)備檢測算法，同時(shí)利用Mask-RCNN 算法對圖像進(jìn)行分割，與YOLOv3 算法相結(jié)合實(shí)現(xiàn)配電設(shè)備識(shí)別.

上述方法存在著三大問題：1）設(shè)備部件可識(shí)別種類較少、難以滿足復(fù)雜場景多種類部件識(shí)別任務(wù)的實(shí)際需求.目前現(xiàn)有的智能巡檢技術(shù)主要是針對于指針式儀表的識(shí)別，對于指示燈、開關(guān)等也有少量的研究，而且形態(tài)較為單一，無明顯復(fù)雜變化.對于復(fù)雜場景下的多種類設(shè)備部件識(shí)別問題，現(xiàn)有技術(shù)無法完全滿足需求；2）部分部件狀態(tài)無法識(shí)別的問題.對于部分設(shè)備部件，例如開關(guān)，狀態(tài)信息需要像素級(jí)的信息進(jìn)行判斷.在單一進(jìn)行識(shí)別的過程中，現(xiàn)有技術(shù)可以較為粗略地獲取其相關(guān)信息，但是在多類別、多數(shù)量識(shí)別任務(wù)過程中，現(xiàn)有的方法已無法解決這一類設(shè)備部件的識(shí)別問題；3）小目標(biāo)部件識(shí)別效果較差.由于電站的設(shè)備部件愈變復(fù)雜、形狀各異、類別多樣，大、小部件之間的識(shí)別效果相差較大.小部件由于其像素信息較少導(dǎo)致模型在訓(xùn)練的過程中，對于小目標(biāo)的訓(xùn)練不夠擬合，使得小目標(biāo)識(shí)別效果較差.同時(shí)設(shè)備部件的圖像信息易受到尺寸變化、環(huán)境光照變化等影響，因此基于復(fù)雜場景下的多種類設(shè)備部件識(shí)別任務(wù)對算法的要求較高，目前的傳統(tǒng)視覺算法、目標(biāo)檢測算法和語義分割算法在功能性上各自存在欠缺.

針對以上問題，本文作者提出基于改進(jìn)SOLOv2［27］的智能機(jī)器人巡檢識(shí)別算法，實(shí)現(xiàn)復(fù)雜場景下多種類部件識(shí)別——該算法不僅滿足復(fù)雜場景下多種類部件識(shí)別的實(shí)際需求，而且有效解決了部分部件狀態(tài)無法識(shí)別的問題，極大地改善了巡檢機(jī)器人的使用場景；提高小目標(biāo)檢測精度——基于原始SOLOv2 算法進(jìn)行創(chuàng)新性改進(jìn)，改善了SOLOv2 在小目標(biāo)上識(shí)別精度較低的問題，同時(shí)整體的精度也有一定的提升.

1 機(jī)器人巡檢識(shí)別算法

本文提出一種基于改進(jìn)SOLOv2 的智能機(jī)器人巡檢識(shí)別算法.機(jī)器人按照巡檢路線定點(diǎn)采集設(shè)備圖像，將預(yù)處理后的設(shè)備圖像送入識(shí)別網(wǎng)絡(luò)中，定位到關(guān)注設(shè)備部件后，通過特定的狀態(tài)信息讀取算法對各個(gè)設(shè)備部件進(jìn)行后處理，獲取設(shè)備部件的狀態(tài)信息從而達(dá)到實(shí)時(shí)監(jiān)測的目的.機(jī)器人巡檢識(shí)別的具體步驟如下：

1）巡檢機(jī)器人根據(jù)固定路線巡邏，采集待檢測點(diǎn)圖像；2）圖像預(yù)處理后傳輸至服務(wù)器端，同時(shí)客戶端顯示預(yù)處理后的圖像；3）預(yù)處理后的圖像進(jìn)入識(shí)別網(wǎng)絡(luò)，定位到圖像中的關(guān)注設(shè)備部件，同時(shí)部件定位結(jié)果圖顯示在客戶端；4）對定位到的關(guān)注設(shè)備部件進(jìn)行狀態(tài)信息讀取，獲取每個(gè)部件的狀態(tài)信息，同時(shí)將部件狀態(tài)信息同步顯示在客戶端，與預(yù)處理圖像和部件定位結(jié)果圖對應(yīng).總體流程圖見圖1，涉及的部件類別見圖2.

圖1 本文設(shè)計(jì)算法總體流程Fig.1 The overall flow of the algorithm designed in this paper

圖2 本文處理的部件類別Fig.2 Component categories addressed in this article

為了巡檢時(shí)獲取較大的視野區(qū)域和廣泛的場景信息，利用魚眼相機(jī)進(jìn)行圖像采集，但是形成的圖像會(huì)有一定程度的變形、扭曲，對后續(xù)的識(shí)別以及后處理會(huì)有較大的影響.為了消除一定程度形變的影響，需要對圖像進(jìn)行魚眼矯正，使圖像無明顯形變、呈現(xiàn)清晰，矯正過程見圖3 所示.

圖3 圖像預(yù)處理Fig.3 Image preprocessing

矯正原理如下：相機(jī)坐標(biāo)系存在一點(diǎn)P(x，y，z)，根據(jù)相機(jī)模型成像原理，未發(fā)生畸變時(shí)，點(diǎn)P的投影入射角為θ，像點(diǎn)為P0(a，b)，極坐標(biāo)形式為(γ，φ)；實(shí)際上由于畸變的存在，實(shí)際的像點(diǎn)為P＇(x＇，y＇)，光線出射角θd≠θ.

魚眼相機(jī)的成像過程是根據(jù)入射角θ求解出射角θd，而魚眼相機(jī)的畸變矯正過程則是根據(jù)畸變后的像點(diǎn)位置P＇(x＇，y＇)求解實(shí)際入射角θ，其中相機(jī)焦距等各參數(shù)已知.根據(jù)成像過程可知

式中k1，k2，k3，k4是畸變參數(shù)，由相機(jī)標(biāo)定結(jié)果提供.

使用牛頓迭代法求解θ：

循環(huán)迭代直到f(θ)≈0，或達(dá)到迭代上限次數(shù)從而求得θ.未畸變像點(diǎn)P0到相平面中心的距離：

由相似三角形原理可知

可以求得P0的坐標(biāo)為

利用相機(jī)內(nèi)參將P0(a，b)轉(zhuǎn)換到像素坐標(biāo)系即可得到未畸變的像素坐標(biāo).

2 部件識(shí)別算法

2.1 部件定位算法

實(shí)例分割SOLO［26-27］系列算法顛覆之前“自上而下”的先檢測后分割的方式和“自下而上”的基于語義分割的方式，通過目標(biāo)的位置和尺寸來區(qū)分，其核心思想是將實(shí)例分割問題轉(zhuǎn)化為兩個(gè)同時(shí)發(fā)生的子問題：類別預(yù)測和實(shí)例掩碼生成，具體方法是將輸入圖像劃分為S×S網(wǎng)格，目標(biāo)中心落入的網(wǎng)格負(fù)責(zé)預(yù)測該目標(biāo)的語義類別和分割該目標(biāo)的實(shí)例.SOLO 系列算法屬于單階段實(shí)例分割算法，相比于兩階段實(shí)例分割算法具有更快的速度和更高的精度，目前已經(jīng)有相關(guān)工作［36-38］基于SOLOv2 進(jìn)行研究與探索，研究表明SOLOv2 在實(shí)例分割視覺任務(wù)中具有出色的性能.因此，本文以SOLOv2 算法為基礎(chǔ)，實(shí)現(xiàn)機(jī)器人對設(shè)備部件的識(shí)別.

2.1.1 算法原理

SOLOv2 網(wǎng)絡(luò)選 擇ResNet［39］殘差神 經(jīng)網(wǎng)絡(luò) 作為特征提取網(wǎng)絡(luò)，通過FPN［40］特征金字塔輸出不同大小的特征圖作為預(yù)測頭的輸入，預(yù)測頭將輸入特征圖劃分為S×S網(wǎng)格，如果目標(biāo)的中心落入網(wǎng)格單元，則該網(wǎng)格負(fù)責(zé)：1）預(yù)測語義類別；2）分割該對象實(shí)例，即為語義類別預(yù)測分支和實(shí)例掩碼預(yù)測分支.特征提取網(wǎng)絡(luò)結(jié)構(gòu)、預(yù)測頭網(wǎng)絡(luò)結(jié)構(gòu)分別如圖4、圖5 所示.

圖4 特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Feature extraction network structure

圖5 預(yù)測頭網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Prediction head network structure

1）語義類別預(yù)測分支

對于每個(gè)網(wǎng)格，SOLOv2 預(yù)測C維輸出來預(yù)測實(shí)例類別，其中C是類別的數(shù)量，輸出空間為S×S×C維.

2）實(shí)例掩碼預(yù)測分支

在語義類別預(yù)測的同時(shí)，目標(biāo)區(qū)域落入的網(wǎng)格為正樣本網(wǎng)格，每個(gè)正樣本網(wǎng)格生成相應(yīng)的實(shí)例掩碼，最多生成S2個(gè)實(shí)例掩碼，輸出空間為HI×WI×S2維，第k個(gè)通道負(fù)責(zé)在網(wǎng)格(i，j)處分割實(shí)例，其中k=i*S+j（i和j從0 開始）.因此語義類別分支和類別不明的實(shí)例掩碼分支之間建立起一一對應(yīng)的關(guān)系.

SOLOv2 通過動(dòng)態(tài)卷積的方式，只對實(shí)例所在的網(wǎng)格進(jìn)行語義類別預(yù)測和實(shí)例掩碼預(yù)測，得到網(wǎng)格對應(yīng)的語義類別和實(shí)例掩碼，使用Matrix NMS［27］非極大抑制獲得最終實(shí)例分割結(jié)果.

2.1.2 算法改進(jìn)

本文的研究目標(biāo)形狀各異，種類繁多，目標(biāo)之間差異性較強(qiáng)，SOLOv2 原始算法對形狀大小不同的部件識(shí)別效果差異較大，尤其是較小部件的識(shí)別精度遠(yuǎn)遠(yuǎn)低于較大部件的識(shí)別精度.如圖6 所示，無法定位到部分較小設(shè)備部件，從而無法完全掌握巡檢現(xiàn)場的設(shè)備部件狀態(tài)，如遇故障無法立即發(fā)現(xiàn)并解決，可能會(huì)造成嚴(yán)重的安全事故以及經(jīng)濟(jì)損失.

圖6 小目標(biāo)漏檢Fig.6 Missing detection of small objects

SOLOv2 利用ResNet 殘差網(wǎng)絡(luò)提取圖像特征，經(jīng)過特征金字塔得到尺寸不同的各級(jí)特征圖，每一級(jí)特征圖分別進(jìn)入預(yù)測頭進(jìn)行實(shí)例掩碼和語義類別的預(yù)測.在特征金字塔網(wǎng)絡(luò)各個(gè)尺寸的特征圖輸出中，小尺寸特征圖具備較大的感受野以及豐富的語義信息，但分辨率較低，目標(biāo)位置較為粗略，小目標(biāo)信息嚴(yán)重缺失；而大尺寸特征圖具備較高的分辨率、目標(biāo)位置精確，但感受野較小，缺乏語義信息.為了減少計(jì)算量，不占用較大的內(nèi)存，提高處理速度，特征金字塔網(wǎng)絡(luò)往往舍棄大尺寸特征圖或者對大尺寸特征圖下采樣之后進(jìn)行特征融合，造成網(wǎng)絡(luò)對于小目標(biāo)的識(shí)別效果不好.因此，本文通過增加特征金字塔網(wǎng)絡(luò)中較大尺寸層級(jí)特征圖的輸出，如圖7 所示，增加小目標(biāo)的正樣本數(shù)量，提高小目標(biāo)的識(shí)別精度.

圖7 改進(jìn)SOLOv2 后特征金字塔結(jié)構(gòu)Fig.7 Feature pyramid structure of improved SOLOv2

SOLOv2 的預(yù)測頭將輸入特征圖劃分成S×S網(wǎng)格，不同層級(jí)的特征圖對應(yīng)的網(wǎng)格數(shù)S2并不相同，對應(yīng)關(guān)系如表1 所示.SOLOv2 網(wǎng)絡(luò)在計(jì)算預(yù)測值與真實(shí)值之間的損失的過程中，首先根據(jù)真實(shí)標(biāo)簽中實(shí)例所在區(qū)域的外接矩形框的面積所在區(qū)間，對真實(shí)標(biāo)簽中的實(shí)例進(jìn)行網(wǎng)格數(shù)和層級(jí)的歸屬劃分，與對應(yīng)層級(jí)上的預(yù)測值進(jìn)行對比，實(shí)現(xiàn)特征圖中預(yù)測值與真實(shí)值在層級(jí)和網(wǎng)格數(shù)上的統(tǒng)一，通過相應(yīng)的損失函數(shù)得到對應(yīng)的損失，經(jīng)過反向傳播計(jì)算梯度從而更新網(wǎng)絡(luò)參數(shù).由此可知，增加特征金字塔網(wǎng)絡(luò)的輸出之后，面積區(qū)間的劃分標(biāo)準(zhǔn)直接影響到增加的層級(jí)特征圖的網(wǎng)格劃分.SOLOv2 特征圖尺寸和網(wǎng)格數(shù)、面積區(qū)間的對應(yīng)關(guān)系如表1 所示.

表1 特征圖尺寸和網(wǎng)格數(shù)、面積區(qū)間的對應(yīng)關(guān)系Tab.1 Correspondence between feature map size,grid number,and area interval

2.2 部件狀態(tài)信息讀取算法

根據(jù)設(shè)備部件狀態(tài)信息讀取方式，將設(shè)備部件分為按鈕類，開關(guān)類、文字類、消防類和儀表類，每個(gè)類別均有對應(yīng)的狀態(tài)信息讀取算法，如圖8 所示.

圖8 狀態(tài)信息讀取算法Fig.8 Algorithm for reading status information

其中按鈕類主要是將定位所得按鈕圖像進(jìn)行HSV 顏色空間分離，即H--色調(diào)空間、S--飽和度空間和V--亮度空間，如圖9 所示，亮暗兩種狀態(tài)下的按鈕在V 空間下的像素值有較大的差別，通過反復(fù)實(shí)驗(yàn)，設(shè)定一組較好的閾值實(shí)現(xiàn)按鈕的亮暗狀態(tài)判斷.

圖9 按鈕狀態(tài)信息結(jié)果Fig.9 The state information result of button

文字類 主要是基于DBNet［41］和CRNN［42］的 文字檢測和文字識(shí)別算法實(shí)現(xiàn)文字識(shí)別功能.通過大量的數(shù)據(jù)進(jìn)行訓(xùn)練，使得文字檢測和文字識(shí)別的模型泛化性較高，魯棒性較強(qiáng)，運(yùn)用于設(shè)備部件文字識(shí)別的準(zhǔn)確率較高，如圖10 所示.

圖10 文字類部件狀態(tài)信息結(jié)果Fig.10 The state information result of text component

對于實(shí)際場景下的消防類設(shè)備，主要的需求是判斷關(guān)注的消防設(shè)備是否齊全，以達(dá)到在火災(zāi)發(fā)生時(shí)能及時(shí)通過消防設(shè)備進(jìn)行滅火等一系列操作的目的.特定場景下，若定位到所有消防設(shè)備，則表示消防設(shè)備齊全.

設(shè)備中的開關(guān)類和儀表類部件是選擇實(shí)例分割算法的關(guān)鍵所在，通過實(shí)例分割算法獲取設(shè)備部件的具體輪廓區(qū)域，可以使其狀態(tài)信息的判斷更加精準(zhǔn).如圖11 所示，旋鈕處于不同形態(tài)時(shí)，所在區(qū)域的最小矩形框與水平線的夾角有所不同，因此可以根據(jù)包圍旋鈕輪廓的最小矩形框與水平方向之間的角度來獲取旋鈕的狀態(tài)信息.通過觀察以及實(shí)驗(yàn)，獲取旋鈕處于各個(gè)狀態(tài)下的角度區(qū)間范圍，設(shè)定閾值，實(shí)現(xiàn)旋鈕精準(zhǔn)狀態(tài)獲取，扳手閥門與旋鈕較為類似.

圖11 旋鈕狀態(tài)信息結(jié)果Fig.11 The state information result of knob

設(shè)備中的儀表類也是眾多論文中的重點(diǎn)研究對象，如圖12 所示.本文對于儀表的狀態(tài)信息獲取是基于閾值分割實(shí)現(xiàn)的，對儀表進(jìn)行像素閾值分割得到指針，通過霍夫直線原理得到指針的角度，利用指針的角度以及儀表盤的刻度精度進(jìn)行計(jì)算得到較為精確的儀表讀數(shù).

圖12 儀表類部件狀態(tài)信息結(jié)果Fig.12 The state information result of meter component

3 實(shí)驗(yàn)結(jié)果分析

本文使用的數(shù)據(jù)集來自于山西某煤礦下的配電室以及水泵房等場景，包含各種設(shè)備部件的圖像，通過亮度調(diào)整、旋轉(zhuǎn)、翻轉(zhuǎn)、平移等圖像增強(qiáng)操作，并對數(shù)量相對較少的部件進(jìn)行圖像合成［43］，圖像的場景更具豐富性和多樣性.數(shù)據(jù)集共計(jì)1 200 張圖像，訓(xùn)練集、驗(yàn)證集和測試集按照8∶1∶1 的比例分配.圖13為該數(shù)據(jù)集中部分圖像，可見設(shè)備部件種類和數(shù)量繁多，形態(tài)復(fù)雜.

圖13 數(shù)據(jù)集中部分圖像Fig.13 Some images in the dataset

3.1 部件定位算法的比較

基于復(fù)雜場景下的多種類部件識(shí)別任務(wù)，分別采用傳統(tǒng)視覺算法、目標(biāo)檢測算法、語義分割算法和實(shí)例分割算法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2 所示.分析實(shí)驗(yàn)結(jié)果得出，傳統(tǒng)視覺算法無法實(shí)現(xiàn)多種類部件識(shí)別任務(wù)，只能對單一部件進(jìn)行識(shí)別；目標(biāo)檢測算法無法獲取目標(biāo)輪廓的像素級(jí)信息，對于部分部件（例如開關(guān)類）狀態(tài)無法識(shí)別；語義分割算法對于同一類別的不同實(shí)例無法區(qū)分，無法實(shí)現(xiàn)設(shè)備部件定位.因此，選取實(shí)例分割算法作為部件定位算法，具有較好的兼容性.

表2 設(shè)備部件定位算法對比Tab.2 Comparison of Equipment Parts Location Algorithms

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

本文通過增加特征金字塔網(wǎng)絡(luò)的大尺寸層級(jí)特征圖的輸出來提高小目標(biāo)的識(shí)別效果，同時(shí)需要根據(jù)真實(shí)標(biāo)簽中檢測框面積所在區(qū)間對真實(shí)標(biāo)簽分配合適的網(wǎng)格數(shù)，因此增加的層級(jí)特征圖的尺寸（size）、檢測框面積劃分區(qū)間（scale range）和對應(yīng)的網(wǎng)格數(shù)（grid）成為本實(shí)驗(yàn)三個(gè)關(guān)鍵的變量.上述三個(gè)變量具有強(qiáng)相關(guān)性，且檢測框面積劃分區(qū)間和網(wǎng)格數(shù)視增加的層級(jí)特征圖尺寸而定，檢測框面積劃分區(qū)間和網(wǎng)格數(shù)之間互為影響.

1）增加的層級(jí)特征圖的尺寸（size）：設(shè)置增加的層級(jí)特征圖的尺寸為網(wǎng)絡(luò)輸入圖像的1/4、1/8.

2）檢測框面積劃分區(qū)間（scale range）和網(wǎng)格數(shù)（grid）：增加大尺寸層級(jí)特征圖的輸出圖后，設(shè)置［1/4 或1/8，1/8，1/8，1/16，1/32，1/32］六個(gè)層級(jí)的檢測框面積劃分區(qū)間和網(wǎng)格數(shù)組合如表3 所示.

表3 網(wǎng)格數(shù)、面積劃分區(qū)間的組合Tab.3 Combination of grid number and area division interval

3.3 增加不同尺寸的層級(jí)特征圖的比較

在特征金字塔網(wǎng)絡(luò)的輸出中分別增加網(wǎng)絡(luò)輸入圖像尺寸的1/4 和1/8 的層級(jí)特征圖輸出，在測試集上的檢測結(jié)果如表4 所示.由表4 可知，當(dāng)檢測框面積劃分區(qū)間（scale range）=（（1，32），（16，64），（32，128），（64，256），（128，512），（256，2 048））和網(wǎng)格數(shù)（grid）=52 固定時(shí)，特征金字塔增加網(wǎng)絡(luò)輸入圖像尺寸的1/4 的層級(jí)特征圖輸出時(shí)表現(xiàn)的效果更好，不僅小目標(biāo)的檢測效果有較大的提高，而且整體的精度 也有一定的提升，同時(shí)檢測速率基本保持一致.

表4 增加不同尺寸的層級(jí)特征圖輸出的對比Tab.4 Comparison of the output of feature maps of different sizes

3.4 不同組合檢測框面積劃分范圍和網(wǎng)格數(shù)的比較

在特征金字塔網(wǎng)絡(luò)增加1/4 尺寸層級(jí)特征圖的前提下，對比多組檢測框面積劃分區(qū)間和網(wǎng)格數(shù)的參數(shù)組合，在測試集上的檢測結(jié)果如表5 所示.由表5 可知，當(dāng)檢測框面積劃分區(qū)間（scale range）=（（1，32），（16，64），（32，128），（64，256），（128，512），（256，2048））和網(wǎng)格數(shù)（grid）=52 時(shí)，此時(shí)三個(gè)變量的組合在本實(shí)驗(yàn)中表現(xiàn)效果最好.

表5 檢測框面積劃分區(qū)間與網(wǎng)格數(shù)的不同組合的對比Tab.5 Comparison of Equipment Parts Location Algorithms

3.5 實(shí)例分割算法的比較

選擇目前較為主流的實(shí)例分割算法Mask RCNN 與本文的所選用的實(shí)例分割算法SOLOv2 作比較，其中Mask R-CNN 屬于“先檢測后分割”的兩階段實(shí)例分割算法.在本文數(shù)據(jù)集上分別使用Mask R-CNN 和SOLOv2 兩種實(shí)例分割算法進(jìn)行訓(xùn)練，得到的模型在測試集上的檢測結(jié)果如表6 所示.由此可知，本文使用的實(shí)例分割算法SOLOv2相比于Mask R-CNN 具有明顯的優(yōu)勢，改進(jìn)后的SOLOv2 算法相比于原始SOLOv2 算法在小目標(biāo)檢測精度上有較大的提升，整體的精度也提升了1.7%，速度上無明顯降低.

表6 實(shí)例分割算法對比Tab.6 Instance segmentation algorithm comparison

3.6 算法驗(yàn)證

為了進(jìn)一步驗(yàn)證算法改進(jìn)的有效性，在公開數(shù)據(jù) 集Cityscapes［44］上進(jìn)行 相關(guān)實(shí) 驗(yàn).Cityscapes 是 關(guān)于城市街道場景的語義理解圖像數(shù)據(jù)集，主要包含來自50 個(gè)不同城市的街道場景，擁有5 000 張?jiān)诔鞘协h(huán)境中駕駛場景的高質(zhì)量像素級(jí)注釋圖像，其中包含訓(xùn)練集圖像2 975 張、驗(yàn)證集圖像500 張和測試集圖像1 525 張，圖像分辨率為1 023×2 048.Cityscapes 數(shù)據(jù)集共有34 個(gè)類別像素標(biāo)注，其中8 個(gè)實(shí)例級(jí) 分割類 別，即person、rider、car、truck、bus、train、motorcycle 和bicycle，屬于小 目標(biāo)類 別的是person 和rider.

改進(jìn)SOLOv2 與基線方法在Cityscapes 數(shù)據(jù)集上的檢測結(jié)果如表7 所示，從表中可以看出，改進(jìn)后的SOLOv2 算法相比于原始SOLOv2 算法提升了0.6%，屬于小目標(biāo)類別的person 和rider 的檢測精度也有相應(yīng)的提升，速度上略有下降，其原因可能是添加高層語義特征圖后，網(wǎng)絡(luò)參數(shù)量變大，計(jì)算復(fù)雜度增加，導(dǎo)致推理速度有所下降.

表7 改進(jìn)算法有效性驗(yàn)證Tab.7 Improved algorithm validation verification

本實(shí)驗(yàn)所用計(jì)算機(jī)配置GPU：NVIDIA Ge-Force GTX 1080、CPU：Intel i5-6800K、操作系統(tǒng)：Ubuntu 18.04.以PyTorch 作為SOLOv2 算法實(shí)現(xiàn)的基礎(chǔ)框架.模型訓(xùn)練過程為多尺度訓(xùn)練，批次大小為2，初始學(xué)習(xí)率設(shè)置為0.001 25，每次訓(xùn)練共36 輪.

4 結(jié)論

本文首先介紹了智能機(jī)器人巡檢識(shí)別算法的現(xiàn)狀以及存在的問題，在此基礎(chǔ)上提出了基于改進(jìn)SOLOv2 的智能機(jī)器人巡檢識(shí)別算法，將更加快速、高效的算法運(yùn)用于智能機(jī)器人巡檢過程，同時(shí)對原始SOLOv2 算法進(jìn)行創(chuàng)新性改進(jìn)，實(shí)現(xiàn)了以下幾個(gè)功能：

1）通過實(shí)例分割算法實(shí)現(xiàn)了復(fù)雜場景下多類別設(shè)備部件巡檢的需求，有效地解決了識(shí)別單一場景的局限性，同時(shí)解決了以往算法對部分部件狀態(tài)無法識(shí)別的問題.

2）通過對原始SOLOv2 算法的創(chuàng)新性改進(jìn)，提升了小設(shè)備部件的識(shí)別精度，同時(shí)整體的精度也有一定的提升，確保設(shè)備部件的識(shí)別達(dá)到實(shí)際場景需求.

隨著數(shù)據(jù)庫的逐漸豐富，小目標(biāo)的識(shí)別精度將會(huì)逐漸提升，整體將會(huì)呈現(xiàn)一個(gè)較好的效果.對于光照太強(qiáng)、曝光較嚴(yán)重的圖像，本文提出的算法暫時(shí)無法達(dá)到較好的檢測效果，需要進(jìn)一步的研究.