趙 迪，劉桂雄

(華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640)

0 引 言

電子設(shè)備、自動化裝備智能維護(hù)是信息技術(shù)、人工智能技術(shù)與高端制造業(yè)的交叉應(yīng)用領(lǐng)域，是實現(xiàn)設(shè)備無人化、智能化監(jiān)管的發(fā)展趨勢[1]。通信機(jī)房作為大規(guī)模通信網(wǎng)絡(luò)的中繼站，其電子設(shè)備安全性、可靠性十分重要，實現(xiàn)通信機(jī)房機(jī)柜的智能監(jiān)管、維護(hù)、檢修是保障通信系統(tǒng)安全運作的核心[2]。

視覺檢測是實現(xiàn)設(shè)備智能維護(hù)的關(guān)鍵技術(shù)，設(shè)備圖像識別、故障位置檢測、檢修操作點確定均可由視覺方法實現(xiàn)[3]。文獻(xiàn)[4]通過視覺檢測方法進(jìn)行輸電線路環(huán)境狀態(tài)檢測，設(shè)計研制一種輸電線智能維護(hù)機(jī)器人，實現(xiàn)輸電系統(tǒng)中斷股補(bǔ)修維護(hù)。文獻(xiàn)[5]通過分析機(jī)械手系統(tǒng)位姿偏差導(dǎo)致維修抓取過程誤差，提出全局相機(jī)測量維修工具位姿方法、引入視覺伺服控制策略，完成機(jī)械手系統(tǒng)較高精度定位與維修工作。近年出現(xiàn)的CNN端到端語義分割方法可以在像素尺度上識別多個對象，輸出無分辨率損失的多值圖，融入機(jī)器視覺中將可以在精密測量分析場合下形成泛用性強(qiáng)的人工智能方法[6-7]。語義分割方法可分為CNN端到端語義分割方法、編-解碼器架構(gòu)語義分割方法、并聯(lián)多孔卷積架構(gòu)語義分割方法，其中CNN端到端語義分割方法結(jié)合具體領(lǐng)域評價規(guī)則，可形成專用領(lǐng)域的智能機(jī)器視覺系統(tǒng)[8]。華南理工大學(xué)[9]在機(jī)箱裝配質(zhì)量檢測中引入CNN端到端語義分割方法方法，實現(xiàn)機(jī)箱上COM、USB等多類零部件的像素級檢測，結(jié)合機(jī)箱裝配質(zhì)量評判規(guī)則，為機(jī)箱誤裝配、漏裝配的檢修、維護(hù)提供技術(shù)支撐。文獻(xiàn)[10]針對傳統(tǒng)橋梁裂縫圖像檢測算法難以準(zhǔn)確提取裂縫的問題,提出一種基于語義分割的橋梁裂縫檢測算法，實現(xiàn)裂縫位置高精度提取、橋梁狀態(tài)準(zhǔn)確監(jiān)測。通信機(jī)房機(jī)柜的圖像檢測與維護(hù)的基礎(chǔ)是大量重復(fù)的圖像背景中目標(biāo)板卡識別、操作點檢測，語義分割技術(shù)的像素分割準(zhǔn)確率是關(guān)鍵[11]。

本文將從深度學(xué)習(xí)語義分割技術(shù)入手，分析機(jī)房機(jī)柜圖像檢測與維護(hù)關(guān)注的關(guān)鍵特征，提出基于Mask R-CNN的機(jī)房機(jī)柜圖像語義分割技術(shù)。通過設(shè)置機(jī)房機(jī)柜語義分割對比試驗，驗證本文所提出方法的語義分割效果。

1 面向智能維護(hù)機(jī)房機(jī)柜圖像關(guān)鍵特征分析

機(jī)房設(shè)備包括電子設(shè)備、數(shù)據(jù)通信設(shè)備、信息技術(shù)設(shè)備及防護(hù)結(jié)構(gòu)。設(shè)備通過內(nèi)部的支撐、支架、螺絲、卡子、扳手等固定電源、主機(jī)板、各種擴(kuò)展板卡，形成一個整體，并提供便于使用的面板開關(guān)。

圖1為SCU主控板卡、擴(kuò)展板卡模型。作為板卡維護(hù)過程中的重點拆卸部件，松不脫螺釘、鎖緊扳手在成像視野中的位置、開合狀態(tài)是圖像關(guān)鍵特征。同一機(jī)房設(shè)備不同類型板卡之間只存在結(jié)構(gòu)參數(shù)差異，松不脫螺釘、鎖緊扳手與板卡的相對位置固定，有效縮小上述關(guān)鍵特征在設(shè)備圖像中的搜索范圍。

圖1 SCU主控板卡、擴(kuò)展板卡模型

板卡在機(jī)箱中連接緊密，對特定故障板卡進(jìn)行拆卸維護(hù)時，應(yīng)對目標(biāo)板卡進(jìn)行精確定位，避免對其他板卡結(jié)構(gòu)產(chǎn)生影響。因此，目標(biāo)板卡在設(shè)備圖像中的邊界是圖像中另一關(guān)鍵特征。

基于上述分析，結(jié)合視覺成像、語義分割方法識別機(jī)房設(shè)備圖像關(guān)鍵特征是核心問題。1）在機(jī)房設(shè)備圖像中分割目標(biāo)板卡范圍、確定操作邊界；2）根據(jù)螺釘、緊固扳手與板卡相對位置縮小特征搜索范圍；3）結(jié)合圖像分割識別結(jié)果得到維護(hù)操作點精確位置。

2 基于Mask R-CNN機(jī)房機(jī)柜圖像語義分割技術(shù)

在執(zhí)行機(jī)房機(jī)柜維護(hù)任務(wù)時，首先要確定維護(hù)對象。傳統(tǒng)方案多采用經(jīng)典圖像處理算法，如通過CCD采集圖像，基于OpenCV實現(xiàn)圖像二值化、特征提取，根據(jù)目標(biāo)面積、數(shù)量、位置、長度等特征信息完成目標(biāo)識別。經(jīng)典圖像處理方法對光源、背景等環(huán)境因素要求高，難以適應(yīng)照度多變、背景雜亂的通信機(jī)房設(shè)備識別?；谏窠?jīng)網(wǎng)絡(luò)強(qiáng)大的圖像表征能力、面對圖像背景噪聲的魯棒性，本文提出采用深度學(xué)習(xí)語義分割方法實現(xiàn)機(jī)房設(shè)備圖像識別與分割。表1為常用神經(jīng)網(wǎng)絡(luò)識別性能對比表，表中數(shù)據(jù)為相應(yīng)網(wǎng)絡(luò)模型在大型數(shù)據(jù)集上訓(xùn)練得到的識別結(jié)果，分析表中數(shù)據(jù)可知Mask R-CNN[12]具有優(yōu)異的識別、分割性能。

表1 常用目標(biāo)識別神經(jīng)網(wǎng)絡(luò)性能對比表

因此，本文采用Mask R-CNN語義分割模型對維護(hù)對象進(jìn)行目標(biāo)識別、語義分割，實現(xiàn)目標(biāo)板卡、操作點的精準(zhǔn)定位。圖2為基于Mask R-CNN的機(jī)房設(shè)備圖像語義分割技術(shù)流程，其詳細(xì)步驟包括：

圖2 機(jī)房設(shè)備圖像語義分割技術(shù)流程

1）通過相機(jī)獲取設(shè)備圖像信息。

2）繪制圖像目標(biāo)矩形、多邊形標(biāo)注框，將圖中目標(biāo)點坐標(biāo)信息保存為JSON文件。

3）將圖片輸入骨干網(wǎng)絡(luò) (backbone network)中提取特征，得到特征圖(feature maps)，以特征圖中像素點為中心，設(shè)定若干個感興趣區(qū)域(region of interest,ROI)。

4）候選區(qū)域生成網(wǎng)絡(luò) (region proposal network，RPN)利用滑動窗口在特征圖上為每個像素點生成若干預(yù)設(shè)尺寸的錨點框(anchor)，通過anchor、ground truth 間 的 IOU(intersection over union)數(shù) 值 判 斷anchor為目標(biāo)或為背景，并為目標(biāo)anchor進(jìn)行坐標(biāo)修正，具體為在x、y方向上平移修正量tx、ty，在長、寬方向乘以放大倍數(shù)th、tw，以去掉判斷為背景區(qū)域的ROI。

5）對RPN網(wǎng)絡(luò)篩選剩下的ROI執(zhí)行ROI Align操作，通過雙線性插值法實現(xiàn)feature maps像素與原圖像素對齊。

6）分類器(Classifier)則分為目標(biāo)分類、邊界框(bounding box，BB)回歸、掩膜 (Mask)生成，目標(biāo)分類、BB回歸之前需經(jīng)全連接層實現(xiàn)特征全連接計算；Mask生成分支則經(jīng)圖像維度擴(kuò)展，經(jīng)全卷積網(wǎng)絡(luò) (fully connection network，F(xiàn)CN)后完成目標(biāo)像素級語義分割。

訓(xùn)練RPN網(wǎng)絡(luò)的損失函數(shù)為

訓(xùn)練Classifier網(wǎng)絡(luò)的損失函數(shù)為

式（6）分3個部分，Lc為 分類損失，Lb為邊界框修正損失，Lm為Mask損失，其中第3部分損失函數(shù)二分類均值交叉熵?fù)p失Lm=Sigmoid(Cls_k)，僅在其對應(yīng)的第K類ROI計算時有定義，其他K-1個Mask對整個損失函數(shù)不做貢獻(xiàn)；第一、第二部分字母含義與RPN網(wǎng)絡(luò)中相同，即：

由上得出Mask R-CNN的損失函數(shù)Lfinal為：

當(dāng)損失函數(shù)Lfinal經(jīng)過N次迭代訓(xùn)練并收斂時，神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成。此時，將測試圖像輸入神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)自動識別出圖像中維護(hù)目標(biāo)，完成語義分割。

3 實驗與結(jié)果分析

實驗采用Intel公司RealSense系列D435i深度相機(jī) (分辨率 1 920×1 080、RGB 傳感器 FOV 69.4°×42.5°×77°(±3°)、幀率 30 f/s)，在日光燈光照條件下，分別于距機(jī)柜2.2 m、0.5 m處對機(jī)柜設(shè)備進(jìn)行圖像采集。為了驗證模擬智能維護(hù)效果，利用視頻圖像進(jìn)行測試，并分析視頻每幀圖像的檢測效果。

圖3為模擬不同視野維護(hù)實驗結(jié)果，在距離較遠(yuǎn)、視野較大情況下，體積較大的機(jī)柜、服務(wù)器識別置信度較高，體積較小的面板識別置信度則相較稍低；當(dāng)距離不斷減小時，服務(wù)器的識別置信稍有降低、扳手面板的識別置信稍有提高，總體識別置信度均保持在0.99以上。

圖3 機(jī)柜服務(wù)器不同視野識別效果

圖4為模擬維護(hù)過程受玻璃、人體等遮擋試驗結(jié)果。目標(biāo)機(jī)柜、機(jī)箱、面板識別受玻璃遮擋影響不大，在有人體遮擋的情況下機(jī)柜識別受影響較小，服務(wù)器、面板的識別幾乎不受影響，置信度保持在0.98以上。

圖4 機(jī)柜服務(wù)器受玻璃、人體遮擋識別效果

可以看出，采用語義分割網(wǎng)絡(luò)可以實現(xiàn)在背景、光源復(fù)雜環(huán)境下機(jī)柜設(shè)備準(zhǔn)確識別、分割。

利用邊緣檢測網(wǎng)絡(luò)HED[12]與語義分割網(wǎng)絡(luò)DeepLab[13]、Mask R-CNN[14]進(jìn)行對比實驗，圖5 為HED、DeepLab、Mask R-CNN 在模擬維護(hù)檢測中的實驗效果。HED能夠識別出機(jī)柜設(shè)備邊界及機(jī)箱，但檢測精度較低且沒有機(jī)柜標(biāo)簽、尺寸信息，無法為后續(xù)維護(hù)操作提供精確位置信息；DeepLab能夠?qū)崿F(xiàn)像素級分割，分割效果較好但存在分割邊界信息缺失問題；Mask R-CNN識別分割效果能夠達(dá)到檢測要求，并且能夠提取機(jī)柜、機(jī)箱及扳手等精確位置信息。

圖5 HED、DeepLab、Mask R-CNN在模擬維護(hù)檢測中的實驗效果

表2為語義分割網(wǎng)絡(luò)DeepLab與Mask R-CNN的模擬維護(hù)檢測性能對比表。DeepLab平均精確度 (mean average precision,mAP)、平均交并比 (mean intersection over union,mIOU)均達(dá)到較好水平[6]，雖然時間性能滿足實時檢測要求，但準(zhǔn)確性略有不足；Mask R-CNN在滿足實時檢測要求時，識別準(zhǔn)確性、分割效果均比DeepLab佳。

表2 語義分割網(wǎng)絡(luò)DeepLab與Mask R-CNN的模擬維護(hù)檢測性能對比表

4 結(jié)束語

1）從面向智能維護(hù)的機(jī)房設(shè)備圖像關(guān)鍵特征分析入手，指出作為板卡維護(hù)過程中的重點拆卸部件，松不脫螺釘、鎖緊扳手在機(jī)器人成像視野中的位置、開合狀態(tài)、目標(biāo)板卡在設(shè)備圖像中邊界是圖像關(guān)鍵特征。

2）通過對比神經(jīng)網(wǎng)絡(luò)性能，提出基于Mask RCNN的機(jī)房設(shè)備圖像語義分割技術(shù)，基于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的圖像表征能力、面對圖像背景噪聲的魯棒性，彌補(bǔ)經(jīng)典機(jī)器視覺方法對光源、背景、環(huán)境要求高的弱點，實現(xiàn)對機(jī)房設(shè)備圖像的語義分割，為指導(dǎo)機(jī)房機(jī)柜設(shè)備智能維護(hù)提供技術(shù)支撐。

3）構(gòu)建機(jī)柜機(jī)箱服務(wù)器檢測試驗裝置，進(jìn)行不同視野、不同遮擋條件試驗，以及不同檢測算法間對比實驗，結(jié)果表明基于Mask R-CNN的語義分割技術(shù)在不同成像條件下分割效果魯棒性佳、在分割準(zhǔn)確性上具有較大優(yōu)勢。

機(jī)房設(shè)備圖像語義分割技術(shù)是通信機(jī)房維護(hù)技術(shù)的核心，下一步將結(jié)合控制結(jié)構(gòu)及算法、路徑規(guī)劃算法實現(xiàn)通信機(jī)房設(shè)備智能維護(hù)。