狄澤波 馬 麗 張繼凱 白紅英

(1.內(nèi)蒙古科技大學(xué)信息工程學(xué)院，2.北京市商業(yè)學(xué)校商貿(mào)信息系，3.鄂爾多斯應(yīng)用技術(shù)學(xué)院數(shù)學(xué)與計(jì)算機(jī)工程系)

鋼鐵行業(yè)屬于資源、勞動(dòng)密集型行業(yè)[1-4]，充分運(yùn)用新型的自動(dòng)化控制方式可促進(jìn)行業(yè)的發(fā)展與進(jìn)步，而且已經(jīng)成為產(chǎn)業(yè)轉(zhuǎn)型的核心動(dòng)力[5]。鋼包起重掛鉤的識(shí)別測(cè)定需要依靠鋼鐵企業(yè)工人的技術(shù)和經(jīng)驗(yàn)，不僅增加了鋼包工人的工作強(qiáng)度，而且降低了安全生產(chǎn)效率。

深度神經(jīng)網(wǎng)絡(luò)將計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理行業(yè)領(lǐng)域推向了一個(gè)新的技術(shù)時(shí)期[6]，實(shí)例分割[7]技術(shù)做為計(jì)算機(jī)視覺(jué)的研究?jī)?nèi)容之一，被廣泛應(yīng)用于各個(gè)領(lǐng)域。在鋼包起重掛鉤的識(shí)別方案中，不再依靠多余易損機(jī)器設(shè)備[8](如RFID技術(shù)和傳感器)來(lái)獲取鋼包掛鉤的信息，只需要通過(guò)相機(jī)或者攝像頭就能實(shí)現(xiàn)目標(biāo)物體的無(wú)接觸自動(dòng)記錄(包括起重掛鉤分割、距離測(cè)定等)，成為鋼鐵行業(yè)鋼包管控的首選方案。但由于工廠環(huán)境存在背景雜亂、光照條件差以及掛鉤多尺度等問(wèn)題，從工廠的監(jiān)控視頻中準(zhǔn)確地分割出掛鉤具有一定的挑戰(zhàn)性。針對(duì)以上問(wèn)題提出優(yōu)化SOLO[9-12]分割算法，在特征提取算法網(wǎng)絡(luò)里引入特征金字塔[13]來(lái)提升網(wǎng)絡(luò)的特征能力，使用改進(jìn)的ResNet[14-16]網(wǎng)絡(luò)進(jìn)行掛鉤識(shí)別，從而在降低計(jì)算復(fù)雜度的同時(shí)，提高在復(fù)雜環(huán)境下分割的魯棒性以及高召回率和精確率，最終提高鋼包掛鉤分割的精度。

1 基于SOLO的鋼包起重掛鉤圖像分割

1.1 SOLO網(wǎng)絡(luò)分析與改進(jìn)

SOLO網(wǎng)絡(luò)早已廣泛用于很多領(lǐng)域，尤其是圖像分割領(lǐng)域。在復(fù)雜環(huán)境下，鋼包掛鉤表現(xiàn)出與背景難以區(qū)分以及掛鉤狀態(tài)的判斷等問(wèn)題，所以SOLO網(wǎng)絡(luò)直接應(yīng)用到鋼包起重掛鉤狀態(tài)的識(shí)別與分割當(dāng)中準(zhǔn)確率和速度還有待提高。

文中提出的鋼包起重掛鉤分割架構(gòu)主要包含根據(jù)優(yōu)化的ResNet主干網(wǎng)絡(luò)和特征金字塔網(wǎng)絡(luò)開展特征的提取。將特征圖送入預(yù)測(cè)頭同時(shí)生成語(yǔ)義類別預(yù)測(cè)以及掩碼，最終實(shí)現(xiàn)實(shí)例分割。

基于SOLO的鋼包起重掛鉤狀態(tài)識(shí)別的過(guò)程包含以下三個(gè)步驟：

(1)將標(biāo)注好的鋼包起重掛鉤圖片送入到特征提取網(wǎng)絡(luò)中；

(2)在特征提取網(wǎng)絡(luò)中引入FPN(特征金字塔技術(shù))，生成多個(gè)不同分辨率且通道數(shù)固定的特征圖，加強(qiáng)特征的提取效果；

(3)經(jīng)過(guò)卷積、池化和激活函數(shù)的作用，將得到的特征圖輸入到后面的預(yù)測(cè)頭中，預(yù)測(cè)頭包含兩個(gè)并行的分支：類別預(yù)測(cè)和掩碼生成。

1.2 主干網(wǎng)絡(luò)的改進(jìn)

在改進(jìn)的SOLO分割算法中，通過(guò)在ResNet主干網(wǎng)絡(luò)的基礎(chǔ)上拆分、轉(zhuǎn)換和合并Inception殘差模塊的方式構(gòu)建ResNeXt網(wǎng)絡(luò)，保留了完整的ResNet結(jié)構(gòu)。實(shí)現(xiàn)跨特征圖組的信息交互。以ResNeXt為主干網(wǎng)絡(luò)獲取鋼包圖像中的掛鉤(hook)和耳軸(circle)特點(diǎn)。該網(wǎng)絡(luò)能夠在減少主要參數(shù)量的情形下提升算法精度。

Inception殘差模塊如圖1所示。采用cardinality為32的卷積組，首先輸入通道數(shù)為256的特征圖，然后通過(guò)1×1的卷積對(duì)輸入的特征矩陣降維，再通過(guò)3×3進(jìn)行卷積運(yùn)算，最后通過(guò)concatenate進(jìn)行特征融合輸出通道數(shù)為256的特征圖，可以在不增加參數(shù)量的同時(shí)提取更深層的特征。

圖1 Inception殘差模塊

1.3 引入圖像腐蝕與膨脹修復(fù)mask并計(jì)算距離

在圖像的實(shí)例分割中，分割生成的掩碼mask受到復(fù)雜環(huán)境(背景復(fù)雜、光照條件不足、畫面不清晰等)的影響，降低分割的精度，所以引入圖像腐蝕與膨脹(去噪、填充空洞)對(duì)生成的掩碼mask進(jìn)行圖形修復(fù)，提高分割的精度并有利于計(jì)算距離，從而判斷掛鉤的狀態(tài)。圖像的腐蝕與膨脹提出了一種結(jié)構(gòu)元素，它是用來(lái)操作圖像的一種空間模板。圖像腐蝕類似“區(qū)域被腐蝕”，縮減細(xì)化分割圖片中高亮區(qū)域或白色區(qū)域。設(shè)有兩幅圖像X、B。B為結(jié)構(gòu)元素，X為原始圖像。把結(jié)構(gòu)元素B平移a后得到Ba，若Ba包含在X的范圍內(nèi)，記錄下來(lái)這個(gè)a點(diǎn)，將達(dá)到以上條件的點(diǎn)a的集合稱之為X被B腐蝕的結(jié)果。圖像腐蝕的過(guò)程如圖2所示。其中陰影部分是X被B腐蝕的結(jié)果。同樣膨脹可以看做是腐蝕的對(duì)偶運(yùn)算。

圖2 圖像腐蝕示意圖

根據(jù)分割方法結(jié)合圖像修復(fù)得到最終分割的掩碼mask區(qū)域。對(duì)掛鉤(hook)掩碼計(jì)算并輸出質(zhì)心坐標(biāo)，同理耳軸(circle)掩碼生成質(zhì)心坐標(biāo)(X，Y)。將得到的兩個(gè)坐標(biāo)通過(guò)歐式距離公式(1)得到質(zhì)心間的像素距離。

(1)

2 實(shí)驗(yàn)結(jié)論與分析

2.1 數(shù)據(jù)采集與處理

實(shí)驗(yàn)環(huán)境：硬件系統(tǒng)為2.50 GHz CPU，341 G運(yùn)行內(nèi)存，NVIDIA GeForce 2080Ti獨(dú)立顯卡1張，顯卡內(nèi)存11G；軟件開發(fā)平臺(tái)為Ubuntu 20.04電腦操作系統(tǒng)、Pytorch深度學(xué)習(xí)框架、編程語(yǔ)言為Python、CUDA 10.2、CUDNN8.0.0，利用SGD優(yōu)化器優(yōu)化目標(biāo)函數(shù)，學(xué)習(xí)率設(shè)定為0.01。實(shí)驗(yàn)中的數(shù)據(jù)集均由相機(jī)采集和Labelme標(biāo)注制作。數(shù)據(jù)信息初始屏幕分辨率為960×544。數(shù)據(jù)集包括814幅圖像，其中407幅圖像通過(guò)數(shù)據(jù)增強(qiáng)(提高對(duì)比度、任意顏色)能夠在一定程度上仿真模擬鋼包繁雜的環(huán)境變化。

2.2 評(píng)價(jià)指標(biāo)

分析應(yīng)用召回率AR和精確率AP來(lái)評(píng)價(jià)分割算法。實(shí)際計(jì)算公式(2)和公式(3)為：

(2)

(3)

式中：TP為真全樣本數(shù)量；FP為假全樣本數(shù)量；FN為虛假負(fù)樣本數(shù)量。

2.3 實(shí)驗(yàn)結(jié)果

進(jìn)一步檢驗(yàn)文中改進(jìn)的SOLO分割算法的性能，通過(guò)與具有代表性的Mask R-CNN、YOLACT、PolarMask網(wǎng)絡(luò)模型進(jìn)行對(duì)比，獲得指標(biāo)結(jié)論見(jiàn)表1。

表1 鋼包數(shù)據(jù)集在不同網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果

通過(guò)表1可知，文章提出的改進(jìn)SOLO算法的精確率和召回率均高于其他網(wǎng)絡(luò)，分割效果優(yōu)于其他網(wǎng)絡(luò)。通過(guò)對(duì)比SOLO兩種不同殘差模塊的骨干網(wǎng)絡(luò)Res-50和Res-101，可以得到Res-101的AP和AR均高于Res-50。通過(guò)改進(jìn)ResNet網(wǎng)絡(luò)，可以從表中看出ResNeXt-101在Res-101的基礎(chǔ)上AR提高了7.90個(gè)百分點(diǎn)、AP提高了3.20個(gè)百分點(diǎn)。在實(shí)例分割的應(yīng)用中，還要考慮在確保精度的前提下減少分割時(shí)間。以上算法在GPU內(nèi)以均值0.57、0.55、0.50 s等時(shí)間分割一張圖像，可見(jiàn)文章采用ResNeXt-101作為骨干網(wǎng)絡(luò)，引入FPN進(jìn)行多尺度的特征融合，并在輸出的掩碼進(jìn)行圖像分割區(qū)域修復(fù)，得出該研究算法分割效果最優(yōu)且分割時(shí)間最短。

3 結(jié)論

為了提高鋼包起重掛鉤分割的精度，使用改進(jìn)SOLO算法實(shí)現(xiàn)對(duì)鋼包掛鉤狀態(tài)的識(shí)別，通過(guò)在骨干網(wǎng)絡(luò)中加入殘差模塊與特征金字塔對(duì)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行優(yōu)化，然后對(duì)分割掩碼進(jìn)行圖像修復(fù)。最終構(gòu)建ResNeXt-FPN網(wǎng)絡(luò)結(jié)構(gòu)，可以在復(fù)雜的工廠環(huán)境下實(shí)時(shí)有效分割出掛鉤。最后通過(guò)分割掩碼區(qū)域輸出對(duì)應(yīng)的質(zhì)心坐標(biāo)并計(jì)算出像素距離從而實(shí)現(xiàn)無(wú)接觸自動(dòng)調(diào)控起重掛鉤的位置信息。該優(yōu)化的模型對(duì)于鋼鐵企業(yè)起重掛鉤的管理具有一定的指導(dǎo)意義。