韓慧妍，吳偉州，王文俊，韓 燮

1.中北大學(xué)計算機科學(xué)與技術(shù)學(xué)院，山西太原030051

2.機器視覺與虛擬現(xiàn)實山西省重點實驗室，山西太原030051

3.山西省視覺信息處理及智能機器人工程研究中心，山西太原030051

管件分揀是工廠對管件進行鍍鋅、冷卻和拋光等處理的前提。手動分揀需要人工進行長時間繁雜無味的工作，效率低下。目前很多公司通過引進機器人代替人工來進行分揀，但由于受到工作環(huán)境（如光照、物體反光和拍攝角度等）的影響，傳統(tǒng)的基于深度學(xué)習(xí)的管件分揀方法識別精度低，掩膜效果不理想，易造成機器人漏抓或錯抓等問題，從而嚴重影響了工廠產(chǎn)能。如何在復(fù)雜的場景中準確判斷管件的位置、類別和尺寸是機器人進行抓取的重要前提。針對以上問題，本文通過改進特征融合與區(qū)域生成網(wǎng)絡(luò)，并引入混合注意力機制，對原始掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（mask region-convolutional neural network,Mask R-CNN）進行改進，以提高實例分割精度和管件識別率。實驗結(jié)果表明，相對于原始Mask R-CNN，改進后的管件識別方法具有更高的分割準確性和魯棒性，能夠滿足實際生產(chǎn)中機器人抓取精度的要求。

1 相關(guān)工作

實例分割由目標檢測和語義分割組成，其目標是得到圖像中每個物體的位置及所屬類別。實例分割算法一般分為傳統(tǒng)視覺算法和基于深度學(xué)習(xí)的算法[1]。傳統(tǒng)視覺算法使用手動或自動調(diào)整閾值的方式對物體進行分割，首先將圖像轉(zhuǎn)為灰度圖，再二值化為黑白圖像，進而通過閾值判斷對黑白圖像的邊界輪廓進行平滑處理[2]，完成邊緣檢測。由于受物體材質(zhì)、光照角度和遮擋的影響，當對不同的圖像使用相同的閾值進行處理時，在邊緣處會出現(xiàn)過分割和欠分割的情況。因此，傳統(tǒng)視覺算法在復(fù)雜場景中對物體進行分割時效果較差。

相比較于傳統(tǒng)視覺算法，基于深度學(xué)習(xí)的實例分割算法適應(yīng)環(huán)境能力強、精度高，受到越來越多的重視。文獻[3] 提出的SDS (simultaneous detection and segmentation) 是最早的實例分割算法，該算法包括推薦生成候選框、提取特征信息、區(qū)域分類以及基于NMS(non-maximum suppression) 的區(qū)域改進方法。SDS 算法使用條件隨機場對分割結(jié)果進行后處理，當實例之間邊界不清晰時，分割的準確度易下降。文獻[4] 提出的DeepMask 算法分為3 個分支：前背景分割、前景語義分割與前景實例分割，該算法基于全卷積神經(jīng)網(wǎng)絡(luò)生成掩膜，對于尺度變化較大的物體算法不穩(wěn)定。針對尺度變化較大的物體，可以在網(wǎng)絡(luò)中同時使用不同比例的檢測框完成檢測。文獻[5] 在Faster R-CNN[6]基礎(chǔ)上提出了Mask R-CNN 算法，增加了一個分割分支，對Faster R-CNN 產(chǎn)生的每個候選框進行像素分類，將像素分割任務(wù)和目標檢測任務(wù)同步進行，相互促進，從而達到較高的準確率。由于檢測框缺乏更小的感受野以提取局部特征，且固定大小的滑動窗口難以被感興趣區(qū)域（region of interest,ROI）池化采樣到足夠的特征點，因此需要對Mask R-CNN 進行有針對性地改進，以更好地適用于管件實例分割任務(wù)。

機器人自動分揀系統(tǒng)基于機器視覺對物體進行檢測，并將檢測后的位置與姿態(tài)信息發(fā)送給機器人，機器人獲得指令后對物體進行抓取及碼放[7]。由于受到機器視覺技術(shù)以及計算機計算能力的限制，基于傳統(tǒng)視覺算法只能依靠分析顏色或輪廓等較為簡單的特征來識別和抓取。如果目標物體較為復(fù)雜，該算法將無法對其進行分析。

隨著計算機硬件及算法的快速提升，基于深度學(xué)習(xí)的視覺計算被廣泛使用。文獻[8] 提出的分揀系統(tǒng)將傳統(tǒng)視覺算法與深度學(xué)習(xí)算法相結(jié)合，使用深度學(xué)習(xí)CNN 算法對目標物體進行類別判斷，再通過傳統(tǒng)的視覺算法對目標物體的位置信息進行判斷。文獻[9] 提出了一種新的弱匹配多通道數(shù)據(jù)融合框架，以提升目標的匹配結(jié)果?；谏疃葘W(xué)習(xí)的算法也可以對三維物體進行判斷，文獻[10] 提出PointNet++算法，即基于點云數(shù)據(jù)對目標物體進行分類分割?；谏疃葘W(xué)習(xí)的算法也可以計算合適的抓取點，文獻[11] 提出PointNetGPD (grasp pose detecting from PointNet)，將點云作為輸入，進而獲取目標物體的抓取點?；谏疃葘W(xué)習(xí)的機器人自動分揀系統(tǒng)使用點云作為輸入源，數(shù)據(jù)處理量大，實時性水平較差。此外，點云數(shù)據(jù)可能存在噪聲和不完整的情況，也會影響算法的魯棒性，因此有必要提出一種基于二維圖像的機器人自動分揀系統(tǒng)，以更快、更穩(wěn)定地完成分揀任務(wù)。在對管件進行實例分割時，原始Mask R-CNN 容易丟失低層特征且過度關(guān)注無關(guān)目標，從而導(dǎo)致實例分割不精確、管件識別精度不高的問題。本文引入注意力機制模塊，通過改進特征融合與區(qū)域生成網(wǎng)絡(luò)來提高其檢測性能。

2 改進特征融合與區(qū)域生成網(wǎng)絡(luò)的Mask R-CNN 算法

2.1 Mask R-CNN 原理概述

Mask R-CNN 在Faster R-CNN 的基礎(chǔ)上增加了一個分支，用于輸出實例的掩膜，其骨干網(wǎng)絡(luò)由殘差網(wǎng)絡(luò)ResNet 及特征金字塔網(wǎng)絡(luò)（feature pyramid network,FPN）構(gòu)成[12]。將待分割圖像輸入到網(wǎng)絡(luò)，由骨干網(wǎng)絡(luò)提取多尺度特征圖（feature map），而區(qū)域生成網(wǎng)絡(luò)（region proposal network,RPN）[13]產(chǎn)生不同比例的目標框以檢索目標[14]。Mask R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 Mask R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)Figure 1 Network structure of Mask R-CNN

2.2 改進特征融合網(wǎng)絡(luò)

Mask R-CNN 使用ResNet 提取基礎(chǔ)特征，采用殘差網(wǎng)絡(luò)進行自上而下的特征融合，在FPN 中，每個stage 之間特征圖的尺度比例相差2，經(jīng)卷積后得到對應(yīng)尺度的特征。根據(jù)特征圖的大小ResNet 網(wǎng)絡(luò)分為5 個stage，Mask R-CNN 中使用Conv2～Conv5 提取特征，忽略了部分低層特征信息，故本文增加Conv1 級別的特征，與Conv2～Conv5 共同進行特征融合，分別定義為C1、C2、C3、C4、C5；將C1～C5的特征圖經(jīng)過1×1 卷積和FPN 前一層上采樣的特征圖進行殘差連接，定義為M1、M2、M3、M4、M5；再對融合后的特征進行3×3 卷積操作，得到多尺度特征圖P1、P2、P3、P4、P5。相比較于Mask R-CNN，改進特征融合后的Mask R-CNN 在提取管件大尺度特征的同時，還獲取了小尺度特征。改進后的特征提取網(wǎng)絡(luò)如圖2 所示，本文添加的操作用虛線框標注。

圖2 改進的自上而下的特征網(wǎng)絡(luò)Figure 2 Improved top-down feature network

2.3 改進區(qū)域生成網(wǎng)絡(luò)

區(qū)域生成網(wǎng)絡(luò)RPN 由分類器和回歸器組成。利用滑動窗口逐步掃描圖像[15]，尋找目標區(qū)域?；瑒哟翱诘闹行狞c被稱為錨點，原始Mask R-CNN 算法包括5 種不同面積的窗口，每種窗口包含3 種不同的橫縱比，在特征圖中每個像素點生成共計15（3×5）種不同的候選框。管件分揀任務(wù)中，三通（ST）、外絲（WS）、內(nèi)絲（NS）和彎頭（WT）這4 類管件的最小外接矩形長軸和短軸如圖3 所示，通過實際測量可知其外接矩形長寬比包括兩種：1∶0.8 和1∶1?？紤]到管件類型和尺寸的特點，本文將滑動窗口的尺寸調(diào)整為32×32、64×64 和128×128，并將橫縱比修改為0.8∶1、1∶1 和1∶1.25，共生成9 種不同的候選框。此外為了提高管件識別的正確性，將非極大抑制閾值從0.5 提高至0.7。

圖3 四類管件最小外接矩形Figure 3 Minimum outer rectangle of four types of pipes

2.4 引入混合注意力機制

注意力機制的基本思想是讓模型忽略無關(guān)信息，更多地關(guān)注重點信息。在得到管件的類型后需要計算掩膜的像素面積以判別管件的尺寸。在對掩膜進行分類時，將通道注意力和空間注意力進行融合以提高實例掩膜的正確性。

具有代表性的通道注意力機制為SENet[16]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。將特征圖平均池化，以完成空間維度上的壓縮，得到一維矢量[17]，公式為

圖4 SENet 網(wǎng)絡(luò)結(jié)構(gòu)圖Figure 4 Network structure diagram of SENet

式中：σ為sigmoid 激活函數(shù)，fc 為卷積的映射函數(shù)，AvgPool 表示平均池化，X ∈RC×H×W為網(wǎng)絡(luò)中的圖像特征，C為通道數(shù)，H和W分別為特征的高度和寬度，～X為注意力機制的輸出，atti為注意力向量中的第i個元素，X:,i,:,:代表第i個通道。

SENet 注意力機制基于空間維度的特征圖計算而得，但其忽略了頻域維度上的信息。這意味著SENet 可能無法對圖像中的紋理、邊緣等高頻信息進行準確的建模和捕捉。離散余弦變換（discrete cosine transform,DCT）[18]與傅里葉變換相似，用來無損壓縮圖像或視頻，將空域信號轉(zhuǎn)換到頻域上，具有良好的去相關(guān)性，二維DCT 的公式為

式中：f2d∈RH×W為二維DCT 頻譜，x2d∈RH×W為輸入，H為x2d的高度，W為x2d的寬度。

由式(1) 可以看出，SENet 在通道注意力之前將通道分成c段，并對其進行預(yù)處理，DCT可以看作輸入的加權(quán)和[19]。式(2) 中h、w均為0 時可得到二維DCT 的最低頻率分量其結(jié)果與全局平均池化gap 成正比，如式(3) 所示，因此gap 為二維DCT 的一種特例。

通道注意力機制只使用了最低頻率分量，從而導(dǎo)致輸入注意力機制通道信息單一，來自其他頻率的所有分量都被丟棄，本文引入二維DCT 分量對信道的有用信息進行編碼，以此增加更多信息，公式為

將每次的預(yù)處理結(jié)果相連得到改進后的通道注意力機制Freq，如式(5) 所示。添加DCT后的SENet 結(jié)構(gòu)如圖5 所示。

圖5 添加離散余弦模塊的SENetFigure 5 SENet with discrete cosine module

注意力機制在空間層面上也需要明確特征圖的哪些部分應(yīng)該得到更高的響應(yīng)。對特征圖進行平均池化和最大池化并在通道層面上進行壓縮處理，最終得到二維的特征，將其按通道維度拼接在一起得到一個通道數(shù)為2 的特征圖，再使用一個包含單個卷積核的隱藏層對其進行卷積操作，保證最終得到的特征圖在空間維度上與輸入保持一致[21]。使用7×7 卷積核進行最大池化和平均池化后的特征圖經(jīng)過激活得到空間注意力機制，公式為

式中：AvgPool 表示平均池化，MaxPool 表示最大池化。

將通道注意機制模塊提取的特征輸入到空間注意力模塊，使用最大池化和平均池化進行特征壓縮后，得到具有通道注意機制和空間注意機制的特征信息目標框，再使用全連接層對每個像素點進行分類，得到具有混合注意力的特征圖?？臻g注意力模塊結(jié)構(gòu)如圖6 所示，添加混合注意力機制模塊的預(yù)測框架如圖7 所示。

圖6 空間注意力模塊Figure 6 Spatial attention module

圖7 添加混合注意力機制模塊的預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)Figure 7 Predictive network architecture with the addition of a hybrid attention mechanism module

3 實驗

3.1 數(shù)據(jù)集制作及尺寸判斷方法

鑒于目前沒有公開的管件數(shù)據(jù)集，本文使用維視工業(yè)相機對工廠中的4 類管件進行垂直拍攝共得到700 幅圖像，統(tǒng)一裁剪為512×512 像素大小。由于拍攝的圖像相對較少，因此，為了提高實例分割的魯棒性，通過旋轉(zhuǎn)、鏡像、調(diào)整亮度、對比度、飽和度和色相完成數(shù)據(jù)增強，將數(shù)據(jù)集擴充至2 800 幅，其中訓(xùn)練集和測試集數(shù)據(jù)比例為3∶1。利用中值濾波[22]對圖像進行降噪處理，使用labelme 軟件標注管件的類別、位置信息和掩膜信息，標注所生成的*.json 文件作為網(wǎng)絡(luò)的訓(xùn)練集。

當相機高度固定時，同類別和尺寸的管件掩膜面積相近。預(yù)測掩膜輪廓點所圍成的面積，并與人工標注的同類別管件面積進行對比，選擇面積最接近的尺寸作為該管件預(yù)測尺寸。

3.2 實驗環(huán)境

實驗平臺CPU 為i9-9900K，顯卡為兩張24 G 的RTXTITAN，內(nèi)存為64 G。采用Pytorch1.4 框架搭建網(wǎng)絡(luò)模型，算法中的參數(shù)Batch size 為3，訓(xùn)練類別為5 種，其中包括4類管件和1 類背景，學(xué)習(xí)率為0.000 1。

3.3 評價指標

本文使用mAP 和mRecall 兩類評價指標，計算方式如下所述。

1）準確率PPrecision準確率是被正確預(yù)測的樣本數(shù)與被預(yù)測為樣本的總數(shù)之比，公式為

式中：TP 為真陽性數(shù)量，F(xiàn)P 為假陽性數(shù)量。

由準確率可以計算出第i類的平均精度APi，公式為

式中：n為第i類中的樣本總數(shù)。

2）召回率RRecall召回率是被正確預(yù)測的樣本數(shù)與本應(yīng)該被預(yù)測為樣本的總數(shù)之比，公式為

式中：FN 為假陰性數(shù)量。

以上兩個指標使用IoU 作為判斷閾值，IoU 為預(yù)測邊框和真實邊框的交集和并集的比值，公式為

實驗中使用平均準確率mAP 和平均召回率mRecall 來衡量算法的優(yōu)劣，公式為

式中：K為類別總數(shù)。

3.4 實驗結(jié)果與分析

3.4.1 特征融合實驗

原始網(wǎng)絡(luò)及改進特征融合的Mask R-CNN 網(wǎng)絡(luò)的目標檢測和掩膜檢測結(jié)果如表1 所示。從表1 可以看出，改進特征融合后目標檢測的mAP 和mRecall 分別提高了1.2% 和2.4%，掩膜檢測的mAP 和mRecall 水平分別提高了1.6% 和0.8%。顯然，網(wǎng)絡(luò)模型在改進特征融合后，可以識別出更多的小目標管件信息，且檢測精度以及掩膜效果均有不同程度的提高。

表1 改進特征融合前后模型性能比較Table 1 Comparison of model performance before and after improved feature fusion

3.4.2 區(qū)域生成網(wǎng)絡(luò)實驗

改進網(wǎng)絡(luò)模型與原始Mask R-CNN 模型的收斂情況如圖8 所示，其中橙色、藍色分別為改進前后模型的損失值動態(tài)曲線，可以看出，改進后的模型能夠更好地收斂。圖9 中橙色、藍色分別為改進前后模型的訓(xùn)練時間對比，可以看出，改進后的模型訓(xùn)練時間比原始模型縮短了0.5 s。

圖8 改進前后模型的收斂情況對比Figure 8 Comparison of the convergence of the model before and after the improvement

圖9 改進前后模型的訓(xùn)練時間對比Figure 9 Comparison of training time of models before and after improvement

3.4.3 混合注意力機制實驗

與原始Mask R-CNN、添加通道注意力模塊的模型（Mask R-CNN-Channel）及添加混合注意力模塊的模型（Mask R-CNN-Fusion）進行檢測比對，結(jié)果如圖10 所示，3 個管件的標號已在原圖中標注，3 類方法的識別結(jié)果及置信度的比較如表2 所示。相較于Mask R-CNN 以及Mask R-CNN-Channel 模型，Mask R-CNN-Fusion 模型檢測出的管件的置信度更高，并且掩膜輪廓更加平滑，本文在通道注意力機制中引用DCT 后，管件識別精度更高，同時識別結(jié)果與實際管件輪廓更加貼合。目標和掩膜檢測性能評估如表3 所示，Mask R-CNN-Channel比原始Mask R-CNN 模型的目標檢測mAP 和mRecall 值分別提高了1.2% 和1.3%，掩膜檢測mAP 和mRecall 值分別提高了0.5% 和0.4%。Mask R-CNN-Fusion 相比較于原始Mask R-CNN 模型的目標檢測mAP 和mRecall 值分別提高了2.3% 和2.1%，掩膜檢測mAP 和mRecall 值分別提高1.5% 和1.1%。

表2 改進前后管件模型置信度預(yù)測值Table 2 Predicted confidence probabilities of pipe models before and after improvement

表3 改進前后模型性能評估對比Table 3 Comparison of model performance evaluation before and after improvement

圖10 三類網(wǎng)絡(luò)模型分割結(jié)果Figure 10 Segmentation results of three types of network model

3.4.4 實例分割結(jié)果

隨機選取6 個管件，基于改進后的Mask R-CNN 對管件進行實例分割，如圖11 所示，左圖為標注后的原始圖像，右圖為分割后的結(jié)果，包括管件的類別、掩膜及置信度，具體識別結(jié)果如表4 所示，可以看出，所提方法的類別識別率較高、掩膜與管件的邊緣基本對齊、置信度保持在0.790 以上。

表4 網(wǎng)絡(luò)模型識別結(jié)果Table 4 Recognition results of network model

圖11 原圖與分割結(jié)果Figure 11 Original images and segmentation results

3.4.5 骨干網(wǎng)絡(luò)實驗

本算法的基礎(chǔ)特征提取部分使用Resnet101+FPN 網(wǎng)絡(luò)結(jié)構(gòu)，通過添加小尺度特征、改進區(qū)域生成網(wǎng)絡(luò)和添加注意力模塊對Mask R-CNN 進行改進，并與主流的實例分割網(wǎng)絡(luò)DeepMask[4]、Solo[23]、原始Mask R-CNN 模型及添加了通道注意力機制的SENet Mask R-CNN 進行對比。其中Solo 和Mask R-CNN 的骨干網(wǎng)絡(luò)與本文相同，DeepMask 骨干網(wǎng)絡(luò)為VGG16，每幅圖像最多檢測數(shù)目(maxDets)為10。5 類算法識別結(jié)果如圖12 所示，具體數(shù)據(jù)如表5 所示，有灰色底紋的表示類型識別錯誤（例如Solo 錯將管件①ST 識別為WT），“–”表示識別失敗?？梢钥闯觯疚姆椒愋妥R別正確率和置信度較高，其他算法存在漏檢、錯檢和置信度較低的問題。本文方法引入了低層特征以改進特征融合網(wǎng)絡(luò)、增加混合注意力機制，使得模型能夠更多地關(guān)注管件所在區(qū)域并提取其深層和淺層特征，從而使其識別精度明顯提高，掩膜與管件的邊緣更加貼合。

表5 不同模型檢測結(jié)果Table 5 Detection results of diffierent models

圖12 不同模型檢測結(jié)果對比Figure 12 Comparison of prediction result of diffierent models

對測試集中的所有圖像（共700 幅）進行檢測，使用mAP 和mRecall 對5 種算法進行評價，目標、掩膜檢測定量評估如表6 所示，可以看出，本文方法在目標檢測、掩膜檢測的mAP和mRecall 值較其他模型都有顯著提高，相比較于DeepMask 的mAP 和mRecall 分別提高5.3% 和7.5%，與Solo 相比分別提高了3.5% 和7.1%，在Mask R-CNN 的基礎(chǔ)上分別提高了2.9% 和3.9%。這說明本文改進了特征融合與區(qū)域生成網(wǎng)絡(luò)，并在此基礎(chǔ)上引入了混合注意力機制，可以提高管件識別性能。

表6 不同骨干網(wǎng)絡(luò)模型檢測性能定量比較Table 6 Quantitative comparison of detection performance of diffierent backbone network models

為了驗證本文方法對管件尺寸的檢測性能，在同一視點對ST 管件進行檢測，并計算掩膜面積，檢測掩膜與真實尺寸的像素數(shù)量定量對比如圖13 所示，圖中ST 管件①、②、③、④對應(yīng)的尺寸分別為20 mm、25 mm、30 mm、40 mm。結(jié)果表明，改進后的Mask R-CNN 對各類尺寸ST 管件的掩膜檢測面積更加接近于標注值，因此本文方法通過計算掩膜面積可以準確地判斷管件尺寸。

圖13 ST 管件檢測像素面積Figure 13 Detect pixel area of ST pipes

4 結(jié)語

針對管件類型、位置和尺寸的檢測不精確問題，本文改進特征融合與區(qū)域生成網(wǎng)絡(luò)，通過引入混合注意力機制以改進Mask R-CNN 算法，提高了管件檢測和掩膜分割的準確度。針對管件數(shù)據(jù)集不足的問題，采用不同的數(shù)據(jù)增強方式對其進行數(shù)據(jù)擴充。自制數(shù)據(jù)集實驗結(jié)果表明，添加低層特征圖以改進特征融合網(wǎng)絡(luò)，可以提高目標識別率；針對管件的實際情況，修改候選框的長寬比、尺寸和NMS 參數(shù)以改進區(qū)域生成網(wǎng)絡(luò)，可以加快模型的收斂速度；添加混合注意力機制后可以提高管件掩膜的精確度。所提方法在管件的檢測和分割任務(wù)中比原始Mask R-CNN 模型有更好的效果，可應(yīng)用于機器人管件抓取和碼放等領(lǐng)域。