胡偉棟，王占奎，董彥輝，張 召，朱永偉

（1.南京航空航天大學(xué) 機電學(xué)院,南京 210016）

（2.河南科技學(xué)院 機電學(xué)院,河南 新鄉(xiāng) 453003）

固結(jié)磨料研磨墊（fixed abrasive pad，F(xiàn)AP）是將微米級金剛石磨粒均勻分散到高聚物基體中，經(jīng)過固化成形制備出的一種含磨粒的研磨墊[1]。FAP 在研磨加工中的表面形態(tài)直接影響被加工工件的材料去除率和被加工表面的表面質(zhì)量。FAP 表面主要由金剛石、孔隙、金剛石脫落坑以及高聚物基體組成。其中，高聚物基體作為FAP 的主要成分，其硬度對FAP 的加工性能有著重要影響。明舜等[2]研究了磨粒尺寸和基體硬度對FAP 拋光YAG 晶體的影響，試驗表明：隨著基體硬度增大，YAG 晶體表面粗糙度先減小后增大，材料去除率增大。此外，金剛石磨粒的尺寸、分布等都會影響FAP 的加工性能。在采用固結(jié)金剛石聚集體磨料研磨墊加工石英玻璃時，金剛石聚集體磨粒的一次顆粒尺寸和二次顆粒尺寸對石英玻璃材料加工性能影響占比很大[3]。金剛石磨粒的脫落是影響固結(jié)磨粒研磨墊加工性能的另一個重要因素。由于FAP 原始表面較為光滑，且金剛石與基體的結(jié)合能力較弱，受到正應(yīng)力和切向力的循環(huán)作用時，金剛石容易與基體分離而脫落，造成金剛石的浪費，縮短研磨墊使用壽命，并使其去除率下降[4]?？紫兜姆植纪瑯佑绊懼鳩AP 的加工性能。朱永偉等[5]通過在FAP 中添加不同粒徑的硫酸鎂晶體制造了3 種不同孔隙分布的研磨墊，試驗表明研磨墊的孔隙分布直接影響著FAP 的加工性能。

由于固結(jié)磨料工具的表面形態(tài)與其加工性能之間存在著緊密的聯(lián)系，所以對于固結(jié)磨料工具表面形態(tài)的識別與重構(gòu)一直是研究的熱點。付杰[6]為研究FAP磨粒的保持特性，對FAP 表面的金剛石分別采用了RGB 法、閾值法、邊緣檢測法3 種方法進(jìn)行識別。為準(zhǔn)確地評價砂輪表面形貌，霍鳳偉等[7]提出了一種識別細(xì)粒度金剛石砂輪表面磨粒分布的方法，該方法依據(jù)磨粒輪廓頻率特征、磨粒間距和磨粒曲率半徑識別砂輪表面金剛石磨粒。賈坡等[8]提出了一種基于機器視覺的滾拋磨塊缺陷檢測方法，利用圖像灰度化、閾值分割、形態(tài)學(xué)處理提取磨塊區(qū)域和黑心缺陷區(qū)域，該方法能夠?qū)Y(jié)型球狀磨塊的圓度和黑心缺陷進(jìn)行數(shù)字化檢測。趙玉康等[9]提出的金剛石線鋸全表面圖像磨粒分布密度檢測方法能提高其磨粒分布密度在線檢測精度，相較于單相機檢測結(jié)果，誤差大大降低。

為了更好地了解FAP 表面形態(tài)，對FAP 表面的金剛石、孔隙以及金剛石脫落坑進(jìn)行目標(biāo)檢測和分割。目標(biāo)檢測一直是計算機視覺領(lǐng)域研究的熱點[10]，其主要任務(wù)是完成目標(biāo)的分類及定位。傳統(tǒng)的目標(biāo)檢測方法通常有3 個步驟：首先，在圖像上選擇一些候選區(qū)；然后，人工對這些候選區(qū)進(jìn)行特征提取；最后，送入分類器進(jìn)行分類。其中，人工提取特征的質(zhì)量直接影響檢測的準(zhǔn)確性。由于實際圖像受干擾較多，而且一旦目標(biāo)特征比較抽象，背景較為復(fù)雜，就不能很好地提取目標(biāo)特征，所以人工特征提取往往存在一定局限性。而基于深度學(xué)習(xí)的目標(biāo)檢測算法則是讓網(wǎng)絡(luò)通過訓(xùn)練自己提取目標(biāo)特征，利用龐大的數(shù)據(jù)量使算法具有較高的泛化能力。典型的深度學(xué)習(xí)目標(biāo)檢測算法有R-CNN、Faster R-CNN、Mask R-CNN 等。其中，Mask R-CNN 是近些年來興起的一款深度學(xué)習(xí)模型，相較于其他模型，Mask R-CNN 更加小巧、靈活、通用，其不僅可對圖像中的目標(biāo)進(jìn)行檢測，還可以對每一個目標(biāo)給出一個高質(zhì)量的分割結(jié)果，因此廣泛應(yīng)用于各個領(lǐng)域中。

楊智宏等[11]利用Mask R-CNN 對鐵譜圖像中的磨粒進(jìn)行識別，試驗結(jié)果表明：模型可以實現(xiàn)單一圖像中多個目標(biāo)磨粒的識別，識別結(jié)果達(dá)到主流水平。肖瀟[12]構(gòu)建了一個基于改進(jìn)Mask R-CNN 的遙感圖像檢測系統(tǒng)，利用公開的遙感圖像房屋數(shù)據(jù)集和手動標(biāo)注的飛機數(shù)據(jù)集對構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與測試，測試結(jié)果表明：該系統(tǒng)能夠有效提高遙感圖像目標(biāo)識別的準(zhǔn)確率，可用于遙感圖像目標(biāo)的識別與分割領(lǐng)域。張娟娟等[13]提出一種改進(jìn)的Mask R-CNN，實現(xiàn)了碳纖維增強復(fù)合材料的掃描電子顯微鏡圖像的自動化分割。

考慮到固結(jié)磨料研磨墊表面圖像背景較為復(fù)雜，所需檢測的目標(biāo)，尤其是孔隙以及金剛石脫落坑的特征較為抽象，采用傳統(tǒng)的目標(biāo)檢測算法很難有效地對目標(biāo)進(jìn)行識別。因此，采用深度學(xué)習(xí)模型Mask R-CNN對固結(jié)磨料墊表面圖像中的金剛石、孔隙以及金剛石脫落坑進(jìn)行檢測和分割，輔助研究人員正確預(yù)測固結(jié)磨料研磨墊的加工性能。

1 Mask R-CNN 模型

Mask R-CNN 是由REN 等[14-16]提出的實例分割算法，是一款通用對象實例分割框架，可以添加不同的分支完成目標(biāo)檢測、語義分割等任務(wù)。

Mask R-CNN 網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示，其是一個二階段目標(biāo)檢測網(wǎng)絡(luò)，總體分為2 個階段。第1 階段，利用特征提取層對圖像進(jìn)行特征提取，特征提取層的主干網(wǎng)絡(luò)采用的是殘差網(wǎng)絡(luò)（簡稱“ResNet”）。提取特征之后，結(jié)合特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）生成多尺度特征圖。得到多尺度特征圖之后，候選區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN）生成目標(biāo)圖像的候選區(qū)域，并將候選區(qū)域映射到相應(yīng)的特征圖上。第2 階段，將得到的候選區(qū)域映射到特征圖后傳入ROIAlign層，ROIAlign 層將得到的候選區(qū)域進(jìn)行下采樣得到固定維數(shù)的特征向量，再將特征向量送入全連接層進(jìn)行分類和檢測邊框回歸。同時，模型在ROIAlign 層后面連接了一個用于生成目標(biāo)掩碼的掩碼分支。

圖1 Mask R-CNN 結(jié)構(gòu)圖Fig.1 Mask R-CNN structure diagram

1.1 ResNet

理論上，神經(jīng)網(wǎng)絡(luò)的性能與其層數(shù)是成正比的；但實際上，層數(shù)過多的網(wǎng)絡(luò)會出現(xiàn)網(wǎng)絡(luò)退化和梯度消失的問題，效果反而不如較淺的網(wǎng)絡(luò)。ResNet 的提出就是為了解決深層網(wǎng)絡(luò)的網(wǎng)絡(luò)退化和梯度消失的問題。ResNet 的基本思想是：隨著網(wǎng)絡(luò)的層數(shù)增加，網(wǎng)絡(luò)的性能是先提升后下降，那么一個網(wǎng)絡(luò)一定存在一個最優(yōu)的層數(shù)，但并不知道最優(yōu)的層數(shù)是多少，因此所設(shè)計的深層次網(wǎng)絡(luò)有很多網(wǎng)絡(luò)為冗余層。希望這些冗余層至少能夠完成恒等映射，這樣就可以保證模型性能不會因為這些冗余層而下降。至于哪些層屬于冗余層，需要網(wǎng)絡(luò)訓(xùn)練時學(xué)習(xí)及判斷。ResNet 的核心是殘差模塊，其結(jié)構(gòu)如圖2所示。通過加入恒等映射，殘差塊變得更加容易優(yōu)化，從而在一定程度上解決了深層網(wǎng)絡(luò)退化和梯度消失的問題[14]。

圖2 殘差模塊Fig.2 Residual block

1.2 特征金字塔網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)（FPN）是Mask R-CNN 模型的核心組成部分，F(xiàn)PN 的提出是為了解決目標(biāo)檢測中檢測多尺度目標(biāo)時檢測精度不足的問題[17]。采用FPN 可以有效處理檢測過程中多尺度變化的問題。ResNet 結(jié)合FPN 的結(jié)構(gòu)如圖3所示，包括3 個部分：自底向上連接、自頂向下連接和側(cè)向連接。自底向上連接就是簡單的特征提取過程，將ResNet 作為骨架，得到不同尺度的特征圖C1，C2，C3，C4，C5。自頂向下連接是從最高層開始上采樣得到高分辨率的特征圖M5，M4，M3，M2。側(cè)向連接就是將上采樣的結(jié)果和與之相對的自底向上生成的大小相同的特征圖進(jìn)行融合，得到P2，P3，P4，P5。此外，M5 還經(jīng)過下采樣生成P6（P6 在圖3中并未畫出），P6 只會送入候選區(qū)域生成網(wǎng)絡(luò)提取候選框，并不會在P6 上切出感興趣區(qū)域送入后續(xù)網(wǎng)絡(luò)。

圖3 FPN+ResNet 結(jié)構(gòu)圖Fig.3 FPN+ResNet structure

1.3 候選區(qū)域生成網(wǎng)絡(luò)

候選區(qū)域生成網(wǎng)絡(luò)（RPN）是基于FPN 得到的特征圖P2，P3，P4，P5，P6，在特征圖上生成大小、比例不同的錨框。首先，RPN 會對生成的錨框進(jìn)行修正；然后，根據(jù)前后景置信度，采用非極大值抑制的方法篩選出較為精準(zhǔn)的錨框作為候選區(qū)域。得到不同候選區(qū)域之后，具體在哪張?zhí)卣鲌D上切出感興趣區(qū)域，由式（1）決定。

式中：k值含義是在Pk（指P2，P3，P4，P5，P6）上切出感興趣區(qū)域；k0默認(rèn)等于4；w，h分別是候選框的寬和高。

大尺度的候選區(qū)域從低分辨率的特征圖上切，有利于檢測大尺度目標(biāo)；小尺度的候選區(qū)域要從高分辨率的特征圖上切，有利于檢測小尺度目標(biāo)。

1.4 ROIAlign

由于全連接層的輸入向量維數(shù)是固定的，所以在獲取候選區(qū)域之后，需要將其轉(zhuǎn)化為固定維度的特征向量，才能送入后續(xù)的全連接層進(jìn)行分類和邊界框回歸。在Mask R-CNN 之前，這一步都由傳統(tǒng)的池化算法完成，其過程需要進(jìn)行2 次量化，包括將浮點數(shù)的候選區(qū)域邊界量化為整數(shù)坐標(biāo)值，以及將量化后的候選區(qū)域邊界分割成k×k個單元，再對每一個單元進(jìn)行量化。2 次量化誤差造成特征圖上候選區(qū)與原圖不能準(zhǔn)確對應(yīng)，影響了分割的準(zhǔn)確性。ROIAlign 則是采用雙線性插值的方法獲得浮點數(shù)坐標(biāo)值，取消其量化過程，從而大大減小量化誤差，極大地提高了小目標(biāo)分割的準(zhǔn)確性。

2 固結(jié)磨料研磨墊表面形態(tài)識別試驗

2.1 數(shù)據(jù)集

要得到泛化能力較強的FAP 表面圖像檢測模型，就要求模型訓(xùn)練所需的圖像數(shù)據(jù)不能太過相似。為得到表面特征差異較大的FAP，制作3 張磨粒粒徑、不同成孔劑占比不同的FAP，選擇碳酸氫鈉作為成孔劑，其占比決定了研磨墊中孔隙的多少。FAP 制備過程如下：配置合適比例的磨料與高聚物基體以及成孔劑混合物，經(jīng)機械攪拌均勻后，注入模具熱固成形，最后進(jìn)行固化。3 張F(tuán)AP 磨粒大小與成孔劑占比如表1所示。

表1 固結(jié)磨料墊磨粒粒徑與成孔劑占比Tab.1 Abrasive particle sizes and pore forming agent proportions of FAP

新制備的FAP 表面的金剛石被高聚物包裹，為了使金剛石出露，并形成一定數(shù)量的金剛石脫落坑，在對固結(jié)磨料墊上的凸起進(jìn)行圖像采集之前，需要對FAP進(jìn)行修盤處理。修盤的具體操作如下：將SiC 粉末均勻撒在FAP 上，然后將油石壓在研磨墊上，反復(fù)打磨10 min，再清潔磨盤。修盤完成后，利用顯微鏡觀察FAP 表面，確保FAP 表面的金剛石已經(jīng)出露后，將每個FAP 均勻劃分為4 個區(qū)域。在每個區(qū)域上選取5 個凸起，3 張墊共得到60 個凸起。利用徠卡顯微設(shè)備對每個凸起進(jìn)行圖像采集，圖像放大后得到FAP 表面原始圖像共160 張。FAP 表面圖像如圖4所示。

得到原始研磨墊表面圖像后，利用OpenCV+Python3 對其進(jìn)行鏡像翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)節(jié)亮度與對比度、平移等操作，然后進(jìn)行預(yù)處理和擴(kuò)充，擴(kuò)充后，共得到500 張F(tuán)AP 表面圖像。再利用Labelme 標(biāo)注工具標(biāo)注圖像中的目標(biāo)類別，其中的研磨墊表面的金剛石亮度較高，有明顯金屬光澤、折線輪廓；孔隙亮度較低，有圓弧輪廓；金剛石脫落坑亮度較低，有折線輪廓，尺寸相較于孔隙較大。類別特征描述如表2所示，標(biāo)注好的目標(biāo)類別和掩碼如圖5所示。

圖5 目標(biāo)類別與掩碼Fig.5 Target category and mask

表2 類別特征描述Tab.2 Categorical characterization

最后，利用Labelme，將標(biāo)注好的500 張研磨墊表面圖像制作成可用于訓(xùn)練和測試的數(shù)據(jù)集。并隨機抽取圖像的20%作為測試集，用來評估模型的性能。剩下80%的圖像作為訓(xùn)練集，用來訓(xùn)練模型。訓(xùn)練集中隨機抽取圖像的25%作為驗證集，用于在訓(xùn)練過程中調(diào)整模型的參數(shù)。

2.2 模型訓(xùn)練

利用深度學(xué)習(xí)框架TensorFlow 搭建Mask R-CNN模型。Mask R-CNN 是一個龐大的模型，擁有大量的參數(shù)，若采用常規(guī)的方法初始化模型，需花費大量的時間訓(xùn)練模型。MS COCO 數(shù)據(jù)集是一個大規(guī)模的數(shù)據(jù)集，擁有海量的數(shù)據(jù)。Mask R-CNN 模型經(jīng)過MS COCO 數(shù)據(jù)集訓(xùn)練后，所得到的模型參數(shù)是比較通用的初始化模型時所采用的參數(shù)。采用遷移學(xué)習(xí)的方法將其用于模型的初始化，既節(jié)省大量的時間，又能得到一個較好的結(jié)果。試驗所采用的優(yōu)化器是帶學(xué)習(xí)動量的隨機梯度下降優(yōu)化器，為了適應(yīng)FAP 表面形態(tài)的識別任務(wù)，相比于原模型，采用了更小的錨框尺寸以減少RPN 生成的候選區(qū)個數(shù)。模型的部分超參數(shù)設(shè)定如表3所示。

表3 模型部分超參數(shù)Tab.3 Some hyper parameters of the model

訓(xùn)練時，將迭代次數(shù)設(shè)置為30 次，每次迭代設(shè)置步數(shù)為400 步，批尺寸設(shè)置為1，訓(xùn)練過程中損失函數(shù)值隨迭代次數(shù)變化如圖6所示。

圖6 損失函數(shù)值隨迭代次數(shù)變化圖Fig.6 Loss function value changes with the number of iterations

Mask R-CNN 的損失函數(shù)值由3 個部分組成：分類誤差、檢測誤差、分割誤差，總的損失函數(shù)值是這三者之和。訓(xùn)練過程中模型的初始損失函數(shù)值為65.3，1 個迭代周期之后下降到10.1，之后下降速度變緩，模型的損失函數(shù)值在迭代20 次之后趨于穩(wěn)定，值在2.3 上下，模型收斂。

2.3 評價指標(biāo)

在目標(biāo)檢測任務(wù)中，為找到所有正樣本的能力，常用查全率ξRe評價模型；為預(yù)測準(zhǔn)確的程度，用查準(zhǔn)率ξPr評價模型。其計算公式如式(2)～式(3)所示：

式（2）～式（3）中：ξTP即真正例，為模型和人工標(biāo)注均提取到的目標(biāo)數(shù)；ξFP即假正例，為模型能提取到而人工未進(jìn)行標(biāo)注的目標(biāo)數(shù)；ξFN即假負(fù)例，為進(jìn)行人工標(biāo)注而模型未能提取到的目標(biāo)數(shù)。

由式（2）～式（3）可以看出：查全率和查準(zhǔn)率越高，模型的性能越好。但實際上兩者不可兼得，為了兩者兼顧，可以通過模型的PR曲線來評價模型的綜合性能。PR曲線是通過改變置信度閾值，查準(zhǔn)率隨著查全率變化的曲線，PR曲線所包圍的面積為精度ξAP，而所有類別的平均精度即ξmAP值反映了模型的綜合性能，是目標(biāo)檢測模型中最重要的評價指標(biāo)。試驗建立的FAP表面表征模型以模型在測試集上的ξmAP為評價指標(biāo)。

2.4 試驗結(jié)果

模型在測試集上的ξmAP評價指標(biāo)的結(jié)果為78.9%，已達(dá)到主流目標(biāo)檢測算法水平（約70.0%）。

測試集中1 張圖像識別結(jié)果如圖7所示，相較于原圖，模型生成了各個目標(biāo)的類別、位置框、置信度以及掩碼，本次試驗?zāi)Ｐ蛢H顯示置信度在0.600 以上的目標(biāo)。從圖7中可以獲得FAP 表面的大體特征，具體的金剛石分布、孔隙分布以及金剛石脫落率等參數(shù)可進(jìn)一步在此識別結(jié)果的基礎(chǔ)上進(jìn)行研究。

圖7 識別結(jié)果Fig.7 Recognition result

3 結(jié)論

（1）利用深度學(xué)習(xí)目標(biāo)檢測框架Mask R-CNN對FAP 表面的金剛石、孔隙、金剛石脫落坑進(jìn)行識別與分割，完成了端到端的過程，避免了傳統(tǒng)識別方法的復(fù)雜性，為從固結(jié)磨料墊表面形態(tài)預(yù)測其加工性能創(chuàng)造了有利條件。

（2）Mask R-CNN 模型能對單一固結(jié)磨料墊表面圖像中多目標(biāo)進(jìn)行有效分割與識別，主要評價指標(biāo)平均準(zhǔn)確率達(dá)到78.9%，達(dá)到了圖像識別的主流水平。