趙麟坤 陳玉潔 張玉井 張 豪

（東華大學(xué)，上海， 201620）

碳纖維復(fù)合材料具有高強度、高模量比、摩擦因數(shù)小等優(yōu)良性能［1］。對碳纖維復(fù)合材料進行編織，形成三維結(jié)構(gòu)的碳纖維立體編織物，具有制造成本較低、力學(xué)性能優(yōu)異等優(yōu)點，已被廣泛應(yīng)用于航空航天、建筑、能源、醫(yī)療等領(lǐng)域［2-3］。但是碳纖維紗線在編織過程中會產(chǎn)生起毛和斷裂，導(dǎo)致碳纖維編織物表面存在結(jié)構(gòu)缺陷，造成人力消耗、經(jīng)濟損失［4］。因此，碳纖維立體編織物表面質(zhì)量檢測具有重大意義。

機器視覺檢測憑借高準(zhǔn)確度、高可靠性等優(yōu)勢，在織物缺陷檢測上已經(jīng)有了長足的發(fā)展。ABOUELELA A等［5］采用基于紋理結(jié)構(gòu)檢測的方法，完成織物基本紋理提取和缺陷識別。WONG W K等［6］將基于小波變換的改進閾值方法與反向傳播神經(jīng)網(wǎng)絡(luò)相結(jié)合，實現(xiàn)了對于5類織物縫合缺陷的識別。這些識別算法的核心都是針對待檢測物體的特性，設(shè)計對應(yīng)的缺陷特征識別方法，一定程度提高了檢測的速度與精度。

隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的織物缺陷檢測算法得到了廣泛研究。深度學(xué)習(xí)檢測技術(shù)通過搭建圖像特征提取和識別網(wǎng)絡(luò)，實現(xiàn)對織物缺陷的特征識別與分類。景軍鋒等［7］利用微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet［8］，對織物疵點圖像進行特征提取，實現(xiàn)了對兩類織物95%以上的分類準(zhǔn)確率，在檢測精度上優(yōu)于傳統(tǒng)算法，但檢測速度有待提升。趙志勇等［9］以Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，提出基于Inception-ResNet-v2網(wǎng)絡(luò)的織物缺陷判決算法，實現(xiàn)了織物缺陷檢測。謝景洋等［10］提出了使用輕量化的MobileNets、多細(xì)粒度多尺度特征的Res2Net，修改YOLOv3主干網(wǎng)絡(luò)，實現(xiàn)了織物疵點快速檢測。這些識別算法能有效識別具有明顯特征的稀疏缺陷，但對于重復(fù)小缺陷的檢測存在不足。

本研究參考深度學(xué)習(xí)在織物缺陷識別中的應(yīng)用，結(jié)合碳纖維編織物表面存在重復(fù)性小缺陷的特點，對Faster RCNN［11］網(wǎng)絡(luò)結(jié)構(gòu)進行改進，采用改進的非極大值抑制算法（Soft-NMS）［12］，選取對小特征識別性能更高的感興趣區(qū)域校準(zhǔn)算法（RoI Align）［13］，完成了對碳纖維編織物表面缺陷的檢測識別。

1 圖像采集與分析

1.1 缺陷圖像分類

通過對碳纖維編織物表面缺陷圖像的采集、整理與分析，得出織物表面缺陷的3種主要類型為稀疏、纖維環(huán)、毛刺，3種缺陷的原始圖像如圖1所示。

圖1 3種缺陷原始圖像

稀疏主要表現(xiàn)為稀疏松散的碳纖維經(jīng)緯編織束，或因編織缺陷出現(xiàn)的稀疏編織結(jié)構(gòu)。纖維環(huán)主要表現(xiàn)為碳纖維束脫離經(jīng)緯編織結(jié)構(gòu)，貼附在碳纖維編織物表面，或形成較為明顯的環(huán)狀缺陷。毛刺主要表現(xiàn)為片狀聚集分布的纖維毛刺，或因纖維束部分?jǐn)嗔研纬傻耐庖绲拈L條狀纖維束。

1.2 缺陷圖像分析

通過對工廠實際生產(chǎn)的碳纖維編織物缺陷圖像采集，共獲取了原始缺陷圖像3 640張。為了加深對缺陷類型分布的了解，以設(shè)計更加適合缺陷圖像的深度檢測網(wǎng)絡(luò)，本研究對3種主要缺陷類型進行了統(tǒng)計，實際缺陷類型占比為稀疏27.9%、纖維環(huán)14.5%、毛刺56.2%、其他1.4%。毛刺等小缺陷特征占總?cè)毕蓊愋偷?6.2%，存在重復(fù)率高等現(xiàn)象。這就要求缺陷檢測算法對于小目標(biāo)的識別能力更強、準(zhǔn)確度更高。

2 改進Faster RCNN結(jié)構(gòu)

2.1 Faster RCNN應(yīng)用分析

Faster RCNN模型是在Fast RCNN模型［14］上進行了一系列的改進優(yōu)化，逐步發(fā)展而來的。Faster RCNN可以看作是Fast RCNN + RPN的組合，采用共享卷積層對輸入圖像進行特征提取，再將RPN生成的感興趣區(qū)域與CNN網(wǎng)絡(luò)（如ZFNET［15］、VGG16［16］、ResNet［17］等）提 取 的 特 征圖像，同時輸入到Fast RCNN中，進行感興趣區(qū)域池化，最終實現(xiàn)檢測目標(biāo)的分類與位置回歸。Faster RCNN基本的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其主要由主干特征提取網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)（RPN）、感興趣區(qū)域池化（RoI Pooling）、檢測目標(biāo)分類與回歸組成。

圖2 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)

通過對采集到的碳纖維編織物缺陷圖像分析可得，毛刺等小缺陷在圖像中重復(fù)率較高，當(dāng)Faster RCNN實際應(yīng)用于織物圖像檢測時，存在以下兩方面不足。一是織物圖像經(jīng)過Faster RCNN深層網(wǎng)絡(luò)反復(fù)卷積和池化后，小缺陷特征圖像將被不斷切割，產(chǎn)生失真現(xiàn)象。當(dāng)對特征圖像的目標(biāo)框進行NMS操作時，網(wǎng)絡(luò)會將分值相近的目標(biāo)框檢測分?jǐn)?shù)強制歸零，以去除重復(fù)檢測框。此過程會將相似的小缺陷特征圖像刪除，從而導(dǎo)致漏檢的產(chǎn)生。二是RoI Pooling層會將輸入的不同尺寸的感興趣區(qū)域圖像，粗糙地池化為相同尺寸的特征圖。此過程將會產(chǎn)生兩次量化誤差，導(dǎo)致缺陷特征圖的感興趣區(qū)域在回歸原始圖像時，產(chǎn)生較大的位置偏差，這一誤差對于毛刺等小缺陷特征圖位置檢測的影響是巨大的。

2.2 主干特征提取網(wǎng)絡(luò)

主干特征提取網(wǎng)絡(luò)是Faster RCNN的基礎(chǔ)，網(wǎng)絡(luò)層數(shù)直接影響樣本特征提取能力，但是深層網(wǎng)絡(luò)存在退化問題，當(dāng)網(wǎng)絡(luò)深度達到飽和后，模型對于缺陷圖像的識別精準(zhǔn)性會下降。因此，本研究采用ResNet50作為主干特征提取網(wǎng)絡(luò)。ResNet50由1個卷積層、1個全連接層和4組殘差模塊搭建而成，每組分別有3，4，6，3個塊（block），每個塊（block）有3個卷積層（layer）。ResNet50網(wǎng)絡(luò)的基礎(chǔ)是殘差神經(jīng)網(wǎng)絡(luò)，殘差模塊結(jié)構(gòu)如圖3所示。

圖3 殘差模塊結(jié)構(gòu)

假定神經(jīng)網(wǎng)絡(luò)輸入為x，網(wǎng)絡(luò)期望輸出為H（x），則殘差網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)函數(shù)為F（x）=H（x）-x。殘差網(wǎng)絡(luò)可以通過殘差單元的跳層連接，使得梯度能夠繞過若干層到達輸出層。

2.3 改進的非極大值抑制算法（Soft-NMS）

Faster RCNN網(wǎng)絡(luò)中原始的NMS算法實現(xiàn)原理為：預(yù)先選定感興趣區(qū)域中置信度最高的檢測框，遍歷其余所有檢測框與該檢測框的重合度，去除具有高重合度的檢測框，從而實現(xiàn)減少重復(fù)檢測框的目的。交并比IoU是一種定位精度的評估計算方式，它定義了兩個檢測框（A和B）的重疊程度。IoU計算公式如式（1）所示。

傳統(tǒng)NMS算法的處理方式可以通過式（2）的分?jǐn)?shù)重置函數(shù)進行直觀表達。

式中：si表示第i個檢測框得分；A表示感興趣區(qū)域中置信度最高的檢測框；Bi代表第i個檢測框；IoU(A，Bi)表示第i個檢測框與A的重合度；Nt表示標(biāo)定的重合度閾值。

通過上述描述可以看出，NMS算法在抑制檢測框重復(fù)性上的操作上比較嚴(yán)苛。當(dāng)實際應(yīng)用于碳纖維編織物缺陷檢測時，當(dāng)缺陷特征圖B的邊界框與置信度最高的A的邊界框相交，并且兩邊界框的IoU高于標(biāo)定的閾值Nt時，B的檢測框?qū)⒈粡娭苿h除，這樣導(dǎo)致無法檢測到缺陷B圖像，造成漏檢現(xiàn)象。檢測框交并比示意圖如圖4所示。

圖4 檢測框交并比示意圖

針對傳統(tǒng)的NMS算法在碳纖維編織物缺陷檢測上存在的不足，本研究采用Soft-NMS算法代替?zhèn)鹘y(tǒng)的NMS算法。Soft-NMS算法的核心是在NMS算法基礎(chǔ)上，當(dāng)待檢測框的IoU值高于標(biāo)定閾值Nt時，用稍微低一點的分?jǐn)?shù)替換原有的得分，從而解決了檢測框被誤刪的問題。Soft-NMS算法可以用如式（3）所示的分?jǐn)?shù)重置函數(shù)直觀表達。

通過上述改進，實際檢測碳纖維編織物缺陷圖像過程中，當(dāng)缺陷特征圖檢測框B與A的IoU高于標(biāo)定閾值Nt時，檢測框B的得分將會衰減為與A重合度的線性函數(shù)，從而避免誤刪。但此分?jǐn)?shù)重置函數(shù)并不是一個連續(xù)函數(shù)，將會導(dǎo)致待測檢測框的得分出現(xiàn)斷層。因此，本研究在最后引入高斯函數(shù)重置函數(shù)，最終改進的函數(shù)如式（4）所示。

式中：σ為超參數(shù)；D為檢測框的集合；IoU(A，Bi)表示第i個檢測框與A的重合度。

通過對NMS算法的改進，可以降低傳統(tǒng)NMS算法對于檢測框的誤刪現(xiàn)象，提高了Faster RCNN網(wǎng)絡(luò)對于缺陷檢測框的泛化能力。

2.4 感興趣區(qū)域校準(zhǔn)（RoI Align）

原始Faster RCNN網(wǎng)絡(luò)利用感興趣區(qū)域池化（RoI Pooling）層，將主干特征網(wǎng)絡(luò)提取到的不同尺寸的碳纖維編織物缺陷圖像，粗糙地池化為統(tǒng)一尺寸的特征圖，并輸出到后續(xù)網(wǎng)絡(luò)中，用于檢測目標(biāo)分類與回歸，RoI Pooling操作流程如圖5所示。

圖5 RoI Pooling操作

RoI Pooling層算法特征提取量化取整主要包括兩步。第一步，將主干特征提取網(wǎng)絡(luò)獲取的特征圖，映射到原圖像的對應(yīng)位置。對于映射后先驗框的浮點坐標(biāo)，采用向下取整的方式量化取整。第二步，將映射后獲取的感興趣區(qū)域特征圖，平均劃分為K×K（7×7）的網(wǎng)格單元，對每個網(wǎng)格的浮點坐標(biāo)進行量化取整，并對每個網(wǎng)格采取最大池化。圖6所示為兩次量化取整操作。

圖6 兩次量化取整操作

經(jīng)過兩次量化取整，F(xiàn)aster RCNN網(wǎng)絡(luò)對于特征圖的定位將會出現(xiàn)不可避免的誤差，這種誤差對于毛刺等小缺陷圖像的位置定位影響較大。

針對兩次量化取整操作帶來的誤差，本研究采用RoI Align層來代替RoI Pooling層，以準(zhǔn)確匹配特征圖位置區(qū)域。RoI Align層設(shè)計的核心思想是雙線性插值算法，通過線性操作的方法代替量化操作，保證特征圖中點的連續(xù)性，提升定位精度。算法操作方法：遍歷所有感興趣區(qū)域，將特征圖映射到圖像的準(zhǔn)確位置，保持特征圖邊界精確浮點位置信息；將映射后獲取的感興趣區(qū)域特征圖，平均劃分為k×k（7×7）的網(wǎng)格單元，保持單元格位置精度；在每個單元格中固定計算作為4個采樣點坐標(biāo)，采用雙線性插值計算4個采樣點位置，并進行最大池化操作，如圖7所示。

圖7 RoI Align操作

以碳纖維編織物缺陷圖像為例，假定輸入的缺陷特征圖為338 pixel×338 pixel，由于網(wǎng)絡(luò)骨架中的下采樣率featstride為16，特征圖在經(jīng)過池化網(wǎng)絡(luò)后每張?zhí)卣鲌D變?yōu)椋?30/16）×（330/16）=20.625 pixel×20.625 pixel；RoI Align層將特征圖平均劃分為7×7的網(wǎng)格，每一塊網(wǎng)格的大小為2.857 pixel×2.857 pixel；對于每個網(wǎng)格設(shè)置4個采樣點，并采用雙線性插值法計算出每個小網(wǎng)格的中心位置像素值；最后，取4個中心點像素值的最大值作為這個小區(qū)域的像素值，通過遍歷7×7的小區(qū)域得到每個區(qū)域的像素值，最終組成所需的7×7大小的特征圖。

采用RoI Align層代替RoI Pooling層，可以降低RoI Pooling層在特征圖回歸框定位上的位置偏差，提升了后續(xù)缺陷目標(biāo)分類與回歸的檢測精度。

3 試驗與結(jié)果分析

3.1 缺陷數(shù)據(jù)集制作

在深度學(xué)習(xí)訓(xùn)練中，訓(xùn)練數(shù)據(jù)的缺少會導(dǎo)致訓(xùn)練模型實際檢測精度較低。工廠獲取的3 640張?zhí)祭w維編織物缺陷圖像對于實際訓(xùn)練是不夠的。本研究采用旋轉(zhuǎn)、翻轉(zhuǎn)、模糊、增加噪聲等數(shù)據(jù)增強技術(shù)，將缺陷圖像數(shù)目擴增為7 280張。通過labelImg圖像標(biāo)注工具，對數(shù)據(jù)增強后的7 280張圖像進行標(biāo)注，并按照PASCAL VOC2007數(shù)據(jù)集格式制作數(shù)據(jù)集。然后將標(biāo)注后的數(shù)據(jù)集按照8∶1∶1的比例，隨機生成缺陷圖像的訓(xùn)練集、測試集、驗證集，用以輸入深度學(xué)習(xí)網(wǎng)絡(luò)進行訓(xùn)練。

3.2 試驗環(huán)境與超參數(shù)

本試驗的硬件環(huán)境為AMD Ryzen 7 5800H@3.2 MHz 8核處理器，NVIDIA GeForce RTX 3090顯卡；軟件環(huán)境為Ubuntu 18.04.5操作系統(tǒng)，CUDA 8.0.5版本，Python 3.8.10版本，MMCV 1.3.9版本，PyTorch 1.9.0版本，MMDetection 2.14.0版本，以及Pycharm集成開發(fā)環(huán)境。

經(jīng)過對超參數(shù)的反復(fù)優(yōu)化測試，最終優(yōu)化器為隨機梯度下降算法（adam優(yōu)化器），初始學(xué)習(xí)率為0.001，權(quán)值衰減系數(shù)（weight_decay）為0.000 1，訓(xùn)練的max_epochs值為80，每5個epoch之后進行一次學(xué)習(xí)率衰減，batch_sizes設(shè)置為50。

3.3 試驗訓(xùn)練

改進的Faster RCNN網(wǎng)絡(luò)模型的損失函數(shù)，由分類交叉熵函數(shù)和位置回歸函數(shù)組成，整體的函數(shù)模型如式（6）所示。

式中：pi為第i個感興趣區(qū)域的目標(biāo)概率和分別表示真實標(biāo)注框概率標(biāo)簽和位置參數(shù)；當(dāng)?shù)趇個先驗框為正樣本時的值為1，如果第i個先驗框為負(fù)樣本，值為表示為框選區(qū)域的4個參數(shù)化坐標(biāo)的向量；表示的是目標(biāo)與非目標(biāo)的對數(shù)損失，函數(shù)表達式如式（7）所示。為位置回歸SmoothL1函數(shù)，函數(shù)表達式如式（8）所示。

改進后的Faster RCNN網(wǎng)絡(luò)經(jīng)歷預(yù)訓(xùn)練后，在制作好的PASCAL VOC2007訓(xùn)練集上進行80個epochs的訓(xùn)練。隨著訓(xùn)練次數(shù)的迭代，碳纖維編織物缺陷檢測網(wǎng)絡(luò)的總體損失函數(shù)逐步下降，檢測網(wǎng)絡(luò)模型逐漸達到收斂，最終生成穩(wěn)定的檢測模型，該模型的訓(xùn)練時間12 735 s，權(quán)重文件大小322.6 MB。

3.4 試驗結(jié)果分析

本研究綜合選定所有檢測種類的平均精度均值（Mean Average Precision，mAP）作為碳纖維編織物表面質(zhì)量檢測的實際評價指標(biāo)，函數(shù)表達式如式（9）所示。

式中：N為檢測種類數(shù)；APi為第i類缺陷的平均檢測精度值，其函數(shù)表達式如式（10）所示。

式中：P為當(dāng)前缺陷類型檢測精度；R為召回率，兩者計算公式分別如式（11）、式（12）所示。

式中：TP為檢測網(wǎng)絡(luò)將正樣本預(yù)測為正的數(shù)目；FP為將負(fù)樣本檢測為正的數(shù)目；FN為將正樣本檢測為負(fù)的數(shù)目。

本研究在相同試驗環(huán)境下，采用改進前后的Faster RCNN網(wǎng)絡(luò)，分別對包含728張圖片的測試集進行驗證，最終得到AP值、mAP值和模型實際檢測速度，結(jié)果如表1所示。

表1 Faster RCNN網(wǎng)絡(luò)模型改進前后的檢測結(jié)果

由表1可知，改進的Faster RCNN網(wǎng)絡(luò)模型的mAP值達到了92.7%，比改進前提高了3.8個百分點。其中，改進的Faster RCNN網(wǎng)絡(luò)對于碳纖維編織物毛刺識別率提高了5.6個百分點。改進的Faster RCNN網(wǎng)絡(luò)在圖像檢測時間上稍有所增加，但不影響實際檢測速度。對比改進前的Faster RCNN網(wǎng)絡(luò)，改進后的Faster RCNN網(wǎng)絡(luò)在應(yīng)用于碳纖維編織物的缺陷檢測中，精度有所提升。改進后的Faster RCNN網(wǎng)絡(luò)實際檢測結(jié)果如圖8所示。

圖8 實際檢測結(jié)果

采用改進的Faster RCNN網(wǎng)絡(luò)訓(xùn)練模型對缺陷圖像進行驗證發(fā)現(xiàn)，在實際檢測過程中仍存在缺檢、漏檢現(xiàn)象。對訓(xùn)練驗證文件分析發(fā)現(xiàn)，在碳纖維織物毛刺等小缺陷檢測中，重疊臨近的缺陷區(qū)域容易被算法略去，從而產(chǎn)生漏檢，但通過Soft-NMS算法改進后已經(jīng)有所提升。同時，與原始的Faster RCNN訓(xùn)練過程對比，改進的Faster RCNN網(wǎng)絡(luò)，對于毛刺缺陷圖像的AP值，在第10次～第30次迭代的過程中，具有明顯的提升，證明Soft-NMS算法和RoI Align算法在毛刺等小缺陷檢測中有效提升了檢測精度。

4 結(jié)論

本研究根據(jù)碳纖維編織物缺陷特點，提出了一種改進的Faster RCNN算法，以ResNet50作為主干特征提取網(wǎng)絡(luò)，采用改進的Soft-NMS算法，減少了缺陷圖像的誤刪現(xiàn)象，采用RoI Align層取代RoI Pooling層，減少了特征圖回歸框定位的位置偏差。通過搭建試驗環(huán)境，改進的Faster RCNN網(wǎng)絡(luò)在與原網(wǎng)絡(luò)結(jié)構(gòu)檢測速度差別不大的基礎(chǔ)上，mAP值由88.9%提升到了92.7%。對比原始Faster RCNN網(wǎng)絡(luò)，改進的Faster RCNN網(wǎng)絡(luò)在碳纖維編織物缺陷檢測，尤其是毛刺等小缺陷，檢測精度明顯提升。在后續(xù)研究中我們將對改進的Faster RCNN網(wǎng)絡(luò)進行檢測速度方面的優(yōu)化。