戚裕綺，范成杰，陳 欣+，丁國清，馬有為

(1.上海交通大學 電子信息與電氣工程學院，上海 200240；2.上海交通大學 學生創(chuàng)新中心，上海 200240；3.上海航天技術研究院 上海航天控制技術研究所，上海 201108)

0 引 言

隨著制造業(yè)向自動化、智能化方向發(fā)展，工件表面的自動視覺檢測方法已逐漸替代人眼視覺。傳統(tǒng)圖像處理方法依賴于特征模板的選擇，特征表達能力往往有限，提取的特征不夠穩(wěn)定、魯棒性不強。因此，如何降低特征提取的復雜性與不確定性仍需進一步研究[1]。近年來，基于深度卷積神經(jīng)網(wǎng)絡的深度學習在目標檢測任務上取得重大突破，可以通過訓練樣本自動學習高級特征，并學習輸入與輸出的關系，從而實現(xiàn)穩(wěn)定高效的目標檢測。目前，目標檢測可分為基于錨框(anchor-based)和無錨框(anchor-free)算法。Anchor-based算法通過不同的方式生成錨框，在此基礎上進行編解碼完成目標檢測，該方法雖然在一定程度上能解決目標尺度不均等問題，但泛化能力較差，不符合人眼視覺特性。Anchor-free算法分為以CornerNet[2]為代表的keypoint-based方法和以FCOS[3]為代表的pixel-wise方法。目標檢測算法已被廣泛地應用于各種缺陷檢測任務中。王曉茹等[4]基于Faster R-CNN和錨點集優(yōu)化方法研究了硅片圖像缺陷檢測。郭亞萍等[5]提出基于SegNet網(wǎng)絡的工件表面缺陷檢測方法。由于受目標檢測算法發(fā)展進程影響，目前的缺陷檢測研究仍主要集中在anchor-based算法，而anchor-free算法網(wǎng)絡結構較精簡，在工業(yè)領域有著應用前景。本文提出一種基于無錨框關鍵點的工件表面缺陷檢測算法(anchor-free and keypoint-based defect detection，AFKPDD)，旨在解決工件表面圖像背景紋理復雜、劃痕缺陷尺寸異常、矩形框限制特征表示等問題，實現(xiàn)對工件表面的缺陷檢測功能。

1 工件內(nèi)壁圖像獲取

1.1 內(nèi)壁視覺檢測方法

工件內(nèi)壁視覺檢測原理[6]如圖1所示，自上而下由CCD相機、遠心鏡頭、同軸光源及具有45°斜切反射面的圓柱形反射鏡構成。反射鏡伸入內(nèi)徑為4.5 mm的工件內(nèi)部，內(nèi)壁成像區(qū)域經(jīng)45°鏡反射后向上進入鏡頭并在CCD上成像。同軸光源的光線向下進入反射鏡后，經(jīng)45°反射鏡反射到內(nèi)壁，為內(nèi)壁成像區(qū)域提供充足光照。

圖1 工件內(nèi)壁視覺檢測原理

由于反射鏡成像范圍的限制，需要通過在工件的周向和軸向上進行連續(xù)采集并拼接子圖像來獲取工件內(nèi)壁的完整圖像。本文選擇每圈拍攝100幅圖像，選取有效成像區(qū)域中成像質(zhì)量最佳的區(qū)域作為子圖像，共拍攝3圈。圖像采集的各參數(shù)見表1。拍攝的內(nèi)壁圖像以及截取的子圖像、拼接后得到的工件內(nèi)壁完整展開圖如圖2所示。

圖2 工件內(nèi)壁圖像

表1 連續(xù)圖像采集參數(shù)

1.2 鋁制工件內(nèi)壁數(shù)據(jù)集

本文對50個鋁制工件進行圖像采集，得到的每個工件內(nèi)壁原始圖像大小為2600pix×1132pix，直接處理這么大的圖像不僅影響訓練速度，還會降低檢測精度，因此，對原始圖像進行裁剪，將每一幅圖像分解為8幅640 pix×640 pix的子圖像。當檢測出每個子圖像的缺陷時，可以很容易得出該缺陷在原始圖像上的坐標分布。鋁制工件內(nèi)壁數(shù)據(jù)集由400張圖像組成，存在缺陷的樣本數(shù)量為220，缺陷標注框共計471個，缺陷類型為劃痕。對每一張圖像，使用ImgLabel標注工具對缺陷位置和類別進行標注。

有研究結果表明[7]，COCO數(shù)據(jù)集中85%以上的目標尺寸比例是正常的(指min(w,h)/max(w,h)>1/3)， 其余細長目標尺寸比例異常 (指min(w,h)/max(w,h)<1/3)， 異常比例目標的檢測準確率遠低于正常比例的目標，這表明細長目標的檢測存在一定難度。

鋁制工件內(nèi)壁數(shù)據(jù)集的缺陷多為細長劃痕，圖3為所有劃痕標注框的高寬分布圖，落在左上和右下的兩三角形區(qū)域的點表示該標注框屬于異常比例，這樣的標注框有288個，占所有標注框的61%。

圖3 缺陷標注框的高和寬統(tǒng)計

細長目標的準確率低下的一個主要原因在于矩形邊界框與目標輪廓的契合度低。雖然矩形邊界框便于標注和計算，但它們僅提供目標的粗略定位，并不能完全擬合缺陷的形態(tài)。如圖4所示，某一劃痕的標注矩形框高449 pix，寬151 pix，旋轉后的矩形框高451 pix，寬30 pix，面積占比僅為20%。因此，從矩形邊界框中提取的特征可能會受到背景大面積無效信息的嚴重影響，導致特征質(zhì)量降低，從而降低缺陷目標檢測的性能。針對上述問題，本文提出基于可變形卷積和無錨框關鍵點的AFKPDD算法，可以更好地提取劃痕缺陷的有效信息，提高劃痕的檢測精度。

圖4 標注框和實際擬合框

2 AFKPDD缺陷檢測算法

2.1 AFKPDD缺陷檢測算法流程

本文提出的AFKPDD算法主要分為3個部分：特征提取網(wǎng)絡、基于無錨框關鍵點的檢測模塊和訓練策略。

特征提取網(wǎng)絡負責提取圖像的特征信息，為了提升整體檢測精度，在骨干網(wǎng)絡中增加了可變形卷積特征金字塔網(wǎng)絡[8](FPN)結構，融合了多尺度特征，增強了對目標變化的適應性。

基于無錨框關鍵點的檢測模塊負責缺陷的定位和分類，相比于基于錨框的算法，無錨框算法預設的超參數(shù)少、泛化能力更強。采用RepPoints Head實現(xiàn)了對缺陷形態(tài)關鍵點的檢測，摒棄了傳統(tǒng)算法中直接預測目標框的方法。該方法通過9個關鍵點檢測缺陷，能更好地擬合缺陷的形態(tài)，更適用于目標尺寸比例異常、比例變換大、目標占檢測框比例小的劃痕缺陷檢測。

訓練策略負責提升網(wǎng)絡的整體性能和泛化能力，本文主要提出兩個策略：數(shù)據(jù)增強和多任務學習。為了改善鋁制工件內(nèi)壁數(shù)據(jù)集樣本數(shù)量小的問題，針對圖像特征設計了一種隨機遮擋數(shù)據(jù)增強方法。為了優(yōu)化模型學習過程和模型性能，引入了與鋁制工件內(nèi)壁缺陷檢測相關的輔助任務，促進工件內(nèi)壁缺陷檢測任務的學習。

AFKPDD算法實現(xiàn)缺陷檢測的流程如圖5所示。首先，將待測工件內(nèi)壁圖像輸入特征提取網(wǎng)絡，通過ResNet50和FPN提取圖像特征，得到4層不同尺度的特征映射。然后，每層的特征并行輸入RepPoints Head檢測模塊，分別完成回歸和分類任務。最后，將各層的檢測結果按尺度融合，輸出缺陷檢測結果。圖5虛線部分僅存在于訓練網(wǎng)絡，數(shù)據(jù)集中的bbox和label用于訓練時損失函數(shù)的計算，輔助任務用于優(yōu)化模型的整體性能。

圖5 AFKPDD缺陷檢測流程

2.2 特征提取網(wǎng)絡

特征提取網(wǎng)絡使用ResNet50[9]作為骨干網(wǎng)絡，并采用特征金字塔網(wǎng)絡結構，為了得到缺陷更準確的定位，在特征金字塔網(wǎng)絡中加入可變形卷積[10]，特征提取網(wǎng)絡具體結構如圖6所示。

圖6 多尺度特征提取網(wǎng)絡

考慮到鋁制工件內(nèi)壁數(shù)據(jù)集樣本數(shù)量少，樣本特征不像COCO數(shù)據(jù)集那樣含有豐富的語義，本文選用網(wǎng)絡深度適中的ResNet50作為骨干網(wǎng)絡，并采用遷移學習策略[11]，使用在ImageNet數(shù)據(jù)集[12]上預訓練的權重，以便新網(wǎng)絡可以更快地學習，提高訓練收斂速度，改善了鋁制工件內(nèi)壁數(shù)據(jù)集樣本數(shù)過少的問題。

在卷積神經(jīng)網(wǎng)絡中，底層的特征語義信息比較少，但是目標位置準確；高層的特征語義信息比較豐富，但是目標位置比較粗略[13]。此外，工件表面缺陷檢測注重底層的紋理信息，且缺陷的尺寸變換大，故多尺度多層次結合的特征對缺陷檢測非常重要。

特征金字塔網(wǎng)絡把ResNet50卷積的{Ck}層和上采樣之后的{Pk}層進行相加，目的是把低層次高分辨率的信息和高層次強語義的信息結合起來，提高檢測性能和小目標識別。此外，為了得到缺陷更準確的定位，引入了可變形卷積，使其可以根據(jù)缺陷的尺度和形狀改變感受野和采樣位置。

標準卷積操作為：在特征圖上使用卷積核R進行采樣，然后進行加權求和。對于特征圖上的點p0，標準卷積公式為

(1)

式中：R定義了卷積核的大小，在3×3卷積核的R為 {(-1,-1), (-1,0), (-1,1), (0,-1), (0,0), (0,1), (1,-1), (1,0), (1,1)}。

在可變形卷積中，引入了偏移量Δpn，使采樣位置變成了不規(guī)則位置，計算公式為

(2)

其中，Δpn通常為小數(shù)，具體實現(xiàn)時使用了雙線性插值法。

可變形卷積在標準卷積中增加了二維的偏移量，使采樣的感受野不再是規(guī)則的網(wǎng)格形狀，如圖7所示?？勺冃尉矸e可以自適應地學習感受野尺寸，更好提取輸入的特征。相比于傳統(tǒng)的固定尺寸的卷積核，變化適應性強，泛化能力強。

圖7 3×3卷積與可變形卷積

2.3 基于無錨框關鍵點的檢測模塊

傳統(tǒng)的基于錨框的方法需要計算錨框與邊界框之間的IoU來獲得正樣本，檢測時根據(jù)錨框進行邊框回歸，其性能很大程度上受限于錨框的預設。為了實現(xiàn)無錨框缺陷檢測，并改善缺陷尺寸比例異常、矩形邊界框和缺陷目標形態(tài)擬合程度低的問題，采用了基于關鍵點點集表示缺陷位置信息的方法。該方法通過使用可變形卷積，回歸出多個目標點和中心點的偏移量，得到9個預測點，然后進行變換，生成預測矩形框，如圖8所示。這種方法的優(yōu)勢在于能適應缺陷的形狀，提供對缺陷檢測更有用的圖像特征。

圖8 基于關鍵點的缺陷位置表示法

檢測模塊基于RepPoints Head[14]，流程如圖9所示。定位任務采用兩次回歸的方法，先將特征圖上的點作為初始點，預測9個偏移量(Δx,Δy)參數(shù)，然后在這9個點的基礎上進行調(diào)整改善，通過進一步卷積預測相對于第一階段(Δx,Δy)的偏移量，得到最終的點集。兩次回歸逐步細化，得到更準確的目標定位。

圖9 基于關鍵點的檢測模塊

為了檢測完整的劃痕缺陷，點集(pts)和矩形框(bbox)的變換方法選用Min-max策略。在點集上執(zhí)行x、y兩個軸上的Min-max操作以確定外接矩形框

(3)

回歸損失函數(shù)采用SmoothL1 Loss，相比L1和L2 Loss具有更強的魯棒性。SmoothL1 Loss計算預測框和grouth-truth之間的距離進行回歸

L(x)=L(x1)+L(x2)

(4)

(5)

式中：x1和x2分別表示預測框和grouth-truth左上角的距離和右下角的距離。

分類損失函數(shù)采用Focal Loss[15]，該損失函數(shù)基于交叉熵損失函數(shù)改進，降低了大量簡單負樣本在訓練中所占的權重，旨在解決無錨框目標檢測模型中正負樣本比例嚴重失衡的問題。公式為

(6)

式中：γ因子取值為2，用來減小易分類樣本的損失，使得更加關注困難樣本的分類。α因子取值為0.25，用來平衡正負樣本的比例不均。

2.4 隨機遮擋數(shù)據(jù)增強方法

針對鋁制工件內(nèi)壁數(shù)據(jù)集，設計了一種隨機遮擋數(shù)據(jù)增強方法以優(yōu)化網(wǎng)絡模型的訓練。Cutout[16]隨機選擇一個固定大小的正方形區(qū)域對圖像進行遮擋，在矩形范圍內(nèi)，所有的值都設置為0，或者其它純色值。本文針對內(nèi)壁圖像不存在大面積的遮擋，背景干擾多為細長條紋理的特點，設計了一種基于cutout改進的數(shù)據(jù)增強方法，隨機選擇1～5個填充色為黑色的矩形，矩形尺寸從 {(10,60), (10,100), (10,200), (40,20), (100,100)} 中隨機選擇。

2.5 多任務學習

為了改善鋁制工件內(nèi)壁數(shù)據(jù)集小樣本導致的模型優(yōu)化問題，設計了一種多任務學習策略，如圖10所示。將鋁制工件內(nèi)壁缺陷檢測作為主任務、鋼材表面缺陷檢測作為輔助任務，采用底層網(wǎng)絡參數(shù)共享的形式互相促進學習，然后通過各自的輸出層學習獨有特征，最后分別輸出各自的檢測結果。該方法有助于降低過擬合風險，因為模型學的任務越多，學習到包含所有任務的表征就越難，從而降低了過擬合某個任務的可能性，很好地提升了模型的性能。

圖10 多任務學習

鋼材表面缺陷選用東北大學公開的NEU-DET數(shù)據(jù)集[17]，該數(shù)據(jù)集共有1800張圖片，包含鋼材表面6種缺陷：裂紋、夾雜物、斑塊、麻點、滾壓和劃痕。該數(shù)據(jù)集在網(wǎng)上公開的缺陷數(shù)據(jù)集中質(zhì)量較好，與本文的鋁制工件內(nèi)壁缺陷相關性高，故適合作為多任務學習策略中的輔助任務。

3 實 驗

3.1 實驗環(huán)境

本實驗硬件配置為NVIDIA GEFORCE RTX 2080 Ti，Intel Core i9-9900K CPU @ 3.60 GHz。軟件環(huán)境為Python 3.7和PyTorch 1.6.0。骨干網(wǎng)絡ResNet50初始化采用ImageNet數(shù)據(jù)集上預訓練的網(wǎng)絡參數(shù)。初始學習率為0.0005，優(yōu)化策略為隨機梯度下降法，動量因子為0.9，權重衰減因子為0.0001，同時引入warmup策略，使學習率在初始的500次迭代中逐漸增加。batch size為4，訓練了150個epoch。使用幾何變換數(shù)據(jù)增強方法。使用非極大值抑制(non-maximum suppression，NMS)[18]方法去除冗余的檢測框，IoU閾值為0.4。

3.2 評估指標

本實驗用平均精度(average precision，AP)為評估指標。與圖像分類任務不同，缺陷檢測任務僅僅用精確度來評估性能是不合適的。精確度(Precision)和召回率(Recall)通常是此消彼長的關系。平均精度是這兩個重要檢測指標較為折中的指標，可以較為綜合全面地評估缺陷檢測網(wǎng)絡的性能。其中，精確度是指識別正確的某類缺陷占被識別為該類缺陷的比例，召回率是指被識別出的某類正確缺陷占所有該類缺陷的比例。在本任務中，當預測框與ground-truths框的IoU不小于0.4時，則認為該預測框的定位正確。具體計算公式為

(7)

(8)

式中：TP為被識別出的某類缺陷數(shù)，F(xiàn)P為被誤識別為某類缺陷的數(shù)量，F(xiàn)N為未被識別出的某類缺陷數(shù)。

根據(jù)精確度(P)和召回率(R)的關系計算AP，對于不同的置信度閾值，召回率和精確度會有所變化。把R和P分別作為橫、縱坐標，可以得到一條P-R曲線，AP值為該曲線與橫、縱坐標軸所圍成區(qū)域的面積

(9)

3.3 結果分析與對比

圖11顯示了測試集檢測結果的可視化圖，輸出結果的預測框上方顯示有一個標簽信息，包含預測的缺陷類型和預測置信度。從結果圖可知，該檢測系統(tǒng)很好地將劃痕缺陷從鋁制工件背景紋理中區(qū)分出來，污漬沒有被誤檢為缺陷，錯位的劃痕也成功地被完整檢測出。

圖11 測試集圖像的檢測結果

將本文算法與其它主流目標檢測算法YOLOv3[19]、SSD512[20]、CornerNet和FCOS作對比，檢測結果見表2。YOLOv3和SSD512屬于anchor-based方法，AP分別為69.2%和77.1%。后兩者屬于anchor-free方法，CornerNet是keypoint-based 算法的代表，核心思想是分別提取左上角和右下角點的特征并預測角點的位置，該方法AP為79.6%，召回率為97.7%。FCOS是pixel-wise算法的代表，核心思想是直接對目標框中每個像素點到目標框四邊的距離進行回歸定位，該方法AP達到85.1%，召回率達到98.9%。本文算法AFKPDD檢測結果AP達到89.8%，召回率達到97.7%，AP在所有算法中達到最高。

表2 多種算法缺陷檢測結果

為了驗證本文所提出改進策略的有效性，進行了一系列的自對比實驗，具體檢測結果見表3。方法1采用基于關鍵點的檢測模塊，特征提取網(wǎng)絡為單一的ResNet50。方法2采用多尺度特征提取網(wǎng)絡，AP提升了5.4%。方法3使用了隨機遮擋數(shù)據(jù)增強手段，使小樣本訓練性能得到提高。由于劃痕較淺，邊界不明顯，劃痕之間的語義特征十分相近，經(jīng)實驗驗證，不適合多樣本混合的數(shù)據(jù)增強方法。方法4在多尺度特征提取網(wǎng)絡中加入可變形卷積，檢測出的劃痕更完整，定位更準確，AP提升了1.6%。方法5為完整的AFKPDD算法，相比方法4，增加了多任務學習策略，AP達到89.8%，輔助任務設置如下：對NEU-DET中裂紋、夾雜物、斑塊、麻點和滾壓5類鋼材表面缺陷進行檢測，所用樣本數(shù)量與主任務的訓練樣本數(shù)相同。自對比實驗結果表明，AFKPDD算法能有效提升缺陷檢測網(wǎng)絡的綜合性能。

表3 自對比實驗結果

為了驗證提出模型的泛化能力，在數(shù)據(jù)集NEU-DET上進行了驗證實驗。表4比較了多種算法在NEU-DET數(shù)據(jù)集上的AP結果。其中，AFKPDD算法的多任務學習將鋁制工件內(nèi)壁缺陷檢測設置為輔助任務。實驗結果表明，本文提出的AFKPDD算法適用于NEU-DET數(shù)據(jù)集，裂紋、夾雜物、斑塊、麻點、滾壓和劃痕的AP分別為69.7%、87.0%、96.4%、89.8%、75.8%和96.7%。NEU-DET數(shù)據(jù)集中的劃痕檢測AP結果高于本文鋁制工件內(nèi)壁數(shù)據(jù)集的原因主要有兩點：一是NEU-DET樣本數(shù)大于鋁制工件內(nèi)壁樣本數(shù)；二是NEU-DET的劃痕特征較為單一，受背景影響小。NEU-DET中的劃痕類別的AP和6種缺陷的平均AP(mAP)在本文算法AFKPDD上表現(xiàn)最佳，分別為96.7%和84.9%，驗證了本文模型針對細長劃痕檢測的適用性。

表4 各算法在NEU-DET上的檢測結果

4 結束語

針對工件表面圖像劃痕缺陷尺寸比例異常、背景紋理復雜、矩形邊界框與目標輪廓的契合度低等問題，提出了一種基于無錨框關鍵點的目標檢測算法AFKPDD。設計了

多尺度特征提取模塊，更充分地利用了不同層、不同分辨率特征的信息；在多尺度特征提取模塊中加入可變形卷積，可以根據(jù)缺陷的尺度和形狀改變感受野和采樣位置；采用基于無錨框關鍵點的檢測模塊，以適應細長缺陷的形狀，提取更有效的圖像特征；設計了一種數(shù)據(jù)增強方法和多任務學習策略，提升了模型的整體性能。對工件內(nèi)壁圖像采集并制作成包含400張圖片的鋁制工件內(nèi)壁數(shù)據(jù)集，AFKPDD算法在該數(shù)據(jù)集上的AP達到89.8%，優(yōu)于其它目標檢測算法。AFKPDD算法在NEU-DET數(shù)據(jù)集中的劃痕檢測結果AP達到96.7%。實驗結果表明，本文算法能很好地實現(xiàn)工件表面劃痕缺陷的檢測，算法泛化性較強。