周如辰，游昌壕，潘永東

(同濟大學 航空航天與力學學院，上海 200092)

0 引言

硬度是反映材料力學性能的基本指標[1]。布氏硬度法是通過加載一定大小的載荷力將硬質鋼球壓入待測物體表面[2]，通過壓痕直徑換算試件的硬度。因為該方法的壓痕較大，相較于里氏硬度法有更高的準確性。

布氏硬度檢測方法數(shù)值穩(wěn)定，但是現(xiàn)有方法[3]絕大多數(shù)都是在20倍顯微鏡通過人工讀取壓痕直徑，然后人工對照直徑硬度換算表格來確定待測物體硬度值，該方法在工廠生產(chǎn)工況下檢測效率低下，且有較大檢驗誤差。

針對布氏硬度法檢測[4]過程中需要使用光學儀器人工找點檢測壓痕直徑效率低的情況，李和平[5]提出根據(jù)壓痕深度計算出壓痕直徑及布氏硬度，方法并沒有經(jīng)過廣泛驗證，且設備長期使用后精度可能會丟失。西北工業(yè)大學[6]提供了一種硬度塊壓痕直徑測量方法及裝置，通過圖像處理，最后采用最小二乘法擬合提取壓痕擬合直徑得到布氏硬度。單忠德[7]等根據(jù)機器視覺[8]相關理論提出了基于粒子群動態(tài)輪廓模型(Snake模型[9])的壓痕輪廓提取算法，并通過引入壓痕直徑標定系數(shù)，解決了視覺測量中的壓痕直徑像素與壓痕物理直徑的換算關系，并對直徑標定系數(shù)進行最小二乘法擬合，提高了測量精度。但他們的測量大多數(shù)是在圖像輪廓很清晰的條件下進行的，對于工件表面反光不佳，表面銹蝕導致壓痕輪廓清晰度降低的圖像，該算法會失效，本文嘗試用該算法檢測銹蝕金屬表面的布氏壓痕，識別效果如圖1所示，可見該算法針對壓痕輪廓清晰的圖片有較好的效果，針對壓痕輪廓不清晰的情況則效果不佳。

圖1 使用改進的snake算法檢測布氏硬度壓痕的效果圖示例

近年來，深度學習在機器視覺[10]領域興起。深度學習通過建立神經(jīng)元網(wǎng)絡從圖片中提取有用的信息，通過不斷優(yōu)化損失函數(shù)的方式訓練，最后得到特征與目標之間映射的深度學習模型[11]。FasterRCNN[12]網(wǎng)絡作為目標檢測[13]方法的一種，在數(shù)據(jù)標注過程中，除了標注類別之外，還通過標注矩形框標注了目標物體。在矩形框內(nèi)的屬于目標物體的正例部分，在矩形框外的屬于目標物體外的負例部分。因此使用該網(wǎng)絡進行訓練，不僅可以識別目標物體，并且可以得到目標在圖像中所處的位置和大小。本文目的是完成布氏硬度壓痕圓識別，計算布氏硬度壓痕圓直徑兩個功能，通過FasterRCNN網(wǎng)絡可以完成布氏硬度壓痕圓識別，通過布氏硬度壓痕圓定位框大小位置計算布氏硬度壓痕圓直徑兩個功能，解決布氏硬度法測量布氏硬度壓痕直徑大小的問題。針對布氏硬度壓痕特點，適當對FasterRCNN網(wǎng)絡進行改進可以提高布氏硬度壓痕圓直徑的測量精度[14]。本文首次提出通過FasterRCNN網(wǎng)絡檢測布氏硬度壓痕，針對布氏壓痕特點改進FasterRCNN網(wǎng)絡，可以在光滑或銹蝕金屬表面自動[15]提取布氏硬度壓痕輪廓并提高布氏硬度壓痕圓直徑的測量精度，彌補傳統(tǒng)機器視覺算法提取壓痕輪廓的不足。

1 數(shù)據(jù)獲取

1.1 數(shù)據(jù)采集

基于FasterRCNN的布氏硬度法采用布氏硬度標準測試塊[16]，選取5種型號200HBW10/3000，300HBW10/3000，400HBW10/3000，500HBW10/3000，600HBW10/3000。每種型號硬度塊選取一塊，對于每個硬度塊[17]，本文對其正面涂油保存，反面不涂油保護，在潮濕環(huán)境下使得試塊正面呈現(xiàn)銹蝕斑點，另一面保持光滑平整。200HBW10/3000含義是指在14 710 N(15 000 kgf)的試驗載荷作用下，將直徑為10 mm的淬硬鋼球壓入試塊，保持10～15 s時，測得的布氏硬度值為200。本文采用14 710(15 000 kgf)的試驗載荷壓入鋼球[18]，保持時間10～15 s，對每種型號試塊銹蝕面和非銹蝕面各留10個壓痕。本文采用1 000倍USB電子放大鏡，對每個壓痕處于鏡頭中不同位置拍攝10張照片，共計1 000張照片。同時采集不存在布氏硬度壓痕的照片200張，提取儲存格式為Jpg，分辨率大小為640*480。

1.2 數(shù)據(jù)標注

對不包含壓痕圓的200張圖片數(shù)據(jù)不進行矩形框標注，作為數(shù)據(jù)集中的正常類圖片，作對照組。

針對數(shù)據(jù)集中存在壓痕圓的圖片，本文通過矩形框標注壓痕圓在圖片中的直徑與矩形框位置，運用三點求圓法得到矩形框所處的位置與直徑。

數(shù)據(jù)標注過程前，手動標注出照片中分布于壓痕邊緣的15個點，從15個點中任意選取3個點能得到105組圓的直徑數(shù)據(jù)和中心位置。在每組測量(第m組)過程中，選取的3個點在圖像坐標系中的像素坐標為(xmi，ymi)，(xmj，ymj)，(xmk，ymk)，第m組測量測得圓的半徑rm，中心位置(xm，ym)，那么有：

(1)

式(1)的第一式和第二式相減，第一式和第三式相減可得：

(2)

那么：

(3)

其中：

(4)

可見，通過第m組測量得到的像素坐標(xmi，ymi)，(xmj，ymj)，(xmk，ymk)可求得第m組圓的半徑rm，中心位置(xm，ym)。本文求取105組圓的半徑rm及中心位置(xm，ym)的平均值作為該張照片壓痕圓的真實半徑r0(此處的直徑指的是圖片中圓的直徑對應的像素值大小，本文下面出現(xiàn)的直徑指的此含義)及中心位置(x0，y0)，該關系如式(5)所示：

(5)

在圖片標注過程中，通過確定頂點坐標(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)來標注矩形框，標注過程如圖2所示。矩形框與圖像中的壓痕圓相切，故頂點坐標可依據(jù)壓痕圓的半徑r0，中心位置(x0，y0)給出，該關系如式(6)所示：

圖2 圖像數(shù)據(jù)的標注過程

(6)

數(shù)據(jù)集實際采集1 200張圖片，其中200張圖片不含壓痕圓，沒有檢測框，作為數(shù)據(jù)集的負例部分。在1 000張存在布氏硬度壓痕的照片中，布氏硬度壓痕的位置，大小和背景都存在差異，可適用于本實驗的訓練目標。本文提出的基于布氏硬度檢測的FasterRCNN模型為單類別目標檢測，數(shù)據(jù)量少會導致泛化能力差，模型過擬合等問題，因此需要進行數(shù)據(jù)增強。數(shù)據(jù)增強主要是對采集到的圖片采取左右翻折，上下翻折處理，同時針對實際工況中的不同光照條件，對模型進行隨機調整亮度對比度處理，數(shù)據(jù)增強示例如圖3所示，經(jīng)過數(shù)據(jù)增強后的數(shù)據(jù)集總共包含4 800張圖片。由于數(shù)據(jù)集是按批次送入神經(jīng)網(wǎng)絡中訓練，數(shù)據(jù)量的增長并不會增加模型的訓練運算量，顯存占用量。數(shù)據(jù)增強的優(yōu)點是解決模型過擬合[19]，泛化能力差的缺點，使得模型的魯棒性增強，同時提高模型在不同亮度條件下的檢測能力。

圖3 訓練數(shù)據(jù)集數(shù)據(jù)增強的3種擴充方法

經(jīng)過增強的數(shù)據(jù)集包含4 800張照片。本文對照片標注類別為壓痕，并標注矩形邊框，同時以 PASCAL VOC 的格式保存數(shù)據(jù)集[20]。

2 改進FasterRCNN模型

2.1 FasterRCNN神經(jīng)網(wǎng)絡模型

FasterRCNN是一種端到端目標檢測算法，通過卷積運算提取特征，對候選框大小及目標類型進行回歸達到實時檢測要求。FasterRCNN主要由卷積層，RPN網(wǎng)絡，RoiPooling層和分類層4個部分組成，如圖4所示。

圖4 原始的FasterRCNN模型

1)圖像特征選取網(wǎng)絡：FasterRCNN基于卷積神經(jīng)網(wǎng)絡[21](VGG16[22]，ResNet50[23])提取圖片中的特征矩陣，該特征矩陣將被作為后續(xù)RPN層和全連接層[24]的輸入。

2)RPN網(wǎng)絡(圖像特征選取網(wǎng)絡)：RPN網(wǎng)絡(Region Proposal Networks)的作用是生成目標檢測候選區(qū)域。該層通過softmax層判斷錨框屬于前景或背景并標記，再利用邊框回歸調整候選錨框的大小，讓目標檢測候選區(qū)域更準確，更貼近真實的正例檢測區(qū)域。

3)Roi Pooling層(感興趣區(qū)域池化層)：Roi Pooling層將RPN網(wǎng)絡輸出的特征和RPN網(wǎng)絡輸出的目標檢測候選區(qū)域作為輸入，提取其中的綜合信息得到感興趣區(qū)域，將感興趣區(qū)域池化為固定尺寸的特征圖。

4)Classification層(分類層)：Classification層利用Roi Pooling層輸出的特征矩陣進行兩個工作：1)判斷候選區(qū)域的類別；2)再次進行邊框回歸得到檢測框的準確位置，讓目標檢測候選區(qū)域更準確，更貼近真實的正例檢測區(qū)域。

2.2 改進邊框回歸

在圖像坐標系中，一個矩形邊框可以用其中心位置坐標(a，b)及矩形邊框的寬w與高h表示。故本文采用矩形邊框的中心位置坐標及邊框的寬與高(a，b，w，h)來定義矩形邊框。

基于FasterRCNN的布氏硬度檢測方法通過FasterRCNN模型實現(xiàn)布氏壓痕圓邊緣的提取，目標檢測框內(nèi)為圖片正例部分，即模型認為存在布氏硬度壓痕的區(qū)域，目標檢測框外為圖片負例部分，即模型認為不存在布氏硬度壓痕的區(qū)域。目標檢測框為最大覆蓋存在布氏硬度壓痕的矩形區(qū)域，布氏硬度壓痕的形狀為圓形，因此布氏壓痕圓會相切于目標檢測框。進一步，本文通過獲取FasterRCNN模型輸出的檢測邊框的寬woutput與高houtput來計算壓痕圓[25]的直徑d，該關系如式(7)所示：

(7)

在FasterRCNN網(wǎng)絡中，RPN網(wǎng)絡會先經(jīng)過3×3的卷積運算，然后網(wǎng)絡分為兩條支路。第一條路線用來判斷候選框是前景還是背景，它先把輸入的候選框特征矩陣映射到一維向量，然后采用softmax函數(shù)來判斷候選框是前景還是背景，然后把它恢復為二維特征矩陣。第二條路線路用來確定候選框的位置，通過邊框回歸(bounding box regression)實現(xiàn)。經(jīng)過兩路計算結束后，挑選出前景候選框，并利用計算得到候選框準確位置，生成特征子圖。同時在最后的classification層(分類層)會再次利用到邊框回歸(bounding box regression)用于回歸更加精確的目標檢測框。

在RPN網(wǎng)絡中，RPN對于錨框的設置為默認的9種(默認為3種尺度{322，642，1282}，3種寬高比{1∶2，1∶1，2∶1})。如圖5(a)所示，已知黑色為當前的選區(qū)，即錨框(在RPN網(wǎng)絡中設置)，白色代表真實的選區(qū)，當前的選區(qū)可以大概率選擇出目標物，但是離真實選區(qū)中的真實位置和形狀仍然還有較大誤差。

在classification層中，Classification層利用Roi Pooling層輸出的特征矩陣的信息，得到候選區(qū)域的位置。如圖5(b)所示，黑色為候選區(qū)域的位置，白色代表真實的窗口，經(jīng)過RPN網(wǎng)絡和Roi Pooling層輸出的候選區(qū)域已經(jīng)可以覆蓋大部分目標正例區(qū)域，但是離真實檢測框的位置和形狀仍然還有調整空間。

圖5 圖像的真實選區(qū)和當前選區(qū)

(8)

在具體的邊框回歸過程中，主要進行如下變換:

1)先對候選區(qū)域A的中心位置進行平移變換(Δx，Δy)，該關系如式(9)所示:

Δx=wodx(ao，bo，wo，ho)

Δy=hody(ao，bo，wo，ho)

(9)

其中:dx，dy為FasterRCNN模型在平移變換時的映射，映射關系需要通過模型訓練學習。

經(jīng)過平移變換后的回歸窗口G′的中心位置與候選區(qū)域A的中心位置之間的關系如式(10)所示：

(10)

2)再對檢測框進行尺度縮放(Aw，Ah)，該關系如式(11)所示：

Aw=exp(dw(ao，bo，wo，ho))

Ah=exp(dh(ao，bo，wo，ho))

(11)

其中:dw，dh為FasterRCNN模型在尺度縮放時的映射，映射關系需要通過模型訓練學習。

經(jīng)過尺度縮放后的回歸窗口G′的寬和高與候選區(qū)域A的中心位置之間的關系如式(12)所示：

(12)

真實窗口G與候選區(qū)域A之間的真實平移變換值(tx，ty)和真實尺度變換值(tw，th)如該關系如式(13)所示：

(13)

將真實平移變換值(tx，ty)和真實尺度變換值(tw，th)定義為真實值t*=(tx，ty，tw，th)

相應的，本文將預測平移變換值(dx，dy)和預測尺度變換值(dw，dh)定義為預測值d*=(dx，dy，dw，dh)，目標函數(shù)如式(14)所示：

d*=w*TP

(14)

其中:p=(ao，bo，wo，ho)作為輸入特征向量，w*為要學習的參數(shù)(*x，y，w，h，每個變換對應一個目標函數(shù))。

如圖6所示，當候選區(qū)域A與真實窗口G之間位置相差較小，可認為是一種線性變化，故對其采用線性回歸模型建模。在傳統(tǒng)的FasterRCNN中采用smooth L1 loss作為邊框回歸(bounding box regression)的損失函數(shù)，smooth L1函數(shù)公式為：

圖6 改進后的FasterRCNN模型

(15)

在classification層中的邊框回歸的目的是使得預測值d*與真實值t*(*代表x，y，w，h，每個變換代表一個真實值)之間差距最小，因此損失函數(shù)Loss定義為：

(16)

函數(shù)優(yōu)化目標M*定義為：

(17)

(18)

(19)

通過改進邊框回歸(bounding box regression)的損失函數(shù)，能夠使得改進的FasterRCNN模型在檢測布氏硬度壓痕時，預測的檢測框的寬與高之間差距最小?；诟倪MFasteRCNN的布氏硬度檢測能夠在保留FasterRCNN的classification層中的邊框回歸預測值d*與真實值t*之間差距最小的同時，使得預測的檢測框形狀最貼近正方形，更符合布氏硬度壓痕圓的特點，使得模型在布氏硬度的檢測中，表現(xiàn)出更優(yōu)的檢測精度和更好的檢測效果，改進后的FasterRCNN模型網(wǎng)絡如圖6所示。

3 實驗結果與分析

3.1 實驗環(huán)境

本實驗的硬件采用Intel Core i7-8750H CPU @ 2.20GHz八核處理器，LITEON CV8-8E128-11 SATA 128GB固態(tài)硬盤，NVIDIA GeForce GTX 1060 with Max-Q Design顯卡，操作系統(tǒng)環(huán)境采用Ubuntu16.04，采用Tensorflow-gpu深度學習框架，Pycharm編譯環(huán)境。

3.2 實驗參數(shù)

本實驗將數(shù)據(jù)集按訓練集，驗證集，測試集按7∶1∶2的比例進行劃分。在實驗中，傳統(tǒng)FasterRCNN模型采用的模型主干網(wǎng)絡采用ResNet50，使用的最終模型為ResNet50+RPN網(wǎng)絡+ROI Pooling+Classification層。改進的FasterRCNN模型采用的模型主干網(wǎng)絡采用ResNet50，使用的最終模型為ResNet50+RPN網(wǎng)絡+ROI Pooling+改進的Classification層。超參數(shù)的設置在實驗中經(jīng)過不斷優(yōu)化調整最終設置為：訓練步數(shù)20 000步，RPN網(wǎng)絡采取反向傳播和隨機梯度下降進行端到端訓練，優(yōu)化器動量為0.9，權重衰減為0.000 5，學習率learning rate設置為0.000 1，當訓練步數(shù)超過10 000步時，學習率采用固定步長衰減，權值衰減gamma為0.1，步長為step size100。

3.3 實驗評價指標

為了驗證改進的FasterRCNN模型的有效性以及基于FasterRCNN模型的布氏硬度檢測方法的檢測能力，本文評價模型的指標主要分為兩部分：第一部分是去衡量模型正確檢測壓痕圓的能力，第二部分是去衡量模型推導得出壓痕圓直徑的檢測精度。

第一部分通過計算模型準確率Accuracy進行評價，評價指標如下：

總樣本數(shù)為S，圖片含有布氏壓痕且模型預測為布氏壓痕及圖片不含有布氏壓痕且模型預測不含有布氏壓痕的樣本總數(shù)為P，即模型預測正確的樣本總數(shù)，得到準確率Accuracy公式如如式(20)所示：

(20)

根據(jù)式(20)可知，當模型準確率Accuracy指標越大時，表明模型識別壓痕圓的能力越高。

第二部分通過計算模型歸一化均方誤差nMSE進行評價，評價指標如下：

評價該指標時，在檢測正確且檢出布氏硬度壓痕的圖片中，通過將式(5)計算得出的壓痕真實直徑r0與式(7)計算得出的通過模型輸出的壓痕直徑di進行比較，得到歸一化均方誤差nMSE公式如式(21)所示:

(21)

根據(jù)式(21)可知，當歸一化均方誤差nMSE指標越小時，表明模型檢測壓痕直徑的準確度越高。

3.4 實驗結果對比

實驗中使用本文1.2節(jié)中的數(shù)據(jù)集，為了滿足布氏硬度常見工況下的檢測，提高數(shù)據(jù)樣本的多樣性，提取了分別在銹蝕表面以及非銹蝕表面情況下含有布氏硬度壓痕的圖片(如圖7(a)，(b)所示)，銹蝕表面圖片的布氏硬度壓痕邊緣較為模糊，而非銹蝕表面圖片的布氏硬度壓痕邊緣較為清晰。同時添加一定負例，負例中不存在布氏硬度壓痕，包含銹蝕表面以及非銹蝕表面情況下的試塊表面圖片(如圖7(c)，7(d)所示)，進行數(shù)據(jù)增強進一步豐富樣本供模型學習。數(shù)據(jù)集共4 800張圖片，訓練集，驗證集，測試集的數(shù)量分別為3 260張，480張，960張。

圖7 數(shù)據(jù)集部分展示

本實驗采用模型準確率Accuracy，模型歸一化均方誤差nMSE兩個指標對數(shù)據(jù)集中劃分出的測試集部分進行指標評估，對比基于改進的FasterRCNN與傳統(tǒng)的FasterRCNN模型在本文自建的壓痕圓數(shù)據(jù)集中的識別效果，具體結果見表1所示。

表1 FasterRCNN模型與改進的FasterRCNN模型檢測指標對比

從表1中可看出，改進的FasterRCNN模型的準確率Accuracy為97.08%，比傳統(tǒng)的FasterRCNN模型的準確率Accuracy提升 0.73%。綜上所述，改進的FasterRCNN模型對于檢測圖像區(qū)域內(nèi)是否存在壓痕圓有一定的優(yōu)化效果。

此外，改進的FasterRCNN模型的歸一化均方誤差nMSE為0.001 226，相較于傳統(tǒng)的FasterRCNN模型的歸一化均方誤差nMSE降低40.31%。該指標表明了FasterRCNN模型經(jīng)過改進后，使得布氏硬度檢測精度得到提升，魯棒性得以增強。

通過準確率Accuracy，歸一化均方誤差nMSE兩個指標計算比較，可以驗證改進方案的有效性。同時，各項指標都有所提升，表明改進后的FasterRCNN模型對檢測布氏硬度壓痕具有更好的檢測效果，更高的檢測精度。

本文展示部分布氏硬度壓痕的檢測效果，其中原始的布氏硬度壓痕圖像如圖8所示，圖8(a)為表面未銹蝕，表面情況差，壓痕邊緣模糊的圖片，圖8(b)為表面銹蝕，表面情況好，反光效果好，壓痕邊緣清晰的圖片。基于FasterRCNN模型和改進的FasterRCNN模型的布氏硬度檢測效果對比分別如圖9(a)、(b)所示。

圖8 原始布氏硬度壓痕圖

圖9 FasterRCNN模型與改進FasterRCNN模型的壓痕檢測效果對比圖

根據(jù)圖9可知，F(xiàn)asterRCNN網(wǎng)絡對于檢測銹蝕表面以及非銹蝕表面的布氏硬度壓痕都具有很好的檢測效果，表明基于FasterRCNN網(wǎng)絡模型的布氏硬度壓痕檢測方法適用于銹蝕和光滑金屬表面工況。同時改進的FasterRCNN網(wǎng)絡相較于傳統(tǒng)的FasterRCNN網(wǎng)絡，布氏硬度壓痕定位框更為準確，推導得出的布氏硬度壓痕直徑更精準。

4 結束語

本文提出基于改進FasterRCNN模型的布氏硬度檢測方法，建立壓痕圓數(shù)據(jù)集進行模型訓練。通過檢測效果證明，該檢測方法適用于銹蝕和光滑金屬表面工況，可以自動檢測布氏硬度壓痕。

同時，本文針對傳統(tǒng)的FasterRCNN模型的特點與不足，結合布氏硬度檢測的需求和特點，對傳統(tǒng)的FasterRCNN模型進行如下改進：

1)結合布氏硬度檢測的特點，在classification網(wǎng)絡中邊框回歸損失函數(shù)中加入預測檢測框的長與寬的方差，在改進的函數(shù)優(yōu)化目標中加入預測檢測框寬與高之間差距最小，使得基于改進的FasterRCNN模型布氏硬度檢測能夠提供更加準確的目標預測檢測框，取得更精準檢測效果。

2)對自建的數(shù)據(jù)集進行數(shù)據(jù)增強，在不易提取大量圖片時，有效擴充數(shù)據(jù)集數(shù)量，使模型學到更多有效特征，解決模型過擬合，泛化能力差的缺點，使得模型的魯棒性增強，同時提高模型在不同亮度下的判斷能力。

通過對比改進的FasterRCNN模型與傳統(tǒng)FasterRCNN模型的準確率Accuracy，歸一化均方誤差nMSE，發(fā)現(xiàn)改進后的各項指標均較改進前的指標有提升。其中，準確率Accuracy從96.35%提升到97.08%，歸一化均方誤差nMSE從0.002 054降低到0.001 226。證明了改進的FasterRCNN模型對于檢測布氏硬度壓痕圓具有更好的檢測效果，更高的檢測精度，為布氏硬度檢測提供了一種結合深度學習的、有效的測量解決方案。