劉建紅

(天津職業(yè)大學(xué)，天津300410)

鍛造裂紋的識(shí)別與檢測(cè)是大型鍛件熱鍛過(guò)程中質(zhì)量控制的一個(gè)重要環(huán)節(jié)。傳統(tǒng)條件下，大型鍛件鍛造裂紋的檢測(cè)主要依靠人工在線識(shí)別、記錄，由于鍛造現(xiàn)場(chǎng)的特殊性，只能通過(guò)遠(yuǎn)距離觀察，記錄工序環(huán)節(jié)和出現(xiàn)的位置，估算裂紋的尺度，用于后續(xù)產(chǎn)品質(zhì)量跟蹤。目前雖然可以通過(guò)攝像頭、數(shù)碼相機(jī)等影像設(shè)備來(lái)比較容易的實(shí)現(xiàn)鍛造圖像采集，但是還無(wú)法依靠計(jì)算機(jī)來(lái)準(zhǔn)確地判斷出特定時(shí)刻鍛件是否存在鍛造裂紋，以及自動(dòng)確定裂紋的位置和尺度等信息，而實(shí)現(xiàn)這個(gè)流程的自動(dòng)化關(guān)鍵在于圖像的智能識(shí)別與分析。

當(dāng)前，深度學(xué)習(xí)領(lǐng)域特別是在計(jì)算機(jī)視覺(jué)方面發(fā)展迅速[1]，已經(jīng)能夠在復(fù)雜的環(huán)境工況下，進(jìn)行準(zhǔn)確、高效的特征識(shí)別，并在此基礎(chǔ)上實(shí)現(xiàn)智能決策。同時(shí)，現(xiàn)在已經(jīng)存在很多針對(duì)一般性數(shù)據(jù)集的預(yù)訓(xùn)練模型，在此基礎(chǔ)上，針對(duì)具體的問(wèn)題，采用遷移學(xué)習(xí)，可以以很少的數(shù)據(jù)量和計(jì)算量針對(duì)特征相對(duì)具體的數(shù)據(jù)集獲得非常高的特征識(shí)別效果。

本文以熱鍛過(guò)程中鍛造裂紋的檢測(cè)為研究對(duì)象，依托百度AI的Easydl Pro深度學(xué)習(xí)平臺(tái)，針對(duì)采用手機(jī)及卡片機(jī)拍攝的約100張包含鍛造裂紋的熱鍛現(xiàn)場(chǎng)照片小型數(shù)據(jù)集進(jìn)行了矩形框檢測(cè)識(shí)別訓(xùn)練，并采用平臺(tái)目前所提供的SSD-MobileNet、YOLOv3-DarkNet以及Faster_R-CNN-ResNet50-FPN(以下分別簡(jiǎn)記為SSD、YOLO、FRCNN)三種深度網(wǎng)絡(luò)模型進(jìn)行了識(shí)別效果對(duì)比和討論。

圖1 基于深度學(xué)習(xí)網(wǎng)絡(luò)的鍛造裂紋自動(dòng)檢測(cè)流程Figure 1 Automatic detection process for forging crackbased on deep learning network

1 鍛造裂紋自動(dòng)檢測(cè)模型訓(xùn)練流程

基于深度學(xué)習(xí)的鍛造裂紋的檢測(cè)識(shí)別過(guò)程屬于圖像深度學(xué)習(xí)問(wèn)題中物體檢測(cè)類問(wèn)題，可以按照物體檢測(cè)的流程來(lái)進(jìn)行實(shí)施。如圖1所示，首先，需要搜集整理一定量的能夠反映鍛造現(xiàn)場(chǎng)圖像采集環(huán)境的、存在鍛造裂紋的照片。在此基礎(chǔ)上，需要人為的對(duì)圖像中的鍛造裂紋區(qū)域進(jìn)行標(biāo)記，從而形成具有標(biāo)記信息的鍛造裂紋圖片數(shù)據(jù)集。之后，還需要選取具有圖像檢測(cè)能力的深度學(xué)習(xí)模型。本文所采用的SSD、YOLO以及Faster-RCNN模型均為當(dāng)前識(shí)別效果較好的深度網(wǎng)絡(luò)模型，其中前兩者相對(duì)較快，后者識(shí)別精度較高。在準(zhǔn)備好數(shù)據(jù)集以及深度學(xué)習(xí)模型后，就可以依托深度學(xué)習(xí)框架對(duì)模型進(jìn)行訓(xùn)練，當(dāng)前比較主流的深度學(xué)習(xí)框架包括Tenserflow、Caffe、PyTorch等，其中國(guó)內(nèi)以百度的PaddlePaddle比較典型，而本文采用的Easydl平臺(tái)是基于PaddelPaddel框架的定制化平臺(tái)，能夠比較方便的進(jìn)行圖像標(biāo)記、創(chuàng)建訓(xùn)練任務(wù)以及模型部署，比較適合工程問(wèn)題的快速實(shí)現(xiàn)。

此外，對(duì)于一般性的深度學(xué)習(xí)問(wèn)題，如果模型的內(nèi)部參數(shù)是隨機(jī)的，那么這個(gè)訓(xùn)練過(guò)程會(huì)非常耗時(shí)，而且效果也不太好，因此一般的訓(xùn)練都是采用經(jīng)過(guò)預(yù)訓(xùn)練的模型。對(duì)于圖像相關(guān)的問(wèn)題，這種預(yù)訓(xùn)練的模型通常是建立在對(duì)大量一般性圖片數(shù)據(jù)集的特征識(shí)別基礎(chǔ)上的，其所提供的預(yù)訓(xùn)練模型內(nèi)部參數(shù)已經(jīng)針對(duì)圖像的特征識(shí)別問(wèn)題進(jìn)行過(guò)訓(xùn)練與優(yōu)化，在此基礎(chǔ)上針對(duì)特定的圖像數(shù)據(jù)集進(jìn)行定制化訓(xùn)練能夠在較短的時(shí)間內(nèi)獲得較好的訓(xùn)練效果。本文所采用的三類預(yù)訓(xùn)練模型均為Easydl平臺(tái)內(nèi)置的預(yù)訓(xùn)練模型。

圖2 訓(xùn)練用的D1-D3數(shù)據(jù)集示例Figure 2 Examples of D1-D3 datasets for training

圖3 測(cè)試數(shù)據(jù)集D4典型照片F(xiàn)igure 3 Typical photographs of the test datasets D4

圖4 對(duì)裂紋進(jìn)行矩形框標(biāo)注后的典型照片F(xiàn)igure 4 Typical photographs of cracks markedwith rectangular frames

2 鍛造裂紋數(shù)據(jù)集

本文所采用的數(shù)據(jù)集包含三個(gè)版本D1、D2和D3，如圖2所示，其中下部大圖為數(shù)據(jù)集典型照片，白色矩形框?yàn)闃?biāo)記位置。

(1)D1為原始的數(shù)據(jù)集，包含108張照片。在對(duì)該數(shù)據(jù)集標(biāo)注的過(guò)程中，以盡可能多的囊括全部鍛造裂紋的區(qū)域作為標(biāo)注原則，因此一些疑似區(qū)域、一些非常小的裂紋區(qū)域均作了標(biāo)注。

(2)D2數(shù)據(jù)集包含102張照片，在D1基礎(chǔ)上，剔除了6張非鍛造過(guò)程中以及比較模糊的鍛件照片，剔除了一些小尺度的、疑似的裂紋標(biāo)記。由于當(dāng)前數(shù)據(jù)集比較小，對(duì)于鍛前大量覆蓋氧化皮的情形，即便是在鍛造現(xiàn)場(chǎng)也很難區(qū)分裂紋與氧化碎裂縫隙，因此這里將這些照片也進(jìn)行了剔除。同時(shí)小的裂紋，以及一些具有裂紋特征但是尺寸圓滑的鍛件表面凹陷，如果不進(jìn)一步發(fā)展，對(duì)于鍛造質(zhì)量的影響非常有限，因此識(shí)別這些特征增加了計(jì)算難度，但是實(shí)際意義不大，在D2數(shù)據(jù)集中不再對(duì)這種區(qū)域進(jìn)行標(biāo)注。

(3)D3數(shù)據(jù)集包含100張照片，是在D2數(shù)據(jù)集基礎(chǔ)上進(jìn)一步剔除了兩張模糊照片，并僅保留了對(duì)特征非常清晰的裂紋的標(biāo)注。D2雖然剔除了一部分小裂紋及疑似裂紋，但是剔除的非常有限，相對(duì)而言，D3剔除的更為激進(jìn)。這樣處理主要是檢驗(yàn)數(shù)據(jù)的篩選甄別對(duì)模型效果的影響。

除了訓(xùn)練數(shù)據(jù)集，這里準(zhǔn)備了由30張照片組成的測(cè)試數(shù)據(jù)集D4。前述的訓(xùn)練數(shù)據(jù)既有鍛造過(guò)程的，也有鍛件翻轉(zhuǎn)、轉(zhuǎn)運(yùn)等階段的照片，以及一些拍攝角度比較偏和拍攝效果不太理想的照片，比如從鍛件側(cè)面拍攝的，以及拍攝存在模糊，從而最大程度地與鍛造環(huán)境中一般檢測(cè)者的視角保持一致，但是對(duì)于關(guān)鍵階段的鍛造裂紋檢測(cè)與記錄，圖像的采集一般是有所選擇性的，比如專門(mén)針對(duì)鐓粗階段采集圖像，或者針對(duì)成品階段采集圖像，在這種情形下所拍攝的照片會(huì)比較典型，而測(cè)試數(shù)據(jù)集D4就是針對(duì)這種情形進(jìn)行遴選的，用來(lái)考察訓(xùn)練出的模型針對(duì)典型環(huán)境下的裂紋識(shí)別的效果。

3 數(shù)據(jù)集訓(xùn)練與結(jié)果對(duì)比

在準(zhǔn)備好上述數(shù)據(jù)集的基礎(chǔ)上，基于Easydl Pro平臺(tái)，對(duì)數(shù)據(jù)集進(jìn)行了矩形框標(biāo)注，即對(duì)裂紋位置采用盡可能緊致的矩形框進(jìn)行了標(biāo)記并在平臺(tái)中保存標(biāo)記信息，典型照片如圖4所示。由于本文只研究鍛造裂紋，因此只創(chuàng)建了“crack”這一種標(biāo)記標(biāo)簽。

數(shù)據(jù)標(biāo)注完畢后，就可以創(chuàng)建深度學(xué)習(xí)任務(wù)。

表1 訓(xùn)練任務(wù)基本參數(shù)及訓(xùn)練效果對(duì)比Table 1 Comparison of basic parameters and training effects of the training tasks

表2 基于V5的第二次訓(xùn)練效果Table 2 The second training effect based onV5 training task

采用FRCNN模型進(jìn)行模型訓(xùn)練的過(guò)程中，需要用到錨框，通過(guò)不同長(zhǎng)寬比、不同大小的錨框來(lái)對(duì)需要檢測(cè)的裂紋進(jìn)行篩選識(shí)別。默認(rèn)設(shè)置下錨框的長(zhǎng)寬比有0.5、1.0、2.0三種。錨框的選取對(duì)于識(shí)別的效果會(huì)產(chǎn)生影響。鍛造裂紋常規(guī)條件下一般表現(xiàn)為細(xì)長(zhǎng)狀，即具有較大的長(zhǎng)寬比，因此，這里在默認(rèn)的基礎(chǔ)上，對(duì)部分訓(xùn)練任務(wù)增加了多個(gè)錨框的長(zhǎng)寬比，如表1所示V4、V5、V10幾個(gè)訓(xùn)練版本。除此之外，包括SSD、YOLO模型在內(nèi)的其他訓(xùn)練任務(wù)均采用平臺(tái)的默認(rèn)參數(shù)設(shè)置。最終創(chuàng)建的10個(gè)訓(xùn)練任務(wù)的訓(xùn)練結(jié)果如表1所示，其中閾值為平臺(tái)根據(jù)計(jì)算給出的能夠獲得最好的評(píng)價(jià)效果的門(mén)檻值，mAP表示在當(dāng)前閾值下正確識(shí)別并標(biāo)記裂紋的準(zhǔn)確率。精確率指的是預(yù)測(cè)為裂紋的位置有多少比率是正確的，而召回率指的是標(biāo)記的裂紋有多少被正確識(shí)別。對(duì)于鍛造裂紋而言，在無(wú)法正確識(shí)別的前提下，從保守的角度來(lái)考慮，一些疑似位置被識(shí)別為裂紋是允許的，但是裂紋位置沒(méi)有被識(shí)別則存在潛在的危害性，因此在mAP相同水平下，訓(xùn)練的模型應(yīng)盡可能保持低精確率和高召回率。

(1)數(shù)據(jù)集的對(duì)比

從表1可見(jiàn)，通過(guò)適當(dāng)剔除干擾數(shù)據(jù)的D2數(shù)據(jù)集可以獲得最優(yōu)的裂紋識(shí)別結(jié)果，對(duì)于已標(biāo)記數(shù)據(jù)能夠達(dá)到77%以上的準(zhǔn)確率。但是進(jìn)一步剔除數(shù)據(jù)的D3數(shù)據(jù)集的實(shí)際訓(xùn)練效果并不佳，反而劣于D2數(shù)據(jù)集的訓(xùn)練效果，準(zhǔn)確率整體在70%以下。

(2)深度學(xué)習(xí)模型的對(duì)比

從所采用的三類深度學(xué)習(xí)模型來(lái)看，SSD模型的訓(xùn)練結(jié)果最差，YOLO模型的訓(xùn)練結(jié)果雖然優(yōu)于SSD模型，但是較FRCNN模型存在明顯的差別。雖然理論上SSD、YOLO模型的計(jì)算效率較高，但是對(duì)于當(dāng)前數(shù)據(jù)集而言與FRCNN的識(shí)別精度差別過(guò)于明顯。由于數(shù)據(jù)集有限，無(wú)法檢驗(yàn)增大數(shù)據(jù)集量后是否能夠縮小模型間的識(shí)別精度差別。

(3)錨框的長(zhǎng)寬比

根據(jù)表1的訓(xùn)練結(jié)果，通過(guò)V1、V4的對(duì)比以及V5、V6的對(duì)比可以看出增加錨框的長(zhǎng)寬比，使錨框尺度與鍛造裂紋的尺度匹配性更好，能夠適度改進(jìn)模型的識(shí)別效果，準(zhǔn)確率略有提升，可以獲得更高的召回率。

綜合評(píng)價(jià)上述結(jié)果，V5模型的表現(xiàn)最為優(yōu)異。因此，在上述訓(xùn)練對(duì)比的基礎(chǔ)上，針對(duì)V5模型進(jìn)行了進(jìn)一步的測(cè)試數(shù)據(jù)集檢驗(yàn)以及識(shí)別效果驗(yàn)證。

4 識(shí)別效果驗(yàn)證

在模型訓(xùn)練基礎(chǔ)上，采用V5訓(xùn)練任務(wù)相同的設(shè)定條件對(duì)D2數(shù)據(jù)集進(jìn)行了第二次訓(xùn)練，同時(shí)將D4設(shè)為測(cè)試數(shù)據(jù)集驗(yàn)證訓(xùn)練效果，訓(xùn)練結(jié)果如表2所示。

由于深度學(xué)習(xí)的特性，即便在相同的數(shù)據(jù)集以及相同的預(yù)訓(xùn)練模型條件下，所獲得的訓(xùn)練結(jié)果也會(huì)存在一定的差異，可以看出第二次訓(xùn)練的mAP等指標(biāo)相比V5模型略有浮動(dòng)，但是基本相同，準(zhǔn)確率約78%，接近80%。相對(duì)而言，針對(duì)測(cè)試數(shù)據(jù)集，模型的檢驗(yàn)效果很好，準(zhǔn)確率接近90%，精確率和召回率均在90%左右。由此可見(jiàn)，當(dāng)前訓(xùn)練的模型雖然受數(shù)據(jù)集規(guī)模的影響，對(duì)于一般性場(chǎng)景的檢測(cè)準(zhǔn)確率不到80%，但是如果以裂紋檢測(cè)為目的有意識(shí)的獲取圖像，確保圖像不至于太模糊，光線適中，則檢測(cè)效果非常良好。需要說(shuō)明的是，表2的測(cè)試數(shù)據(jù)是建立在平臺(tái)根據(jù)訓(xùn)練結(jié)果確定的不同閾值水平上的，圖5為Easydl平臺(tái)給出F1-score與閾值的關(guān)系，而F1-score為精確率與召回率的調(diào)和平均數(shù)，可見(jiàn)對(duì)于當(dāng)前模型，閾值對(duì)mAP等指標(biāo)的影響很小，對(duì)mAP等指標(biāo)的對(duì)比是可靠的。

圖5 由Easydl平臺(tái)給出的針對(duì)D2數(shù)據(jù)集第二次訓(xùn)練獲得的F1-score與閾值的關(guān)系Figure 5 Relation between F1-score and threshold of the 2nd training of D2 datasets offered by Easydl platform

圖6 采用訓(xùn)練好的模型對(duì)鍛造裂紋的檢測(cè)效果Figure 6 Forging crack detection effects examinedby the trained model

圖6是采用訓(xùn)練好的模型分別對(duì)鐓粗和拔長(zhǎng)壓實(shí)階段的鍛造裂紋的識(shí)別與檢測(cè)結(jié)果?？梢钥闯?，當(dāng)前訓(xùn)練好的模型能夠?qū)﹀懺炝鸭y進(jìn)行準(zhǔn)確標(biāo)記、識(shí)別，并可以返回裂紋在圖像中的位置以及尺度信息，經(jīng)過(guò)尺寸標(biāo)定后可以用于工藝研究與質(zhì)量跟蹤。

5 總結(jié)

本文基于Easydl Pro深度學(xué)習(xí)平臺(tái)，在較小的數(shù)據(jù)量(100張普通質(zhì)量照片)條件下，采用FRCNN深度學(xué)習(xí)模型，針對(duì)一般鍛件場(chǎng)景實(shí)現(xiàn)了78%的鍛造裂紋識(shí)別準(zhǔn)確度，針對(duì)鍛造實(shí)施過(guò)程中典型檢測(cè)場(chǎng)景實(shí)現(xiàn)了90%的鍛造裂紋識(shí)別準(zhǔn)確度。

本文受數(shù)據(jù)量限制，模型精度還存在進(jìn)一步改善空間，在此基礎(chǔ)上，如果能進(jìn)一步加大訓(xùn)練數(shù)據(jù)量，應(yīng)能獲得可以代替人工質(zhì)檢的鍛造裂紋識(shí)別及檢測(cè)能力。