張玉燕, 任騰飛, 溫銀堂

(1.燕山大學(xué) 電氣工程學(xué)院,河北 秦皇島 066004; 2.燕山大學(xué) 測(cè)試計(jì)量技術(shù)及儀器河北省重點(diǎn)實(shí)驗(yàn)室, 河北 秦皇島 066004)

1 引 言

多功能點(diǎn)陣結(jié)構(gòu)有著高孔隙率的特點(diǎn),具有輕質(zhì)高強(qiáng)、抗爆炸、抗沖擊、高效散熱隔熱、吸收電磁波及聲音等優(yōu)異的性能[1,2]。多功能點(diǎn)陣結(jié)構(gòu)對(duì)于滿足航空航天領(lǐng)域零件大型化、高強(qiáng)度、輕量化等要求具有舉足輕重的作用。點(diǎn)陣結(jié)構(gòu)在制備過程中不可避免會(huì)產(chǎn)生缺陷,這些缺陷將嚴(yán)重降低結(jié)構(gòu)的性能和可靠性。因此掌握缺陷特征及分布狀況對(duì)于指導(dǎo)點(diǎn)陣結(jié)構(gòu)的制造和健康狀態(tài)評(píng)估具有重要的研究意義。

由于點(diǎn)陣結(jié)構(gòu)內(nèi)部復(fù)雜、孔隙率高,通常借助工業(yè)CT技術(shù)和三維重構(gòu)獲取結(jié)構(gòu)斷層圖像,通過人工評(píng)閱CT圖像來實(shí)現(xiàn)缺陷檢測(cè)和識(shí)別。然而面對(duì)大量CT圖像,檢測(cè)人員易受情緒和疲勞影響,檢測(cè)結(jié)果主觀性強(qiáng)、效率低、漏檢誤檢率高。當(dāng)前,關(guān)于3D打印金屬三維點(diǎn)陣結(jié)構(gòu)的缺陷自動(dòng)檢測(cè)方法的相關(guān)研究鮮有報(bào)道,尚未形成統(tǒng)一高效的檢測(cè)標(biāo)準(zhǔn)與方法。因此,如何基于人工智能技術(shù)對(duì)基于CT掃描的檢測(cè)圖像進(jìn)行快速評(píng)閱及自動(dòng)獲取點(diǎn)陣結(jié)構(gòu)件的結(jié)構(gòu)狀態(tài)信息,是亟需深入研究和解決的問題。針對(duì)圖像中缺陷目標(biāo)的檢測(cè)定位與識(shí)別問題,傳統(tǒng)方法是根據(jù)不同性質(zhì)的缺陷,設(shè)計(jì)不同的人工特征[3,4],利用數(shù)學(xué)形態(tài)學(xué)等技術(shù)對(duì)圖像進(jìn)行分割?；谌斯ぴO(shè)計(jì)的特征適用于特征明顯的缺陷,而對(duì)于微小缺陷的微弱特征變化則沒有很好的魯棒性,因此針對(duì)特征微弱、與背景高相似度的3D打印的點(diǎn)陣結(jié)構(gòu)缺陷,仍需要研究精度高、適應(yīng)性強(qiáng)的自動(dòng)識(shí)別方法。

在特征提取方面深度網(wǎng)絡(luò)模型具有自動(dòng)提取的優(yōu)勢(shì),可以避免人為設(shè)計(jì)特征的繁瑣步驟。隨著深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域取得的廣泛成功,深度學(xué)習(xí)被應(yīng)用于很多圖像識(shí)別任務(wù)中[5,6],同時(shí)為復(fù)雜點(diǎn)陣結(jié)構(gòu)的缺陷檢測(cè)提供了新的解決思路。目前目標(biāo)檢測(cè)領(lǐng)域有2類算法,一類是基于候選區(qū)域的雙階段檢測(cè)算法,代表性算法有R-CNN[7]、Fast R-CNN[8]、Faster R-CNN[9]等。這些方法使用選擇性搜索與區(qū)域建議產(chǎn)生物體建議框,然后進(jìn)一步進(jìn)行精確分類和定位,該類算法具有較高的計(jì)算復(fù)雜度,要實(shí)現(xiàn)實(shí)時(shí)檢測(cè)就需要昂貴的計(jì)算資源,因此難以滿足工業(yè)生產(chǎn)實(shí)時(shí)檢測(cè)的需求。單階段算法將目標(biāo)的定位與識(shí)別問題作為回歸問題處理,大大提高了檢測(cè)速度,代表性算法有YOLO[10],YOLOv2[11],YOLOv3[12,17]。其中YOLOv2是YOLO的增強(qiáng)版本,在YOLO的基礎(chǔ)上使用新特征提取網(wǎng)絡(luò)和新技術(shù)進(jìn)一步提高了檢測(cè)速度和精度,但對(duì)小目標(biāo)的檢測(cè)能力較差,尚未達(dá)到工業(yè)應(yīng)用級(jí)水準(zhǔn)。YOLOv3是YOLOv2的增強(qiáng)版本,通過兩方面的改進(jìn)大大提升了對(duì)小目標(biāo)的檢測(cè)速度和檢測(cè)精度：1)采取多尺度進(jìn)行預(yù)測(cè),解決了顆粒度粗對(duì)小目標(biāo)檢測(cè)無力的問題。2)當(dāng)預(yù)測(cè)的目標(biāo)類別很復(fù)雜時(shí),將YOLOv2的softmax分類器替換為logistic regression分類器。

本文針對(duì)一種3D打印的點(diǎn)陣結(jié)構(gòu)樣件,考慮其內(nèi)部缺陷尺度很小,特征微弱而難以檢測(cè)的問題,提出了一種基于YOLOv3算法的CT圖像智能評(píng)閱新方法,建立了相應(yīng)的多尺度缺陷預(yù)測(cè)模型,實(shí)現(xiàn)了對(duì)點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷的自動(dòng)識(shí)別。

2 YOLOv3相關(guān)理論

YOLOv3的本質(zhì)是多尺度回歸算法,為了加強(qiáng)算法對(duì)小目標(biāo)檢測(cè)的精確度,YOLOv3采用上采樣結(jié)合張量拼接的方法,最后融合了3個(gè)尺度的特征,利用3個(gè)尺度特征進(jìn)行檢測(cè)。

2.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv3算法所采用的特征提取網(wǎng)絡(luò)為darknet-53,如圖1所示。其基本組件可以分為5類。1)卷積層,主要起到了缺陷特征提取的作用;2)上采樣層,在darknet-53中有2個(gè)上采樣層,分別將寬高為13×13像素和26×26像素的特征圖擴(kuò)充為26×26像素和52×52像素,以便和相應(yīng)的特征圖進(jìn)行拼接。上采樣層起到改變特征圖大小的作用,為特征融合做準(zhǔn)備;3)路由層,將主干網(wǎng)絡(luò)中某些特征圖和經(jīng)上采樣后獲取的特征圖進(jìn)行拼接融合,經(jīng)融合后的特征圖包含了不同尺度的特征信息,拼接操作會(huì)改變特征圖的通道數(shù),但不會(huì)改變其寬高;4)捷徑層,其本質(zhì)是殘差網(wǎng)絡(luò)[13](residual network,ResNet),通過給非線性的卷積層增加直連邊的方式提高了信息的傳播效率,在一定程度上避免了過擬合問題的發(fā)生;5)YOLO層,處理完畢的特征圖輸入YOLO層中,主要任務(wù)是進(jìn)行缺陷邊框位置預(yù)測(cè)和缺陷類別預(yù)測(cè)。

圖1 darknet-53網(wǎng)絡(luò)框架

2.2 邊框預(yù)測(cè)

將斷層圖像數(shù)據(jù)輸入到darknet-53網(wǎng)絡(luò)中后生成3種尺寸的特征圖,其大小分別為13×13,26×26,52×52像素,特征圖上每個(gè)位置產(chǎn)生3個(gè)預(yù)測(cè)信息。每個(gè)預(yù)測(cè)信息包括7個(gè)元素,其中前4個(gè)元素代表該預(yù)測(cè)框的中心坐標(biāo)以及寬高,第5個(gè)元素代表該預(yù)測(cè)框存在的概率,第6、7個(gè)元素分別代表該預(yù)測(cè)框?qū)儆谕蛊鸷蛿帱c(diǎn)(本文所關(guān)注的2種缺陷的圖像表現(xiàn)形式)的概率。本文設(shè)置的信息包如圖2所示，其中(x,y)為預(yù)測(cè)框的中心;w,h為預(yù)測(cè)框的寬和高;pobj為該預(yù)測(cè)框存在的概率;pdefect為該預(yù)測(cè)目標(biāo)屬于凸起的概率;pbreak_point為該預(yù)測(cè)目標(biāo)屬于斷點(diǎn)的概率。

圖2 預(yù)測(cè)信息示意圖

對(duì)預(yù)測(cè)信息進(jìn)步一處理,特征圖上的邊框預(yù)測(cè)如圖3所示,邊界框計(jì)算如式(1)所示。

圖3 圖3 邊框預(yù)測(cè)

(1)

式中:(px,py),pw,ph分別為網(wǎng)絡(luò)預(yù)測(cè)的邊界框中心坐標(biāo)和寬高;(bx,by),bw,bh分別為邊界框在特征圖中的實(shí)際中心坐標(biāo)和實(shí)際寬高;σ為sigmoid函數(shù);(cx,cy)為當(dāng)前網(wǎng)格的坐標(biāo);wanchor,hanchor為經(jīng)縮放后anchor的寬和高。

2.3 損失函數(shù)

在目標(biāo)檢測(cè)任務(wù)里,有幾個(gè)關(guān)鍵信息要確定,包括預(yù)測(cè)框中心坐標(biāo)、寬高、預(yù)測(cè)框存在的概率,以及該預(yù)測(cè)框內(nèi)物體是某種類別的概率。根據(jù)關(guān)鍵信息損失函數(shù)也由3部分組成,分別為缺陷定位損失、缺陷置信度損失、缺陷類別損失。

缺陷定位損失采用的是平方和損失函數(shù)。定位損失整體計(jì)算可由式(2)表示。

(2)

目標(biāo)置信度損失采用二值交叉熵?fù)p失函數(shù)。損失函數(shù)可分為2部分,一部分來自前景置信度損失,另一部分來自背景置信度損失。目標(biāo)置信度總損失可由式(3)表示。

(3)

式中:lconf為目標(biāo)置信度總損失;lconf_obj為前景置信度損失;wobj為前景置信度損失的權(quán)重;lconf_no_obj為背景置信度損失;wno_obj為背景置信度損失的權(quán)重;當(dāng)存在目標(biāo)時(shí)tconf為1,不存在目標(biāo)時(shí)tconf為0;pconf_obj為預(yù)測(cè)存在目標(biāo)的概率;pconf_no_obj為預(yù)測(cè)不存在目標(biāo)的概率。

缺陷類別損失也采用二值交叉熵?fù)p失函數(shù)。缺陷類別有2類,每個(gè)預(yù)測(cè)信息中用2個(gè)數(shù)值表示分別屬于某種類別的概率。缺陷類別損失由式(4)表示。

lclass=-∑(cobjln(1-pclass_obj)+

(1-cobj)ln(pclass_obj))

(4)

式中：lclass為缺陷類別損失;cobj代表真實(shí)存在目標(biāo),其數(shù)值為1;pclass_obj為從2個(gè)預(yù)測(cè)概率中選取較大值作為真正的預(yù)測(cè)概率。

3 點(diǎn)陣結(jié)構(gòu)缺陷特征及數(shù)據(jù)集

本文所針對(duì)的金屬點(diǎn)陣結(jié)構(gòu)由選擇性激光熔覆(selective laser melting,SLM)技術(shù)制備,具有金剛石微結(jié)構(gòu),每個(gè)連接點(diǎn)連接4個(gè)連桿,連接角度均相同,其結(jié)構(gòu)示意圖如圖4所示。

圖4 金剛石晶胞的點(diǎn)陣結(jié)構(gòu)示意圖

在制備過程中,金屬點(diǎn)陣結(jié)構(gòu)質(zhì)量受激光功率、傳粉速度、材料粉末直徑、基體材料等多種因素影響[14～16],其中激光功率為主要因素。在本文中由SLM技術(shù)制備的金屬點(diǎn)陣結(jié)構(gòu)樣件的常見缺陷為斷層熔合缺陷,如圖5所示。

圖5 金屬點(diǎn)陣結(jié)構(gòu)斷層熔合缺陷

熔合缺陷在斷層圖像中的表現(xiàn)形式有2種,一種為凸起,如圖6(a)所示。另一種為斷點(diǎn),如圖6(b)所示。

圖6 斷層圖像中凸起缺陷和斷點(diǎn)缺陷

點(diǎn)陣結(jié)構(gòu)斷層圖像中的缺陷與背景相比只有微小差異,缺陷特征極其微弱,同時(shí)缺陷尺寸所占比例極小。這種微小差異性以及小目標(biāo)的特點(diǎn)無疑為金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷的準(zhǔn)確檢測(cè)識(shí)別增加了難度。

由于原始樣本數(shù)據(jù)量較小,而深度模型權(quán)重參數(shù)較多,在訓(xùn)練時(shí)容易產(chǎn)生過擬合問題,因此做了數(shù)據(jù)增廣處理。增廣方式包括調(diào)整圖像的亮度、對(duì)比度、色相和飽和度,對(duì)圖像進(jìn)行左右翻轉(zhuǎn),上下翻轉(zhuǎn)等。最終按照6:2:2的比例劃分訓(xùn)練集驗(yàn)證集合和測(cè)試集。

4 模型訓(xùn)練

4.1 配置訓(xùn)練參數(shù)

輸入圖像尺寸為416×416像素;學(xué)習(xí)率為0.001;采用隨機(jī)梯度下降法;訓(xùn)練輪數(shù)epochs為120;batch size為8;因?yàn)槿毕蓊悇e有2種,因此darknet-53框架配置文件中YOLO層的前一網(wǎng)絡(luò)層卷積通道數(shù)量修改為(5+2)×3=21;批處理生成數(shù)據(jù)期間使用的CPU線程數(shù)為8;每經(jīng)1輪保存一次模型,在驗(yàn)證集上每經(jīng)1輪進(jìn)行一次驗(yàn)證。

YOLOv3算法使用3個(gè)不同尺度的特征圖進(jìn)行預(yù)測(cè),每個(gè)尺度的特征圖包含3種預(yù)測(cè)信息,每種預(yù)測(cè)需要1個(gè)anchor參數(shù)與之匹配,因此共需9個(gè)anchor參數(shù)。采用k均值聚類算法對(duì)所有缺陷大小進(jìn)行聚類,最終得到9個(gè)聚類中心為(16,16)、(19,19)(36,34)、(38,40)、(41,46)、(47,45)、(42,75)、(57,53)、(74,43),平均iou為0.8759。這9個(gè)anchor與其對(duì)應(yīng)的特征圖以及感受野如表1所示。

表1 特征圖與對(duì)應(yīng)的anchor

4.2 模型訓(xùn)練結(jié)果

整個(gè)訓(xùn)練過程經(jīng)過約12 000次迭代,在0至 2 000次迭代期間模型的損失值迅速下降,經(jīng)短暫上升后,接下來總體下降速度平緩。模型損失值隨迭代次數(shù)變化趨勢(shì)如圖7所示。

圖7 訓(xùn)練過程損失值曲線

訓(xùn)練完成后共得到120個(gè)模型權(quán)重,在訓(xùn)練期間每經(jīng)1輪就在驗(yàn)證集上驗(yàn)證模型效果。為評(píng)價(jià)每輪模型試驗(yàn)效果,選取召回率R、準(zhǔn)確率P和平均精度(mAP)為評(píng)價(jià)指標(biāo)。召回率為網(wǎng)絡(luò)預(yù)測(cè)成功的缺陷數(shù)與實(shí)際存在的缺陷數(shù)目的比值,表征此網(wǎng)絡(luò)的查全率,如式(5)所示;準(zhǔn)確率為網(wǎng)絡(luò)預(yù)測(cè)的所有缺陷中真實(shí)缺陷的比例,表征此網(wǎng)絡(luò)的分類準(zhǔn)確率,如式(6)所示;mAP即2種缺陷AP的平均值,AP為Precision-Recall曲線下的面積,此指標(biāo)既考慮了模型的準(zhǔn)確率又考慮了模型的召回率。

(5)

(6)

式中：PT為正確檢測(cè)到的缺陷類型;NF為未檢測(cè)到的缺陷;PF為誤檢的缺陷。

每個(gè)模型的召回率、準(zhǔn)確率以及mAP隨迭代輪數(shù)變化曲線分別如圖8～圖10所示。

圖8 模型召回率變化曲線

圖9 模型準(zhǔn)確率變化曲線

圖10 模型mAP變化曲線

對(duì)模型進(jìn)行120輪訓(xùn)練,在前20輪訓(xùn)練過程中召回率陡增,在隨后訓(xùn)練期間較為平穩(wěn)。實(shí)驗(yàn)結(jié)果顯示經(jīng)第27輪訓(xùn)練后模型召回率最高,為97.3%。

訓(xùn)練過程中,隨著訓(xùn)練輪數(shù)的增加模型的準(zhǔn)確率大體持續(xù)上升,模型對(duì)凸起和斷點(diǎn)兩種缺陷類型的判斷越加準(zhǔn)確。實(shí)驗(yàn)結(jié)果顯示經(jīng)第117輪訓(xùn)練后模型的準(zhǔn)確率最高,為98.6%。

在80輪迭代之后模型的mAP穩(wěn)定在0.95左右。實(shí)驗(yàn)結(jié)果顯示,經(jīng)107輪訓(xùn)練后模型mAP最高,為0.957。

5 實(shí)驗(yàn)結(jié)果討論

以mAP為優(yōu)先評(píng)價(jià)指標(biāo),將測(cè)試數(shù)據(jù)集傳入經(jīng)107輪訓(xùn)練后的檢測(cè)模型中,隨機(jī)選出部分結(jié)果,如圖11所示。

圖11 部分檢測(cè)結(jié)果

將圖11中每張斷層圖像檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì),包括缺陷類型、個(gè)數(shù)、綜合得分,如表2所示。

表2 部分檢測(cè)結(jié)果的統(tǒng)計(jì)

綜合得分為模型預(yù)測(cè)該位置缺陷存在概率與預(yù)測(cè)該缺陷屬于某種類別概率的乘積,如式(7)所示,其值越大則該預(yù)測(cè)為正確的可能性越大。

S=pconf_obj×pclass_obj

(7)

式中:S為綜合得分;pconf_obj為預(yù)測(cè)該位置存在缺陷目標(biāo)的概率;pclass_obj為該目標(biāo)屬于某種缺陷的概率。

從實(shí)驗(yàn)結(jié)果可見，采用107輪訓(xùn)練后模型,對(duì)點(diǎn)陣結(jié)構(gòu)CT圖像中凸起和斷點(diǎn)2種形式的檢測(cè)效果較好,召回率為96.6%,準(zhǔn)確率為93.2%。在算法運(yùn)行時(shí)間方面,當(dāng)輸入圖像分辨率為416×416像素,配備GTX1080顯卡時(shí),檢測(cè)速度達(dá)到了34幀/s,滿足實(shí)時(shí)檢測(cè)需求。

darknet-53可以勝任包含80種類別的目標(biāo)檢測(cè)任務(wù),而本文中所針對(duì)的點(diǎn)陣結(jié)構(gòu)內(nèi)部的典型缺陷在CT圖像中僅包含2種表現(xiàn)形式,因此對(duì)于所建立的YOLOv3檢測(cè)模型能夠得到較好的檢測(cè)性能。對(duì)于點(diǎn)陣結(jié)構(gòu)的其它類型的微小缺陷,該模型也具有適應(yīng)性,但考慮3D點(diǎn)陣結(jié)構(gòu)標(biāo)準(zhǔn)樣件制作的問題,本文未給效果驗(yàn)證,有待今后進(jìn)一步研究。

6 結(jié) 論

本文對(duì)一種3D打印點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷進(jìn)行了自動(dòng)檢測(cè)識(shí)別方法的研究。

1)提出了基于YOLOv3算法的、適于特征微弱目標(biāo)的深度特征提取模型,避免了手動(dòng)設(shè)計(jì)特征的繁瑣步驟,發(fā)揮了深度網(wǎng)絡(luò)模型在特征提取方面的優(yōu)勢(shì)。

2)采用多尺度預(yù)測(cè)機(jī)制將深層特征信息和淺層特征信息融合,共組合了3個(gè)尺度的特征圖分別進(jìn)行綜合預(yù)測(cè),解決了點(diǎn)陣結(jié)構(gòu)中缺陷小而難以精確檢測(cè)的問題。

3)實(shí)驗(yàn)表明此算法實(shí)現(xiàn)了對(duì)金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部典型熔合缺陷2種表現(xiàn)形式的準(zhǔn)確識(shí)別和定位,模型平均精度均值mAP達(dá)到了0.957,實(shí)時(shí)性較好。

本文工作為3D打印點(diǎn)陣結(jié)構(gòu)的自動(dòng)檢測(cè)提供了新的研究思路和方法,為點(diǎn)陣結(jié)構(gòu)的增材制造及其健康狀態(tài)評(píng)估提供了技術(shù)支撐。今后工作包括3D打印復(fù)雜點(diǎn)陣結(jié)構(gòu)件的結(jié)構(gòu)分布狀態(tài)、幾何差異等缺陷的自動(dòng)識(shí)別研究。