陳 健，肖 鵬

（中國(guó)商飛上海飛機(jī)制造有限公司，上海 201324）

復(fù)合材料孔隙是一種分布于復(fù)合材料層壓結(jié)構(gòu)內(nèi)的氣體孔洞型缺陷［1-2］，直徑一般在1 ～1 000 μm 范圍內(nèi)［3］，是復(fù)合材料制件中最常見(jiàn)的一種內(nèi)部缺陷。大量文獻(xiàn)和試驗(yàn)數(shù)據(jù)顯示，孔隙對(duì)復(fù)合材料制件的層間剪切性能影響較為突出［4-5］。因此，孔隙含量分析對(duì)于復(fù)合材料制件內(nèi)部質(zhì)量評(píng)定、質(zhì)量提升以及產(chǎn)品工藝的持續(xù)改進(jìn)起著非常積極和重要的作用。

現(xiàn)階段，主要的復(fù)合材料孔隙含量檢測(cè)分析方法分為破壞性檢測(cè)法和無(wú)損檢測(cè)法。破壞性檢測(cè)法主要包括密度測(cè)量法、吸水法、光學(xué)顯微圖像法和酸溶解法。無(wú)損檢測(cè)法包括超聲檢測(cè)法和射線檢測(cè)法等［6-7］。

常見(jiàn)的復(fù)合材料光學(xué)顯微圖像分析方法有顯微鏡標(biāo)尺測(cè)定法、放大網(wǎng)格計(jì)數(shù)法和圖像分析儀法。圖像分析儀法是根據(jù)光學(xué)顯微圖像孔隙區(qū)域與良好區(qū)域灰度不同的原理工作的一種自動(dòng)化統(tǒng)計(jì)方法，受人為因素影響較小，但容易受到試樣表面質(zhì)量的影響，統(tǒng)計(jì)誤差較大。顯微鏡標(biāo)尺測(cè)定法和放大網(wǎng)格計(jì)數(shù)法主要通過(guò)人工判斷孔隙相對(duì)于輔助網(wǎng)格的大小，進(jìn)而間接獲得孔隙含量結(jié)果，其統(tǒng)計(jì)數(shù)據(jù)量龐大，且不同的統(tǒng)計(jì)人員會(huì)引起統(tǒng)計(jì)結(jié)果的偏差，效率極低。此外，在各大高校和科研單位中也會(huì)使用ImageJ 等圖像處理軟件實(shí)現(xiàn)顯微圖像孔隙含量分析，但其適應(yīng)力較差，對(duì)金相樣品制樣要求較高，適用性難以保證［7-8］。由于實(shí)際金相樣品通常會(huì)存在劃痕、附著物等特殊情況，而人工孔隙統(tǒng)計(jì)過(guò)程有著非常高的靈活性，會(huì)主動(dòng)識(shí)別與規(guī)避以上特殊情況，因此顯微鏡標(biāo)尺測(cè)定法和放大網(wǎng)格計(jì)數(shù)法為目前主流的孔隙含量分析手段。

傳統(tǒng)復(fù)合材料孔隙含量人工分析過(guò)程存在統(tǒng)計(jì)試樣多、統(tǒng)計(jì)周期長(zhǎng)、人工統(tǒng)計(jì)存在差異等問(wèn)題，目前國(guó)內(nèi)暫時(shí)沒(méi)有準(zhǔn)確高效的孔隙含量分析手段。近年來(lái)，神經(jīng)網(wǎng)絡(luò)算法以其更接近人腦思考的特性廣泛應(yīng)用于模式識(shí)別、圖像分割、智能控制等領(lǐng)域，具有大規(guī)模并行處理、分布式存儲(chǔ)和處理、自適應(yīng)、自組織、自學(xué)習(xí)能力等特點(diǎn)［9-10］。其中，由卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型發(fā)展而來(lái)的U-Net神經(jīng)網(wǎng)絡(luò)算法已廣泛應(yīng)用于醫(yī)療影像領(lǐng)域，如腫瘤圖像識(shí)別［11］、肺部圖像識(shí)別［12］、視網(wǎng)膜病變識(shí)別［13］等諸多方面，效果良好。U-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。鑒于醫(yī)療影像領(lǐng)域相較于視頻監(jiān)控領(lǐng)域有著語(yǔ)義較為簡(jiǎn)單、分割精度高、缺少公開(kāi)數(shù)據(jù)集等特點(diǎn)，其與復(fù)合材料光學(xué)顯微圖像孔隙識(shí)別需求較為相近。因此，基于光學(xué)顯微圖像的特點(diǎn)和孔隙缺陷的特征，結(jié)合圖像識(shí)別技術(shù)與U-Net神經(jīng)網(wǎng)絡(luò)算法，建立基于神經(jīng)網(wǎng)絡(luò)的復(fù)合材料顯微圖像孔隙識(shí)別與統(tǒng)計(jì)系統(tǒng)，該系統(tǒng)已應(yīng)用于筆者所在單位的復(fù)合材料相關(guān)科技研發(fā)工作中。

圖1 U-Net神經(jīng)網(wǎng)絡(luò)示意圖

1 試驗(yàn)方法

1.1 試樣制造與數(shù)據(jù)采集

采用熱壓罐成型工藝制備2 批次試板。第一批次為42 層準(zhǔn)各項(xiàng)同性鋪層的某型T800 級(jí)單向帶材料層合板，試板厚度為7.9 ±0.1 mm；第二批次為24 層準(zhǔn)各項(xiàng)同性鋪層的某型T300 級(jí)織物材料層合板，試板厚度為5.2 ±0.1 mm。在制造過(guò)程中，對(duì)于樹(shù)脂和碳纖維所組成的同一成分體系，通過(guò)控制壓力、溫度等工藝參數(shù)，獲得孔隙含量為0 ～4.75%范圍內(nèi)的50 組試板。將試板根據(jù)GB／T 3365 的規(guī)定切割成20 mm×10 mm的小塊，并對(duì)其垂直纖維方向的斷面進(jìn)行鑲嵌、打磨和拋光［6］。

表面處理完成后，使用奧林巴斯BX51M光學(xué)顯微鏡對(duì)試樣進(jìn)行觀察、拍照和采樣。采用反射模式下放大100 倍的方法對(duì)試樣進(jìn)行觀察，以保證對(duì)存在的孔隙進(jìn)行清晰分辨。

1.2 孔隙含量統(tǒng)計(jì)

1.2.1 人工孔隙含量統(tǒng)計(jì)

考慮到實(shí)際光學(xué)顯微圖像中隨機(jī)出現(xiàn)的復(fù)雜情況，且孔隙含量的人工統(tǒng)計(jì)方法有著非常高的適應(yīng)性與靈活性，因此，以GB／T 3365 中放大網(wǎng)格計(jì)數(shù)法對(duì)試樣進(jìn)行孔隙含量統(tǒng)計(jì)的結(jié)果作為參照，進(jìn)行效果對(duì)比。

由于在100 倍放大倍率的情況下進(jìn)行人工統(tǒng)計(jì)時(shí)，統(tǒng)計(jì)人員只能觀察到一定尺寸等級(jí)的孔隙分布情況，如圖2 所示，通常輔助計(jì)數(shù)的網(wǎng)格邊長(zhǎng)為25 μm。因此，人工統(tǒng)計(jì)的方法實(shí)際上為：以25 μm 為網(wǎng)格尺寸，網(wǎng)格浮動(dòng)，記錄落在孔隙上的格子數(shù)目，以1／4 格為最小計(jì)數(shù)單位；大于1／4 格且小于1／2 格的記作1／2 格面積；大于1／2 且小于3／4 格的記作3／4 格面積；大于3／4 且小于1 格的記作1 格面積。統(tǒng)計(jì)完畢后，計(jì)算樣品孔隙區(qū)域的總網(wǎng)格面積與樣品總面積的比值，記為該樣品的實(shí)際孔隙含量。

圖2 傳統(tǒng)人工統(tǒng)計(jì)過(guò)程

1.2.2 基于神經(jīng)網(wǎng)絡(luò)的孔隙含量統(tǒng)計(jì)

（1）孔隙圖像人工標(biāo)注。

對(duì)采集到的光學(xué)顯微圖像進(jìn)行圖像分割標(biāo)注，提取出孔隙等區(qū)域。使用Labelme 標(biāo)注軟件對(duì)采集的1 136 幅圖像進(jìn)行人工標(biāo)注，在標(biāo)注時(shí)使用多邊形工具對(duì)孔隙邊緣進(jìn)行精確分割，對(duì)復(fù)合材料纖維和樹(shù)脂區(qū)域未作標(biāo)記，效果如圖3 所示。隨后將標(biāo)注的文件批量轉(zhuǎn)化為masks標(biāo)簽文件，同時(shí)批量轉(zhuǎn)換為二值圖像以備后續(xù)使用。

圖3 使用Labelme標(biāo)注軟件精確標(biāo)注孔隙邊緣

（2）數(shù)據(jù)增強(qiáng)。

神經(jīng)網(wǎng)絡(luò)的構(gòu)建離不開(kāi)大量的訓(xùn)練樣本數(shù)據(jù)，樣本數(shù)據(jù)的復(fù)雜性與多樣性直接關(guān)系到神經(jīng)網(wǎng)絡(luò)系統(tǒng)的魯棒性。由于劃痕、附著物等特殊情況出現(xiàn)的頻率比較低，引起該類訓(xùn)練樣本數(shù)據(jù)比較少。為更好地識(shí)別復(fù)合材料樣本顯微圖像中出現(xiàn)的劃痕、附著物等特殊情況，在已有的訓(xùn)練樣本中通過(guò)增加噪聲、濾波處理、隨機(jī)旋轉(zhuǎn)和色彩抖動(dòng)等方式模擬實(shí)際顯微圖像采樣過(guò)程中遇到的情形，從而進(jìn)行圖像增強(qiáng)處理，以實(shí)現(xiàn)樣本數(shù)據(jù)的增強(qiáng)。

對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行增加噪聲、濾波、色彩抖動(dòng)和隨機(jī)旋轉(zhuǎn)處理，如圖4 所示。雖然以上數(shù)據(jù)增強(qiáng)處理所引起的人的視覺(jué)觀感差別不大，依然屬于同一情況，但在算法的不斷學(xué)習(xí)中，其數(shù)據(jù)矩陣特征產(chǎn)生了較大的變化，達(dá)到了數(shù)據(jù)增強(qiáng)的目的，增加了訓(xùn)練樣本數(shù)據(jù)量。

圖4 訓(xùn)練樣本數(shù)據(jù)增強(qiáng)示例

（3）模型建立。

基于GB／T 3365 放大網(wǎng)格計(jì)數(shù)法的孔隙含量人工統(tǒng)計(jì)過(guò)程，結(jié)合圖像識(shí)別技術(shù)與U-Net 神經(jīng)網(wǎng)絡(luò)算法，設(shè)計(jì)并開(kāi)發(fā)了一套基于U-Net 神經(jīng)網(wǎng)絡(luò)算法的復(fù)合材料光學(xué)顯微圖像孔隙識(shí)別與統(tǒng)計(jì)系統(tǒng)。該系統(tǒng)總體方案如圖5 所示。

圖5 復(fù)合材料光學(xué)顯微圖像孔隙識(shí)別方法總體方案

U-Net神經(jīng)網(wǎng)絡(luò)是經(jīng)過(guò)多個(gè)下采樣層和上采樣層實(shí)現(xiàn)圖像特征的像素級(jí)的分割過(guò)程。吳量、王磐、馬玉瑩、許東等［11-14］使用了U-Net神經(jīng)網(wǎng)絡(luò)開(kāi)展醫(yī)療影像領(lǐng)域圖像分割工作，既準(zhǔn)確地實(shí)現(xiàn)了圖像分割，同時(shí)又保留了大量的圖像特征，結(jié)果理想。因此，基于復(fù)合材料顯微圖像中的纖維樹(shù)脂狀態(tài)和孔隙形態(tài)分布特征，對(duì)U-Net結(jié)構(gòu)進(jìn)行修改，以實(shí)現(xiàn)復(fù)合材料光學(xué)顯微圖像孔隙識(shí)別。

在CNN算法中，要想提取更深層次的特征，獲得更佳的圖像分割效果，就要加深神經(jīng)網(wǎng)絡(luò)的層數(shù)，但單純的加深層數(shù)會(huì)引起梯度消失和退化等問(wèn)題。因而殘差網(wǎng)絡(luò)（Residual Network，ResNet）應(yīng)運(yùn)而生。殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示，對(duì)于任意輸入的變量x，經(jīng)由殘差網(wǎng)絡(luò)跳躍連接輸入變量，其實(shí)際輸出的結(jié)果為f（x）＋x，而實(shí)際需要輸出的結(jié)果為h（x），則h（x）＝f（x）＋x，即網(wǎng)絡(luò)學(xué)習(xí)的內(nèi)容為殘差數(shù)據(jù)。

圖6 ResNet模型結(jié)構(gòu)圖

通過(guò)觀察發(fā)現(xiàn)，U-Net 神經(jīng)網(wǎng)絡(luò)算法的下采樣過(guò)程實(shí)際上就是VGG16 網(wǎng)絡(luò)特征部分。所以，將U-Net神經(jīng)網(wǎng)絡(luò)的下采樣部分用ResNet18 殘差網(wǎng)絡(luò)部分來(lái)替代，從而完成U-Net 的修改。修改后的U-Net 神經(jīng)網(wǎng)絡(luò)模型如圖7 所示，其中每層的下采樣過(guò)程使用ResNet18。在下采樣過(guò)程中，首先對(duì)輸入圖像進(jìn)行7 ×7卷積和最大池化操作，將數(shù)據(jù)通道轉(zhuǎn)化為64，以識(shí)取復(fù)合材料顯微圖像孔隙的淺層信息特征。后續(xù)的每一個(gè)卷積塊均將圖像尺寸壓縮至卷積前的一半，進(jìn)一步提取孔隙的特征，直至圖像尺寸縮減至輸入圖像的1／16，通道數(shù)為1 024。在上采樣過(guò)程中，每次上采樣操作后經(jīng)過(guò)一個(gè)3 ×3 的卷積層，不斷提取孔隙深層特征，再與同高度的上采樣輸出進(jìn)行通道合并，調(diào)整總體特征，對(duì)孔隙特征進(jìn)行精確識(shí)別，最終輸出孔隙和背景分割后的圖像。改進(jìn)的U-Net 結(jié)構(gòu)如圖7 所示，橙色箭頭為3 ×3 卷積操作（conv 3 ×3）和歐拉激活函數(shù)（ReLU）轉(zhuǎn)換；綠色箭頭為數(shù)據(jù)復(fù)制（copy）操作；紫色箭頭為2 ×2 的上卷積（up-conv 2 ×2）。

圖7 修改后的U-Net模型結(jié)構(gòu)圖

（4）孔隙率計(jì)算。

通常，顯微圖像采集過(guò)程中的放大倍率為100 倍，實(shí)際人工統(tǒng)計(jì)過(guò)程中只能觀察到約10 μm 級(jí)別的孔隙。而修改后的U-Net神經(jīng)網(wǎng)絡(luò)算法提取到的孔隙特征區(qū)域已達(dá)到像素級(jí)別，遠(yuǎn)超人工辨別的能力。因此結(jié)合1.2.1 節(jié)所述的統(tǒng)計(jì)方法和實(shí)際操作經(jīng)驗(yàn)，以1／8 格為起始計(jì)算單位。

基于修改后的U-Net 神經(jīng)網(wǎng)絡(luò)算法孔隙分割結(jié)果，依據(jù)傳統(tǒng)人工統(tǒng)計(jì)方法的統(tǒng)計(jì)原則，實(shí)現(xiàn)人工統(tǒng)計(jì)過(guò)程的程序模擬。基于神經(jīng)網(wǎng)絡(luò)的孔隙含量統(tǒng)計(jì)效果如圖8 所示。

圖8 基于神經(jīng)網(wǎng)絡(luò)的孔隙含量統(tǒng)計(jì)效果

（5）模型更新。

為提升復(fù)合材料孔隙識(shí)別方法的適應(yīng)性，同時(shí)提高孔隙率計(jì)算結(jié)果的準(zhǔn)確度，開(kāi)發(fā)了孔隙識(shí)別算法模型的更新模塊。當(dāng)孔隙區(qū)域識(shí)別有誤時(shí)，可進(jìn)入孔隙區(qū)域編輯模式，對(duì)識(shí)別錯(cuò)誤的區(qū)域重新進(jìn)行光學(xué)顯微圖像分割標(biāo)注，提取出真實(shí)孔隙區(qū)域。當(dāng)識(shí)別錯(cuò)誤數(shù)量達(dá)到預(yù)設(shè)閾值時(shí)，程序會(huì)自動(dòng)觸發(fā)模型更新，通過(guò)本文U-Net神經(jīng)網(wǎng)絡(luò)算法更新模型，以達(dá)到提升適應(yīng)性與準(zhǔn)確度的目的。模型更新過(guò)程如圖9 所示。

圖9 模型更新過(guò)程

2 試驗(yàn)結(jié)果

2.1 孔隙識(shí)別結(jié)果

采用建立的復(fù)合材料光學(xué)顯微圖像孔隙識(shí)別與統(tǒng)計(jì)系統(tǒng)對(duì)顯微圖像進(jìn)行孔隙含量測(cè)試，給出不同狀態(tài)的特殊試樣檢測(cè)結(jié)果。圖10、圖11 為復(fù)合材料光學(xué)顯微圖像表面附著物的檢測(cè)結(jié)果。圖10 中附著物區(qū)域與孔隙區(qū)域存在較小的交集，但基于神經(jīng)網(wǎng)絡(luò)的孔隙識(shí)別統(tǒng)計(jì)系統(tǒng)并未將附著物誤識(shí)別為孔隙；圖11 中附著物橫穿多處大面積孔隙區(qū)域，該系統(tǒng)依舊正確識(shí)別孔隙與附著物區(qū)域。圖12、圖13 為復(fù)合材料顯微圖像中表面自然劃痕的檢測(cè)結(jié)果。從識(shí)別結(jié)果中可觀察到，劃痕與孔隙的深度信息與灰度信息基本一致，但系統(tǒng)成功利用孔隙區(qū)域的形態(tài)特征差異正確識(shí)別。因此，從以上分析中可知：通過(guò)神經(jīng)網(wǎng)絡(luò)算法模擬人工統(tǒng)計(jì)原則進(jìn)行自動(dòng)化統(tǒng)計(jì)是可以實(shí)現(xiàn)的，且泛化能力較強(qiáng)。

圖10 圖像表面附著物識(shí)別結(jié)果一

圖11 圖像表面附著物識(shí)別結(jié)果二

圖12 圖像表面劃痕識(shí)別結(jié)果一

圖13 圖像表面劃痕識(shí)別結(jié)果二

2.2 孔隙率統(tǒng)計(jì)結(jié)果

為測(cè)試該系統(tǒng)的泛化能力，隨機(jī)選取50 份不同材料牌號(hào)、不同增強(qiáng)體編織方式、不同孔隙含量的復(fù)合材料光學(xué)顯微圖像試樣進(jìn)行測(cè)試。表1 和圖14 為該批樣品的計(jì)算結(jié)果。從該組中數(shù)據(jù)可以觀察到：系統(tǒng)統(tǒng)計(jì)結(jié)果的相對(duì)誤差范圍控制在±10%以內(nèi)，系統(tǒng)統(tǒng)計(jì)時(shí)間在10 s以內(nèi)，統(tǒng)計(jì)過(guò)程高效準(zhǔn)確。

表1 程序統(tǒng)計(jì)結(jié)果與人工統(tǒng)計(jì)結(jié)果

圖14 隨機(jī)統(tǒng)計(jì)結(jié)果

3 結(jié)束語(yǔ)

基于時(shí)下熱門(mén)的圖像識(shí)別技術(shù)和U-Net神經(jīng)網(wǎng)絡(luò)算法，首次將其應(yīng)用到復(fù)合材料光學(xué)顯微圖像的孔隙識(shí)別工作中，建立了適用于復(fù)合材料光學(xué)顯微圖像孔隙識(shí)別的統(tǒng)計(jì)系統(tǒng)。通過(guò)對(duì)大量試樣的標(biāo)注、學(xué)習(xí)和U-Net神經(jīng)網(wǎng)絡(luò)的修改，證明了所提出的方法在復(fù)合材料孔隙含量分析應(yīng)用中的可行性與可操作性?；趫D像識(shí)別技術(shù)和U-Net神經(jīng)網(wǎng)絡(luò)算法的復(fù)合材料光學(xué)顯微圖像孔隙統(tǒng)計(jì)技術(shù)存在以下優(yōu)點(diǎn)。

①利用神經(jīng)網(wǎng)絡(luò)算法提取到的像素特征值經(jīng)過(guò)函數(shù)擬合得到孔隙區(qū)域的邊緣，通過(guò)模擬人工依據(jù)GB／T 3365 中的網(wǎng)格分析方法，統(tǒng)計(jì)過(guò)程更接近人的思考方式，統(tǒng)計(jì)結(jié)果更準(zhǔn)確。

②通過(guò)神經(jīng)網(wǎng)絡(luò)算法，實(shí)現(xiàn)了對(duì)復(fù)合材料光學(xué)顯微圖像中諸如劃痕、附著物等特殊情況的區(qū)分，提高了孔隙檢測(cè)的準(zhǔn)確度。

③當(dāng)系統(tǒng)出現(xiàn)誤識(shí)別或識(shí)別不準(zhǔn)確的情況時(shí)，可以使用系統(tǒng)的模型更新功能進(jìn)行有監(jiān)督的機(jī)器學(xué)習(xí)，更正系統(tǒng)的誤判，提高識(shí)別準(zhǔn)確度。