張 鵬，李 靖，王文先，賈程鵬，馬穎峰，徐文瑞

(1.太原理工大學(xué) 物理與光電工程學(xué)院，山西 太原 030024；2.新型傳感器與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030024；3.太原理工大學(xué) 材料科學(xué)與工程學(xué)院，山西 太原 030024)

隨著世界能源危機(jī)的加劇，核能以其清潔、低資源消耗的優(yōu)勢(shì)，成為最具潛力的能源之一。然而，1個(gè)MW級(jí)的核電站通常每年會(huì)排放約25 t的乏燃料，乏燃料含有很強(qiáng)的中子，會(huì)對(duì)周圍環(huán)境和人類造成嚴(yán)重的輻射污染。因此，中子吸收材料成為核、乏燃料和核廢料儲(chǔ)運(yùn)過(guò)程中臨界控制和安全防護(hù)的必要材料。由于核電站嚴(yán)苛的服役環(huán)境，對(duì)中子屏蔽材料的力學(xué)性能要求越來(lái)越高。若能建立一種有效的力學(xué)性能預(yù)測(cè)模型，將會(huì)大幅提高材料的設(shè)計(jì)及制備效率。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種主要用于自然圖像識(shí)別的神經(jīng)網(wǎng)絡(luò)[1]，可自動(dòng)提取圖像的特征，如晶粒數(shù)目、晶粒大小、晶粒類型、孔洞數(shù)目、晶界等，這些特征與材料性能之間有著密切的聯(lián)系。近年來(lái)，AlexNet、VGG、GoogLeNet、ResNet等CNN被相繼提出，宋新寬等[2]利用CNN可通過(guò)多孔材料的顯微照片快速、準(zhǔn)確地計(jì)算其擴(kuò)散系數(shù)，訓(xùn)練后的CNN對(duì)測(cè)試集的預(yù)測(cè)準(zhǔn)確度達(dá)96.70%；曹卓等[3]通過(guò)CNN模型，使用從材料數(shù)據(jù)庫(kù)中收集到的4 000多種材料數(shù)據(jù)，對(duì)材料的形成能進(jìn)行預(yù)測(cè)，并得到較為準(zhǔn)確的預(yù)測(cè)結(jié)果；Kondo等[4]通過(guò)VGG改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，對(duì)陶瓷材料的微觀組織進(jìn)行識(shí)別，并準(zhǔn)確預(yù)測(cè)出陶瓷材料的離子導(dǎo)電率。

本文選用Gd2O3/6061Al中子屏蔽材料，收集大量材料在變形過(guò)程中的EBSD微觀形貌及對(duì)應(yīng)的拉伸性能數(shù)據(jù)，將這些數(shù)據(jù)劃分為訓(xùn)練集和驗(yàn)證集，用于訓(xùn)練改進(jìn)的VGG CNN模型，建立微觀形貌-力學(xué)性能之間的非線性關(guān)系CNN模型，并通過(guò)留一法交叉來(lái)驗(yàn)證測(cè)試CNN模型對(duì)材料測(cè)試集驗(yàn)證的準(zhǔn)確性。

1 卷積神經(jīng)網(wǎng)絡(luò)模型

表1列出使用的CNN模型結(jié)構(gòu)。CNN包括卷積層、池化層和非線性連接層3部分，卷積層接收1個(gè)輸入圖像并將其過(guò)濾到經(jīng)過(guò)過(guò)濾的映射中。1個(gè)卷積層通常有幾個(gè)過(guò)濾器，許多經(jīng)過(guò)過(guò)濾的圖像會(huì)通過(guò)后續(xù)的層生成相應(yīng)的映射，這些過(guò)濾后的映射稱為特征映射。卷積層中的過(guò)濾器不是在訓(xùn)練前預(yù)先定義的，而是通過(guò)訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)的。在訓(xùn)練階段，為了減少預(yù)測(cè)損失，一些參數(shù)會(huì)被逐步修改，如標(biāo)簽間的均方誤差(訓(xùn)練數(shù)據(jù)的屬性)和預(yù)測(cè)值。池化層接收功能映射并將其調(diào)整為更小的映射，池化層應(yīng)用最廣泛，它主要接受域的最大值，這種粗粒化的操作為小的平移擾動(dòng)提供了魯棒性。

表1 CNN模型結(jié)構(gòu)[5]Table 1 Structure of CNN model[5]

本文使用3×3的卷積層構(gòu)建一類似于VGG模型[5]的CNN架構(gòu)，目前的CNN架構(gòu)較原VGG的最大區(qū)別是參數(shù)數(shù)量。在目前研究中，由于電子顯微鏡圖像采集困難，不能即時(shí)進(jìn)行數(shù)據(jù)擴(kuò)充來(lái)準(zhǔn)備數(shù)以億計(jì)的訓(xùn)練數(shù)據(jù)。為避免使用顯微鏡圖像進(jìn)行CNN模型訓(xùn)練時(shí)發(fā)生過(guò)度擬合，需適當(dāng)減少參數(shù)數(shù)量，因此建立的CNN模型中僅有74 061個(gè)參數(shù)，為原VGG模型的0.05%。

2 數(shù)據(jù)處理

中子屏蔽材料的微觀結(jié)構(gòu)(晶粒的大小、類型、數(shù)目等)與其特性(力學(xué)性能、中子吸收性能、抗輻照性能等)之間有著緊密關(guān)系，如圖1所示，微觀結(jié)構(gòu)(輸入)和性能(輸出)分別用x和y表示，當(dāng)給定輸入x時(shí)能準(zhǔn)確預(yù)測(cè)y。

圖1 CNN模型示意圖Fig.1 Schematic diagram of CNN model

采用放電等離子燒結(jié)法和熱軋制方法制備4種不同軋制道次下的Gd2O3/6061Al中子屏蔽材料試樣，采用掃描電子顯微鏡獲取中子屏蔽材料的EBSD微觀形貌(包含晶粒大小、晶粒取向、晶粒數(shù)目等特征)，微觀組織圖像大小約為400×400像素。材料的微觀組織與材料的宏觀力學(xué)性能、熱中子屏蔽性能等特征密切相關(guān)。本文使用的Gd2O3/6061Al中子屏蔽材料的晶粒取向是隨機(jī)分布的，因此本文不涉及晶體取向信息。

a——形變量0%，拉伸強(qiáng)度100 MPa，伸長(zhǎng)率7%；b——形變量40%，拉伸強(qiáng)度150 MPa，伸長(zhǎng)率13%；c——形變量80%，拉伸強(qiáng)度240 MPa，伸長(zhǎng)率16%圖2 選用訓(xùn)練集中的輸入圖像Fig.2 Selection of input image of training set

使用裁剪的112×112輸入圖像數(shù)據(jù)來(lái)訓(xùn)練CNN模型，且使用留一法交叉驗(yàn)證來(lái)評(píng)估訓(xùn)練后的CNN泛化性能。首先，將3個(gè)Gd2O3/6061Al中子屏蔽材料樣本中的微觀組織圖像進(jìn)行裁剪(程序自動(dòng)執(zhí)行)；然后，由裁剪后的數(shù)據(jù)集中劃出20%作為測(cè)試數(shù)據(jù)，從剩余的數(shù)據(jù)集中整理出訓(xùn)練集和驗(yàn)證集。對(duì)每個(gè)圖像所對(duì)應(yīng)的材料樣本，均采用萬(wàn)能拉伸試驗(yàn)機(jī)測(cè)試其拉伸性能。每個(gè)裁剪圖像對(duì)應(yīng)的局部拉伸性能隨機(jī)匹配宏觀拉伸性能，即所有裁剪的圖像均被分配相同的標(biāo)簽y(測(cè)量的拉伸強(qiáng)度y1和伸長(zhǎng)率y2)，圖2為選用訓(xùn)練集中的輸入圖像。除可訓(xùn)練參數(shù)的初始值外，相同的訓(xùn)練過(guò)程重復(fù)10次，其中初始參數(shù)使用的隨機(jī)種子是不同的。采用最小批量為20的隨機(jī)梯度下降法(SGD)和均值平方誤差為目標(biāo)函數(shù)對(duì)Adam(一種自適應(yīng)SGD算法)算法進(jìn)行優(yōu)化。在SGD中，1小組訓(xùn)練樣本(稱為小批量)是從整個(gè)訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取的。然后使用小批量計(jì)算損失函數(shù)的梯度，即測(cè)量拉伸強(qiáng)度和伸長(zhǎng)率與預(yù)測(cè)值之間的均方誤差，利用梯度可更新CNN中的訓(xùn)練參數(shù)。通過(guò)使用小批量而不是整個(gè)訓(xùn)練樣本集，可使參數(shù)更新表現(xiàn)出隨機(jī)性，避免高代價(jià)的局部極小值。

通過(guò)將每個(gè)圖像隨機(jī)裁剪、翻轉(zhuǎn)(水平和垂直)和旋轉(zhuǎn)來(lái)增加數(shù)據(jù)集，裁剪以獲得更小的圖像有時(shí)會(huì)丟失關(guān)于宏觀屬性的信息。進(jìn)行圖像數(shù)據(jù)處理時(shí)應(yīng)盡量選擇代表性體積元素[6]。每個(gè)Gd2O3/6061Al中子屏蔽材料圖像樣本的訓(xùn)練集和驗(yàn)證集分別為100和50。

3 結(jié)果與討論

3.1 性能預(yù)測(cè)

圖3為CNN和使用核函數(shù)的嶺回歸模型(KRR)的留一法交叉驗(yàn)證結(jié)果?？煽闯觯cKRR相比，CNN可從原始的特征圖像中更準(zhǔn)確地預(yù)測(cè)材料的力學(xué)性能。

a——CNN驗(yàn)證的拉伸強(qiáng)度；b——KRR驗(yàn)證的拉伸強(qiáng)度；c——CNN驗(yàn)證的伸長(zhǎng)率；d——KRR驗(yàn)證的伸長(zhǎng)率圖3 CNN和KRR的留一法交叉驗(yàn)證結(jié)果 Fig.3 Leave-one-out cross-validation results obtained by CNN and KRR

為更詳細(xì)地闡明通過(guò)CNN提取的特征，特別是CNN是否捕獲統(tǒng)計(jì)信息，本文研究圖像的裁剪尺寸與R2得分的依賴關(guān)系。圖4為特征圖尺寸與預(yù)測(cè)精度的關(guān)系，R2得分隨圖像尺寸的增大而增大，在特定尺寸約為3 mm時(shí)達(dá)到最大值。這表明，對(duì)于用于訓(xùn)練的大于3 mm的圖像沒(méi)有額外的統(tǒng)計(jì)信息，包含足夠統(tǒng)計(jì)信息的最小容量稱為RVE。3個(gè)Gd2O3/6061Al中子屏蔽材料樣品中第1個(gè)峰值點(diǎn)的最大值與RVE一側(cè)長(zhǎng)度的一半重合，如圖5所示，rpeak是所有空隙的RDFs中第1個(gè)峰值的最大值點(diǎn)。這意味著RVE的定義至少包含兩個(gè)晶粒，證明CNN不僅捕捉到晶粒的存在，也捕捉到晶粒的一些統(tǒng)計(jì)信息，如晶粒的密度、取向等。

圖4 特征圖尺寸與預(yù)測(cè)精度的關(guān)系Fig.4 Relationship of image size and prediction accuracy

圖5 RVE示意圖Fig.5 Schematic diagram of RVE

3.2 結(jié)果可視化分析

國(guó)內(nèi)外提出了多種CNN可視化方法[7]，其中使用較廣泛的是一種原始的可視化方法，此方法與CAM和Grade-CAM[8-9]相似。設(shè)g和gi分別為平均池化(GAP)層[10]的輸出向量及其分量(表1)。在最后的卷積層后添加GAP層，所有隨后的層均是完全連接的，則：

(1)

其中：y為CNN的輸出值；W為全連接層的權(quán)重矩陣；ReLU( )=max(·,0)是修正線性單元。顯然，y是gi的非線性函數(shù)，通過(guò)將y標(biāo)記的圖像傳遞給訓(xùn)練后的CNN來(lái)激活gi的算術(shù)平均值。行和列分別對(duì)應(yīng)于gi的標(biāo)簽y和索引i，可發(fā)現(xiàn)gi的激活值隨y的增加而近似單調(diào)地增加或減少，因此，將gi與y的關(guān)系可近似為：

y≈aibi+gi

(2)

對(duì)于每個(gè)i，若ai>0，gi可看作是大于y的一個(gè)特定特征；若ai<0，gi可看作是小于y的一個(gè)特定特征。

P={i|ai>0}

Q={i|ai<0}

(3)

(4)

(5)

(6)

特定類的特性概念與類激活映射[11]非常相似。另外，利用中間特征相對(duì)于輸出的重要性趨勢(shì)類似于梯度加權(quán)類激活映射[12]。由圖4可看出，從力學(xué)性能較好的中子屏蔽材料中截取的一些圖像的預(yù)測(cè)值低于從力學(xué)性能較差的材料中截取的圖像，反之亦然。

圖6 晶粒尺寸與體積分?jǐn)?shù)的相關(guān)性分布Fig.6 Correlation distribution of grain size and volume fraction

本文假設(shè)從相同材料的微觀組織圖像中所裁剪出的圖像均具有相同的拉伸強(qiáng)度和伸長(zhǎng)率。事實(shí)上，不能期望裁剪圖像的預(yù)測(cè)結(jié)果與給定的標(biāo)簽完全一致，所有的預(yù)測(cè)結(jié)果均應(yīng)是隨機(jī)的。大晶粒在拉伸強(qiáng)度較低的材料中更常見(jiàn)，相反，平坦的區(qū)域表明晶體缺陷較少，這被認(rèn)為是一種具有高強(qiáng)度的Gd2O3/6061Al中子吸收材料。預(yù)測(cè)結(jié)果與實(shí)驗(yàn)結(jié)果一致，表明材料的力學(xué)性能隨軋制道次的增加而提高[13]。此外，紋理邊界并沒(méi)有被CNN捕捉到作為重要的特征。這是因?yàn)椴牧显谲堉七^(guò)程中，不易變形的Gd2O3顆粒將基體晶粒細(xì)化為小晶粒，從而使晶粒數(shù)目增加。這意味著晶粒數(shù)目和晶粒大小之間具有很強(qiáng)的相關(guān)性(圖6)。另一方面，代表1個(gè)晶粒需許多彼此距離很遠(yuǎn)的邊緣特征。根據(jù)使用現(xiàn)有可視化方法的觀察結(jié)果，可推斷目前的CNN已捕獲了合理的特征。

4 結(jié)論

本文利用原始的架構(gòu)和數(shù)據(jù)擴(kuò)充，通過(guò)CNN實(shí)現(xiàn)了結(jié)構(gòu)-屬性的連接。與傳統(tǒng)的結(jié)構(gòu)-性能連接方案相比，其主要優(yōu)點(diǎn)是不需進(jìn)行特征工程，這可避免研究人員的偏見(jiàn)結(jié)構(gòu)與性質(zhì)之間的聯(lián)系。本文研究結(jié)果表明： 1) 使用多個(gè)顯微圖像，不需任何人工圖像處理，CNN可得到良好的訓(xùn)練結(jié)果，其性能優(yōu)于傳統(tǒng)的測(cè)試方法；2) Gd2O3/6061Al中子屏蔽材料樣品中第1個(gè)峰值點(diǎn)的最大值與RVE一側(cè)長(zhǎng)度的一半重合，這意味著RVE的定義至少包含兩個(gè)晶粒，證明了CNN不僅捕捉到晶粒的存在，也捕捉到晶粒的一些統(tǒng)計(jì)信息；3) 材料在軋制過(guò)程中，不易變形的Gd2O3顆粒將基體晶粒細(xì)化成小晶粒，從而使晶粒數(shù)目增加，這意味著晶粒數(shù)目和晶粒大小之間具有很強(qiáng)的相關(guān)性。