肖 斌 吳雨沁 劉 軼

(1.上海大學(xué)理學(xué)院物理系，上海 200444； 2.上海大學(xué)材料基因組工程研究院，上海 200444；3.上海大學(xué)錢偉長學(xué)院，上海 200444)

高通量實(shí)驗(yàn)、高通量計(jì)算和材料數(shù)據(jù)分析是材料基因組工程研發(fā)方法的三大要素[1- 2]。機(jī)器學(xué)習(xí)是針對材料數(shù)據(jù)進(jìn)行挖掘分析、描述復(fù)雜材料構(gòu)效關(guān)系的重要手段。材料的數(shù)據(jù)來源有實(shí)驗(yàn)[3]、計(jì)算[4]或數(shù)據(jù)庫?；诿芏确汉碚?density functional theory, DFT)的第一性原理計(jì)算有助于深入理解微觀機(jī)制、發(fā)現(xiàn)新材料，但由于昂貴的計(jì)算成本限制了其在時(shí)間和空間上及考察的構(gòu)型種類和數(shù)量上的應(yīng)用。第一性原理計(jì)算可以通過高通量的方式系統(tǒng)地研究大量的材料體系和構(gòu)型，由此產(chǎn)生的計(jì)算數(shù)據(jù)可進(jìn)一步與機(jī)器學(xué)習(xí)建模結(jié)合，使得更為高效的材料性質(zhì)預(yù)測成為可能。因此將高通量計(jì)算和機(jī)器學(xué)習(xí)方法相結(jié)合能夠加速材料的計(jì)算研究。

Curtarolo等[5]、Meredig等[6]、Carrete等[7]、Faber等[8- 9]、Seko等[10]、Deml等[11]和Ward等[12]使用成分信息構(gòu)建數(shù)據(jù)集，對不同的物理性質(zhì)進(jìn)行預(yù)測，其優(yōu)點(diǎn)是簡單靈活且適用面廣。但需要大量的DFT計(jì)算數(shù)據(jù)才能構(gòu)建較為準(zhǔn)確的機(jī)器學(xué)習(xí)模型,且材料經(jīng)常有同素異構(gòu)現(xiàn)象，即相同成分有多種晶型的“簡并”，其性質(zhì)也可能有所差別。因而僅依據(jù)成分信息構(gòu)造描述因子進(jìn)行機(jī)器學(xué)習(xí)預(yù)測具有很大局限性。Togo等[13]、Kong等[14]、Jong等[15]和Ward等[16]開始引入全局結(jié)構(gòu)信息進(jìn)行建模，預(yù)測目標(biāo)也是全局的材料性質(zhì)，如材料的形成能或內(nèi)聚能。但目前能夠針對局部晶體結(jié)構(gòu)的描述因子和材料局部性能的機(jī)器學(xué)習(xí)預(yù)測研究還較少見。

為了預(yù)測材料的局部性質(zhì)，需要能夠描述晶體局部成分和結(jié)構(gòu)特征的描述因子。本文以晶體摻雜元素位點(diǎn)置換為例，提出了“成分- 結(jié)構(gòu)”描述因子模型(composition- structure model, CS model)，可同時(shí)考慮晶體結(jié)構(gòu)的局部成分和結(jié)構(gòu)特征。CE模型將摻雜元素作為中心參考位點(diǎn)，以其第一、二近鄰原子作為環(huán)境，構(gòu)建基于二維成分- 結(jié)構(gòu)描述因子矢量的機(jī)器學(xué)習(xí)模型，描述合金元素?fù)诫s引起的體系局部能量和結(jié)構(gòu)變化。通過將元素的基礎(chǔ)性質(zhì)投影到“成分- 結(jié)構(gòu)”模型上構(gòu)建描述因子，并分別使用支持向量回歸(support vector regression, SVR)方法和隨機(jī)森林(random forest, RF)方法進(jìn)行機(jī)器學(xué)習(xí)訓(xùn)練建模和預(yù)測。重點(diǎn)是在“已知”合金元素?fù)诫s數(shù)據(jù)的基礎(chǔ)上訓(xùn)練構(gòu)建機(jī)器學(xué)習(xí)模型，預(yù)測“未知”新元素?fù)诫s引起的局部結(jié)構(gòu)和能量變化。

1 計(jì)算方法

1.1 摻雜元素占位的第一性原理計(jì)算

本文使用第一性原理VASP[17]軟件對鎳基單晶高溫合金摻雜元素的置換占位構(gòu)型進(jìn)行系統(tǒng)的DFT計(jì)算。以穩(wěn)定狀態(tài)下的晶格常數(shù)分別建立了γ相和γ′相的2×2×2超胞模型。考慮各體系中置換元素的第一、二近鄰，分別在γ相和γ′相中建立了2種和4種不等效置換位點(diǎn)對?？紤]了鎳基單晶高溫合金中常見的11種合金化元素M(Al, Co, Cr, Hf, Mo, Ni, Re, Ru, Ta, Ti, W)。這些合金化元素在6種不等效位點(diǎn)對上共構(gòu)成451種置換構(gòu)型體系。在2×2×2超胞模型計(jì)算中，體系的晶格常數(shù)固定，離子位置進(jìn)行充分弛豫，電子再進(jìn)行自洽計(jì)算得到體系總能量。DFT計(jì)算中采用廣義梯度近似GGA- PBE泛函和PAW贗勢，截?cái)嗄転?00 eV，能量收斂精度為10-5eV；離子弛豫時(shí)K點(diǎn)間隔為0.047 ?-1，電子自洽計(jì)算時(shí)K點(diǎn)間隔為0.028 ?-1。

幾何優(yōu)化計(jì)算獲得各置換構(gòu)型體系總能量后，通過式(1)、式(2)分別計(jì)算了雙位點(diǎn)置換體系模型的單位點(diǎn)置換能(single- site substitution energy,ESS)和單個(gè)置換位點(diǎn)體系弛豫前后第一近鄰局部平均鍵長變化量(change of local mean bond length, <Δd>)。

ESS= (Eα+M+EMO)- (Eα+MO+EM)

(1)

<Δd>=1/12∑ ( |ri′-ro′ |- |ri-ro| )

(i=1,2,…,12)

(2)

式(1)中：MO、M分別為置換位點(diǎn)置換前、后的元素；α為體系去除置換位點(diǎn)處原子的部分，α+M為置換后體系，α+MO為置換前體系；EMO、EM分別為置換前、后元素的體相單原子能量；ESS為單位點(diǎn)置換能，Eα+M為置換后體系的總能，Eα+MO為置換前體系的總能。式(2)中，<Δd>為體系弛豫前后單個(gè)置換位點(diǎn)第一近鄰的局部平均鍵長變化量；參考置換位點(diǎn)的第一近鄰共有12個(gè)原子，ro為體系弛豫前參考位點(diǎn)的坐標(biāo)，ri為體系弛豫前參考位點(diǎn)的第一近鄰原子中第i個(gè)原子的坐標(biāo)；ro′為體系弛豫后參考位點(diǎn)的坐標(biāo)，ri為體系弛豫后參考位點(diǎn)的第一近鄰原子中第i個(gè)原子的坐標(biāo)。

1.2 機(jī)器學(xué)習(xí)描述因子模型構(gòu)建

通過將元素基礎(chǔ)性質(zhì)投影至局部幾何結(jié)構(gòu)構(gòu)建描述因子，元素的基礎(chǔ)性質(zhì)見表1[18]。基于置換元素的主體與環(huán)境的局部相互作用這一物理思想，設(shè)計(jì)了“成分- 結(jié)構(gòu)”模型，將體系的局部成分與結(jié)構(gòu)信息納入特征構(gòu)建。同時(shí)為了與僅使用成分構(gòu)建機(jī)器學(xué)習(xí)模型相比較，考慮置換位點(diǎn)及其第一、二近鄰原子構(gòu)成的局部團(tuán)簇的元素成分，構(gòu)建了成分描述因子模型。

表1 用于構(gòu)建機(jī)器學(xué)習(xí)描述因子的元素和單質(zhì)體相的基礎(chǔ)性質(zhì)Table 1 Elementary properties of elements and simple substance for constructing machine learning descriptors

本文采用Python中的scikit- learn模塊[19]進(jìn)行機(jī)器學(xué)習(xí)。使用random forest (RF)和suport vector regression (SVR)算法進(jìn)行機(jī)器學(xué)習(xí)建模。分別使用11種元素體系中的含其中10種元素的數(shù)據(jù)集作為訓(xùn)練集，分別對含第11種元素的數(shù)據(jù)進(jìn)行獨(dú)立預(yù)測。訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)采取5折交叉驗(yàn)證，使用網(wǎng)格搜索方法優(yōu)化超參數(shù)。以決定系數(shù)(R2)和平均絕對誤差(MAE)作為機(jī)器學(xué)習(xí)模型性能的評分指標(biāo)。因每次劃分?jǐn)?shù)據(jù)均為隨機(jī)過程，為了數(shù)據(jù)分析的統(tǒng)計(jì)意義，每個(gè)階段的機(jī)器學(xué)習(xí)均進(jìn)行了20次取樣，并對20次取樣結(jié)果進(jìn)行平均，即得到平均和。以20次取樣中MAE最接近平均的一次取樣預(yù)測結(jié)果作圖分析。

2 結(jié)果與討論

本文根據(jù)成分- 結(jié)構(gòu)(CS)和成分(C)描述因子進(jìn)行機(jī)器學(xué)習(xí)建模，使用random forest (RF)和suport vector regression (SVR)算法分別預(yù)測了11種摻雜合金元素在γ相和γ′相中的單位點(diǎn)置換能(ESS)和局部平均鍵長變化(<Δd>)，最后根據(jù)R2與MAE討論比較各機(jī)器學(xué)習(xí)模型的預(yù)測精度。

2.1 單位點(diǎn)置換能(ESS)

對所研究的11種合金化元素的單位點(diǎn)置換能分別進(jìn)行機(jī)器學(xué)習(xí)預(yù)測，預(yù)測結(jié)果的R2和MAE統(tǒng)計(jì)如圖1所示。根據(jù)CS模型構(gòu)建描述因子，使用SVR和RF對γ相訓(xùn)練集進(jìn)行預(yù)測的R2分別在0.96(CS- SVR)和0.98(CS- RF)以上，γ′相訓(xùn)練集的R2分別在0.91和0.96以上；使用C模型構(gòu)建描述因子，使用SVR和RF對γ相訓(xùn)練集進(jìn)行預(yù)測的R2分別在0.94(C- SVR)和0.97(C- RF)以上，γ′相訓(xùn)練集的R2分別在0.84和0.93以上。使用CS- SVR和CS- RF機(jī)器學(xué)習(xí)模型對γ相訓(xùn)練集進(jìn)行預(yù)測的MAE分別在42和44 meV以下，γ′相訓(xùn)練集的MAE分別在82和79 meV以下；使用C- SVR和C- RF機(jī)器學(xué)習(xí)模型對γ相訓(xùn)練集進(jìn)行預(yù)測的MAE分別在64和68 meV以下，γ′相訓(xùn)練集的MAE分別在185和137 meV以下。由此可見，無論是γ相還是γ′相，根據(jù)“成分- 結(jié)構(gòu)”CS模型構(gòu)建的描述因子比成分C模型具有更高的機(jī)器學(xué)習(xí)預(yù)測精度。在使用CS描述因子的機(jī)器學(xué)習(xí)中，SVR和RF方法的預(yù)測精度接近，說明CS描述因子對機(jī)器學(xué)習(xí)算法的選擇不敏感。但在使用C描述因子的機(jī)器學(xué)習(xí)中，SVR和RF方法的預(yù)測精度差異較大，如C- RF比C- SVR對γ′相數(shù)據(jù)集的預(yù)測精度要高?？偟膩碚f，對γ相數(shù)據(jù)集的預(yù)測精度比γ′相要高，這可能與γ′相中的占位構(gòu)型數(shù)量更多、復(fù)雜度更高有關(guān)。

對獨(dú)立測試集的預(yù)測結(jié)果進(jìn)行分析：使用CS- SVR方法預(yù)測時(shí)，γ相中Ru、W、Ta、Re和Cr等元素的R2分別達(dá)到0.96、0.88、0.87、0.85和0.83，置換能MAE分別為102.5、159.9、192.8、212.3和179.9 meV，而Al、Co、Hf、Mo、Ni和Ti等元素的R2均在0.80以下，且MAE更大；γ′相中Re、Hf和Ta等元素的R2分別為0.82、0.79和0.75，置換能MAE分別為219.1、227.6和194.1 meV，而其他8種元素的R2均在0.60以下，Al元素具有最小的R2(-4.65)和最大的MAE(1 560.6 meV)。使用CS- RF方法預(yù)測時(shí)，γ相中W、Cr、Re和Ni等元素的R2分別達(dá)到0.86、0.86、0.85和0.84，MAE分別為169.2、173.1、185.4和178.0 meV，其他7種元素的R2均在0.80以下，Ti元素的R2僅為-0.46，MAE為675.2 meV；γ′相中Co、W、Ta和Re等元素的R2分別達(dá)到0.89、0.80、0.79和0.76，MAE分別為174.0、211.1、207.5和243.1 meV，其他7種元素的R2均在0.75以下，Ti元素的R2為-0.46，MAE為569.9 meV。

圖1 單位點(diǎn)置換能機(jī)器學(xué)習(xí)預(yù)測結(jié)果(a,b分別為對γ相和γ′相中11種元素進(jìn)行預(yù)測的R2，其中R2值小于-0.2時(shí)截?cái)啵籧,d分別為對γ相和γ′相中11種元素進(jìn)行預(yù)測的MAE)Fig.1 Prediction of machine learning for the ESS(a and b are the R2 of γ and γ′ phase for the eleven alloying elements, respectively, the R2 is truncated to -0.2 if it is smaller than -0.2; c and d are the MAE of γ and γ′ phase for the eleven alloying elements, respectively)

根據(jù)C描述因子構(gòu)建機(jī)器學(xué)習(xí)模型，使用C- SVR方法預(yù)測時(shí)，γ相中所有元素的預(yù)測結(jié)果精度均比CS描述因子的低，Ru元素的R2最大僅為0.12，Ni元素的MAE最小，為453.0 meV；γ′相中所有元素的R2均為負(fù)值，Cr元素的MAE最小，達(dá)到560.4 meV。使用C- RF方法預(yù)測時(shí)，γ相中Cr、Ni和Co等元素的R2分別為0.89、0.84和0.84，置換能MAE分別為145.1、164.0和145.1 meV，其他8種元素的R2均在0.80以下，Al元素R2僅為-1.10，MAE達(dá)到864.2 meV；γ′相中Hf和Co等元素的R2分別達(dá)到0.78和0.73，MAE分別為240.9和262.2 meV，其他9種元素的R2均在0.65以下，Ti元素僅為-0.80，MAE達(dá)到794.4 meV。

使用RF方法對W元素的ESS進(jìn)行預(yù)測，結(jié)果如圖2所示。對W元素在γ相和γ′相的預(yù)測，使用CE模型進(jìn)行數(shù)據(jù)挖掘時(shí)，其訓(xùn)練集和測試集的R2差值比使用C模型構(gòu)建數(shù)據(jù)集時(shí)要小，表明使用CE模型構(gòu)建數(shù)據(jù)集進(jìn)行預(yù)測具有更小的過擬合度。同時(shí)，CE模型測試集的MAE相比C模型的更低 (γ相:169.2 meV vs 422.0 meV,γ′相: 211.1 meV vs 377.9 meV)。γ相的預(yù)測精度要高于γ′相，這可能是因?yàn)棣谩湎鄶?shù)據(jù)的復(fù)雜度高于γ相。

圖2 使用RF方法對W元素的ESS進(jìn)行機(jī)器學(xué)習(xí)預(yù)測與DFT結(jié)果的比較(a,c分別為γ相和γ′相中使用CS描述因子構(gòu)建機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)果；b,d分別為γ相和γ′相中使用C描述因子構(gòu)建機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)果)Fig.2 Comparison of the ESS of W- containing system obtained by machine learning and DFT (a and c are the results of γ and γ′ phase whose datasets constructed by the CS model, respectively; b and d are the results of γ and γ′ phase whose datasets constructed by the C model, respectively)

2.2 局部平均鍵長變化(<Δd>)

對局部平均鍵長變化<Δd>預(yù)測結(jié)果的R2和MAE統(tǒng)計(jì)如圖3所示。使用CS- SVR和CS- RF對γ相訓(xùn)練集預(yù)測的R2均在0.99以上，γ′相訓(xùn)練集的R2分別在0.97和0.98以上；使用C- SVR和C- RF對γ相訓(xùn)練集預(yù)測的R2均在0.99以上，γ′相訓(xùn)練集的R2分別在0.94和0.98以上。使用CS- SVR和CS- RF對γ相訓(xùn)練集預(yù)測的MAE分別在0.8×10-3和1.0×10-3?以下，γ′相訓(xùn)練集的MAE均在2.1×10-3?以下；使用C- SVR和C- RF對γ相訓(xùn)練集預(yù)測的MAE分別在1.3×10-3和1.1×10-3?以下，γ′相訓(xùn)練集的R2分別在4.2×10-3和2.1×10-3?以下。

圖3 局部平均鍵長變化<Δd>機(jī)器學(xué)習(xí)預(yù)測結(jié)果(a,b分別為對γ相和γ′相中11種元素進(jìn)行預(yù)測的R2，其中R2值小于-0.2時(shí)截?cái)啵籧,d分別為對γ相和γ′相中11種元素進(jìn)行預(yù)測的MAE)Fig.3 Prediction of machine learning for the <Δd>(a and b are the R2 of γ and γ′ phases for the eleven alloying elements, respectively, the R2 is truncated to -0.2 if it is smaller than -0.2; c and d are the MAE of γ and γ′ phase for the eleven alloying elements, respectively)

對獨(dú)立測試集的預(yù)測結(jié)果進(jìn)行分析：使用CS- SVR機(jī)器學(xué)習(xí)模型預(yù)測時(shí)，γ相中Mo元素的R2達(dá)到0.90，MAE為4.3×10-3?，而其他10種元素的R2均在0.77以下，且MAE更大；γ′相中Ta元素的R2為0.86，MAE為9.4×10-3?，而其他10種元素的R2均在0.65以下，其中Co元素的R2最小(-11.89)，MAE最大(80.6×10-3?)。使用CS- RF機(jī)器學(xué)習(xí)模型預(yù)測時(shí)，γ相中Co、Mo和W等元素的R2分別達(dá)到0.97、0.95和0.94，MAE分別為2.4×10-3、2.5×10-3和2.8×10-3?，其他8種元素的R2均在0.90以下，其中Ti元素的R2僅為-0.85，MAE為16.0×10-3?；γ′相中W和Ni等元素的R2分別達(dá)到0.89和0.86，MAE分別為6.3×10-3和6.2×10-3?，其他9種元素的R2均在0.84以下，Co元素的R2為-0.41，MAE為20.3×10-3?。

使用C- SVR機(jī)器學(xué)習(xí)模型預(yù)測時(shí)，γ相中所有元素的預(yù)測結(jié)果精度較低，其中Mo元素的R2最大，為0.77，Cr元素的MAE最小，為15.6×10-3?；γ′相中Mo元素的R2最大，為0.84，MAE最小，為8.8×10-3?。使用C- RF機(jī)器學(xué)習(xí)模型預(yù)測時(shí)，γ相中Ti、Mo、W、Co和Ru等元素的R2分別為0.98、0.97、0.95、0.94和0.93，MAE分別為1.61×10-3、1.8×10-3、2.8×10-3、2.9×10-3和2.7×10-3?，其他6種元素的R2均在0.90以下，Ta元素的R2為-0.36，MAE達(dá)到15.9×10-3?；γ′相中Mo、W和Re等元素的R2分別達(dá)到0.97、0.92和0.91，MAE分別為3.7×10-3、5.5×10-3和6.2×10-3?，其他8種元素的R2均在0.90以下，其中Hf元素的R2僅為-0.06，MAE達(dá)到26.4×10-3?。

使用RF方法對W元素的<Δd>機(jī)器學(xué)習(xí)預(yù)測結(jié)果如圖4所示。對W元素在γ相和γ′相中的預(yù)測，CS機(jī)器學(xué)習(xí)的訓(xùn)練集和測試集的R2差值比C機(jī)器學(xué)習(xí)的要小，表明使用CS描述因子構(gòu)造機(jī)器學(xué)習(xí)模型比C描述因子的過擬合更小。同時(shí)，獨(dú)立測試集的預(yù)測結(jié)果表明，CS機(jī)器學(xué)習(xí)模型預(yù)測的MAE相比C機(jī)器學(xué)習(xí)模型的更低(γ:2.8 vs 2.8×10-3?,γ′: 6.3 vs 5.5×10-3?)。

圖4 使用RF方法對W元素的<Δd>進(jìn)行機(jī)器學(xué)習(xí)預(yù)測和DFT結(jié)果比較(a,c分別為γ相和γ′相中使用CS機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)果；b,d分別為γ相和γ′相中使用C機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)果)Fig.4 Comparison of the <Δd> of W- containing system obtained by machine learning and DFT (a and c are the results of γ and γ′ phase whose datasets constructed by the CS model, respectively; b and d are the results of γ and γ′ phase whose datasets constructed by the C model, respectively)

2.3 合金元素置換能的機(jī)器學(xué)習(xí)預(yù)測

根據(jù)CS描述因子構(gòu)建機(jī)器學(xué)習(xí)模型，使用RF對γ相和γ′相的置換能ESS的預(yù)測結(jié)果(CS- RF)MAE比CS- SVR方法的更小。使用CS- RF方法對γ相和γ′相的ESS的預(yù)測MAE結(jié)果統(tǒng)計(jì)如圖5所示。

圖5 使用CS- RF方法對γ相和γ′相中11種合金元素置換能預(yù)測的MAEFig.5 MAE of ESS for the eleven alloying elements in the γ and γ′ phases predicted by the CS- RF method

結(jié)果表明，使用隨機(jī)森林(RF)方法對γ相和γ′相單位點(diǎn)置換能(ESS)進(jìn)行CS機(jī)器學(xué)習(xí)建模時(shí)(CS- RF)，W、Co、Mo、Re、Cr、Ta和Hf等元素的預(yù)測誤差均小于300 meV, Ni和Ru元素的MAE在300～500 meV之間，Ti和Al元素的預(yù)測誤差均大于500 meV。在11種合金元素中，使用CS- RF方法對Al元素的預(yù)測誤差較大，且不同預(yù)測結(jié)果的誤差變化大，而對W元素的預(yù)測誤差相對較小且變化小。

綜上所述，對不同摻雜元素的置換能的預(yù)測精度不一定相同，表明測試集中的預(yù)測元素與訓(xùn)練集中其他10種元素的平均性質(zhì)的差異性不同：差異越小，預(yù)測誤差也越小。置換能預(yù)測誤差較大的合金元素是核外殼層p電子的Al和早期過渡族金屬元素Ti，表明這些元素的性質(zhì)與其他的中- 后期過渡族金屬元素差異較大。預(yù)測誤差較大時(shí)，不適合作為定量預(yù)測新元素性質(zhì)的方法，該誤差本身反映了預(yù)測元素與已知元素間性質(zhì)的差異性或相似性。

3 結(jié)論

本文證明了通過將機(jī)器學(xué)習(xí)與第一性原理計(jì)算相結(jié)合能夠加速對多元合金的新?lián)诫s元素的局部能量和結(jié)構(gòu)變化的有效預(yù)測。提出了適合描述晶體局部成分和結(jié)構(gòu)的“中心- 環(huán)境”(CS)模型，將元素的基礎(chǔ)性質(zhì)投影到“中心- 結(jié)構(gòu)”模型上構(gòu)建描述因子，進(jìn)而構(gòu)建機(jī)器學(xué)習(xí)預(yù)測模型。對鎳基單晶高溫合金中常見的11種合金元素的單位點(diǎn)和雙位點(diǎn)置換能及局部平均鍵長變化進(jìn)行了預(yù)測。結(jié)果表明,使用成分- 結(jié)構(gòu)信息描述因子構(gòu)建的機(jī)器學(xué)習(xí)模型比傳統(tǒng)的僅使用成分信息的機(jī)器學(xué)習(xí)模型具有更高的預(yù)測精度和魯棒性。基于第一性原理的對新?lián)诫s元素的能量和幾何結(jié)構(gòu)的機(jī)器學(xué)習(xí)預(yù)測有助于新型多元合金的成分設(shè)計(jì)。