肖 斌 吳雨沁 劉 軼

(1.上海大學理學院物理系，上海 200444； 2.上海大學材料基因組工程研究院，上海 200444；3.上海大學錢偉長學院，上海 200444)

高通量實驗、高通量計算和材料數(shù)據(jù)分析是材料基因組工程研發(fā)方法的三大要素[1- 2]。機器學習是針對材料數(shù)據(jù)進行挖掘分析、描述復雜材料構效關系的重要手段。材料的數(shù)據(jù)來源有實驗[3]、計算[4]或數(shù)據(jù)庫。基于密度泛函理論(density functional theory, DFT)的第一性原理計算有助于深入理解微觀機制、發(fā)現(xiàn)新材料，但由于昂貴的計算成本限制了其在時間和空間上及考察的構型種類和數(shù)量上的應用。第一性原理計算可以通過高通量的方式系統(tǒng)地研究大量的材料體系和構型，由此產生的計算數(shù)據(jù)可進一步與機器學習建模結合，使得更為高效的材料性質預測成為可能。因此將高通量計算和機器學習方法相結合能夠加速材料的計算研究。

Curtarolo等[5]、Meredig等[6]、Carrete等[7]、Faber等[8- 9]、Seko等[10]、Deml等[11]和Ward等[12]使用成分信息構建數(shù)據(jù)集，對不同的物理性質進行預測，其優(yōu)點是簡單靈活且適用面廣。但需要大量的DFT計算數(shù)據(jù)才能構建較為準確的機器學習模型,且材料經(jīng)常有同素異構現(xiàn)象，即相同成分有多種晶型的“簡并”，其性質也可能有所差別。因而僅依據(jù)成分信息構造描述因子進行機器學習預測具有很大局限性。Togo等[13]、Kong等[14]、Jong等[15]和Ward等[16]開始引入全局結構信息進行建模，預測目標也是全局的材料性質，如材料的形成能或內聚能。但目前能夠針對局部晶體結構的描述因子和材料局部性能的機器學習預測研究還較少見。

為了預測材料的局部性質，需要能夠描述晶體局部成分和結構特征的描述因子。本文以晶體摻雜元素位點置換為例，提出了“成分- 結構”描述因子模型(composition- structure model, CS model)，可同時考慮晶體結構的局部成分和結構特征。CE模型將摻雜元素作為中心參考位點，以其第一、二近鄰原子作為環(huán)境，構建基于二維成分- 結構描述因子矢量的機器學習模型，描述合金元素摻雜引起的體系局部能量和結構變化。通過將元素的基礎性質投影到“成分- 結構”模型上構建描述因子，并分別使用支持向量回歸(support vector regression, SVR)方法和隨機森林(random forest, RF)方法進行機器學習訓練建模和預測。重點是在“已知”合金元素摻雜數(shù)據(jù)的基礎上訓練構建機器學習模型，預測“未知”新元素摻雜引起的局部結構和能量變化。

1 計算方法

1.1 摻雜元素占位的第一性原理計算

本文使用第一性原理VASP[17]軟件對鎳基單晶高溫合金摻雜元素的置換占位構型進行系統(tǒng)的DFT計算。以穩(wěn)定狀態(tài)下的晶格常數(shù)分別建立了γ相和γ′相的2×2×2超胞模型?？紤]各體系中置換元素的第一、二近鄰，分別在γ相和γ′相中建立了2種和4種不等效置換位點對?？紤]了鎳基單晶高溫合金中常見的11種合金化元素M(Al, Co, Cr, Hf, Mo, Ni, Re, Ru, Ta, Ti, W)。這些合金化元素在6種不等效位點對上共構成451種置換構型體系。在2×2×2超胞模型計算中，體系的晶格常數(shù)固定，離子位置進行充分弛豫，電子再進行自洽計算得到體系總能量。DFT計算中采用廣義梯度近似GGA- PBE泛函和PAW贗勢，截斷能為400 eV，能量收斂精度為10-5eV；離子弛豫時K點間隔為0.047 ?-1，電子自洽計算時K點間隔為0.028 ?-1。

幾何優(yōu)化計算獲得各置換構型體系總能量后，通過式(1)、式(2)分別計算了雙位點置換體系模型的單位點置換能(single- site substitution energy,ESS)和單個置換位點體系弛豫前后第一近鄰局部平均鍵長變化量(change of local mean bond length, <Δd>)。

ESS= (Eα+M+EMO)- (Eα+MO+EM)

(1)

<Δd>=1/12∑ ( |ri′-ro′ |- |ri-ro| )

(i=1,2,…,12)

(2)

式(1)中：MO、M分別為置換位點置換前、后的元素；α為體系去除置換位點處原子的部分，α+M為置換后體系，α+MO為置換前體系；EMO、EM分別為置換前、后元素的體相單原子能量；ESS為單位點置換能，Eα+M為置換后體系的總能，Eα+MO為置換前體系的總能。式(2)中，<Δd>為體系弛豫前后單個置換位點第一近鄰的局部平均鍵長變化量；參考置換位點的第一近鄰共有12個原子，ro為體系弛豫前參考位點的坐標，ri為體系弛豫前參考位點的第一近鄰原子中第i個原子的坐標；ro′為體系弛豫后參考位點的坐標，ri為體系弛豫后參考位點的第一近鄰原子中第i個原子的坐標。

1.2 機器學習描述因子模型構建

通過將元素基礎性質投影至局部幾何結構構建描述因子，元素的基礎性質見表1[18]?；谥脫Q元素的主體與環(huán)境的局部相互作用這一物理思想，設計了“成分- 結構”模型，將體系的局部成分與結構信息納入特征構建。同時為了與僅使用成分構建機器學習模型相比較，考慮置換位點及其第一、二近鄰原子構成的局部團簇的元素成分，構建了成分描述因子模型。

表1 用于構建機器學習描述因子的元素和單質體相的基礎性質Table 1 Elementary properties of elements and simple substance for constructing machine learning descriptors

本文采用Python中的scikit- learn模塊[19]進行機器學習。使用random forest (RF)和suport vector regression (SVR)算法進行機器學習建模。分別使用11種元素體系中的含其中10種元素的數(shù)據(jù)集作為訓練集，分別對含第11種元素的數(shù)據(jù)進行獨立預測。訓練機器學習模型時采取5折交叉驗證，使用網(wǎng)格搜索方法優(yōu)化超參數(shù)。以決定系數(shù)(R2)和平均絕對誤差(MAE)作為機器學習模型性能的評分指標。因每次劃分數(shù)據(jù)均為隨機過程，為了數(shù)據(jù)分析的統(tǒng)計意義，每個階段的機器學習均進行了20次取樣，并對20次取樣結果進行平均，即得到平均和。以20次取樣中MAE最接近平均的一次取樣預測結果作圖分析。

2 結果與討論

本文根據(jù)成分- 結構(CS)和成分(C)描述因子進行機器學習建模，使用random forest (RF)和suport vector regression (SVR)算法分別預測了11種摻雜合金元素在γ相和γ′相中的單位點置換能(ESS)和局部平均鍵長變化(<Δd>)，最后根據(jù)R2與MAE討論比較各機器學習模型的預測精度。

2.1 單位點置換能(ESS)

對所研究的11種合金化元素的單位點置換能分別進行機器學習預測，預測結果的R2和MAE統(tǒng)計如圖1所示。根據(jù)CS模型構建描述因子，使用SVR和RF對γ相訓練集進行預測的R2分別在0.96(CS- SVR)和0.98(CS- RF)以上，γ′相訓練集的R2分別在0.91和0.96以上；使用C模型構建描述因子，使用SVR和RF對γ相訓練集進行預測的R2分別在0.94(C- SVR)和0.97(C- RF)以上，γ′相訓練集的R2分別在0.84和0.93以上。使用CS- SVR和CS- RF機器學習模型對γ相訓練集進行預測的MAE分別在42和44 meV以下，γ′相訓練集的MAE分別在82和79 meV以下；使用C- SVR和C- RF機器學習模型對γ相訓練集進行預測的MAE分別在64和68 meV以下，γ′相訓練集的MAE分別在185和137 meV以下。由此可見，無論是γ相還是γ′相，根據(jù)“成分- 結構”CS模型構建的描述因子比成分C模型具有更高的機器學習預測精度。在使用CS描述因子的機器學習中，SVR和RF方法的預測精度接近，說明CS描述因子對機器學習算法的選擇不敏感。但在使用C描述因子的機器學習中，SVR和RF方法的預測精度差異較大，如C- RF比C- SVR對γ′相數(shù)據(jù)集的預測精度要高?？偟膩碚f，對γ相數(shù)據(jù)集的預測精度比γ′相要高，這可能與γ′相中的占位構型數(shù)量更多、復雜度更高有關。

對獨立測試集的預測結果進行分析：使用CS- SVR方法預測時，γ相中Ru、W、Ta、Re和Cr等元素的R2分別達到0.96、0.88、0.87、0.85和0.83，置換能MAE分別為102.5、159.9、192.8、212.3和179.9 meV，而Al、Co、Hf、Mo、Ni和Ti等元素的R2均在0.80以下，且MAE更大；γ′相中Re、Hf和Ta等元素的R2分別為0.82、0.79和0.75，置換能MAE分別為219.1、227.6和194.1 meV，而其他8種元素的R2均在0.60以下，Al元素具有最小的R2(-4.65)和最大的MAE(1 560.6 meV)。使用CS- RF方法預測時，γ相中W、Cr、Re和Ni等元素的R2分別達到0.86、0.86、0.85和0.84，MAE分別為169.2、173.1、185.4和178.0 meV，其他7種元素的R2均在0.80以下，Ti元素的R2僅為-0.46，MAE為675.2 meV；γ′相中Co、W、Ta和Re等元素的R2分別達到0.89、0.80、0.79和0.76，MAE分別為174.0、211.1、207.5和243.1 meV，其他7種元素的R2均在0.75以下，Ti元素的R2為-0.46，MAE為569.9 meV。

圖1 單位點置換能機器學習預測結果(a,b分別為對γ相和γ′相中11種元素進行預測的R2，其中R2值小于-0.2時截斷；c,d分別為對γ相和γ′相中11種元素進行預測的MAE)Fig.1 Prediction of machine learning for the ESS(a and b are the R2 of γ and γ′ phase for the eleven alloying elements, respectively, the R2 is truncated to -0.2 if it is smaller than -0.2; c and d are the MAE of γ and γ′ phase for the eleven alloying elements, respectively)

根據(jù)C描述因子構建機器學習模型，使用C- SVR方法預測時，γ相中所有元素的預測結果精度均比CS描述因子的低，Ru元素的R2最大僅為0.12，Ni元素的MAE最小，為453.0 meV；γ′相中所有元素的R2均為負值，Cr元素的MAE最小，達到560.4 meV。使用C- RF方法預測時，γ相中Cr、Ni和Co等元素的R2分別為0.89、0.84和0.84，置換能MAE分別為145.1、164.0和145.1 meV，其他8種元素的R2均在0.80以下，Al元素R2僅為-1.10，MAE達到864.2 meV；γ′相中Hf和Co等元素的R2分別達到0.78和0.73，MAE分別為240.9和262.2 meV，其他9種元素的R2均在0.65以下，Ti元素僅為-0.80，MAE達到794.4 meV。

使用RF方法對W元素的ESS進行預測，結果如圖2所示。對W元素在γ相和γ′相的預測，使用CE模型進行數(shù)據(jù)挖掘時，其訓練集和測試集的R2差值比使用C模型構建數(shù)據(jù)集時要小，表明使用CE模型構建數(shù)據(jù)集進行預測具有更小的過擬合度。同時，CE模型測試集的MAE相比C模型的更低 (γ相:169.2 meV vs 422.0 meV,γ′相: 211.1 meV vs 377.9 meV)。γ相的預測精度要高于γ′相，這可能是因為γ′相數(shù)據(jù)的復雜度高于γ相。

圖2 使用RF方法對W元素的ESS進行機器學習預測與DFT結果的比較(a,c分別為γ相和γ′相中使用CS描述因子構建機器學習模型的預測結果；b,d分別為γ相和γ′相中使用C描述因子構建機器學習模型的預測結果)Fig.2 Comparison of the ESS of W- containing system obtained by machine learning and DFT (a and c are the results of γ and γ′ phase whose datasets constructed by the CS model, respectively; b and d are the results of γ and γ′ phase whose datasets constructed by the C model, respectively)

2.2 局部平均鍵長變化(<Δd>)

對局部平均鍵長變化<Δd>預測結果的R2和MAE統(tǒng)計如圖3所示。使用CS- SVR和CS- RF對γ相訓練集預測的R2均在0.99以上，γ′相訓練集的R2分別在0.97和0.98以上；使用C- SVR和C- RF對γ相訓練集預測的R2均在0.99以上，γ′相訓練集的R2分別在0.94和0.98以上。使用CS- SVR和CS- RF對γ相訓練集預測的MAE分別在0.8×10-3和1.0×10-3?以下，γ′相訓練集的MAE均在2.1×10-3?以下；使用C- SVR和C- RF對γ相訓練集預測的MAE分別在1.3×10-3和1.1×10-3?以下，γ′相訓練集的R2分別在4.2×10-3和2.1×10-3?以下。

圖3 局部平均鍵長變化<Δd>機器學習預測結果(a,b分別為對γ相和γ′相中11種元素進行預測的R2，其中R2值小于-0.2時截斷；c,d分別為對γ相和γ′相中11種元素進行預測的MAE)Fig.3 Prediction of machine learning for the <Δd>(a and b are the R2 of γ and γ′ phases for the eleven alloying elements, respectively, the R2 is truncated to -0.2 if it is smaller than -0.2; c and d are the MAE of γ and γ′ phase for the eleven alloying elements, respectively)

對獨立測試集的預測結果進行分析：使用CS- SVR機器學習模型預測時，γ相中Mo元素的R2達到0.90，MAE為4.3×10-3?，而其他10種元素的R2均在0.77以下，且MAE更大；γ′相中Ta元素的R2為0.86，MAE為9.4×10-3?，而其他10種元素的R2均在0.65以下，其中Co元素的R2最小(-11.89)，MAE最大(80.6×10-3?)。使用CS- RF機器學習模型預測時，γ相中Co、Mo和W等元素的R2分別達到0.97、0.95和0.94，MAE分別為2.4×10-3、2.5×10-3和2.8×10-3?，其他8種元素的R2均在0.90以下，其中Ti元素的R2僅為-0.85，MAE為16.0×10-3?；γ′相中W和Ni等元素的R2分別達到0.89和0.86，MAE分別為6.3×10-3和6.2×10-3?，其他9種元素的R2均在0.84以下，Co元素的R2為-0.41，MAE為20.3×10-3?。

使用C- SVR機器學習模型預測時，γ相中所有元素的預測結果精度較低，其中Mo元素的R2最大，為0.77，Cr元素的MAE最小，為15.6×10-3?；γ′相中Mo元素的R2最大，為0.84，MAE最小，為8.8×10-3?。使用C- RF機器學習模型預測時，γ相中Ti、Mo、W、Co和Ru等元素的R2分別為0.98、0.97、0.95、0.94和0.93，MAE分別為1.61×10-3、1.8×10-3、2.8×10-3、2.9×10-3和2.7×10-3?，其他6種元素的R2均在0.90以下，Ta元素的R2為-0.36，MAE達到15.9×10-3?；γ′相中Mo、W和Re等元素的R2分別達到0.97、0.92和0.91，MAE分別為3.7×10-3、5.5×10-3和6.2×10-3?，其他8種元素的R2均在0.90以下，其中Hf元素的R2僅為-0.06，MAE達到26.4×10-3?。

使用RF方法對W元素的<Δd>機器學習預測結果如圖4所示。對W元素在γ相和γ′相中的預測，CS機器學習的訓練集和測試集的R2差值比C機器學習的要小，表明使用CS描述因子構造機器學習模型比C描述因子的過擬合更小。同時，獨立測試集的預測結果表明，CS機器學習模型預測的MAE相比C機器學習模型的更低(γ:2.8 vs 2.8×10-3?,γ′: 6.3 vs 5.5×10-3?)。

圖4 使用RF方法對W元素的<Δd>進行機器學習預測和DFT結果比較(a,c分別為γ相和γ′相中使用CS機器學習模型的預測結果；b,d分別為γ相和γ′相中使用C機器學習模型的預測結果)Fig.4 Comparison of the <Δd> of W- containing system obtained by machine learning and DFT (a and c are the results of γ and γ′ phase whose datasets constructed by the CS model, respectively; b and d are the results of γ and γ′ phase whose datasets constructed by the C model, respectively)

2.3 合金元素置換能的機器學習預測

根據(jù)CS描述因子構建機器學習模型，使用RF對γ相和γ′相的置換能ESS的預測結果(CS- RF)MAE比CS- SVR方法的更小。使用CS- RF方法對γ相和γ′相的ESS的預測MAE結果統(tǒng)計如圖5所示。

圖5 使用CS- RF方法對γ相和γ′相中11種合金元素置換能預測的MAEFig.5 MAE of ESS for the eleven alloying elements in the γ and γ′ phases predicted by the CS- RF method

結果表明，使用隨機森林(RF)方法對γ相和γ′相單位點置換能(ESS)進行CS機器學習建模時(CS- RF)，W、Co、Mo、Re、Cr、Ta和Hf等元素的預測誤差均小于300 meV, Ni和Ru元素的MAE在300～500 meV之間，Ti和Al元素的預測誤差均大于500 meV。在11種合金元素中，使用CS- RF方法對Al元素的預測誤差較大，且不同預測結果的誤差變化大，而對W元素的預測誤差相對較小且變化小。

綜上所述，對不同摻雜元素的置換能的預測精度不一定相同，表明測試集中的預測元素與訓練集中其他10種元素的平均性質的差異性不同：差異越小，預測誤差也越小。置換能預測誤差較大的合金元素是核外殼層p電子的Al和早期過渡族金屬元素Ti，表明這些元素的性質與其他的中- 后期過渡族金屬元素差異較大。預測誤差較大時，不適合作為定量預測新元素性質的方法，該誤差本身反映了預測元素與已知元素間性質的差異性或相似性。

3 結論

本文證明了通過將機器學習與第一性原理計算相結合能夠加速對多元合金的新?lián)诫s元素的局部能量和結構變化的有效預測。提出了適合描述晶體局部成分和結構的“中心- 環(huán)境”(CS)模型，將元素的基礎性質投影到“中心- 結構”模型上構建描述因子，進而構建機器學習預測模型。對鎳基單晶高溫合金中常見的11種合金元素的單位點和雙位點置換能及局部平均鍵長變化進行了預測。結果表明,使用成分- 結構信息描述因子構建的機器學習模型比傳統(tǒng)的僅使用成分信息的機器學習模型具有更高的預測精度和魯棒性?；诘谝恍栽淼膶π?lián)诫s元素的能量和幾何結構的機器學習預測有助于新型多元合金的成分設計。