馮 順

(西京學(xué)院 電子信息學(xué)院,陜西 西安 710123)

0 引言

無(wú)機(jī)鈣鈦礦材料因其優(yōu)異的光電性質(zhì),如高光吸收系數(shù)和高載流子遷移率,目前在光伏領(lǐng)域受到廣泛關(guān)注,是具有極大產(chǎn)業(yè)化潛力的新型材料[1]。然而,常規(guī)實(shí)驗(yàn)法篩選和設(shè)計(jì)新材料的效率較低,無(wú)法滿(mǎn)足產(chǎn)業(yè)化發(fā)展的需求。此外,新材料的發(fā)現(xiàn)和設(shè)計(jì)是一個(gè)多變量、多目標(biāo)的復(fù)雜問(wèn)題,很難通過(guò)簡(jiǎn)單的實(shí)驗(yàn)手段解決[2]。

近年來(lái),機(jī)器學(xué)習(xí)技術(shù)得到長(zhǎng)足發(fā)展,在材料領(lǐng)域展現(xiàn)出重要應(yīng)用前景[3]。機(jī)器學(xué)習(xí)可以處理高維數(shù)據(jù),發(fā)現(xiàn)復(fù)雜的pattern,建立精確的預(yù)測(cè)模型,大幅提高材料發(fā)現(xiàn)和設(shè)計(jì)的效率[4]。特別是深度學(xué)習(xí)和Boosting學(xué)習(xí)算法具有強(qiáng)大的預(yù)測(cè)能力和高效性,在無(wú)機(jī)半導(dǎo)體材料中已應(yīng)用于材料屬性預(yù)測(cè)[5]。但是,無(wú)機(jī)鈣鈦礦材料的相關(guān)研究較少。

為了提高無(wú)機(jī)鈣鈦礦材料高通量篩選和設(shè)計(jì)的效率,本研究采用機(jī)器學(xué)習(xí)方法構(gòu)建無(wú)機(jī)鈣鈦礦材料形成能預(yù)測(cè)模型。通過(guò)比較XGBoost、隨機(jī)森林、支持向量回歸和LightGBM 4種算法,LightGBM算法展現(xiàn)出最高的預(yù)測(cè)精度和效果。這證明LightGBM算法在材料發(fā)現(xiàn)和設(shè)計(jì)中具有重要應(yīng)用潛力,值得進(jìn)一步探索。

本研究構(gòu)建的預(yù)測(cè)模型為無(wú)機(jī)鈣鈦礦材料的高通量篩選和設(shè)計(jì)提供關(guān)鍵技術(shù)支持,將大幅提高材料設(shè)計(jì)的效率,推動(dòng)產(chǎn)業(yè)發(fā)展,對(duì)實(shí)現(xiàn)新材料的高效篩選和發(fā)現(xiàn)產(chǎn)生深遠(yuǎn)影響。研究結(jié)果表明,機(jī)器學(xué)習(xí)及LightGBM算法在材料科學(xué)中具有廣闊的應(yīng)用前景。

1 原理與方法

1.1 支持向量機(jī)

支持向量機(jī)(SVM)是一種機(jī)器學(xué)習(xí)算法,通過(guò)構(gòu)建高維特征空間中的分離超平面,實(shí)現(xiàn)分類(lèi)和回歸分析[6]。SVR是SVM的回歸器(Regressor),用于解決回歸問(wèn)題,通過(guò)引入slack變量和損失函數(shù)來(lái)構(gòu)建回歸模型,實(shí)現(xiàn)連續(xù)響應(yīng)值的預(yù)測(cè)。

SVM通過(guò)非線(xiàn)性映射,將輸入空間x映射到高維特征空間F。在這個(gè)高維空間中,數(shù)據(jù)可以被線(xiàn)性分類(lèi),在高維空間構(gòu)造的最佳線(xiàn)性模型決策方程為:

y(x)=wTΦ(x)+b

(1)

其中,w是權(quán)重向量,b是偏置,超平面是由w和b唯一確定的。

SVM的核函數(shù)是實(shí)現(xiàn)核技巧的關(guān)鍵,通過(guò)某種非線(xiàn)性映射將輸入空間映射到高維特征空間,使原來(lái)線(xiàn)性不可分的問(wèn)題在高維空間變得線(xiàn)性可分,高斯核和多項(xiàng)式核是最常用的兩種SVM核函數(shù)[7]。高斯核由于可以將輸入映射到無(wú)限維特征空間,分類(lèi)效果較好,適用于各種類(lèi)型的分類(lèi)問(wèn)題,而多項(xiàng)式核計(jì)算速度更快一些,也比較簡(jiǎn)單。

1.2 隨機(jī)森林

隨機(jī)森林(Random Forest,RF)是由Breiman于2001年提出的由決策樹(shù)組合成的算法[8],RF是一種集成學(xué)習(xí)方法,通過(guò)構(gòu)建多個(gè)決策樹(shù)的組合來(lái)進(jìn)行機(jī)器學(xué)習(xí)任務(wù),通常用于分類(lèi)和回歸。隨機(jī)森林是由多個(gè)決策樹(shù)組成,每個(gè)決策樹(shù)的輸出是一個(gè)類(lèi)預(yù)測(cè)或者一個(gè)值預(yù)測(cè),通過(guò)投票或平均,所有決策樹(shù)的預(yù)測(cè)結(jié)合起來(lái)成為最終的預(yù)測(cè)結(jié)果。隨機(jī)森林的構(gòu)造流程主要分為兩個(gè)部分:

第一部分是決策樹(shù)的構(gòu)建。通過(guò)bootstrap抽樣和隨機(jī)特征選擇,構(gòu)建多棵決策樹(shù),可以最大限度地減少單棵樹(shù)過(guò)擬合的風(fēng)險(xiǎn),并產(chǎn)生更好的泛化能力。

第二部分是多棵決策樹(shù)的集成。通過(guò)對(duì)各棵決策樹(shù)預(yù)測(cè)結(jié)果的投票或平均,來(lái)獲得更高精度和更加穩(wěn)定的最終預(yù)測(cè),這實(shí)現(xiàn)了隨機(jī)森林的集成學(xué)習(xí)效果。

通過(guò)上述過(guò)程,隨機(jī)森林可以有效地控制決策樹(shù)之間的相關(guān)性,提高整體的預(yù)測(cè)效果。這是隨機(jī)森林理論上可以取得接近最佳泛化誤差的原因,同時(shí)也使其對(duì)噪聲數(shù)據(jù)具有很強(qiáng)的魯棒性。

1.3 極端梯度提升算法

極端梯度提升算法(XGBoost)是梯度提升算法的擴(kuò)展和改進(jìn),通過(guò)算法和系統(tǒng)層面的優(yōu)化,提高了梯度提升算法的效率和性能,旨在正確利用資源并克服先前梯度提升的局限性[9]。XGBoost與其他梯度提升的區(qū)別主要在于它使用了一種新的正則化技術(shù)來(lái)控制過(guò)度擬合[10]。因此,在模型調(diào)整期間更快、更穩(wěn)健,可以在模型訓(xùn)練的過(guò)程中進(jìn)行特征選擇和參數(shù)調(diào)整,提高泛化能力。

XGBoost算法是Boosting架構(gòu)的一種算法實(shí)現(xiàn),同樣符合模型函數(shù):

(2)

模型的輸出可以表示為K個(gè)弱學(xué)習(xí)器輸出的累加?；舅悸肪褪遣粩嗌尚碌臉?shù),每棵樹(shù)都是基于上一顆樹(shù)和目標(biāo)值的差值來(lái)進(jìn)行學(xué)習(xí),從而降低模型的偏差。最終模型結(jié)果的輸出如公式(2)所示,即所有樹(shù)的結(jié)果累加起來(lái)才是模型對(duì)一個(gè)樣本的預(yù)測(cè)值。

1.4 輕量級(jí)梯度提升算法

輕量級(jí)梯度提升算法(LightGBM)是由微軟團(tuán)隊(duì)在決策樹(shù)的基礎(chǔ)上研發(fā)的,該算法包含兩種新技術(shù):基于梯度的單邊采樣和獨(dú)占特征捆綁,分別處理大量數(shù)據(jù)實(shí)例和大量特征[11]。LightGBM具有精度更高、訓(xùn)練速度更快、能夠處理大規(guī)模數(shù)據(jù)、支持GPU學(xué)習(xí)等多項(xiàng)優(yōu)勢(shì)。

LightGBM是一種高效的梯度提升算法。相比于XGBoost等算法,它提供了更高的計(jì)算效率和更低的內(nèi)存消耗,LightGBM在保證模型效果的同時(shí),大大縮短了模型訓(xùn)練時(shí)間,這使其已經(jīng)在許多領(lǐng)域廣泛應(yīng)用于大規(guī)模數(shù)據(jù)的機(jī)器學(xué)習(xí)問(wèn)題[12]。LightGBM和XGBoost成為機(jī)器學(xué)習(xí)領(lǐng)域中最流行和有影響力的梯度提升算法,他們?cè)谔岣叻诸?lèi)樹(shù)模型的計(jì)算效率和性能上做出了很大貢獻(xiàn),為數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師提供了很有價(jià)值的工具。

1.5 性能評(píng)估

回歸模型的性能評(píng)估主要有以下幾個(gè)指標(biāo):均方誤差(MSE)、均方根誤差(RMSE)、擬合優(yōu)度(R2),公式如下:

(3)

(4)

(5)

式中,m為樣本數(shù)量;fi為真實(shí)值;yi為預(yù)測(cè)值。

2 模型的建立

2.1 建立數(shù)據(jù)集

本文中使用的數(shù)據(jù)來(lái)自無(wú)機(jī)晶體結(jié)構(gòu)數(shù)據(jù)庫(kù)(ICSD)中無(wú)機(jī)鈣鈦礦數(shù)據(jù),通過(guò)對(duì)數(shù)據(jù)的初步篩選,篩選出無(wú)機(jī)鈣鈦礦數(shù)據(jù)集16 324組。原始數(shù)據(jù)中共有66個(gè)原始特征,通過(guò)特征選擇,剔除了無(wú)用特征name、entry_id、icsd_id、sg、cs、cs1,由于是對(duì)無(wú)機(jī)鈣鈦礦材料的形成能進(jìn)行預(yù)測(cè),將目標(biāo)變量設(shè)為Ef,輸入Eg等其他特征對(duì)輸入特征矩陣進(jìn)行降維,可以進(jìn)一步提高模型預(yù)測(cè)的精確度。

2.2 建立預(yù)測(cè)模型

由數(shù)據(jù)預(yù)處理之后和數(shù)據(jù)集和特征篩選后的輸入變量,機(jī)器學(xué)習(xí)預(yù)測(cè)模型構(gòu)建如下。

(1)數(shù)據(jù)準(zhǔn)備:將16 324條數(shù)據(jù)的30%分為測(cè)試集,70%分為訓(xùn)練集,同時(shí)設(shè)置隨機(jī)種子為9,保證每次分割結(jié)果都相同。

(2)模型訓(xùn)練:設(shè)置10折交叉驗(yàn)證,分別建立SVR、XGBoost、LightGBM、RF算法的模型。使用這4種算法分別對(duì)訓(xùn)練集的形成能進(jìn)行訓(xùn)練。

(3)模型評(píng)價(jià)指標(biāo):使用均方誤差(MSE)、均方根誤差(RMSE)、擬合優(yōu)度(R2)對(duì)模型效果進(jìn)行評(píng)估。

(4)模型應(yīng)用:通過(guò)對(duì)4個(gè)算法訓(xùn)練建立的模型對(duì)測(cè)試集的目標(biāo)屬性進(jìn)行預(yù)測(cè),并對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。

2.3 超參數(shù)尋優(yōu)

為了提高模型的預(yù)測(cè)精確度,模型訓(xùn)練前會(huì)對(duì)學(xué)習(xí)算法的超參數(shù)進(jìn)行調(diào)優(yōu)。提高機(jī)器學(xué)習(xí)模型的預(yù)測(cè)能力,超參數(shù)優(yōu)化是必不可少的一步。選擇合適的超參數(shù)優(yōu)化方法,可以大大提高模型訓(xùn)練的效率,并獲得最優(yōu)的預(yù)測(cè)效果。對(duì)于SVR算法,正則化參數(shù)C=100.0,核參數(shù)設(shè)置為gamma='auto',指定核函數(shù)為高斯核。對(duì)于RF算法,決策樹(shù)參數(shù)設(shè)置為默認(rèn)參數(shù),設(shè)置固定隨機(jī)種子'random_state':6。對(duì)于XGBoost算法與LightGBM算法,均設(shè)置超參數(shù)n_estimators的值為1 000。通過(guò)基于經(jīng)驗(yàn)在迭代過(guò)程尋找到對(duì)目標(biāo)屬性最佳的超參數(shù)。

3 結(jié)果與分析

基于形成能為目標(biāo)屬性,實(shí)驗(yàn)結(jié)果分析。如表1所示,列出了4種樹(shù)形回歸算法模型的訓(xùn)練擬合結(jié)果,從表中數(shù)據(jù)可以分析出這4種機(jī)器學(xué)習(xí)算法建立的模型對(duì)無(wú)機(jī)鈣鈦礦材料的形成均能達(dá)到很好的擬合效果,其中效果最好的算法為L(zhǎng)ightGBM,此算法對(duì)形成能預(yù)測(cè)的R2為0.99、RMSE為0.087 9。結(jié)果證明,本文使用的模型可用于預(yù)測(cè)無(wú)機(jī)鈣鈦礦材料的形成能,從而建立高精度預(yù)測(cè)模型。

表1 訓(xùn)練集擬合效果比較

如圖1所示,直觀地反映了真實(shí)值與預(yù)測(cè)值的線(xiàn)性關(guān)系,其中橫坐標(biāo)是通過(guò)DFT計(jì)算的真實(shí)值,縱坐標(biāo)是預(yù)測(cè)值,可以看到基于機(jī)器學(xué)習(xí)的無(wú)機(jī)鈣鈦礦材料形成能預(yù)測(cè)值與DFT計(jì)算的真實(shí)值走勢(shì)是斜率接近1的直線(xiàn)。從圖中可以看到基于這4種算法的預(yù)測(cè)模型訓(xùn)練準(zhǔn)確性都是較為不錯(cuò)的,模型訓(xùn)練效果都比較理想,其中LightGBM算法的效果在對(duì)比實(shí)驗(yàn)中是最好的,訓(xùn)練模型的精度是最高的,通過(guò)各個(gè)評(píng)價(jià)指標(biāo)也可以得出相同的結(jié)論。同時(shí)在圖1中可以發(fā)現(xiàn)一些異常點(diǎn),是因?yàn)閿?shù)據(jù)集中混入一些非無(wú)機(jī)鈣鈦礦材料,為負(fù)樣本影響了機(jī)器學(xué)習(xí)算法的預(yù)測(cè)結(jié)果。

圖1 基于機(jī)器學(xué)習(xí)算法的回歸模型結(jié)果

以上結(jié)果表明,不同機(jī)器學(xué)習(xí)算法對(duì)于數(shù)據(jù)集的敏感性不同,導(dǎo)致了預(yù)測(cè)效果也有差異,這4種算法對(duì)于無(wú)機(jī)鈣鈦礦材料形成能預(yù)測(cè)效果比以往的準(zhǔn)確效率均有提高,均可以進(jìn)行有效的預(yù)測(cè)。通過(guò)使用機(jī)器學(xué)習(xí)方法來(lái)協(xié)助預(yù)測(cè)鈣鈦礦材料性能,從而規(guī)避了傳統(tǒng)材料研發(fā)現(xiàn)存的一些問(wèn)題,大幅提高了材料發(fā)現(xiàn)和設(shè)計(jì)的效率,給材料科學(xué)發(fā)展帶來(lái)深遠(yuǎn)影響。

4 結(jié)語(yǔ)

本文采用機(jī)器學(xué)習(xí)方法,構(gòu)建無(wú)機(jī)鈣鈦礦材料形成能的預(yù)測(cè)模型。通過(guò)比較XGBoost、隨機(jī)森林、支持向量回歸和LightGBM 4種算法的預(yù)測(cè)效果,LightGBM算法展現(xiàn)出最高的預(yù)測(cè)精度和效果。其相關(guān)系數(shù)R2達(dá)到0.991 2,MAE為0.043 8 eV/atom。LightGBM算法具有以下優(yōu)點(diǎn):

(1)自動(dòng)選擇最優(yōu)葉子大小,避免過(guò)擬合問(wèn)題。

(2)根據(jù)樣本損失率確定每個(gè)數(shù)據(jù)點(diǎn)的權(quán)重,模型能更加聚焦在目標(biāo)數(shù)據(jù)上。

(3)利用GPU并行計(jì)算,實(shí)現(xiàn)更高效的訓(xùn)練。

(4)在特征劃分時(shí)考慮特征值大小,減少不必要的計(jì)算量,訓(xùn)練和預(yù)測(cè)速度更快。

本研究證明,LightGBM是一種適用于無(wú)機(jī)材料形成能預(yù)測(cè)的高效算法。與傳統(tǒng)的機(jī)器學(xué)習(xí)算法相比,它不僅預(yù)測(cè)精度更高、速度更快,也具有更高的可解釋性和泛化能力。相比于其他3種算法,LightGBM在本研究的預(yù)測(cè)任務(wù)上顯示出更優(yōu)的性能。

本文為無(wú)機(jī)鈣鈦礦材料的形成能預(yù)測(cè)提供了一種基于LightGBM算法的預(yù)測(cè)模型,證明了機(jī)器學(xué)習(xí)技術(shù)特別是LightGBM算法在材料發(fā)現(xiàn)和設(shè)計(jì)中具有廣闊的應(yīng)用前景。它將大幅提高材料研發(fā)的效率,為新材料的設(shè)計(jì)和發(fā)現(xiàn)帶來(lái)深遠(yuǎn)影響,助力我國(guó)新材料產(chǎn)業(yè)的發(fā)展?？傊?本研究采用LightGBM算法構(gòu)建無(wú)機(jī)鈣鈦礦材料形成能高精度預(yù)測(cè)模型,為無(wú)機(jī)鈣鈦礦材料的高效篩選和設(shè)計(jì)提供了關(guān)鍵技術(shù)支持,也證明了LightGBM在材料領(lǐng)域具有重要應(yīng)用潛力,值得未來(lái)進(jìn)一步探索。