孫濤 袁健美2)?

1) (湘潭大學(xué)數(shù)學(xué)與計(jì)算科學(xué)學(xué)院,湘潭 411105)

2) (湘潭大學(xué),智能計(jì)算與信息處理教育部重點(diǎn)實(shí)驗(yàn)室,湘潭 411105)

針對(duì)快速獲取鈣鈦礦材料帶隙值的問題,建立特征融合神經(jīng)網(wǎng)絡(luò)模型(CGCrabNet),利用遷移學(xué)習(xí)策略對(duì)鈣鈦礦材料的帶隙進(jìn)行預(yù)測(cè).CGCrabNet 從材料的化學(xué)方程式和晶體結(jié)構(gòu)兩方面提取特征,并擬合特征和帶隙之間的映射,是一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)模型.在開放量子材料數(shù)據(jù)庫(kù)中數(shù)據(jù)(OQMD 數(shù)據(jù)集)預(yù)訓(xùn)練的基礎(chǔ)上,通過僅175 條鈣鈦礦材料數(shù)據(jù)對(duì)CGCrabNet 參數(shù)進(jìn)行微調(diào),以提高模型的穩(wěn)健性.數(shù)值實(shí)驗(yàn)結(jié)果表明,CGCrabNet 在OQMD 數(shù)據(jù)集上對(duì)帶隙的預(yù)測(cè)誤差比基于注意力的成分限制網(wǎng)絡(luò)(CrabNet)降低0.014 eV;本文建立的模型對(duì)鈣鈦礦材料預(yù)測(cè)的平均絕對(duì)誤差為0.374 eV,分別比隨機(jī)森林回歸、支持向量機(jī)回歸和梯度提升回歸的預(yù)測(cè)誤差降低了0.304 eV、0.441 eV 和0.194 eV;另外,模型預(yù)測(cè)的SrHfO3 和RbPaO3 等鈣鈦礦材料的帶隙與第一性原理計(jì)算的帶隙相差小于0.05 eV,這說明CGCrabNet 可以快速準(zhǔn)確地預(yù)測(cè)鈣鈦礦材料的性質(zhì),加速新材料的研發(fā)過程.

1 引言

近年來,隨著密度泛函理論的不斷完善和計(jì)算機(jī)計(jì)算能力的逐漸提升,第一性原理高通量計(jì)算在預(yù)測(cè)新材料和優(yōu)化材料性質(zhì)等方面取得較大的發(fā)展[1].然而,基于第一性原理計(jì)算在快速計(jì)算時(shí)的準(zhǔn)確性是有限的,在需要獲取高精度的計(jì)算結(jié)果的時(shí)候,利用該方法所需要的計(jì)算量是很大的,巨大的計(jì)算量成為了高通量計(jì)算的瓶頸.對(duì)此,尋找一種更快、消耗計(jì)算量更少的方式來預(yù)測(cè)新材料的屬性,則可加快新材料的研發(fā)過程.近年來,隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,可以有效地對(duì)數(shù)據(jù)和目標(biāo)標(biāo)簽之間復(fù)雜的非線性關(guān)系進(jìn)行建模,已經(jīng)被廣泛應(yīng)用到材料信息學(xué)中[2].

2018 年,Xie 和Grossman[3]提出了一種晶體圖卷積神經(jīng)網(wǎng)絡(luò)(crystal graph convolutional neural networks,CGCNN),預(yù)測(cè)了帶隙等多種晶體材料的性質(zhì),并且預(yù)測(cè)的平均絕對(duì)誤差要低于或接近基于密度泛函理論(Density functional theory,DFT)的方法.2019 年,Chen等[4]提出了一種通用的材料圖網(wǎng)絡(luò)(MatErials graph network,MEG Net) 來預(yù)測(cè)分子和晶體的性質(zhì).在QM9 分子數(shù)據(jù)集上對(duì)13 個(gè)分子屬性進(jìn)行測(cè)試,提高了對(duì)大部分分子屬性的預(yù)測(cè)精度.2020 年,Karamad等[5]提出一種軌道圖卷積神經(jīng)網(wǎng)絡(luò)(orbital graph convolutional neural network,OGCNN),在CGCNN 模型的基礎(chǔ)上加入了原子軌道相互作用特征,在多個(gè)晶體材料數(shù)據(jù)庫(kù)上驗(yàn)證模型的性能,證明了模型具有高精度的晶體性質(zhì)預(yù)測(cè)能力.

對(duì)于缺乏材料結(jié)構(gòu)信息的數(shù)據(jù)集,研究人員嘗試不利用材料的結(jié)構(gòu)信息,通過其他的材料信息如元素組成等對(duì)材料性質(zhì)進(jìn)行預(yù)測(cè).2018 年,Jha等[6]提出一種僅通過元素組成來預(yù)測(cè)材料化學(xué)性質(zhì)的深度學(xué)習(xí)模型ElemNet.在OQMD 數(shù)據(jù)庫(kù)構(gòu)成的數(shù)據(jù)集上對(duì)每個(gè)材料化合物的最低形成焓進(jìn)行預(yù)測(cè),能夠以較快的速度和較高的精度預(yù)測(cè)材料性質(zhì).2020 年,Goodall 和Lee[7]提出一種從化學(xué)計(jì)量比中深度表征學(xué)習(xí)方法Roost,它將化學(xué)計(jì)量式視為元素之間的密集加權(quán)圖,利用消息傳遞操作在組成材料的各元素之間傳遞信息,從而更新元素的組成.通過在OQMD 數(shù)據(jù)庫(kù)和MP 數(shù)據(jù)庫(kù)構(gòu)成的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)測(cè)試,發(fā)現(xiàn)Roost 可以有效地對(duì)缺少晶體材料結(jié)構(gòu)的數(shù)據(jù)進(jìn)行性質(zhì)預(yù)測(cè)任務(wù).2021 年,Wang等[8]提出一種基于注意力的成分限制網(wǎng)絡(luò)(compositionally restricted attention-based network,CrabNet),在28 個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行測(cè)試,大多數(shù)的預(yù)測(cè)精度都與其他方法接近或更高.

鈣鈦礦材料的化學(xué)通式為ABX3,是一類結(jié)構(gòu)相似的化合物的總稱.鈣鈦礦材料具有合適的且可調(diào)的帶隙寬度等優(yōu)良的性質(zhì),是太陽(yáng)能電池、光催化材料和熱電器件等領(lǐng)域的候選材料[9].帶隙是一個(gè)重要的物理性質(zhì),它一開始就劃定了該材料的應(yīng)用范圍.Guo 和Lin[10]利用機(jī)器學(xué)習(xí)模型,預(yù)測(cè)了無鉛雙鈣鈦礦鹵化物的帶隙性質(zhì).Gao等[11]利用梯度提升回歸算法從5796 種無機(jī)雙鈣鈦礦材料中篩選帶隙合適的材料,得到K2NaInI6和Na2MgMnI6兩種候選材料,并且DFT 計(jì)算證實(shí)了熱穩(wěn)定性和良好的光學(xué)性能.對(duì)鈣鈦礦材料的帶隙快速預(yù)測(cè)可以減小候選材料的搜索空間,加快新材料的研發(fā)過程.

本文構(gòu)建了一個(gè)深度學(xué)習(xí)模型CGCrabNet用于研究鈣鈦礦材料的帶隙性質(zhì).該模型通過輸入化學(xué)式和結(jié)構(gòu)信息,使材料的帶隙值作為模型輸出,通過反向傳播算法更新模型參數(shù).首先在OQMD數(shù)據(jù)集中預(yù)訓(xùn)練了CGCrabNet 模型,并且與其他深度學(xué)習(xí)帶隙預(yù)測(cè)模型進(jìn)行比較.其次將預(yù)訓(xùn)練的CGCrabNet 模型在鈣鈦礦材料數(shù)據(jù)集上進(jìn)行微調(diào).最后,將本文建立的深度學(xué)習(xí)模型用于對(duì)鈣鈦礦材料的帶隙進(jìn)行預(yù)測(cè),并與隨機(jī)森林回歸、支持向量回歸和梯度提升回歸的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析.

2 特征融合神經(jīng)網(wǎng)絡(luò)模型

2.1 模型架構(gòu)介紹

本文建立了一種基于化學(xué)式和晶體結(jié)構(gòu)作為原始輸入的特征融合神經(jīng)網(wǎng)絡(luò)模型,簡(jiǎn)稱為CG CrabNet 模型.模型的數(shù)學(xué)表達(dá)式為

其中z為帶隙值,f表示神經(jīng)網(wǎng)絡(luò)模型,x1∈表示元素信息矩陣,x2∈表示原子占比矩陣,Nf表示化學(xué)式中元素種類數(shù),y1∈Rp×I表示節(jié)點(diǎn)特征,每個(gè)節(jié)點(diǎn)的特征由One-Hot 編碼表示,y2表示相鄰節(jié)點(diǎn)信息,p表示晶體圖中節(jié)點(diǎn)總數(shù),I表示節(jié)點(diǎn)特征維度,θ表示模型參數(shù).

CGCrabNet 模型對(duì)化學(xué)式信息的特征提取模塊參考CrabNet 模型[8]構(gòu)建.模型輸入的化學(xué)式用于構(gòu)造元素信息矩陣x1和原子占比矩陣x2,其中元素信息矩陣是由組成化學(xué)式的所有元素的原子序數(shù)構(gòu)成的,原子占比矩陣是由化學(xué)式中每個(gè)元素對(duì)應(yīng)原子數(shù)占晶體總原子數(shù)的比例分?jǐn)?shù)構(gòu)成的.例如SiO2的元素信息矩陣為 [8 14]T,原子占比矩陣為 [0.67 0.33]T.

對(duì)于元素信息矩陣,使用元素嵌入將原子序數(shù)表示成固定維度的向量,向量維度取決于通過測(cè)試確定的元素嵌入方法.對(duì)于原子占比矩陣,通過分?jǐn)?shù)編碼將其表示為一個(gè)dm維的向量.分?jǐn)?shù)編碼靈感來源于Vaswani等[12]提出的位置編碼器,是將一個(gè)0 到1 之間的分?jǐn)?shù)表示成一個(gè)固定維度向量的過程.元素特征構(gòu)造中的全連接層的作用是進(jìn)行維度變換,使其可以和分?jǐn)?shù)編碼后的向量相加,得到化學(xué)式中每個(gè)元素的元素特征向量.然后將元素特征向量經(jīng)過N個(gè)多頭注意力機(jī)制,多頭注意力機(jī)制的頭數(shù)用n表示,這樣可以使化學(xué)式的每個(gè)元素特征向量都包含化學(xué)式中其他元素信息.最后在多頭注意力機(jī)制后連接一個(gè)全連接殘差網(wǎng)絡(luò),用來得到化學(xué)式中所有元素的元素原貢獻(xiàn)向量p、元素不確定性向量u和元素對(duì)數(shù)向量l,通過(2)式和(3)式來計(jì)算z1和偶然不確定性S:

對(duì)于輸入的晶體結(jié)構(gòu),將其轉(zhuǎn)化成晶體圖數(shù)據(jù),包括節(jié)點(diǎn)特征y1和相鄰節(jié)點(diǎn)信息y2.首先由節(jié)點(diǎn)嵌入層將每個(gè)節(jié)點(diǎn)i的One-Hot 特征變成一個(gè)連續(xù)、密集的分布式特征向量vi.然后考慮相鄰節(jié)點(diǎn)信息y2,利用圖卷積層通過非線性圖卷積函數(shù)迭代更新原子特征向量vi,更新公式為

接下來,圖池化層用于生成晶體的整體特征向量vc,如下所示:

其中κ(x)=ln(1+ex),M表示晶體圖中節(jié)點(diǎn)個(gè)數(shù).最后將其輸入到由全連接層組成的全連接網(wǎng)絡(luò)中,就可以得到z2.

CGCrabNet 模型架構(gòu)如下圖1 所示.CGCrab Net 模型將基于成分網(wǎng)絡(luò)得到的z1和基于結(jié)構(gòu)網(wǎng)絡(luò)得到的z2加權(quán)求和,如(6)式所示,即為目標(biāo)晶體性質(zhì):

圖1 CGCrabNet 模型算法Fig.1.CGCrabNet model algorithm.

其中w1+w2=1.

2.2 訓(xùn)練方式

在CGCrabNet 模型訓(xùn)練過程中,需要一個(gè)合適的損失函數(shù)來衡量模型輸出值和真實(shí)值之間的差異.在建立損失函數(shù)的過程中,這里主要考慮偶然不確定性,并且假設(shè)偶然不確定性是異方差的,即不確定性取決于模型的輸入,不同的輸入對(duì)應(yīng)的噪聲輸出是不同的[13].假設(shè)材料數(shù)據(jù)不確定性的概率分布為拉普拉斯分布,拉普拉斯分布如下:

其中Xi為模型第i個(gè)輸入材料數(shù)據(jù),θ為CGCrab Net 模型參數(shù),ρ(Xi) 為Xi的偶然不確定性,z(Xi)為材料帶隙性質(zhì)的計(jì)算值,從數(shù)據(jù)庫(kù)中直接獲得.對(duì)(7)式取對(duì)數(shù)如下:

因?yàn)橄Ｍ迫还烙?jì)越大越好,也就是負(fù)對(duì)數(shù)似然值越小越好,所以用等式(8)右邊構(gòu)造一個(gè)損失函數(shù):

式中,Xi的偶然不確定性ρ(Xi) 可以看成關(guān)于Xi的一個(gè)未知函數(shù),也可以通過模型學(xué)習(xí)得到,所以模型同時(shí)預(yù)測(cè)材料的性質(zhì)和方差ρ(Xi).可以看到,在模型學(xué)習(xí)偶然不確定性時(shí),是不需要真實(shí)樣本值的.因?yàn)槿绻粋€(gè)樣本i很難預(yù)測(cè),為了最小化損失函數(shù),ρ(Xi) 會(huì)適當(dāng)變大,而損失函數(shù)中的ln(2ρ(Xi))防止了網(wǎng)絡(luò)預(yù)測(cè)樣本數(shù)據(jù)不確定性為無窮大的情況.

在實(shí)際訓(xùn)練中,我們訓(xùn)練網(wǎng)絡(luò)來預(yù)測(cè)對(duì)數(shù)方差Si=ln(2σ(xi)),從而損失函數(shù)為

這樣做是因?yàn)樵跀?shù)值上對(duì)數(shù)方差比方差更穩(wěn)定,而且可以避免學(xué)習(xí)到方差為0 從而導(dǎo)致無法計(jì)算損失函數(shù)的情況.另外,通過學(xué)習(xí)對(duì)數(shù)方差Si,使得方差ρ(Xi) 被解析到正值,給出有效的方差值.

本文使用Lamb 優(yōu)化器[14]更新模型權(quán)重,在進(jìn)行大批量數(shù)據(jù)訓(xùn)練時(shí),可以保持梯度更新的精度.在訓(xùn)練過程中,學(xué)習(xí)率是一個(gè)很關(guān)鍵的超參數(shù).學(xué)習(xí)率設(shè)置的過大,模型可能很難收斂,設(shè)置的過小,則參數(shù)更新過于緩慢.這里使用周期性學(xué)習(xí)率(CLR)[15],學(xué)習(xí)率每2 個(gè)epoch 在1×10-4—1×10-2之間循環(huán),以實(shí)現(xiàn)一致的模型收斂.

3 數(shù)值實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)訓(xùn)練細(xì)節(jié)

本文使用了OQMD (the open quantum materials database)[16]和Materials Project[17]數(shù)據(jù)庫(kù)中的材料結(jié)構(gòu)和性質(zhì)數(shù)據(jù).針對(duì)OQMD 數(shù)據(jù)庫(kù),參考Yamamoto[18]的數(shù)據(jù)獲取方法,得到包含材料化學(xué)式、晶體圖結(jié)構(gòu)和帶隙的樣本數(shù)據(jù),這里獲取的帶隙是由GGA+U計(jì)算得到的[19].由于獲取的OQMD 數(shù)據(jù)庫(kù)中大部分材料帶隙值為0,為了樣本的數(shù)據(jù)均衡性,考慮將原數(shù)據(jù)集中帶隙值為0 的樣本移除數(shù)據(jù)集,最終得到30368 個(gè)樣本構(gòu)成本文使用的OQMD 數(shù)據(jù)集.針對(duì)Materials Project 數(shù)據(jù)庫(kù),按照鈣鈦礦結(jié)構(gòu)的一些性質(zhì)例如化學(xué)通式(ABX3)、空間群數(shù)(221)和空間群名稱()等,使用API 接口篩選數(shù)據(jù),然后清除一些非鈣鈦礦結(jié)構(gòu)數(shù)據(jù),得到175 條包含CIF 文件、化學(xué)式和帶隙值的鈣鈦礦數(shù)據(jù),參考CGCNN[3],由CIF 文件得到相應(yīng)的晶體圖信息,構(gòu)成本文鈣鈦礦材料數(shù)據(jù)集①https://github.com/STsuntao/CGCrabNet/tree/master.本文CGCrabNet 模型先在OQMD 數(shù)據(jù)集中和文獻(xiàn)中提出的模型進(jìn)行對(duì)比,驗(yàn)證其對(duì)帶隙的預(yù)測(cè)能力.然后將CGCrabNet 應(yīng)用到鈣鈦礦材料帶隙預(yù)測(cè)任務(wù)中,兩個(gè)數(shù)據(jù)集的訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分比例均為6∶2∶2.為了防止過擬合,訓(xùn)練中加入提前停止策略,超參數(shù)取值如表1 所列.

表1 超參數(shù)取值Table 1.Hyperparameter value.

3.2 實(shí)驗(yàn)結(jié)果

首先,在OQMD 數(shù)據(jù)集上對(duì)One-Hot[20],Mag pie[21]和Mat2vec[22]三種元素嵌入方法進(jìn)行測(cè)試.Magpie 是一系列原子特征的集合,包括化學(xué)計(jì)量特征、元素屬性特征、電子結(jié)構(gòu)特征和離子化合物屬性.Mat2vec 是將物理、化學(xué)、材料科學(xué)方向的一些詞匯表示成 200 維詞嵌入向量的方法,包含了對(duì)每個(gè)元素的向量表示.三種方法表示的元素向量均可以在開源項(xiàng)目CrabNet[8]中獲得,測(cè)試結(jié)果如表2 所列.由測(cè)試結(jié)果,確定模型中元素嵌入方法使用Mat2vec 方法.

表2 元素嵌入法測(cè)試結(jié)果(單位: eV)Table 2.Elemental embedding method test results (in eV).

為了驗(yàn)證CGCrabNet 模型預(yù)測(cè)能力,在OQMD數(shù)據(jù)集上,按照同樣的訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分方式,復(fù)現(xiàn)了CGCNN 模型[3]、Roost 模型[7]、Crab Net 模型[8]和HotCrab 模型[8](即CrabNet 中元素嵌入方法改為One-Hot 得到的模型)進(jìn)行對(duì)照實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3 所列,可以看出CGCrabNet模型在驗(yàn)證集和測(cè)試集上的平均絕對(duì)誤差都要低于其他模型,在測(cè)試集上平均絕對(duì)誤差比CrabNet模型降低了0.014 eV.圖2 是CGCrabNet 模型訓(xùn)練過程訓(xùn)練集和驗(yàn)證集損失值變換圖,可以看到驗(yàn)證集損失值趨于穩(wěn)定,并且沒有出現(xiàn)過擬合的情況.

表3 深度學(xué)習(xí)模型測(cè)試結(jié)果(單位: eV)Table 3.Deep learning model test results (in eV).

圖2 CGCrabNet 預(yù)訓(xùn)練損失值變化Fig.2.CGCrabNet pre-training loss value change.

圖3 和圖4 分別是CGCrabNet 模型在驗(yàn)證集和測(cè)試集上預(yù)測(cè)帶隙值和計(jì)算帶隙值的散點(diǎn)圖,圖中黑色虛線是由坐標(biāo)軸上的點(diǎn)線性擬合得到的一次函數(shù),該擬合函數(shù)越接近函數(shù)y=x,說明預(yù)測(cè)效果越好,進(jìn)一步驗(yàn)證該模型的預(yù)測(cè)能力.

圖3 驗(yàn)證集預(yù)測(cè)帶隙值Fig.3.Predicted band gap values on the validation set.

3.3 模型應(yīng)用

為了研究鈣鈦礦材料的帶隙性質(zhì),將CGCrab-Net 模型用于鈣鈦礦材料的帶隙預(yù)測(cè).由于本文使用的鈣鈦礦數(shù)據(jù)集較小,所以訓(xùn)練模型時(shí)加入遷移學(xué)習(xí)策略.首先對(duì)OQMD 數(shù)據(jù)集進(jìn)行檢驗(yàn),將其中包含的鈣鈦礦結(jié)構(gòu)數(shù)據(jù)移除數(shù)據(jù)集,最終得到29827 條樣本;接下來在調(diào)整后的OQMD 數(shù)據(jù)集上預(yù)訓(xùn)練CGCrabNet 模型,并保存模型參數(shù);最后,將預(yù)訓(xùn)練的CGCrabNet 模型在鈣鈦礦材料數(shù)據(jù)集上進(jìn)行微調(diào).模型微調(diào)時(shí)batch_size 變?yōu)?6,其他訓(xùn)練細(xì)節(jié)和預(yù)訓(xùn)練時(shí)保持不變,訓(xùn)練39 代時(shí)模型訓(xùn)練提前終止.可以看到,在預(yù)訓(xùn)練的基礎(chǔ)上微調(diào)模型,加上設(shè)置的提前終止條件,可以在快速收斂的同時(shí)有效防止過擬合.

此外,還用隨機(jī)森林回歸模型(RF)[23]、支持向量回歸模型(SVR)[24]、梯度提升回歸模型(GBR)對(duì)鈣鈦礦材料的帶隙性質(zhì)進(jìn)行預(yù)測(cè),在建立鈣鈦礦材料特征時(shí),使用Atom_DL 原子分布式特征[25]拼接得到.為得到穩(wěn)定的預(yù)測(cè)模型,對(duì)3 種回歸模型的參數(shù)進(jìn)行網(wǎng)格搜索,利用5 折交叉驗(yàn)證對(duì)模型進(jìn)行評(píng)估.5 折交叉驗(yàn)證將數(shù)據(jù)集平均劃分成5 份,依次用其中的一份作為測(cè)試集,其他數(shù)據(jù)作為訓(xùn)練集來得到誤差.最后,計(jì)算5 個(gè)誤差的平均值作為模型最終的誤差.所有的機(jī)器學(xué)習(xí)算法模型都是使用開源庫(kù)Scikit-learn[26]實(shí)現(xiàn)的,各回歸模型的超參數(shù)如表4 所列.

表4 回歸模型參數(shù)Table 4.Regression model parameters.

為說明遷移學(xué)習(xí)的重要性,在僅用鈣鈦礦數(shù)據(jù)的情況下使用CGCrabNet 模型對(duì)其帶隙進(jìn)行了預(yù)測(cè),測(cè)試集的平均絕對(duì)誤差為0.536 eV;加入遷移學(xué)習(xí)策略之后,測(cè)試集的平均絕對(duì)誤差為0.374 eV,預(yù)測(cè)精度有明顯提高.同時(shí),在鈣鈦礦數(shù)據(jù)集上復(fù)現(xiàn)了MEGNet 和CGCNN 模型,用于對(duì)比預(yù)測(cè)效果.各模型預(yù)測(cè)效果的平均絕對(duì)誤差值如圖5 所示,可以看到,隨機(jī)森林回歸模型和梯度提升回歸模型的平均絕對(duì)誤差(MAE)要低于支持向量回歸模型,這是因?yàn)镽F 和GBR 都是集成學(xué)習(xí)模型,考慮了多個(gè)基本學(xué)習(xí)器;MEGNet 和CGCNN模型在測(cè)試集上的MAE 較高,這是由于鈣鈦礦數(shù)據(jù)集較小,在小數(shù)據(jù)集上訓(xùn)練MEGNet 和CGCNN模型容易出現(xiàn)過擬合現(xiàn)象.

圖5 鈣鈦礦材料帶隙預(yù)測(cè)的平均絕對(duì)誤差對(duì)比Fig.5.MAE of band gap prediction for perovskite materials.

分別利用CGCrabNet 模型、隨機(jī)森林回歸、支持向量回歸和梯度提升回歸預(yù)測(cè)帶隙值與計(jì)算帶隙值繪制成散點(diǎn)圖如圖6 所示,兩條黑色實(shí)線內(nèi)部的點(diǎn)表示預(yù)測(cè)值與計(jì)算值相差小于1 eV,數(shù)據(jù)點(diǎn)越靠近紅色實(shí)線表示模型的預(yù)測(cè)效果越佳.可以看出微調(diào)之后的CGCrabNet 模型在鈣鈦礦材料數(shù)據(jù)集上預(yù)測(cè)效果良好.

圖6 預(yù)測(cè)帶隙與計(jì)算帶隙散點(diǎn)圖Fig.6.Predicting and calculating band gap scatter maps.

表5 列出了鈣鈦礦材料數(shù)據(jù)集測(cè)試集中的35 個(gè)樣本的帶隙計(jì)算值和帶隙預(yù)測(cè)值,帶隙預(yù)測(cè)值包括特征融合神經(jīng)網(wǎng)絡(luò)模型(CGCrabNet)、隨機(jī)森林回歸(RF)、支持向量回歸(SVR)和梯度提升回歸(GBR)預(yù)測(cè)的帶隙值.從表5 可以看出,CGCrabNet 模型對(duì)SrHfO3和RbPaO3等鈣鈦礦材料預(yù)測(cè)的帶隙值與計(jì)算值的平均絕對(duì)誤差小于0.05 eV,并且對(duì)于大多數(shù)預(yù)測(cè)的鈣鈦礦材料,CG CrabNet 預(yù)測(cè)的帶隙比其他3 個(gè)回歸模型預(yù)測(cè)的帶隙更接近帶隙計(jì)算值.

4 結(jié)論

本文針對(duì)鈣鈦礦材料帶隙預(yù)測(cè)任務(wù),構(gòu)建了一個(gè)深度學(xué)習(xí)帶隙預(yù)測(cè)模型.比較了Roost 模型、Crab Net 模型、HotCrab 模型、CGCNN 模型和CGCrab Net 模型在OQMD 數(shù)據(jù)集上對(duì)材料化合物的帶隙預(yù)測(cè)效果.利用遷移學(xué)習(xí)將在OQMD 數(shù)據(jù)集上預(yù)訓(xùn)練的CGCrabNet 模型,用于對(duì)鈣鈦礦材料的帶隙性質(zhì)進(jìn)行預(yù)測(cè)研究.同時(shí),本文在鈣鈦礦材料數(shù)據(jù)集上建立了隨機(jī)森林回歸模型、支持向量回歸模型和梯度提升回歸模型,用于和本文建立的模型進(jìn)行比較.實(shí)驗(yàn)結(jié)果表明,在OQMD 數(shù)據(jù)集上,CGCrabNet 對(duì)帶隙的預(yù)測(cè)精度比CrabNet 等模型有一定提升;在鈣鈦礦材料數(shù)據(jù)集上,本文建立的模型利用遷移學(xué)習(xí)策略對(duì)鈣鈦礦材料預(yù)測(cè)的平均絕對(duì)誤差為0.374 eV,分別比隨機(jī)森林回歸、支持向量機(jī)回歸和梯度提升回歸的預(yù)測(cè)誤差降低了0.304 eV,0.441 eV 和0.194 eV;另外,模型預(yù)測(cè)的SrHfO3和RbPaO3等鈣鈦礦材料的帶隙與第一性原理計(jì)算的帶隙的誤差小于0.05 eV,這說明CGCrabNet 模型可以快速準(zhǔn)確地預(yù)測(cè)新材料的性質(zhì),加速新材料的研發(fā)過程.

此外,本文的CGCrabNet 模型考慮了材料的化學(xué)式和晶體圖結(jié)構(gòu)兩種特征作為輸入,未來可以探索更多的材料特征輸入模型,通過多種特征精準(zhǔn)學(xué)習(xí)出材料特征和性質(zhì)的映射關(guān)系;另一方面,本文將特征融合神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到鈣鈦礦材料的帶隙預(yù)測(cè)任務(wù)中,進(jìn)一步可以將其應(yīng)用到其他材料的物理化學(xué)性質(zhì)的研究中.