馬驍鵬

（鄭州工業(yè)應(yīng)用技術(shù)學(xué)院 信息工程學(xué)院,河南 鄭州451100）

1 研究背景

近年來,機(jī)器學(xué)習(xí)相關(guān)技術(shù)飛速發(fā)展,尤其是深度神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域都得到了成功的應(yīng)用。神經(jīng)網(wǎng)絡(luò)模型通過在已知數(shù)據(jù)集上進(jìn)行訓(xùn)練,能夠?qū)W習(xí)到數(shù)據(jù)中內(nèi)在的聯(lián)系,從而獲得一定的預(yù)測能力。值得一提的是,為了提高神經(jīng)網(wǎng)絡(luò)的泛化能力和訓(xùn)練時(shí)的收斂速度,研究者們提出了多種類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。例如,卷積神經(jīng)網(wǎng)絡(luò)因?yàn)榭紤]到了圖片內(nèi)容的平移和縮放不變性,在圖像處理領(lǐng)域有著廣泛的應(yīng)用。雖然已經(jīng)有研究者提出了日震學(xué)的方法來估計(jì)太陽背面活動區(qū)的位置,但此方法無法給出更為精細(xì)的太陽背面大尺度磁場結(jié)構(gòu)。而基于磁流體對流方程的表面磁通量傳輸（Surface Flux Transport, SFT）模型雖然能夠?qū)崿F(xiàn)光球?qū)哟艌龅难莼?但此方法是作用于全日面的磁圖,而全日面磁圖一般是通過整個(gè)太陽自轉(zhuǎn)周期的太陽正面磁場數(shù)據(jù)加權(quán)得到的。因此此方法也具有一定局限性。光球?qū)哟艌鰧τ谌彰岬入x子體結(jié)構(gòu)和演化起著決定性作用,進(jìn)而決定著向外流出的太陽風(fēng)的大尺度結(jié)構(gòu)。不少日冕及太陽風(fēng)數(shù)值模型均是基于光球?qū)哟艌鲇^測數(shù)據(jù)[1]。然而,目前日冕磁場的觀測依然局限于地球附近的地基觀測和衛(wèi)星觀測兩種。無論是哪種觀測,它們都只能同時(shí)觀測太陽的一側(cè),而太陽的另一側(cè)磁場結(jié)構(gòu)只能在半個(gè)太陽自轉(zhuǎn)周期（≈13 天）之后才能觀測到。因此,研究基于UNet 和注意力機(jī)制的太陽光球?qū)哟艌鲱A(yù)測模型。

2 模型構(gòu)建

2.1 神經(jīng)網(wǎng)絡(luò)模型

太陽磁場觀測數(shù)據(jù)本質(zhì)上是一幅單通道的圖像。不僅如此,與圖像分割和圖像修復(fù)任務(wù)類似,太陽光球?qū)哟艌鲱A(yù)測模型要求的輸入和輸出的圖像大小也是一致的,且連續(xù)多天的數(shù)據(jù)可以看成是一幅圖像的多個(gè)通道。因此,UNet神經(jīng)網(wǎng)絡(luò)可以直接用于太陽光球?qū)哟艌龅念A(yù)測。本文的神經(jīng)網(wǎng)絡(luò)模型以UNet 為基礎(chǔ),并嘗試性的將MHSA 神經(jīng)網(wǎng)絡(luò)層引入其中。

常規(guī)的UNet 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般包含編碼器和解碼器兩部分,且二者均由相似的模塊搭建而成[2]。圖1 中展示了UNet 中基本的神經(jīng)網(wǎng)絡(luò)模塊結(jié)構(gòu),其僅包含一層卷積神經(jīng)網(wǎng)絡(luò)、一個(gè)正則化層和一個(gè)激活層。在本文中,所有正則化層均使用批正則化方法（Batch Normalization）,而激活函數(shù)則統(tǒng)一使用ReLU。需要說明的是,UNet 通常需要部分模塊對輸入數(shù)據(jù)進(jìn)行下采樣和上采樣[3]。其中下采樣可以通過將模塊中的卷積神經(jīng)網(wǎng)絡(luò)的stride 屬性設(shè)置為2 來實(shí)現(xiàn),而上采樣則需要在卷積神經(jīng)網(wǎng)絡(luò)層前面單獨(dú)實(shí)現(xiàn)。

圖1 UNet 神經(jīng)網(wǎng)絡(luò)中的卷積模塊單元

以上述模塊為基礎(chǔ),本文的UNet 神經(jīng)網(wǎng)絡(luò)模型如圖2所示。其編碼器和解碼器均是通過上述模塊順序連接而成。不同的是,編碼器是由普通卷積模塊和下采樣模塊組成,而解碼器是由普通卷積模塊和上采樣模塊構(gòu)成。在編碼器中,每一次下采樣圖像分辨率減半,但通道數(shù)加倍。而在解碼器中,每一次上采樣圖像分辨率翻倍,而通道數(shù)減半[4]。普通卷積模塊輸入和輸出的圖像大小及通道數(shù)均不變。編碼器和解碼器所包含的模塊對稱分布,解碼器的每個(gè)上采樣模塊都與編碼器的一個(gè)下采樣模塊對應(yīng)。編碼器和解碼器相互對應(yīng)的模塊之間存在快捷連接以構(gòu)成一個(gè)U 型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。這種快捷連接是通過將編碼器對應(yīng)層的輸出和解碼器對應(yīng)層的輸入進(jìn)行通道合并實(shí)現(xiàn)的。在本文的模型中,UNet 神經(jīng)網(wǎng)絡(luò)共包含6 次下采樣和6 次上采樣。除第一次下采樣之后跟著一個(gè)普通卷積模塊,后續(xù)所有下采樣模塊均跟著3 個(gè)普通卷積模塊。第一次下采樣模塊輸出數(shù)據(jù)通道數(shù)為32,后續(xù)模塊的通道數(shù)可由上述規(guī)則推導(dǎo)得出。需要說明的是,最后一層上采樣模塊的輸出通道數(shù)是由輸出數(shù)據(jù)的天數(shù)決定的。

圖2 UNet 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

為了將注意力機(jī)制引入上述UNet 模型中,本文直接在卷積神經(jīng)網(wǎng)絡(luò)層之后添加一層MHSA 層。但MHSA 的引入會大大增加內(nèi)存占用,尤其是當(dāng)輸入其中的圖像分辨率和通道數(shù)量較大的時(shí)候?？紤]到硬件設(shè)備的承受能力,本文的模型僅在輸入圖像的分辨率不高于64*64 時(shí)才會在模塊中啟用MHSA。

2.2 數(shù)據(jù)預(yù)處理

本文通過利用SDO 衛(wèi)星上HMI 設(shè)備觀測到的太陽磁場數(shù)據(jù)（http://jsoc.stanford.edu/ajax/lookdata.html）來訓(xùn)練上述神經(jīng)網(wǎng)絡(luò)模型。在目前所有太陽日面磁場觀測數(shù)據(jù)中,SDO/HMI 的數(shù)據(jù)擁有最高的空間分辨率和時(shí)間分辨率。我們下載了從2010 年4 月26 日到2022 年10 月4 日的每日凌晨0 點(diǎn)的數(shù)據(jù),并且對其進(jìn)行了預(yù)處理以便于神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和評估。

首先,衛(wèi)星觀測數(shù)據(jù)中可能會出現(xiàn)無效數(shù)值。這些無效數(shù)值在下載的數(shù)據(jù)文件中一般會被標(biāo)記為NaN[5]。由于太陽磁場的磁極近似于與黃道面垂直,因此太陽正面磁場強(qiáng)度整體平均值一般在0 附近?？紤]到這種情況,磁場數(shù)據(jù)中的無效數(shù)值我們均以0 代替。

其次,SDO/HMI 提供的數(shù)據(jù)的空間分辨率為4096*4096,直接使用此分辨率的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)模型的輸入輸出會使神經(jīng)網(wǎng)絡(luò)模型占用大量內(nèi)存,且會大大增加訓(xùn)練和預(yù)測所需的時(shí)間。以目前的計(jì)算機(jī)硬件水平,直接使用此分辨率的數(shù)據(jù)是不現(xiàn)實(shí)的。因此,我們通過像素平均的方式將數(shù)據(jù)縮放至512*512,即原始數(shù)據(jù)中每個(gè)8*8 的像素塊均取平均值合并成1 個(gè)像素。此分辨率對于大部分太陽日冕和太陽風(fēng)數(shù)值模型已經(jīng)足夠,且不會給神經(jīng)網(wǎng)絡(luò)模型帶來太大的內(nèi)存壓力和計(jì)算量[6]。SDO/HMI 提供的數(shù)據(jù)是以Gauss 為單位的,在作為神經(jīng)網(wǎng)絡(luò)輸入和輸出時(shí)進(jìn)行歸一化能夠有助于加速收斂和提高預(yù)測精度。本文統(tǒng)計(jì)了所有下載的數(shù)據(jù),得到磁場強(qiáng)度的平均值約為0.025 Gauss,標(biāo)準(zhǔn)偏差約為24.37 Gauss,最大絕對值在3400 Gauss 與3500 Gauss 之間。在對數(shù)據(jù)進(jìn)行歸一化時(shí),本文為后續(xù)訓(xùn)練和評估準(zhǔn)備了兩套方案,第一套方案為使用數(shù)據(jù)的最大絕對值值進(jìn)行歸一化,而第二套方案為使用數(shù)據(jù)的標(biāo)準(zhǔn)偏差進(jìn)行歸一化。

最后,太陽磁場觀測數(shù)據(jù)往往包含有大量的噪聲。在訓(xùn)練過程,這些噪聲會嚴(yán)重干擾神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)。為此,我們采用了高斯平滑的方式來消除噪聲。在本文中,我們采用sklearn 開發(fā)庫提供的函數(shù)實(shí)現(xiàn)上述高斯平滑過程,而對于決定其平滑程度的σ 參數(shù),我們?nèi)ˇ?10。高斯平滑不僅會去除數(shù)據(jù)中的噪聲,同時(shí)還會在一定程度上削弱太陽活動區(qū)磁場強(qiáng)度[7]。但大部分日冕和太陽風(fēng)數(shù)值模型都直接處理活動區(qū)的強(qiáng)磁場,一般也需要通過上述類似的方式削弱活動區(qū)的磁場。因此,高斯平滑處理并不會過多影響本文模型的結(jié)果在各類數(shù)值模型中的應(yīng)用。

2.3 訓(xùn)練與評估

當(dāng)所有數(shù)據(jù)按上述過程處理完畢后,它們會按照3:1 的比例劃分為訓(xùn)練數(shù)據(jù)集和評估數(shù)據(jù)集。具體方法為每256 天為一個(gè)單位,前192 天的數(shù)據(jù)歸為訓(xùn)練數(shù)據(jù)集,而后64 天的數(shù)據(jù)歸為評估數(shù)據(jù)集。前者用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,而后者則用來評估神經(jīng)網(wǎng)絡(luò)模型的預(yù)測能力。

將連續(xù)多天的磁場數(shù)據(jù)輸入進(jìn)本文的神經(jīng)網(wǎng)絡(luò)模型中之后,它將給出后續(xù)多天的磁場數(shù)據(jù)預(yù)測結(jié)果[8]。在上述數(shù)據(jù)集中,后續(xù)多天的磁場數(shù)據(jù)也是已知的。神經(jīng)網(wǎng)絡(luò)模型一般通過定義損失函數(shù)的方式來衡量預(yù)測結(jié)果和真實(shí)結(jié)果之間的差異。由于本文的神經(jīng)網(wǎng)絡(luò)模型的輸出為連續(xù)的磁場數(shù)據(jù),因此此模型本質(zhì)上仍然為回歸模型?；貧w模型一般使用均方誤差（Mean Squared Error, MSE）或平均絕對誤差（Mean Absolute Error,MAE）來衡量預(yù)測結(jié)果和真實(shí)結(jié)果之間的誤差。出于以上考慮,在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí),本文同時(shí)測試了這兩種損失函數(shù)以比較二者效果的差異。

在訓(xùn)練過程中,神經(jīng)網(wǎng)絡(luò)模型一般通過梯度下降的方式使損失函數(shù)不斷減小,從而讓其預(yù)測結(jié)果越來越接近真實(shí)結(jié)果,達(dá)到學(xué)習(xí)的目的。為了提高收斂速度,本文采用了神經(jīng)網(wǎng)絡(luò)模型中廣泛使用的Adam 優(yōu)化器[9]。在常規(guī)梯度下降方法的基礎(chǔ)上,Adam 優(yōu)化器通過引入動量的方式記錄前幾步的梯度大小,并使其在梯度下降方向上逐漸累積,從而達(dá)到加速收斂的目的。

3 結(jié)果與討論

本文根據(jù)不同的參數(shù)配置測試了多個(gè)算例。首先,我們測試了輸出數(shù)據(jù)為1 天的情況,以確定最優(yōu)神經(jīng)網(wǎng)絡(luò)配置以及損失函數(shù)的選擇等。我們將輸入數(shù)據(jù)的天數(shù)選定為32天。這樣做不僅使輸入數(shù)據(jù)覆蓋了一個(gè)太陽自轉(zhuǎn)周期（≈27天）,且由于32 是2 的冪次方,在GPU 計(jì)算的過程中會獲得一定程度的加速。表1 展示了磁場數(shù)據(jù)按最大絕對值（3500 Gauss）歸一化的測試結(jié)果,而表2 中的則是磁場數(shù)據(jù)按標(biāo)準(zhǔn)偏差（24.37 Gauss）歸一化的結(jié)果。在表中,我們用預(yù)測磁場和觀測磁場之間的平均絕對誤差MAE 和均方根誤差（Root Mean Square Error, RMSE）來衡量模型的預(yù)測精度。從表中可以直接看出,本文提出的神經(jīng)網(wǎng)絡(luò)模型在預(yù)測1 天后的光球?qū)哟艌鰯?shù)據(jù)時(shí),平均絕對誤差已經(jīng)可以達(dá)到0.43 Gauss 的精度,而均方根誤差也能達(dá)到1.21 Gauss的精度。這說明本文的模型已經(jīng)具備一定的預(yù)測能力。

通過比較表1 中訓(xùn)練時(shí)的不同損失函數(shù)可以發(fā)現(xiàn),相較于MSE 損失函數(shù),訓(xùn)練時(shí)使用MAE 損失函數(shù)有助于獲得更高的預(yù)測精度。這主要是因?yàn)榇艌D中活動區(qū)的磁場往往遠(yuǎn)強(qiáng)于其他部分的磁場,且較為難以預(yù)測。在計(jì)算損失函數(shù)時(shí),MSE 會放大這部分的差異,從而強(qiáng)迫神經(jīng)網(wǎng)絡(luò)模型利用更多的參數(shù)預(yù)測活動區(qū)磁場,從而減弱了其他區(qū)域的磁場預(yù)測能力。整體來看,這樣并沒有使得活動區(qū)磁場的預(yù)測結(jié)果得到顯著改善,反而拉低了整體的預(yù)測能力。這在表2中也有所體現(xiàn),但表2 中兩種損失函數(shù)的差距沒有表1 大。其原因在于當(dāng)使用磁場數(shù)據(jù)最大絕對值歸一化后,磁場數(shù)據(jù)的數(shù)值整體偏小。MSE 損失函數(shù)在更新梯度時(shí)需要乘上其自身,這就使得梯度的傳遞效率受到大大限制。當(dāng)使用磁場數(shù)據(jù)標(biāo)準(zhǔn)偏差進(jìn)行歸一化時(shí),這種效應(yīng)便明顯減小。需要說明的是,即使上述效應(yīng)的存在,我們依然發(fā)現(xiàn)磁場數(shù)據(jù)使用最大絕對值進(jìn)行歸一化,并在訓(xùn)練時(shí)使用MAE 損失函數(shù)得到的結(jié)果最好,因此后續(xù)的多個(gè)測試算例也均采用此方案。

表1 磁場數(shù)據(jù)按最大絕對值歸一化的測試算例結(jié)果

表2 磁場數(shù)據(jù)按標(biāo)準(zhǔn)偏差歸一化的測試算例結(jié)果

在表1 中,我們也不難看出,MHSA 注意力機(jī)制的加入,使得平均絕對誤差降低了9.8%左右,從0.47 Gauss 降低至0.43 Gauss。而均方根誤差則更是降低了14.9%左右,從1.42 Gauss 降低至1.21 Gauss。這說明注意力機(jī)制的加入的確能夠顯著提升UNet 模型的預(yù)測能力。均方根誤差降低更明顯則意味著MHSA 機(jī)制在一定程度上改善了活動區(qū)磁場的預(yù)測能力。

僅預(yù)測當(dāng)前時(shí)間后1 天的磁場數(shù)據(jù)對于實(shí)際應(yīng)用顯然是遠(yuǎn)遠(yuǎn)不夠的。本文的模型允許同時(shí)輸出多天的磁場預(yù)測數(shù)據(jù),而僅需將輸出圖像的通道數(shù)增加即可。表3 給出了本文模型輸出的多天磁場預(yù)測數(shù)據(jù)的首日誤差及整體誤差?？梢钥吹?增加輸出數(shù)據(jù)的天數(shù)會降低第一天的預(yù)測精度,這在均方根誤差上尤為明顯,且兩日整體的精度明顯不如首日的預(yù)測精度。當(dāng)輸出天數(shù)增加到8 天時(shí),首日預(yù)測結(jié)果的MAE 與RMSE 均增加了50%左右,而整體誤差更是首日誤差的2 倍左右。本文的模型在預(yù)測多天的數(shù)據(jù)時(shí),會壓縮預(yù)測首日數(shù)據(jù)所用的神經(jīng)網(wǎng)絡(luò)參數(shù),因此才會使得首日結(jié)果預(yù)測精度下降。同時(shí),預(yù)測時(shí)間越長,預(yù)測精度越低是目前所有模型的通病。如需改善上述結(jié)果,本文的模型需要增加大量的神經(jīng)網(wǎng)絡(luò)參數(shù)以分配到輸出的多天數(shù)據(jù)上。但目前的計(jì)算機(jī)硬件條件仍難以滿足此計(jì)算需求。

表3 模型輸出多天數(shù)據(jù)時(shí)的測試結(jié)果

4 結(jié)論與展望

本文利用UNet 神經(jīng)網(wǎng)絡(luò)和MHSA 神經(jīng)網(wǎng)絡(luò)層構(gòu)建了一個(gè)太陽日冕磁場預(yù)測模型。MHSA 的引入大大提高了UNet 神經(jīng)網(wǎng)絡(luò)在預(yù)測太陽磁場時(shí)的精度。當(dāng)輸出數(shù)據(jù)的天數(shù)較少時(shí),此模型能夠以較高的精度預(yù)測太陽日面磁場。但當(dāng)輸出天數(shù)增加時(shí),模型的結(jié)果仍然難以達(dá)到要求。進(jìn)一步提升此模型的預(yù)測能力需要更強(qiáng)的運(yùn)算能力支持,這也預(yù)示著此模型仍存在著巨大的潛力等待挖掘。