韓怡園，韓 冰+，高新波

1.西安電子科技大學(xué)電子工程學(xué)院，西安710071

2.重慶郵電大學(xué)重慶市圖像認(rèn)知重點(diǎn)實(shí)驗(yàn)室，重慶400065

極光亞暴[1-2]也稱作地磁亞暴，是地球磁層產(chǎn)生強(qiáng)烈擾動時(shí)的一種現(xiàn)象，它也是地球磁層中能量輸入、耦合和釋放的過程。據(jù)有關(guān)研究顯示，其發(fā)生時(shí)釋放的能量大約相當(dāng)于一次中等地震的能量。巨大的能量釋放會對高緯度地區(qū)的通訊、飛行器、全球定位系統(tǒng)（global positioning system，GPS）等產(chǎn)生強(qiáng)烈的干擾和影響。而現(xiàn)代人類的生活非常依賴于這些設(shè)施，假如極光亞暴的發(fā)生對這些設(shè)備造成了破壞和干擾，則在一定程度上也會影響到現(xiàn)代人類社會的生活。因此，自動且高效地對極光亞暴進(jìn)行識別、研究其發(fā)生機(jī)制、對其進(jìn)行預(yù)測不僅具有非常重要的科學(xué)意義同時(shí)也對保障人類生活、避免不必要的損失起到了至關(guān)重要的作用。

隨著科技的發(fā)展，許多衛(wèi)星攜帶的成像儀可以全方位地對高空極光現(xiàn)象進(jìn)行有效捕捉。在眾多類型的極光圖像中，有研究表明，Polar 衛(wèi)星[3]攜帶的紫外成像儀[4-5]獲取到的紫外極光（ultraviolet imager，UVI）圖像則是研究亞暴發(fā)生機(jī)制最有效的數(shù)據(jù)[6]。Polar 衛(wèi)星在其運(yùn)行過程中每一年可以采集到上千萬張UVI 圖像。準(zhǔn)確地識別亞暴事件是后續(xù)對其發(fā)生機(jī)制等研究的前提，但由人工在海量的圖像中挑選出亞暴發(fā)生的序列是非常耗時(shí)且費(fèi)精力的。因此，如何自動且準(zhǔn)確地從海量的紫外極光圖像中識別出亞暴事件是當(dāng)下該領(lǐng)域亟需解決的關(guān)鍵問題。

在對亞暴事件研究的初始階段，大多數(shù)方法是以人工篩選的方式進(jìn)行識別的。這些方法[7-8]主要根據(jù)亞暴發(fā)生的階段性特點(diǎn)對其初始時(shí)刻進(jìn)行判斷和定位，從而根據(jù)一般亞暴發(fā)生的時(shí)長得到亞暴發(fā)生的序列。除此之外，有部分學(xué)者發(fā)現(xiàn)某些空間物理參數(shù)的變化與亞暴發(fā)生有非常密切的關(guān)系。例如極光電集流指數(shù)（auroral electrojet，AE）的變化能夠反映亞暴發(fā)生對磁層的擾動強(qiáng)度[9-10]。通過觀測相關(guān)物理參數(shù)的變化就能夠定位和識別亞暴發(fā)生和結(jié)束的時(shí)刻。以上的這些方法雖然可以比較準(zhǔn)確地識別亞暴事件，但都是非自動化的識別方法，完全依賴于研究者個人對亞暴發(fā)生特性的主觀認(rèn)知，存在識別效率低下的問題。

隨著計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)的迅猛發(fā)展，部分研究者則致力于如何利用機(jī)器學(xué)習(xí)領(lǐng)域的算法對亞暴事件進(jìn)行自動的識別和檢測。這些方法[11-12]以人工標(biāo)注的亞暴事件為基準(zhǔn)，將UVI 圖像作為機(jī)器學(xué)習(xí)算法的輸入，從而實(shí)現(xiàn)對亞暴事件的自動化識別。但這些方法僅依賴于UVI 圖像在亞暴發(fā)生時(shí)所呈現(xiàn)的物理特性，因此，其識別結(jié)果與人工標(biāo)注的亞暴事件相比，還具有一定的差距。

區(qū)別于一般的視頻/序列識別任務(wù)，亞暴事件的識別是非常依賴于空間物理科學(xué)的專業(yè)知識。而空間物理專家們對亞暴序列的視覺認(rèn)知過程是識別亞暴事件最科學(xué)和有效的知識來源?，F(xiàn)有能夠有效獲取人類視覺行為的儀器稱為眼動儀，它能夠?qū)崟r(shí)跟蹤人類的視線[13]，獲取和記錄人類對任何圖像或場景的視覺眼動數(shù)據(jù)。因此，本文提出了一種新的基于眼動信息和序列指紋的極光亞暴事件識別方法。該方法結(jié)合了人工標(biāo)注與機(jī)器學(xué)習(xí)算法兩者的優(yōu)勢。首先通過眼動儀獲取空間物理領(lǐng)域?qū)＜覍啽┬蛄械囊曈X認(rèn)知信息（眼動信息）；其次根據(jù)極光亞暴發(fā)生不同階段的物理特性對每個亞暴事件中的圖像進(jìn)行標(biāo)記得到其對應(yīng)的序列指紋；最終以眼動信息為輸入，序列指紋為指導(dǎo)，利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)對亞暴事件的自動且精確的識別?；谝陨媳硎觯疚牡呢暙I(xiàn)可總結(jié)如下：

（1）構(gòu)建了一個新的基于極光亞暴事件的眼動數(shù)據(jù)庫。該數(shù)據(jù)庫包含了15 位不同的空間物理專家在觀察不同亞暴序列時(shí)的視覺認(rèn)知信息（眼動信息），也就是每張紫外極光圖像對應(yīng)的眼動注視圖。

（2）不同于直接對亞暴事件進(jìn)行整體標(biāo)記的方式，本文所提出的方法通過對亞暴事件中的每張圖像進(jìn)行二分類的標(biāo)記得到每個事件的序列指紋，從而將事件識別問題轉(zhuǎn)化為圖像分類問題，在一定程度上減小了該任務(wù)的難度。

（3）通過設(shè)計(jì)對序列指紋的判別策略，結(jié)合專家眼動注視圖，提出了基于眼動信息和序列指紋的極光亞暴事件識別方法。該方法的性能優(yōu)于其他亞暴事件自動識別方法。

1 相關(guān)工作

本章除了介紹極光亞暴事件的識別相關(guān)工作，還主要介紹近年來基于圖像分類任務(wù)的相關(guān)深度學(xué)習(xí)網(wǎng)絡(luò)的研究進(jìn)展。

1.1 極光亞暴事件識別方法

關(guān)于極光亞暴事件識別任務(wù)的相關(guān)研究主要分為三大類：人工篩選識別方法、基于物理參數(shù)的識別方法和基于機(jī)器學(xué)習(xí)的識別方法。

人工篩選識別方法主要有兩項(xiàng)工作。對于Polar衛(wèi)星采集的UVI 圖像數(shù)據(jù)，Liou[8]挑選出了其運(yùn)行期間所有年份的亞暴事件。對于IMAGE 衛(wèi)星采集的UVI 圖像數(shù)據(jù)，F(xiàn)rey 等人[7]對其進(jìn)行了人工標(biāo)記。但人工篩選的工作量非常大，且在一定程度上會受到標(biāo)記者的主觀認(rèn)知的影響。因此，不適用于在海量的UVI圖像中識別亞暴事件。

基于物理參數(shù)的識別方法主要是通過尋找特定的亞暴事件，分析在該事件發(fā)生時(shí)與亞暴相關(guān)的空間物理參數(shù)的變化規(guī)律，利用這些規(guī)律對其余的UVI圖像數(shù)據(jù)進(jìn)行判斷，從而實(shí)現(xiàn)對亞暴事件的識別。目前已有學(xué)者通過研究亞暴發(fā)生時(shí)Pi2地磁脈動[14-15]、AE[16-17]等參數(shù)的變化實(shí)現(xiàn)對亞暴事件的識別和檢測。例如Sutcliffe 借助Pi2 地磁脈沖的變化實(shí)現(xiàn)對亞暴事件的檢測[18]。這些方法都依賴于物理參數(shù)的變化規(guī)律，然而物理參數(shù)的獲取和UVI 圖像的獲取分辨率是不一致的，有些情況下會存在缺失的情況，這些問題都影響著該類方法的準(zhǔn)確性。

基于機(jī)器學(xué)習(xí)的方法近年來也有許多工作。針對Polar 衛(wèi)星的UVI 圖像，楊秋菊等人提出了一種基于亞暴膨脹相的自動亞暴事件識別方法[11]。Yang 等人也根據(jù)亞暴發(fā)生時(shí)的圖像序列特征，提出了一種基于形狀約束的稀疏低質(zhì)矩陣分解的亞暴自動檢測方法[12]。連慧芳則基于美國的國防氣象衛(wèi)星（defense meteorological satellite program，DMSP）和全球紫外線成像儀（global ultraviolet imager，GUVI）衛(wèi)星的低時(shí)間、高空間分辨率的紫外極光圖像數(shù)據(jù)，通過檢測西行浪涌結(jié)構(gòu)實(shí)現(xiàn)對亞暴事件的檢測[19]。這些方法均利用亞暴發(fā)生過程不同階段的圖像特征對亞暴事件進(jìn)行識別，但都忽略了空間物理專家在識別極光亞暴事件時(shí)的視覺認(rèn)知信息，其識別準(zhǔn)確率與人工篩選的方式還具有一定的差距。

1.2 深度學(xué)習(xí)圖像分類方法

隨著深度學(xué)習(xí)算法的發(fā)展，近年來涌現(xiàn)出了許多深度學(xué)習(xí)網(wǎng)絡(luò)，這些網(wǎng)絡(luò)在圖像分類任務(wù)取得了非常好的效果。從2012 年AlexNet[20]在ImageNet 分類比賽中取得冠軍之后，深度學(xué)習(xí)網(wǎng)絡(luò)的性能在圖像分類任務(wù)中逐漸占據(jù)了領(lǐng)先地位。針對AlexNet網(wǎng)絡(luò)的參數(shù)量較大的問題，Simonyan 等人通過堆疊3×3 的卷積核加深網(wǎng)絡(luò)深度，進(jìn)而提出了VGGNet[21]，提高了網(wǎng)絡(luò)的分類性能。隨后，Szegedy 等人提出的GoogLeNet[22]采用多支路并行的方式在保證計(jì)算資源使用效率的前提下，進(jìn)一步地提高了網(wǎng)絡(luò)的性能。隨著深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)的增加，在訓(xùn)練過程中出現(xiàn)了梯度爆炸、消失等問題，使得網(wǎng)絡(luò)難以優(yōu)化。

為了解決上述問題，He 等人在2016 年利用殘差塊結(jié)構(gòu)代替原有的卷積結(jié)構(gòu)提出了ResNet[23]，該網(wǎng)絡(luò)不僅進(jìn)一步地提升了分類效果，同時(shí)在網(wǎng)絡(luò)層數(shù)高達(dá)152 層時(shí)也能夠較好地克服梯度消失問題。在此之后，出現(xiàn)了許多基于ResNet 改進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)，例如Wide Residual Network[24]、DenseNet[25]、ResNeXt[26]、Res2Net[27]、ResNeSt[28]。這些網(wǎng)絡(luò)從寬度、模塊連接方式、通道分支數(shù)、特征提取粒度、增加通道注意力等不同方面對ResNet 進(jìn)行了改進(jìn)，并提高了網(wǎng)絡(luò)的分類精度。這些網(wǎng)絡(luò)雖然提高了網(wǎng)絡(luò)的性能，但訓(xùn)練時(shí)間長、模型復(fù)雜，是非常耗費(fèi)計(jì)算資源的。

在保證網(wǎng)絡(luò)性能的前提下，是否能夠盡可能地減少網(wǎng)絡(luò)計(jì)算量和參數(shù)？基于此思想，許多學(xué)者開始研究輕量化的深度學(xué)習(xí)網(wǎng)絡(luò)。典型的輕量化網(wǎng)絡(luò)有SqueezeNet[29]、Xception[30]、MobileNet[31]系列和Shuffle-Net[32]系列。這些網(wǎng)絡(luò)有效提高了內(nèi)存利用率和網(wǎng)絡(luò)運(yùn)行速度，但在分類性能上略低于傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)。上述的網(wǎng)絡(luò)均是研究者根據(jù)經(jīng)驗(yàn)或者知識人工設(shè)計(jì)網(wǎng)絡(luò)的結(jié)構(gòu)。人工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)性能是有限的，因此出現(xiàn)了利用神經(jīng)網(wǎng)絡(luò)自動設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法，稱為神經(jīng)架構(gòu)搜索（neural architecture search，NAS）。2019 年，Tan 等人基于NAS 搜索設(shè)計(jì)出了EfficientNets[33]系列模型。該模型平衡了網(wǎng)絡(luò)的寬度、深度和分辨率，這一系列的部分網(wǎng)絡(luò)模型不僅具有輕量化的特性，同時(shí)在當(dāng)前的所有深度學(xué)習(xí)網(wǎng)絡(luò)中其分類性能是處于優(yōu)勢地位的。

2 極光亞暴事件眼動數(shù)據(jù)庫

該部分主要介紹極光亞暴事件眼動數(shù)據(jù)庫的構(gòu)建和對眼動數(shù)據(jù)的分析。

2.1 數(shù)據(jù)組成

極光亞暴的發(fā)生主要有3 個階段：增長相、膨脹相和恢復(fù)相。如圖1 所示，在增長相階段，極光活動較弱，極光橢圓上的亮度較暗。在膨脹相階段，極光活動最為強(qiáng)烈，可以看到極光橢圓上的亮斑有明顯的向兩側(cè)擴(kuò)散的現(xiàn)象。在恢復(fù)相階段，極光橢圓上的亮斑會逐漸消散，也就說明極光活動強(qiáng)度變?nèi)醪⒅饾u恢復(fù)平靜。

如表1 所示，本研究中構(gòu)建的極光亞暴事件眼動數(shù)據(jù)庫包括原始極光亞暴序列、每個序列對應(yīng)的眼動txt 數(shù)據(jù)（包括每位被試者的每個注視點(diǎn)位置和時(shí)長信息）和序列指紋、所有亞暴事件中圖像對應(yīng)的二分類標(biāo)簽及其對應(yīng)的眼動注視圖。如圖1 所示，二分類標(biāo)簽為0 和1，0 代表增長相和恢復(fù)相中的極光圖像，1 代表膨脹相中的極光圖像。序列指紋由每個序列中所有圖像的分類標(biāo)簽組成，可表示為01110。眼動注視圖由各位專家觀看亞暴序列時(shí)眼動儀記錄的注視位置和時(shí)長生成，作為專家的眼動信息參與深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，具體實(shí)現(xiàn)細(xì)節(jié)將會在實(shí)驗(yàn)部分介紹。

表1 極光亞暴眼動數(shù)據(jù)庫數(shù)據(jù)組成Table 1 Data composition of auroral substorm eye movement database

圖1 極光亞暴不同階段圖像樣例Fig.1 Image samples of different stages of auroral substorms

本文所使用的數(shù)據(jù)為1996—1997 年冬季的UVI數(shù)據(jù)，根據(jù)Liou[8]所提供的人工標(biāo)注，共選取197 個亞暴序列與197 個非亞暴序列作為眼動測試數(shù)據(jù)。實(shí)驗(yàn)中采用的亞暴序列基本上包含了大部分類型的亞暴事件，且根據(jù)亞暴發(fā)生持續(xù)的時(shí)間，每個序列的長度是不一致的。

2.2 眼動實(shí)驗(yàn)設(shè)置

極光亞暴事件識別眼動實(shí)驗(yàn)共邀請了15 位被試者參與。所有被試者均來自西安電子科技大學(xué)，年齡在20～40 歲，裸眼或矯正后視力良好。被試者中有7 位為常年從事極光亞暴研究的學(xué)生/老師，其余的為學(xué)習(xí)過極光亞暴相關(guān)知識的學(xué)生。使用Eyelink 1000 plus 眼動儀進(jìn)行眼動數(shù)據(jù)采集。首先保證實(shí)驗(yàn)環(huán)境安靜，其次每位被試者參與20～30 組的亞暴序列識別實(shí)驗(yàn)，期間每5 組休息5～10 min 以保證眼動數(shù)據(jù)的準(zhǔn)確性。

極光亞暴識別眼動實(shí)驗(yàn)流程如圖2 所示，實(shí)驗(yàn)過程中會在屏幕上隨機(jī)顯示一段極光圖像序列，要求被試者通過觀察判斷該序列是否為亞暴序列，若一次觀察無法確定該序列是否為亞暴序列，可按鍵選擇進(jìn)行重復(fù)觀看直至做出判斷。為了使被試了解實(shí)驗(yàn)流程，每位被試在正式開始實(shí)驗(yàn)前，先進(jìn)行一次預(yù)測試實(shí)驗(yàn)，該測試實(shí)驗(yàn)設(shè)置與極光亞暴事件識別的正式眼動實(shí)驗(yàn)一致。為了保證不干擾被試對亞暴序列的判斷，僅將極光亞暴序列換成自然圖像序列。

圖2 眼動實(shí)驗(yàn)流程圖Fig.2 Flowchart of eye movement experiment

2.3 眼動數(shù)據(jù)分析

在完成極光亞暴事件的眼動數(shù)據(jù)采集之后，首先對不同亞暴發(fā)生階段（增長相onset、膨脹相expansion 和恢復(fù)相recovery）的眼動注視位置分別在x坐標(biāo)軸下和y坐標(biāo)軸下進(jìn)行了統(tǒng)計(jì)分析。所使用的統(tǒng)計(jì)指標(biāo)為平均值、標(biāo)準(zhǔn)差、方差以及偏差數(shù)。其中偏差數(shù)為平均值與方差的比值，數(shù)值區(qū)間為[0，1]。

眼動數(shù)據(jù)的統(tǒng)計(jì)結(jié)果如圖3 和圖4 所示。從圖中可以看出，無論是在x坐標(biāo)軸下還是y坐標(biāo)軸下，眼動注視點(diǎn)位置的平均值和偏差數(shù)從增長相到膨脹相呈現(xiàn)增長的趨勢，在恢復(fù)相又逐漸減小。從方差和標(biāo)準(zhǔn)差上看，膨脹相的數(shù)值較小，也就說明在觀察膨脹相時(shí)，被試者的注視點(diǎn)位置較為集中。膨脹相中極光圖像上呈現(xiàn)的亮斑較為明顯，被試者的注意大部分會集中在有亮斑的區(qū)域。而增長相和恢復(fù)相中極光橢圓上的亮度分布較為均勻且亮斑不明顯，被試的注視點(diǎn)較為分散，因此增長相和恢復(fù)相中極光圖像注視點(diǎn)位置的方差和標(biāo)準(zhǔn)差會大于膨脹相中的極光圖像注視點(diǎn)位置的方差和標(biāo)準(zhǔn)差。

圖3 x 坐標(biāo)軸下的眼動注視位置統(tǒng)計(jì)圖Fig.3 Statistics results of eye movement fixation position under x coordinate

圖4 y 坐標(biāo)軸下的眼動注視位置統(tǒng)計(jì)圖Fig.4 Statistics results of eye movement fixation position under y coordinate

該統(tǒng)計(jì)結(jié)果說明，從整體上看，被試者在觀察亞暴序列時(shí)，在不同的亞暴發(fā)生階段其視覺認(rèn)知存在明顯的差異。與此同時(shí)，發(fā)現(xiàn)當(dāng)不同的被試者在觀察同一亞暴序列時(shí)，每位被試者的眼動信息在不同的亞暴發(fā)生階段同樣存在這種差異。這與原始亞暴序列在圖像上所表現(xiàn)出來的特征是一致的。因此，對任何一個亞暴序列，使用單一被試者的眼動信息作為先驗(yàn)加入提出方法中的思想是可行的。

3 基于眼動信息和序列指紋的極光亞暴事件識別方法

本文方法主要分為兩部分：第一部分為基于眼動信息的序列指紋獲取模塊，該模塊基于原始UVI圖像和其對應(yīng)的眼動注視圖，利用一個深度學(xué)習(xí)網(wǎng)絡(luò)對亞暴序列中的圖像進(jìn)行分類預(yù)測得到其序列指紋。第二部分為序列指紋識別模塊，該模塊通過設(shè)計(jì)合理的序列指紋識別策略實(shí)現(xiàn)對亞暴事件的識別。算法框圖如圖5 所示。

3.1 基于眼動信息的序列指紋獲取模塊

基于眼動信息的序列指紋獲取模塊由一個基于分類任務(wù)的深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)。綜合考慮網(wǎng)絡(luò)模型的速度和精度，本文采用EfficientNets[33]系列網(wǎng)絡(luò)實(shí)現(xiàn)對UVI圖像的精確分類。

如圖5 所示，在訓(xùn)練階段，不考慮圖像所屬的序列，將其與對應(yīng)的眼動注視圖同時(shí)打亂輸入深度分類網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，在訓(xùn)練過程中，使用交叉熵作為Loss函數(shù)，如式（1）所示。

圖5 本文方法的流程圖Fig.5 Flowchart of proposed method

其中，n代表分類的總類別數(shù)，本實(shí)驗(yàn)中設(shè)n=2 。GT代表真實(shí)標(biāo)簽，CLS代表分類的結(jié)果。

在測試階段，按照亞暴序列中圖像的順序依次將其輸入網(wǎng)絡(luò)中進(jìn)行測試，輸出的分類預(yù)測標(biāo)簽則可組成其序列指紋。

3.2 序列指紋識別模塊

根據(jù)亞暴事件發(fā)生不同階段的特征可知，相比膨脹相中的圖像，增長相與恢復(fù)相中的圖像特不明顯。根據(jù)2.1 節(jié)對極光圖像的標(biāo)記，任何一個亞暴事件的序列指紋都應(yīng)該符合0-1-0 這樣的規(guī)律。因此在利用每個圖像的分類預(yù)測標(biāo)簽得到每個亞暴事件序列指紋的前提下，本文提出了兩種序列指紋識別策略實(shí)現(xiàn)對極光亞暴事件的識別。

如圖6 以及算法1 所示，策略1 要求序列指紋必須完全服從亞暴發(fā)生的規(guī)律。也就是說必須出現(xiàn)膨脹相、增長相與恢復(fù)相3 個階段（0-1-0 模式），且增長相與恢復(fù)相中全部圖像的分類預(yù)測標(biāo)簽必須為0，膨脹相中全部圖像的分類預(yù)測標(biāo)簽必須為1。

圖6 兩種序列指紋識別策略示意圖Fig.6 Diagram of two sequence fingerprint recognition strategies

算法1序列指紋識別策略1

在策略2 中，只要符合以下3 種情況的序列指紋均可被認(rèn)為符合亞暴發(fā)生的規(guī)律：

（1）序列指紋的模式保證有從增長相到膨脹相再到恢復(fù)相的轉(zhuǎn)換，增長相與恢復(fù)相中的全部圖像的分類預(yù)測標(biāo)簽必須為0，并且膨脹相中全部圖像的分類預(yù)測標(biāo)簽的容錯率為10%。

（2）序列指紋的模式保證有從增長相到膨脹相再到恢復(fù)相的轉(zhuǎn)換，但僅保證膨脹相的前一個圖像的分類預(yù)測標(biāo)簽與膨脹相的后一個圖像的分類預(yù)測標(biāo)簽必須為0。同時(shí)膨脹相中全部圖像的分類預(yù)測標(biāo)簽的容錯率為10%。

（3）序列指紋的模式保證有從增長相到膨脹相的轉(zhuǎn)換，并且在膨脹相中全部圖像的分類預(yù)測標(biāo)簽的容錯率為10%。具體的實(shí)現(xiàn)流程如算法2 所示。

算法2序列指紋識別策略2

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)和環(huán)境

本文在相同的實(shí)驗(yàn)條件下構(gòu)建了3 種不同輸入條件下實(shí)驗(yàn)：第一種輸入為UVI 圖像。第二種輸入為極光卵邊界分割結(jié)果、UVI 圖像和眼動注視圖。UVI圖像背景具有多變性和干擾性，加入極光卵邊界分割結(jié)果是為了抑制UVI 圖像數(shù)據(jù)中背景干擾。第三種輸入為UVI 圖像和眼動注視圖，其目的是為了驗(yàn)證眼動信息的加入是否提高了分類網(wǎng)絡(luò)的性能。

由于UVI 圖像為灰度圖像，而深度學(xué)習(xí)網(wǎng)絡(luò)更加適用于三通道的圖像。因此，首先將UVI 圖像進(jìn)行復(fù)制，拼接成一個三通道的圖像。即每一個通道都是原始的UVI 圖像。這樣得到的UVI 圖像則不會缺失或增加信息。對于另外兩種輸入數(shù)據(jù)，同樣進(jìn)行了通道拼接的操作。圖7 中的第二行是用UVI 圖像、極光卵邊界分割結(jié)果以及眼動注視圖拼接的圖像，其中極光卵邊界分割結(jié)果由目前精度最高的極光卵分割算法[34]得到。第三行是將UVI 圖像與眼動注視圖2：1 進(jìn)行通道拼接的圖像。

圖7 不同輸入數(shù)據(jù)的示例Fig.7 Samples of different input data

本文中所有實(shí)驗(yàn)均是在NVIDIA GeForce GTX 1070Ti 顯卡上進(jìn)行，并且實(shí)驗(yàn)環(huán)境為CUDA 10.0 +CUDNN v7.6.5+Python 3.6+Pytorch 1.2.0、torchvision 0.4.0。本文實(shí)驗(yàn)部分所有表格中最好的實(shí)驗(yàn)結(jié)果顯示為加粗且斜體，次好的實(shí)驗(yàn)結(jié)果顯示為加粗。

4.2 基于眼動信息的序列指紋獲取模塊的消融實(shí)驗(yàn)

利用分類準(zhǔn)確率對基于眼動信息的序列指紋獲取模塊中深度學(xué)習(xí)網(wǎng)絡(luò)預(yù)測的分類結(jié)果進(jìn)行驗(yàn)證。網(wǎng)絡(luò)的輸入分別為圖7 所示的3 種不同類型的輸入數(shù)據(jù)。同時(shí)，考慮到速度和精度的平衡，僅使用Efficientnets 系列b0～b3 這4 個網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。由于這4個網(wǎng)絡(luò)的結(jié)構(gòu)從簡單到復(fù)雜，網(wǎng)絡(luò)達(dá)到收斂狀態(tài)時(shí)訓(xùn)練的次數(shù)是不一致的。因此，實(shí)驗(yàn)也同時(shí)對比了不同網(wǎng)絡(luò)在20 次和40 次迭代次數(shù)下的實(shí)驗(yàn)結(jié)果。網(wǎng)絡(luò)訓(xùn)練采用隨機(jī)梯度下降（stochastic gradient descent，SGD）優(yōu)化算法，批處理大?。╞atch size）設(shè)置為4，學(xué)習(xí)率設(shè)置為0.01。

實(shí)驗(yàn)結(jié)果如表2 所示，從整體上看，在使用b2 網(wǎng)絡(luò)、迭代次數(shù)為40 且UVI 圖像和眼動注視圖作為輸入數(shù)據(jù)的條件下，網(wǎng)絡(luò)的性能最佳。

表2 序列指紋獲取模塊的消融實(shí)驗(yàn)對比結(jié)果Table 2 Ablation experiment results of sequence fingerprint acquisition module

從輸入數(shù)據(jù)上來看，同時(shí)使用UVI 圖像和眼動注視圖數(shù)據(jù)時(shí)，除了b0 網(wǎng)絡(luò)，其他的網(wǎng)絡(luò)在不同的迭代次數(shù)下均比使用另外兩種數(shù)據(jù)作為網(wǎng)絡(luò)輸入的效果好。由于b0 網(wǎng)絡(luò)的結(jié)構(gòu)比較簡單，使用40 次的迭代次數(shù)對其進(jìn)行訓(xùn)練會產(chǎn)生嚴(yán)重的過擬合現(xiàn)象[35]，從而導(dǎo)致其分類準(zhǔn)確率大幅下降。另一方面，原始的UVI圖像相比其他兩種輸入圖像內(nèi)容較為單一，對于較為簡單的b0 網(wǎng)絡(luò)而言，其能夠較好地學(xué)習(xí)UVI 圖像之間的差異，而對于加入眼動信息和分割信息的這兩種內(nèi)容豐富的圖像而言，其學(xué)習(xí)能力則會下降。同樣，雖然分割結(jié)果圖在一定程度上起到了抑制背景干擾的作用，但由于部分圖像的分割結(jié)果不精確，使得邊界的變化特征較弱，網(wǎng)絡(luò)可能無法完全學(xué)習(xí)到其變化模式，從而使得其分類精度不如僅使用UVI圖像和眼動注視圖數(shù)據(jù)作為輸入時(shí)的效果。

對比不同的網(wǎng)絡(luò)結(jié)構(gòu)，無論在哪一個迭代次數(shù)下將UVI 圖像和眼動注視圖作為輸入數(shù)據(jù)的b2 網(wǎng)絡(luò)取得了最好的分類準(zhǔn)確率并且其在不同的迭代次數(shù)下的分類準(zhǔn)確率非常接近。這也就說明，相對于其他的網(wǎng)絡(luò)，該網(wǎng)絡(luò)更加適合UVI 圖像的分類任務(wù)，且其穩(wěn)定性較高。

4.3 序列指紋識別模塊的消融實(shí)驗(yàn)

本節(jié)實(shí)驗(yàn)條件與4.2 節(jié)實(shí)驗(yàn)條件一致，為了驗(yàn)證在不同模型、輸入、策略下的序列指紋識別準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如表3 所示。其中，Acc-st1 和Acc-st2 分別代表兩種不同的序列指紋判別策略的準(zhǔn)確率。從整體上看，除了b0 網(wǎng)絡(luò)之外，無論是在哪種策略和網(wǎng)絡(luò)模型下，使用UVI 圖像和眼動注視圖作為輸入均取得了最高的識別準(zhǔn)確率。該結(jié)果與4.2 節(jié)的網(wǎng)絡(luò)分類準(zhǔn)確率是一致的。

從表3 中可以看出，以策略1 為判別準(zhǔn)則的亞暴事件識別準(zhǔn)確率均低于以策略2 為判別準(zhǔn)則的亞暴事件識別準(zhǔn)確率。亞暴恢復(fù)相的形態(tài)多變，很多情況下是難以判定其具體消散時(shí)刻的。因此，根據(jù)與空間物理學(xué)家的討論，認(rèn)為只要在某個極光圖像序列中出現(xiàn)增長相到膨脹相的轉(zhuǎn)換，并且膨脹相可以持續(xù)一段時(shí)間，就可認(rèn)為該序列是亞暴序列。這與策略2 中所提出的3 種情況的判斷準(zhǔn)則是一致的。因此，策略2 所提出的判別準(zhǔn)則是完全符合客觀知識的，可以作為亞暴事件識別的客觀準(zhǔn)則對其進(jìn)行有效判別，其對應(yīng)的識別準(zhǔn)確率也是可靠的。

表3 序列指紋識別模塊的消融實(shí)驗(yàn)對比結(jié)果Table 3 Ablation experiment results of sequence fingerprint recognition module

4.4 與不同亞暴序列識別方法的對比實(shí)驗(yàn)

為了驗(yàn)證文本方法的有效性，與近年來兩個亞暴事件識別方法[11-12]進(jìn)行對比。這兩個對比方法均是基于UVI 圖像數(shù)據(jù)所提出的亞暴序列識別方法且以Liou[8]所標(biāo)記亞暴事件為真實(shí)標(biāo)簽計(jì)算識別準(zhǔn)確率。楊秋菊等人[11]所提出的方法與文本所使用的數(shù)據(jù)一致。具體的實(shí)驗(yàn)結(jié)果如表4 所示。表中Ours-st1 與Ours-st2 分別為b2 網(wǎng)絡(luò)在不同亞暴序列指紋判別策略下的結(jié)果。從表中可以看出，本文方法性能優(yōu)于其余兩種對比方法。

表4 與其他方法的對比實(shí)驗(yàn)結(jié)果Table 4 Comparative experiment results with other methods

楊秋菊等人[11]所提出的方法識別準(zhǔn)確率較低，是因?yàn)槠浞椒ㄊ芟抻赨VI 圖像對極光卵的分割的結(jié)果。在分割效果準(zhǔn)確率不高的前提下，后續(xù)借助物理特征對亞暴序列進(jìn)行識別的誤差較大。SCLSD 方法[12]通過分離亞暴序列的運(yùn)動特征和背景特征，結(jié)合亞暴發(fā)生時(shí)相關(guān)物理指標(biāo)的變化對1996—2008 年南北極全部的亞暴序列進(jìn)行了檢測。對比楊秋菊等人的方法，該方法大大提高了亞暴序列識別的準(zhǔn)確率，但該方法的準(zhǔn)確率略低于本文方法，并且其實(shí)現(xiàn)過程相較于本文方法也較為繁瑣。

4.5 基于不同輸入數(shù)據(jù)的外推實(shí)驗(yàn)

在本文方法中，每一個極光亞暴序列都需要其對應(yīng)的眼動信息（眼動注視圖）輔助。這樣的設(shè)定使得算法有一定的局限性且并不能減輕專家們的負(fù)擔(dān)。基于此，本文設(shè)計(jì)了基于不同輸入數(shù)據(jù)的外推實(shí)驗(yàn)。該實(shí)驗(yàn)使用包含眼動信息的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，同時(shí)僅使用原始的亞暴圖像序列進(jìn)行測試，以此檢驗(yàn)所提出方法對數(shù)據(jù)的魯棒性。

實(shí)驗(yàn)結(jié)果如表5 所示。表5 的前兩行是基于眼動信息的序列指紋獲取模塊中UVI 圖像的分類準(zhǔn)確率，后四行是序列指紋識別模塊中根據(jù)不同序列指紋策略所得到的亞暴事件識別的準(zhǔn)確率。從結(jié)果可以看出，當(dāng)訓(xùn)練與測試數(shù)據(jù)的類型不一致時(shí)，無論其分類結(jié)果還是事件識別結(jié)果均差于使用同一類型的輸入數(shù)據(jù)進(jìn)行訓(xùn)練和測試的結(jié)果。但當(dāng)使用原始亞暴序列對使用包含眼動信息的數(shù)據(jù)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測試時(shí)，其分類準(zhǔn)確率在90%左右。

表5 外推實(shí)驗(yàn)對比結(jié)果Table 5 Extrapolation experiment results

對于亞暴事件識別任務(wù)，不同模型準(zhǔn)確率降低程度不同。有部分網(wǎng)絡(luò)的亞暴事件識別準(zhǔn)確率在80%以上，并且性能最好的b3 網(wǎng)絡(luò)得到的事件識別準(zhǔn)確率為86%。也就是說，即使在訓(xùn)練和測試時(shí)數(shù)據(jù)信息缺失且差異較大的情況下，本文方法識別效果也與其他亞暴識別算法差距不大，在可接受的范圍內(nèi)。

5 結(jié)束語

為了有效利用空間物理專家在識別極光亞暴事件時(shí)的視覺認(rèn)知信息和亞暴發(fā)生時(shí)的物理特征，本文提出了一種基于眼動信息和序列指紋的極光亞暴事件識別方法。該方法通過對UVI 圖像分類標(biāo)記得到亞暴事件的序列指紋，從而將序列識別任務(wù)轉(zhuǎn)化成簡單的二分類任務(wù)，在一定程度上降低了序列識別任務(wù)的難度。同時(shí)，充分利用專家的眼動注視圖以及設(shè)計(jì)了合理的序列指紋判別策略提升了現(xiàn)有亞暴事件識別算法的準(zhǔn)確率。

但眼動注視圖的獲取是非常不易且繁瑣的，為了減少在采集眼動信息時(shí)專家們的勞動，擬設(shè)計(jì)一個端到端的深度學(xué)習(xí)網(wǎng)絡(luò)，將眼動注視圖預(yù)測與本文算法進(jìn)行融合，從而進(jìn)行多任務(wù)并行訓(xùn)練。也就是說，對于任何一張UVI 圖像而言，網(wǎng)絡(luò)不僅能夠得到預(yù)測的眼動注視圖，同時(shí)還可以得到其序列指紋，從而在不需要額外采集專家眼動信息的條件下提高所提出方法的魯棒性，實(shí)現(xiàn)真正意義上的亞暴序列自動化檢測。