游江川

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500）

0 引 言

隨著望遠(yuǎn)鏡和計(jì)算機(jī)的快速發(fā)展，大量的天文觀測(cè)數(shù)據(jù)產(chǎn)生，人們對(duì)太陽活動(dòng)特征也越來越感興趣。太陽活動(dòng)中的耀斑、日冕物質(zhì)拋射（Coronal Mass Ejection，CME）及日珥的形成與太陽暗條密切相關(guān)，因此暗條的形成和運(yùn)動(dòng)是用來解釋太陽上許多其他現(xiàn)象的重要因素。太陽暗條是由較冷、較高密度的客體形成的長薄形結(jié)構(gòu)，位于磁場(chǎng)極性反轉(zhuǎn)線上，比周圍寒冷，因此當(dāng)以太陽日面為背景時(shí)，它們通常呈現(xiàn)暗黑色。當(dāng)沿著太陽輪廓分布時(shí)，太陽暗條可形成令人眼花繚亂的突起結(jié)構(gòu)，此時(shí)又被稱為日珥。暗條和許多人類領(lǐng)域息息相關(guān)，比如無線電短波通信、磁暴、極光現(xiàn)象、地球自然環(huán)境以及自然災(zāi)害等，基于此，太陽暗條的自動(dòng)檢測(cè)是一項(xiàng)非常重要的任務(wù)。

多年來，許多學(xué)者已經(jīng)提出了較多檢測(cè)太陽暗條的方法，但其中大多數(shù)是基于傳統(tǒng)圖像處理的方法。本文提出一種可靠的方法，使用改進(jìn)的U-Net來識(shí)別Hα全日面太陽圖像的暗條。首次用于生物醫(yī)學(xué)圖像分割的U-Net[1]在本文中是研究太陽物理學(xué)中暗條分割的一種新方法。本文通過此新的方法可以在帶噪聲的圖像中更準(zhǔn)確地識(shí)別出暗條位置。

1 改進(jìn)的U-Net網(wǎng)絡(luò)

本節(jié)將介紹語義分割提出的全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN），之后展示改進(jìn)的U-Net網(wǎng)絡(luò)架構(gòu)。其中，在網(wǎng)絡(luò)中添加了幾個(gè)dropout層以使其能夠完成關(guān)于暗條識(shí)別的任務(wù)。此外，還采用了插值方法代替反卷積以減少訓(xùn)練時(shí)間。

1.1 全卷積網(wǎng)絡(luò)

在文獻(xiàn)[2]提出FCN之前，實(shí)現(xiàn)圖像端到端學(xué)習(xí)的像素級(jí)分割仍然是一個(gè)問題，大多數(shù)研究集中在使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN，也稱為“convnet”）進(jìn)行圖像分類。文獻(xiàn)[2]首次使用全卷積層代替全連接層實(shí)現(xiàn)像素級(jí)圖像分割，另一個(gè)重要貢獻(xiàn)是定義了可以將來自深層的粗略信息與來自淺層的詳細(xì)信息相結(jié)合的設(shè)計(jì)架構(gòu)。與CNN對(duì)圖像進(jìn)行分類不同，F(xiàn)CN可以對(duì)圖像中的每個(gè)像素進(jìn)行分類以實(shí)現(xiàn)圖像識(shí)別。FCN將經(jīng)典CNN分類網(wǎng)絡(luò)[3]的5個(gè)卷積層和3個(gè)全連接層改為全卷積網(wǎng)絡(luò)，由卷積、池化及激活函數(shù)組成，如圖1所示。

圖1 全卷積網(wǎng)絡(luò)（FCN）的架構(gòu)

卷積的目的是通過卷積核從先驗(yàn)中提取特征圖，激活函數(shù)“Rectified Linear Unit”[4]用于向特征圖添加非線性元素，特征圖中的位置元素s(i,j)可以通過以下方式計(jì)算：

式中：ReLU(x)=max(0,x)；N是輸入層的總通道數(shù)；Xk是第k個(gè)輸入通道；Wk是其中一個(gè)輸入通道的第k個(gè)卷積核；b代表可調(diào)偏置?！癛eLU”的基本功能是將這些負(fù)值設(shè)為0，卷積層旨在從前一層提取多維特征圖。

為了獲得更突出的特征信息，在平移不變性的作用下，特征圖的分辨率在池化層被壓縮。一般有“平均”池化和“最大”池化兩種池化操作。FCN選擇“最大”池化作為其池化策略。第l個(gè)池化層中位置（i，j）處的值可以表示為

式中：mn是第（l-1）個(gè)卷積層中池化內(nèi)核的重疊區(qū)域，池化核的大小為3×3，步幅為1。池化層的主要作用是減小上層特征圖的大小，降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度。

盡管FCN可以在語義分割等像素任務(wù)進(jìn)行有效學(xué)習(xí)，但原始FCN還不夠完美，因?yàn)樗姆指罱Y(jié)果仍然很粗糙。因此，人們做了大量的研究來提高圖像分割的精度，一般來說，有兩種方法來處理這個(gè)問題。第一種方法是在標(biāo)準(zhǔn)卷積層后面添加擴(kuò)張卷積以避免在池化過程中丟失信息[5]，并改進(jìn)擴(kuò)張卷積，如空間金字塔池化[6]以及全連接條件隨機(jī)場(chǎng)（Conditional Random Field，CRFs）[7]。第二種方法是在最大池化層和上采樣層之間建立跳躍連接，如DeconvNet[8]、SegNet[9]以及U-Net[1]。由于U-Net的高效性和準(zhǔn)確性，本文計(jì)劃將其進(jìn)一步改進(jìn)并應(yīng)用于太陽暗條的分割任務(wù)。

1.2 基于改進(jìn)的U-Net進(jìn)行暗條分割

U-Net是基于FCN提出的，研究者們修改和擴(kuò)展其網(wǎng)絡(luò)框架，使其可以使用有限數(shù)量的訓(xùn)練圖像來獲得更準(zhǔn)確的識(shí)別結(jié)果。它的架構(gòu)包括一個(gè)收縮路徑，其中特征圖的維度由于最大池化而減少；還包括一個(gè)擴(kuò)展路徑，其中特征圖與相應(yīng)位置的上采樣圖相結(jié)合[1]。

通常，暗條在太陽日面上占據(jù)的區(qū)域很小，直接使用U-Net很難對(duì)暗條進(jìn)行精確分割。因此，基于經(jīng)典的U-Net，本文在前4個(gè)下采樣塊中的兩個(gè)卷積層后面加入了dropout層[10]。此外，本文采用具有最近鄰插值功能的上采樣操作，如圖2所示。

圖2 改進(jìn)后的U-Net網(wǎng)絡(luò)架構(gòu)

第一個(gè)下采樣塊包含兩個(gè)具有“ReLU”激活函數(shù)的卷積層和一個(gè)最大池化層。前兩個(gè)卷積層有64個(gè)卷積核，大小為3×3，步長為1。在接下來的下采樣塊中，卷積核的數(shù)量是前者的兩倍，內(nèi)核大小保持不變。為了防止過擬合，本文在前4個(gè)下采樣塊中的兩個(gè)卷積層之后添加了幾個(gè)dropout層。dropout層的公式為：

式中：p是丟棄神經(jīng)元的概率，一般設(shè)為0.5；B函數(shù)隨機(jī)生成0或1。第（l+1）層的神經(jīng)元yi可以計(jì)算為：

它旨在以50%的概率丟棄每個(gè)神經(jīng)元。

在上采樣塊中，本文使用最近鄰插值來調(diào)整圖像大小而不是去卷積，以保證結(jié)果可靠，同時(shí)提高訓(xùn)練速度。由于通過對(duì)前一個(gè)特征層進(jìn)行插值來近似調(diào)整，因此特征具有代表性和可靠性。原始圖像的寬度和高度分別為w1和h1，縮放后的圖像的寬度和高度分別為w2和h2?？s放圖像的坐標(biāo)可以計(jì)算為：

式中：縮放圖像中的（x0，y0）等于原始圖像中的（x，y）。

2 實(shí)施細(xì)節(jié)

2.1 數(shù)據(jù)預(yù)處理

本文從數(shù)萬張來自BBSO的圖像中選擇了30對(duì)典型的圖像作為原始訓(xùn)練集，其中20對(duì)被選為驗(yàn)證集，10對(duì)被選來測(cè)試所提出方法的性能。從原始圖像中去除太陽輪廓變暗，以避免引入過多的噪聲和其他不良因素；太陽日面外的所有像素都設(shè)置為灰色；使用Labelme軟件將原始圖像中的暗條標(biāo)記，形成標(biāo)簽文件。當(dāng)少量訓(xùn)練圖像可用時(shí)，數(shù)據(jù)增強(qiáng)對(duì)于網(wǎng)絡(luò)不變性和魯棒性也很重要，翻轉(zhuǎn)、平移以及旋轉(zhuǎn)不變性是主要方法。為了獲得可用的模型，只選擇那些具有不同特征的圖像作為訓(xùn)練樣本。最后，從30張高質(zhì)量的Hα全日面太陽圖像生成6 040個(gè)訓(xùn)練樣本。

所提出的方法將Hα全日面太陽圖像和標(biāo)簽文件作為輸入，將其大小調(diào)整為512×512并輸入到改進(jìn)的U-Net架構(gòu)以生成合適的權(quán)重模型，該模型用于分割Hα全日面太陽圖像中的暗條。改進(jìn)的U-Net網(wǎng)絡(luò)可以快速訓(xùn)練少量的圖像。

2.2 訓(xùn) 練

由于實(shí)驗(yàn)的硬件限制，輸入圖片被縮放到512×512。對(duì)于GeForce 1070Ti GPU，如果batch大小設(shè)置為4或更大，會(huì)耗盡內(nèi)存，因此batch設(shè)置為2。本文選擇“Adam”作為優(yōu)化器[11]，學(xué)習(xí)率為0.000 1，beta1為 0.9，beta2為0.999，所有權(quán)重由“He”初始化器[12]初始化，均值為0，標(biāo)準(zhǔn)差為sqrt（2/fan_in），所有偏差初始化為0。在訓(xùn)練任務(wù)中，U-Net將太陽日面劃分為暗條區(qū)域和非暗條區(qū)域。sigmoid函數(shù)S(x)用于對(duì)結(jié)果進(jìn)行排序，它是一種邏輯函數(shù)，將所有結(jié)果轉(zhuǎn)換為（0，1）內(nèi)的概率，它的表達(dá)式為：

式中：x是上述網(wǎng)絡(luò)的處理結(jié)果，其值越接近1，該像素就越有可能是目標(biāo)對(duì)象。二值交叉熵作為網(wǎng)絡(luò)的損失損函數(shù)，其中yi是預(yù)測(cè)結(jié)果，y^i是真實(shí)結(jié)果。

在不使用預(yù)訓(xùn)練模型的情況下，本文的方法可以使用GPU在大約49.3 min內(nèi)訓(xùn)練一個(gè)出色的模型，而對(duì)于CPU，訓(xùn)練一個(gè)可用模型大約需要57.1 h。

3 實(shí) 驗(yàn)

3.1 性能評(píng)估

本文使用Dice系數(shù)（Dice Similariy Coefficient，DSC）、相似性度量以及來自常見語義分割評(píng)估方法的真陽性率（True Positive Rate，TPR）對(duì)暗條分割進(jìn)行評(píng)估。對(duì)于檢測(cè)到的暗條，DSC衡量了標(biāo)簽文件標(biāo)記的真實(shí)結(jié)果與檢測(cè)結(jié)果之間的重疊部分，即：

式中：TP、FP及FN分別表示真陽性、假陽性及假陰性測(cè)量值。此外，真陽性率（TPR）、假陽性率（False Positive Rate，F(xiàn)PR）的計(jì)算公式如下：

訓(xùn)練的損失和準(zhǔn)確率如圖3所示，它描述了這個(gè)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。如圖3（a）所示，所提出網(wǎng)絡(luò)架構(gòu)的訓(xùn)練集的損失在前5個(gè)epoch急劇收斂，并在20個(gè)epoch后穩(wěn)定在0.005，驗(yàn)證集的損失呈現(xiàn)出整體下降的趨勢(shì)。對(duì)于圖3（b），訓(xùn)練集的準(zhǔn)確率迅速增加，在第5個(gè)epoch時(shí)達(dá)到0.997，在第20個(gè)epoch后穩(wěn)定在0.998左右，驗(yàn)證集的準(zhǔn)確率總體呈上升趨勢(shì)。因此，在所提出的網(wǎng)絡(luò)的訓(xùn)練過程中將訓(xùn)練epoch設(shè)置為20是合理的。

圖3 網(wǎng)絡(luò)訓(xùn)練過程中的損失和準(zhǔn)確率

3.2 實(shí)驗(yàn)結(jié)果

本文選擇10對(duì)包含各種形狀的暗條圖像作為本文的樣本來評(píng)估所提出的網(wǎng)絡(luò)架構(gòu)的性能。由于分割結(jié)果是一個(gè)概率圖，因此不同的概率閾值對(duì)最終的分割精度會(huì)有不同的影響。本文使用ROC曲線[13]來評(píng)估改進(jìn)的U-Net模型性能，它通過在各種閾值設(shè)置下繪制TPR和FPR來繪制。本文對(duì)每個(gè)概率圖中的非零概率值進(jìn)行遞增排序，然后將它們分成10組，每組概率值的最大值作為候選的概率閾值，得到每個(gè)概率圖的10組暗條分割結(jié)果。10個(gè)測(cè)試樣本的ROC曲線如圖4所示。

圖4 10個(gè)測(cè)試樣本的ROC曲線

在圖4中，根據(jù)分割結(jié)果和真實(shí)標(biāo)簽之間計(jì)算的TPR和FPR，繪制了所選測(cè)試集的ROC曲線。對(duì)于每個(gè)概率圖，靠近ROC圖左上角的點(diǎn)就是合適概率閾值的點(diǎn)。從圖4可看出，本文的方法可以實(shí)現(xiàn)非常低的FPR和非常高的TPR。如果訓(xùn)練集中真實(shí)標(biāo)簽的人工標(biāo)注更加準(zhǔn)確，分割的準(zhǔn)確率可能會(huì)進(jìn)一步提高。理論上，當(dāng)大暗條周圍這些小區(qū)域的預(yù)測(cè)概率低于ROC曲線上適當(dāng)?shù)母怕书撝禃r(shí)，它們將被忽略。但需要注意的是，這些強(qiáng)度較低（預(yù)測(cè)概率較高）的小區(qū)域仍然可以被識(shí)別。通常，圖4的概率閾值必須滿足FPR盡可能小而TPR盡可能大的要求，靠近圖4左上角的位置是合適的概率閾值，分割結(jié)果最好。在10個(gè)樣本中，最高TPR達(dá)到0.964 2，而對(duì)應(yīng)的最低FPR達(dá)到0.000 2，平均TPR為0.914 5，平均DSC為0.894 4，這些都表明本文的方法是太陽暗條識(shí)別的可行策略。另外，還能發(fā)現(xiàn)暗條越大，分割精度越高；反之，暗條越小越分散，分割精度越低。這是因?yàn)?，?duì)于大暗條，可以很容易地檢測(cè)到那些明顯的特征。

使用改進(jìn)的U-Net網(wǎng)絡(luò)的分割結(jié)果如圖5所示，同時(shí)，也將傳統(tǒng)數(shù)字圖像處理產(chǎn)生的結(jié)果與本文所提出的方法進(jìn)行了比較。如圖5（d）所示，傳統(tǒng)的圖像處理方法產(chǎn)生了大量的噪聲點(diǎn)，需要在后續(xù)操作中去除，因此也可能同時(shí)去除暗條周圍的一些暗條碎片部分。結(jié)果表明，本文的方法用于全日面Hα太陽圖像中的暗條分割是一種可行的方法。

圖5 使用改進(jìn)的U-Net網(wǎng)絡(luò)的分割結(jié)果

4 結(jié) 語

本文提出了一種使用改進(jìn)的U-Net深度卷積網(wǎng)絡(luò)對(duì)Hα全日面太陽圖像的全自動(dòng)暗條檢測(cè)和分割的方法。實(shí)驗(yàn)結(jié)果證明，與傳統(tǒng)圖像處理方法相比，本文的方法可以提供有效的分割。此外，改進(jìn)的U-Net網(wǎng)絡(luò)可以直接分割暗條，避免了大量噪聲點(diǎn)的產(chǎn)生，并可以在不到一個(gè)小時(shí)的時(shí)間內(nèi)獲得可用的模型。

盡管本文取得了不錯(cuò)的成果，但目前的工作仍然存在一些局限性。首先，對(duì)于太陽日面上強(qiáng)度明顯不均勻的圖像，模型可能會(huì)將那些強(qiáng)度過低的位置識(shí)別為暗條，這些位置的強(qiáng)度特征與典型的暗條具有很強(qiáng)的相似性，這可能會(huì)導(dǎo)致網(wǎng)絡(luò)的錯(cuò)誤識(shí)別，對(duì)此可以采用擴(kuò)大網(wǎng)絡(luò)深度或增加訓(xùn)練集的多樣性的有效方法。其次，網(wǎng)絡(luò)存在陷入局部最優(yōu)的風(fēng)險(xiǎn)，在這種情況下，必須重新訓(xùn)練模型，固定的學(xué)習(xí)率可能是此問題的原因，對(duì)學(xué)習(xí)率的自適應(yīng)調(diào)整是解決此類問題的一種可能策略，也是未來的研究方向。