趙梓良，劉家真，胡 真，賈彥灝，王 越，李青葦，趙澤洋，劉洋毅

一種層次化的太陽黑子快速自動識別方法

趙梓良1，劉家真1，胡 真1，賈彥灝1，王 越1，李青葦1，趙澤洋1，劉洋毅2,3,4*

1山東大學(xué)(威海)機電與信息工程學(xué)院，山東 威海 264209；2中國科學(xué)院光電技術(shù)研究所，四川 成都 610209；3四川警察學(xué)院，四川 瀘州 646000；4中國科學(xué)院自適應(yīng)光學(xué)重點實驗室，四川 成都 610209

太陽黑子的觀測與識別是太陽物理學(xué)的重要任務(wù)。通過對太陽黑子的觀測與分析，太陽物理學(xué)者可以更準(zhǔn)確地分析以及預(yù)測太陽活動。隨著觀測儀器的不斷進步，太陽全日面圖像數(shù)據(jù)量也在快速增長。為了快速、準(zhǔn)確地進行太陽黑子的自動識別和標(biāo)注，本文提出了一種兩層的太陽黑子識別模型。第一層模型采用深度學(xué)習(xí)模型YOLO，并使用基于交并比的k均值算法優(yōu)化YOLO的參數(shù)，最終的YOLO模型能夠識別絕大多數(shù)較大黑子和黑子群，僅有極少數(shù)孤立的本影較小的黑子未能識別。為進一步提高這類小黑子的識別率，第二層模型采用AGAST特征檢測算法專門識別遺漏的小黑子。在SDO/HMI太陽黑子數(shù)據(jù)集上的實驗結(jié)果表明，應(yīng)用本文的層次化模型，各種形態(tài)的太陽黑子均能被有效識別，且識別速率高，從而能夠?qū)崿F(xiàn)實時太陽黑子檢測任務(wù)。

太陽黑子；目標(biāo)識別；YOLO；卷積神經(jīng)網(wǎng)絡(luò)；k均值算法；AGAST

1 引 言

太陽黑子是產(chǎn)生于太陽表面的，容易被觀測的太陽活動現(xiàn)象，其所在的太陽區(qū)域有強磁場的聚集。對太陽黑子的觀測和分析對于人類理解和研究太陽活動具有重大意義，如幫助天文學(xué)者研究耀斑的爆發(fā)與黑子群的相關(guān)性[1]。隨著太陽物理學(xué)以及觀測設(shè)備的發(fā)展[2-3]，人們對于太陽黑子觀測產(chǎn)生的數(shù)據(jù)量呈爆發(fā)式增長趨勢。然而，早期利用人工對太陽黑子進行識別的方法已經(jīng)無法滿足快速增長的數(shù)據(jù)量帶來的數(shù)據(jù)處理性能的需求，因此，精確并高效地對太陽黑子進行識別已成為太陽物理學(xué)的迫切需要。

深度學(xué)習(xí)是人工智能領(lǐng)域的一個子集，其核心模型神經(jīng)網(wǎng)絡(luò)的原理模擬了人腦思考的過程，即通過原始輸入自動提取更為抽象的高層特征。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)模型[4]已成功被應(yīng)用于醫(yī)學(xué)、生物學(xué)以及日常生活等多個領(lǐng)域的目標(biāo)識別[5-6]，因此其同樣適合于太陽圖像中黑子的識別。通常來說，深度學(xué)習(xí)算法具有較高的數(shù)據(jù)依賴性或數(shù)據(jù)驅(qū)動性[7]，即數(shù)據(jù)量越大、數(shù)據(jù)質(zhì)量越好，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果便越佳。

在傳統(tǒng)目標(biāo)識別算法中，用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)通常需要由大量正樣例和負(fù)樣例(通常包含數(shù)萬甚至數(shù)百萬的圖像)組成。比如，在太陽黑子識別工作中，需要將全日面圖像中太陽黑子區(qū)域的圖像和太陽表面區(qū)域的圖像分別截取并形成單獨的圖像，完成網(wǎng)絡(luò)的訓(xùn)練以后，通過滑動窗口的方式在全日面圖像上判斷每個窗口是否為太陽黑子。換而言之，傳統(tǒng)目標(biāo)識別方法是基于圖像分類工作遍歷整個圖像，且夾雜著大量的重復(fù)計算[8]。當(dāng)今互聯(lián)網(wǎng)上公開的太陽黑子數(shù)據(jù)集皆為全日面圖像，并沒有單獨的且高質(zhì)量的太陽黑子局部圖像，使用傳統(tǒng)的目標(biāo)識別算法之前還應(yīng)重視數(shù)據(jù)的采集和樣本擴充的過程。因此，使用傳統(tǒng)目標(biāo)識別方法進行太陽黑子識別需要手動采集大量的樣本，無疑耗費了巨大的人力物力。

目前，針對太陽黑子識別問題，大多數(shù)工作主要采用傳統(tǒng)的圖像處理技術(shù)。Nguyen等[9]提出了采用聚類的方法對太陽黑子進行自動檢測，將太陽黑子映射到二維笛卡爾坐標(biāo)系中，再通過無監(jiān)督聚類分析標(biāo)記出太陽黑子群，但黑子群的分割粒度較大；趙翠等[10]通過形態(tài)學(xué)頂帽變換自適應(yīng)閾值的方法識別太陽黑子；Zharkov[11]提出了一種基于邊緣檢測算法的太陽黑子識別方法。上述方法在數(shù)字圖像處理領(lǐng)域被廣泛采用，然而其強烈依賴于數(shù)據(jù)本身的特征信息，識別速度和精度都具有一定限制。

對于目前提出的利用深度學(xué)習(xí)進行太陽黑子檢測的方法，付小娜等[12]提出了一種利用LeNet-5卷積神經(jīng)網(wǎng)絡(luò)進行自動識別的方法。其實驗主要步驟包括：制作太陽黑子樣本庫、訓(xùn)練全卷積神經(jīng)網(wǎng)絡(luò)模型、檢測和標(biāo)記全日面圖像中的太陽黑子。使用該方法可以對SDO/HMI全日面太陽圖像上各類黑子進行識別，尤其是較弱的磁孔(0.88倍平均光球強度)，因此證明了基于深度學(xué)習(xí)的方法檢測太陽黑子是可行的。然而，該工作使用的數(shù)據(jù)集規(guī)模較小，且LeNet-5[13]網(wǎng)絡(luò)結(jié)構(gòu)單一，輸入大小有限(32×32)，最初僅用于手寫體數(shù)字的識別，當(dāng)黑子圖片輸入時會被壓縮，因此其在進行識別工作時降低了黑子圖像的分辨率，使得識別結(jié)果受到較大影響；此外，該方法需要首先進行數(shù)據(jù)集的切割工作，使得工作量較大；更為重要的是，該方法基于傳統(tǒng)的滑動窗口，并使用非極大值抑制算法產(chǎn)生最佳候選框，時間復(fù)雜度很高，在實際應(yīng)用中相當(dāng)耗時，因而無法完成實時檢測工作。

在以上研究背景下，本文提出了一種兩層的層次化結(jié)構(gòu)來識別各種尺度的太陽黑子。在第一層結(jié)構(gòu)中，采用一種名為YOLO(you only look once)的深度學(xué)習(xí)模型進行太陽黑子的識別。該模型基于回歸(regression)的思想在圖像中選取最佳候選框，以識別速度快著稱。模型訓(xùn)練之前，僅需要框定出極少量圖片中太陽黑子的所在位置，即可作為訓(xùn)練數(shù)據(jù)集，大大減少了數(shù)據(jù)集的準(zhǔn)備工作。在通常的目標(biāo)識別任務(wù)中，小物體的識別往往是一個難點。針對本影面積較小的太陽黑子，本文采用基于交并比(intersection-over-union, IOU)的k均值聚類方法，對YOLO網(wǎng)絡(luò)中的Anchor參數(shù)進行優(yōu)化，以提高小黑子的識別率。在經(jīng)過第一層結(jié)構(gòu)的識別后，有些較為獨立的小黑子仍然會被遺漏，因此設(shè)計了第二層結(jié)構(gòu)，結(jié)合數(shù)字圖像處理中的自適應(yīng)通用加速分割檢測(adaptive and generic accelerated segment test，AGAST)算法，專門識別YOLO檢測結(jié)果之外這類本影極小的太陽黑子。該層次化結(jié)構(gòu)如圖1所示。

實驗使用700張源自SDO/HMI數(shù)據(jù)集中的連續(xù)譜強度圖像進行標(biāo)注并訓(xùn)練YOLO網(wǎng)絡(luò)。最終結(jié)果表明，整個處理流程在測試數(shù)據(jù)集上取得73.41%的交并比、約98.50%的識別率和0.60%的誤識別率，并且在識別速度上遠超傳統(tǒng)的太陽黑子識別算法。本文提出的方法對太陽黑子的自動識別有著非常現(xiàn)實的意義，可以在一定程度上減少天文工作者的工作量，文中的方法也可以直接被應(yīng)用于其他太陽表面活動的識別。

2 太陽黑子識別模型

2.1 層次化識別模型

太陽黑子圖像是一種多粒度的數(shù)據(jù)，在太陽全日面圖像中表現(xiàn)為不同的大小以及顏色深度。對于本影較大的黑子或黑子群，深度學(xué)習(xí)識別模型通常能夠達到較高的識別率，然而小目標(biāo)的識別通常是一個難題。對于太陽黑子這一識別對象，其較難識別的小黑子通常指本影和半影較小的太陽黑子，在太陽全日面圖像中表現(xiàn)為斑點狀。為了實現(xiàn)大物體和小物體的識別都能達到較高的準(zhǔn)確率，且識別過程互不干擾，本文采用一種層次化的太陽黑子識別模型。第一層模型的本質(zhì)是一個基于YOLO的深度神經(jīng)網(wǎng)絡(luò)，用于識別本影較大的黑子和黑子群這類較為明顯的目標(biāo)；第二層模型采用數(shù)字圖像處理中的AGAST算法，針對斑點狀的本影較小的黑子進行專門的識別。最終匯總兩層模型的識別結(jié)果形成最終完整的識別結(jié)果。

2.2 YOLO模型基本原理

YOLO的最初版本YOLOv1的思想是使用單個神經(jīng)網(wǎng)絡(luò)集成目標(biāo)檢測的所有組件，以達到端對端的訓(xùn)練目的[14]。早期的目標(biāo)檢測方法通常是通過提取圖像的一些特征(如Haar、SIFT、HOG等)，使用形變部件模型(deformable parts model, DPM)，并用滑動窗口的方式來預(yù)測邊界框[15]。這種算法具有相當(dāng)高的時間復(fù)雜度，卻無法達到較高的檢測精度。后來的研究中誕生了OP(object proposal)方法，其中選擇性搜索(selective search)為這類方法的典型代表[16]。相比于滑動窗口的窮舉方式，OP方法減少了大量的計算，同時在性能上也有很大的提高。利用選擇性搜索的結(jié)果，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的R-CNN[17]出現(xiàn)后，目標(biāo)檢測的性能有了質(zhì)的飛越?；赗-CNN發(fā)展出來的SPPnet[18]、Fast R-CNN[19]、Faster R-CNN[20]等方法，證明了OP方法應(yīng)用于目標(biāo)檢測的有效性。

相比于R-CNN系列的方法，YOLO提供了另一種思路，將目標(biāo)檢測的問題轉(zhuǎn)化成一個回歸問題。給定輸入圖像，直接在圖像的多個位置上回歸出目標(biāo)的候選框以及其分類類別。YOLO是一個可以一次性預(yù)測多個候選框位置和類別的卷積神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)端到端的目標(biāo)檢測和識別，其最大的優(yōu)勢就是速度快。

YOLOv1基于GoogleNet[21]網(wǎng)絡(luò)。其首先將輸入圖片輸入大小壓縮為448 pixels×448 pixels，并將輸入圖片劃分為×個柵格，每個柵格負(fù)責(zé)檢測中心落在該柵格中的物體。每一個柵格預(yù)測個邊界框，以及這些邊界框的置信度，而置信度反映了模型對這個柵格的預(yù)測：該柵格是否含有物體，以及對應(yīng)邊界框坐標(biāo)預(yù)測的準(zhǔn)確度。

圖1 層次化的太陽黑子識別模型示意圖

YOLOv2[22]在YOLOv1的基礎(chǔ)上做了許多性能改進。首先，其使用Batch Normalization代替Dropout以提升模型收斂速度，提高了模型的泛化能力，減少了過擬合的可能性。其次，YOLOv2移除了YOLOv1中的全連接層而采用了卷積和Anchor來預(yù)測邊界框。為了使檢測所用的特征圖獲得更高的分辨率，YOLOv2還利用了Dimension Clustering和Fine-Grained Feature等技術(shù)。

YOLOv3[23]使用Darknet53作為特征提取網(wǎng)絡(luò)，輸出三個尺度的特征圖進行預(yù)測。多尺度預(yù)測方式增強了YOLO對于不同尺寸的目標(biāo)檢測的能力。此外，YOLOv3損失函數(shù)部分修改為二值交叉熵函數(shù)，并使用邏輯回歸選擇評分最高的Anchor以減少損失函數(shù)的計算量?？偠灾捎赮OLOv3在前兩個版本上的改進，其工作過程變得更加可靠，產(chǎn)生的結(jié)果也更加準(zhǔn)確。因此本文采用YOLOv3為基礎(chǔ)模型進行太陽黑子識別的實驗。

2.3 數(shù)據(jù)預(yù)處理

實驗數(shù)據(jù)采用SDO/HMI[24-25]的全日面連續(xù)譜圖像。該項目利用NASA太陽動力學(xué)天文臺(solar dynamics observatory, SDO)產(chǎn)生每小時的高分辨率太陽全日面連續(xù)譜強度圖、磁圖以及對比度增強的強度圖像等。圖2展示了SDO/HMI各種類型的太陽全日面圖，本文實驗選用連續(xù)譜強度圖(continuum intensity)進行訓(xùn)練，因為其通常比其他類型的圖像具有更高的分辨率，在卷積神經(jīng)網(wǎng)絡(luò)中能夠提取更加魯棒的特征。

SDO/HMI太陽全日面圖像尺寸為4096 pixels×4096 pixels，而其中含有太陽黑子的部分所占面積比例極小。若直接將太陽全日面圖像直接輸入YOLO，網(wǎng)絡(luò)首先會對輸入的圖像進行縮放處理，將4096的圖像縮放到448 pixels大小，黑子所占的像素數(shù)目也會大大減小，原有的小黑子甚至?xí)苯酉?。還有部分被縮放后的黑子與周圍的圖像噪聲相似度較大，易受周圍噪聲影響。經(jīng)過實驗檢驗，在上述原因的影響下，直接輸入原圖像進行訓(xùn)練會導(dǎo)致訓(xùn)練發(fā)散，即損失函數(shù)無法到達全局最優(yōu)解。為了解決這一問題，我們將4096×4096大小的圖像進行切割，得到多張416×416大小的圖像，再對這些圖像分別進行標(biāo)注并訓(xùn)練。訓(xùn)練階段完成后，首先將目標(biāo)4096×4096大小的全日面圖向外擴展黑色像素形成4160×4160的圖像，再將其分割為100張416大小的子圖像，分割識別后再合為一張完整的圖像。

由于太陽黑子存在著非常多種類的形態(tài)，如果將所有的黑子都標(biāo)注為同一類別，會影響YOLO網(wǎng)絡(luò)參數(shù)的優(yōu)化方向。例如，在生活場景識別中若把“人”和“自行車”標(biāo)為同種類別，將對損失函數(shù)的下降方向產(chǎn)生極大干擾。在太陽物理領(lǐng)域，目前最常用的太陽黑子蘇黎世分類方法是由瑞士蘇黎世天文臺瓦爾德邁爾在1938年提出的[26]。他按黑子群發(fā)展過程將其分為九個類型﹐用大寫拉丁字母A~J表示。然而，以蘇黎世分類進行太陽黑子的標(biāo)注存在兩點問題：首先，許多觀測到的太陽黑子的半影十分模糊，進行蘇黎世類別的標(biāo)注是一件困難的工作，通常需要領(lǐng)域?qū)＜业慕槿耄⑶視ㄙM大量的時間；其次，由于太陽黑子的周期性變化，蘇黎世分類中九個類型的太陽黑子數(shù)目并不均衡，不均衡的訓(xùn)練類別使得YOLO在訓(xùn)練過程中數(shù)據(jù)較少的類別的損失函數(shù)減少不明顯，導(dǎo)致該類別無法達到預(yù)期的訓(xùn)練效果。為了削減上述兩種問題的影響，我們分析了黑子形態(tài)差異，并提出將黑子標(biāo)注為兩類，即適當(dāng)尺度的黑子群和本影部分明顯的大黑子，其中黑子群中包括了一些較為孤立的小型黑子。圖3展示了數(shù)據(jù)預(yù)處理的過程。

圖2 SDO/HMI各類型太陽全日面圖

2.4 網(wǎng)絡(luò)結(jié)構(gòu)

基于YOLO模型，我們設(shè)計了如圖4所示的網(wǎng)絡(luò)結(jié)構(gòu)。

該網(wǎng)絡(luò)得到三個尺度的輸出結(jié)果，大小分別為[13×13×14]，[26×26×14]以及[52×52×14]。其中，每個輸出的前兩個維度對應(yīng)網(wǎng)格大小，如第一個尺度的前兩維代表將輸入圖像劃分為13×13的網(wǎng)格，每個網(wǎng)格與輸出結(jié)果對應(yīng)位置的網(wǎng)格相關(guān)聯(lián)。每個尺度輸出的第三維的分量“14”由網(wǎng)絡(luò)中的部件計算得到。每個尺度對應(yīng)兩個Anchor box，每個Anchor box輸出7個值：，，，(中心點坐標(biāo)和寬高)，(置信度)以及類別概率1，2，分別對應(yīng)小黑子和黑子群。

2.5 優(yōu)化處理及參數(shù)調(diào)整

原始YOLO的Anchor尺寸適合檢測大物體、多物體，而太陽黑子中小目標(biāo)偏多，因此使用k均值聚類算法獲取最佳的Anchor尺寸[24]。常用的k均值算法使用歐氏距離作為優(yōu)化目標(biāo)，在獲取Anchor尺寸時容易引發(fā)“大框優(yōu)勢”，故將聚類函數(shù)修改為(box,centroid) = 1 - IOU(box,centroid)。多次運行聚類算法，設(shè)置不同的值。經(jīng)過多次實驗進行YOLO效果的驗證，最終確定值為6。因此，最終確定的YOLO網(wǎng)絡(luò)結(jié)構(gòu)輸出三個網(wǎng)格尺寸，每個輸出分別對應(yīng)兩個Anchor尺寸。其中，13×13大小的網(wǎng)格對應(yīng)[75，85]和[42，61]的Anchor尺寸，用于檢測較大目標(biāo)；26×26大小的網(wǎng)格對應(yīng)[31，27]以及[22，42]的Anchor尺寸，用于檢測中等體型目標(biāo)；52×52大小的網(wǎng)格對應(yīng)[11，18]和[17，42]的Anchor尺寸，用于檢測較小目標(biāo)。

圖3 數(shù)據(jù)預(yù)處理流程

圖4 第一層模型：基于YOLO的深度神經(jīng)網(wǎng)絡(luò)

2.6 第二層太陽黑子識別模型

經(jīng)過觀察，在YOLO識別結(jié)果中，存在著極少的、溫度較高且本影極小的太陽黑子未能被識別。原因是這類黑子的波長與太陽表面平靜區(qū)的波長相近，使得YOLO容易將其誤判為太陽表面的平靜區(qū)。為解決該問題，建立第二層太陽黑子識別模型，采用數(shù)字圖像處理中AGAST特征檢測算法[27]標(biāo)定出小黑子的位置。在性能上，第二層模型以增加識別時間為代價，提高了小黑子的識別率。

第二層模型以第一層模型的識別結(jié)果作為輸入，專門負(fù)責(zé)識別第一層模型中還未能被識別的小黑子。根據(jù)YOLO的識別結(jié)果，在416×416大小的太陽黑子圖像中，本影較小的太陽黑子可看作圖像中的特征點進行處理，符合數(shù)字圖像處理中特征檢測問題的基本性質(zhì)。Rosten等人[27]將FAST角點定義為：若某像素點與其周圍足夠多的像素點處在不同范圍內(nèi)，則該像素點可能為角點?？紤]灰度太陽黑子圖像，若某一點的灰度值比其周圍領(lǐng)域內(nèi)數(shù)量較多的像素點的灰度值大或者小，則該點可能為角點，即可以被認(rèn)為是本影較小的太陽黑子。FAST算法的基本原理如圖5所示，首先設(shè)定閾值，對圖像中的每一個像素點，考慮其以3為半徑的圓上的16個像素點1至16與的像素差異。若16個像素點中有9個及以上的像素點與的像素差異超過，則認(rèn)為是特征點，最終采用非極大值抑制的方法進行篩選得到結(jié)果。

根據(jù)FAST算法原理，為提升檢測速度，可以使用ID3算法構(gòu)建決策樹。2010年Elmar和Gregory等人[28]提出了自適應(yīng)通用加速分割檢測(adaptive and generic accelerated segment test，AGAST)算法，將FAST算法中ID3決策樹改造為二叉樹，并能夠根據(jù)當(dāng)前處理的圖像信息動態(tài)且高效地分配決策樹，提高了算法的運算速度。為了高效率地進一步識別第一層模型遺漏的小黑子，第二層模型采用AGAST算法，識別第一層模型標(biāo)定的識別框之外的特征點。經(jīng)過多次對比和調(diào)試，最終選用=35作為像素差異的閾值。

3 檢測實驗及分析

3.1 YOLO訓(xùn)練過程

按圖4搭建了第一層太陽黑子識別模型后開始訓(xùn)練。YOLO的訓(xùn)練目標(biāo)是最優(yōu)化以下?lián)p失函數(shù)：

其中包括三個部分，前兩行為坐標(biāo)預(yù)測損失，第三和第四行為置信度損失，最后一行為類別損失。使用隨機梯度下降優(yōu)化器對損失函數(shù)進行優(yōu)化：

圖5 FAST算法的基本原理示意圖

YOLO模型完成15000輪訓(xùn)練過程后，其損失函數(shù)值由935.12降至0.22。圖6展示了訓(xùn)練過程中截取的1000步訓(xùn)練過程損失函數(shù)的變化。

3.2 實驗結(jié)果

訓(xùn)練完成后，使用SDO/HMI從2010至2014年內(nèi)隨機挑選的圖像，截取太陽黑子較多的部分后形成416′416大小的子圖進行測試。部分識別結(jié)果如圖7所示。其中，綠色框代表本影和半影較為明顯的大黑子，紅色框代表黑子群以及部分獨立的本影較小的黑子，而黃色框代表第二層模型識別出的本影較小的小黑子。

與本文假設(shè)相符，在經(jīng)過第一層識別模型后，有些本影較小的黑子未能被識別。經(jīng)過第二層識別模型后，約96.72%的小黑子能夠被識別。最終，經(jīng)過對該100張4096×4096大小的太陽全日面測試圖像的結(jié)果分析，模型平均能夠達到73.41%的測試交并比，約98.50%的識別率以及約0.60%的誤識別率。測試交并比結(jié)果的分布如圖8所示，可以看出交并比的分布基本較為穩(wěn)定且均大于等于55%。交并比在圖像識別領(lǐng)域是常用的測試標(biāo)準(zhǔn)，通常交并比大于50%時便認(rèn)為是一個優(yōu)秀的識別結(jié)果，因此本文太陽黑子的識別結(jié)果具有精確性和健壯性。

3.3 結(jié)果分析

從執(zhí)行結(jié)果時間復(fù)雜度的角度分析，首先設(shè)和分別為圖像的寬和高，滑動窗口的寬和高分別為和。YOLO對于特征圖上每個位置的元素只提取一遍，時間復(fù)雜度為()。AGAST算法遍歷圖像中的每個像素，復(fù)雜度仍然為()，因此兩層結(jié)構(gòu)的網(wǎng)絡(luò)總復(fù)雜度為()。基于R-CNN[19]方法提取的像素的數(shù)量為(-)×(-)××，時間復(fù)雜度為(()2)。付小娜等人[12]基于滑動窗口的卷積神經(jīng)網(wǎng)絡(luò)需要控制圖像的寬和高以及滑動窗口的寬和高，時間復(fù)雜度亦為(()2)。因此，本文提出的兩層模型結(jié)構(gòu)能夠在確保識別精度的條件下以非常快的速度進行太陽黑子的識別。

從執(zhí)行結(jié)果的準(zhǔn)確率(準(zhǔn)確率=1-漏檢率)來分析，98.50%的識別準(zhǔn)確率超過了付小娜[12]約80%的識別準(zhǔn)確率、Zhao等[10]95%的準(zhǔn)確率以及Zharkov[13]所得到的95%~98%的識別準(zhǔn)確率結(jié)果。層次化模型的錯檢率約為0.6%，效果優(yōu)于Zhao等[10]1.2%的錯檢率，而低于付小娜等[12]沒有漏檢率的情況。

可以看出，在多項指標(biāo)上，該層次模型均能夠相對于其他工作取得更優(yōu)良的效果。但該模型亦存在著一定的缺點：由于在識別時將整幅太陽黑子全日面圖像等面積分為100份，因此有些較大的或狹長的太陽黑子會被截斷進入不同的子圖像中，該現(xiàn)象導(dǎo)致這些黑子被模型識別為兩個或多個獨立的黑子，這對太陽黑子的識別不利。為此提出以下解決方法：在完成100份子圖像的識別后，若在某個子圖像中有識別框位于該子圖像邊緣，則判斷其所在邊緣方向的相鄰子圖像的鄰近邊緣是否也有某個識別框位于邊緣。若有，則合并兩個子圖像中的識別框；否則，繼續(xù)掃描圖像，直到?jīng)]有這樣的相鄰情況。

從模型的泛化能力進行分析，由于模型的諸多參數(shù)如圖片尺寸、像素差異閾值等均由實驗測出，因此識別結(jié)果可能與數(shù)據(jù)的來源高度相關(guān)。尤其地，對于其他觀測設(shè)備得到的不同分辨率的全日面圖像，模型可能無法取得令人滿意的效果。針對這一現(xiàn)象，應(yīng)當(dāng)尋找盡可能提高模型泛化能力的可行方案。如對于圖片尺寸，將不同來源的數(shù)據(jù)縮放至同一大小；對于像素差異閾值，對圖像進行合適的預(yù)處理，如歸一化，使得不同來源圖像的閾值相近；對于分辨率問題，可以進一步修正YOLO模型的損失函數(shù)，為其添加與分辨率相關(guān)的正則化項，從而解決分辨率不同的問題。

3.4 未來工作

太陽耀斑是太陽大氣局部區(qū)域發(fā)生的一種劇烈的爆發(fā)現(xiàn)象，其在短時間內(nèi)釋放大量能量，引起局部區(qū)域的瞬時高溫，向外發(fā)射各種電磁輻射，并伴隨粒子輻射突然增強。美國宇航局(NASA)于2013年末及2014年初連續(xù)發(fā)布了其捕獲的太陽耀斑數(shù)據(jù)，包括原始波長數(shù)據(jù)及轉(zhuǎn)換后肉眼可觀測的圖像。理論上，耀斑在其形態(tài)方面與其他太陽活動可區(qū)分，但通常體積較大，因此可采用本文第一層YOLO模型重新進行耀斑的識別，無需第二層識別模型來識別極小的目標(biāo)。

除耀斑外，暗條、光斑等太陽活動均具有其獨特的數(shù)據(jù)特性，并且能夠在NASA發(fā)布的數(shù)據(jù)集中找到大量的訓(xùn)練數(shù)據(jù)，因此其在理論上是可分類的。由于YOLO模型本身可完成多分類任務(wù)，因此可在數(shù)據(jù)準(zhǔn)備充足的情況下，將本文的范圍直接擴展至其他太陽活動的識別。

4 結(jié) 論

本文建立了層次化的太陽黑子識別模型。在第一層模型的識別過程中，使用700張SDO/HMI數(shù)據(jù)集中標(biāo)注后的太陽黑子圖像訓(xùn)練YOLO深度神經(jīng)網(wǎng)絡(luò)用于太陽黑子識別，并在測試集上達到了較高的分類準(zhǔn)確率。針對小型黑子識別率低的問題，使用基于交并比的k均值算法確定了YOLO網(wǎng)絡(luò)中的Anchor，使得網(wǎng)絡(luò)能夠識別更多的小黑子。為了進一步提升小黑子的識別率，建立了第二層太陽黑子識別過程，采用AGAST特征檢測算法，專門進行本影較小的太陽黑子的快速識別。該層次化模型在測試數(shù)據(jù)集上獲得了73.41%的測試交并比，約98.50%的識別率以及約0.60%的誤識別率，并在識別速度(每秒幀率)上遠超傳統(tǒng)方法，甚至能夠?qū)μ柡谧舆M行實時檢測，同時滿足了準(zhǔn)確性和高效性。文中的模型與算法可以直接被廣泛應(yīng)用于各大全日面太陽圖像數(shù)據(jù)集的太陽黑子識別工作，并可擴展到對其他太陽活動的檢測，如耀斑、暗條等。

圖8 測試交并比的分布

[1] Liu Y, Zhang H. Relationship between magnetic field evolution and major flare event on July 14, 2000[J]., 2001, 372(3): 1019–1029.

[2] Rao C H, Zhu L, Zhang L Q,. Development of solar adaptive optics[J]., 2018, 45(3): 170733.

饒長輝, 朱磊, 張?zhí)m強, 等. 太陽自適應(yīng)光學(xué)技術(shù)進展[J]. 光電工程, 2018, 45(3): 170733.

[3] Bao H, Rao C H, Tian Y,. Research progress on adaptive optical image post reconstruction[J]., 2018, 45(3): 170730.

鮑華, 饒長輝, 田雨, 等. 自適應(yīng)光學(xué)圖像事后重建技術(shù)研究進展[J]. 光電工程, 2018, 45(3): 170730.

[4] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//, Lake Tahoe, Nevada, USA, 2012: 1097–1105.

[5] Matsugu M, Mori K, Mitari Y,. Subject independent facial expression recognition with robust face detection using a convolutional neural network[J]., 2003, 16(5–6): 555–559.

[6] Acharya U R, Oh S L, Hagiwara Y,. A deep convolutional neural network model to classify heartbeats[J]., 2017, 89: 389–396.

[7] Banko M, Brill E. Scaling to very very large corpora for natural language disambiguation[C]//, Toulouse, France, 2001: 26–33.

[8] Noor M H M, Salcic Z, Wang K I K. Adaptive sliding window segmentation for physical activity recognition using a single tri-axial accelerometer[J]., 2017, 38: 41–59.

[9] Nguyen T T, Willis C P, Paddon D J,. A hybrid system for learning sunspot recognition and classification[C]//, Cheju Island, South Korea, 2006: 257–264.

[10] Zhao C, Lin G H, Deng Y Y,. Automatic recognition of sunspots in HSOS full-disk solar images[J]., 2016, 33: e018.

[11] Zharkov S, Zharkova V, Ipson S,. Technique for automated recognition of sunspots on full-disk solar images[J]., 2005, 2005(15): 318462.

[12] Fu X N, Liao C W, Bai X Y,. A detection method for sunspots based on convolutional neural network LeNet-5[J]., 2018, 15(3): 340–346.

付小娜, 廖成武, 白先勇, 等. 基于LeNet-5卷積神經(jīng)網(wǎng)絡(luò)的太陽黑子檢測方法[J]. 天文研究與技術(shù), 2018, 15(3): 340–346.

[13] LeCun Y, Bottou L, Bengio Y,. Gradient-based learning applied to document recognition[J]., 1998, 86(11): 2278–2324.

[14] Redmon J, Divvala S, Girshick R,. You only look once: unified, real-time object detection[C]//, Las Vegas, NV, USA, 2016: 779–788.

[15] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//, San Diego, CA, USA, 2005: 886–893.

[16] Uijlings J R R, van de Sande K E A, Gevers T,. Selective search for object recognition[J]., 2013, 104(2): 154–171.

[17] Girshick R, Donahue J, Darrell T,. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//, Columbus, OH, USA, 2014: 580–587.

[18] He K M, Zhang X Y, Ren S Q,. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]., 2015, 37(9): 1904–1916.

[19] Girshick R. Fast R-CNN[C]//, Santiago, Chile, 2015: 1440–1448.

[20] Ren S Q, He K M, Girshick R,. Faster R-CNN: towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137–1149.

[21] Szegedy C, Liu W, Jia Y Q,. Going deeper with convolutions[C]//, Boston, MA, USA, 2015: 1–9.

[22] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//, Honolulu, HI, USA, 2017: 6517–6525.

[23] Redmon J, Farhadi A. Yolov3: an incremental improvement[Z]. arXiv: 1804.02767[cs:CV], 2018.

[24] Baranyi T, Gy?ri L, Ludmány A. On-line tools for solar data compiled at the Debrecen observatory and their extensions with the Greenwich sunspot data[J]., 2016, 291(9): 3081–3102.

[25] Gy?ri L, Ludmány A, Baranyi T. Comparative analysis of Debrecen sunspot catalogues[J]., 2017, 465(2): 1259–1273.

[26] Kilcik A, Ozguc A, Yurchyshyn V,. Sunspot count periodicities in different Zurich sunspot group classes since 1986[J]., 2014, 289(11): 4365–4376.

[27] Rosten E, Porter R, Drummond T. Faster and better: a machine learning approach to corner detection[J]., 2010, 32(1): 105–119.

[28] Mair E, Hager G D, Burschka D,. Adaptive and generic corner detection based on the accelerated segment test[C]//, Heraklion, Crete, Greece, 2010: 183–196.

A hierarchical method for quick and automatic recognition of sunspots

Zhao Ziliang1, Liu Jiazhen1, Hu Zhen1, Jia Yanhao1, Wang Yue1,Li Qingwei1, Zhao Zeyang1, Liu Yangyi2,3,4*

1School of Mechanical, Electrical & Information Engineering, Shandong University, Weihai, Shandong 264209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3Sichuan Police College, Luzhou, Sichuan 646000, China;4Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China

Process of data pretreatment

Overview:Sunspots are small dark spots, patches or regions appearing on the sun’s surface where strong magnetic fields converge. As an important solar phenomenon, observation and analysis of sunspots can promote understanding and learning of solar activities. For example, it can help astrologists to study the relevance of sunspots groups with flare eruptions. With the development of solar physics and observation instrument, methods of sunspots detection proposed earlier can not satisfy the rapid growth of data amount and data processing performance. Thus, it is urgent for solar physics to propose new methods to detect sunspots with higher accuracy and efficiency.

Traditional digital image processing methods and algorithms based on the sliding window are usually characterized by a slow speed and cannot achieve high accuracy. For instance, pure digital image processing methods are usually not flexible enough to detect sunspots because of the divergence of colors and patterns of different types of sunspots. In addition, the sliding window algorithm proposed earlier is of high time complexity, which shows poor performance in practical applications. To solve problems mentioned above, this paper aims to rapidly recognize all types of sunspots for real-time detection.

We proposed a hierarchical model composed of two components. The first layer is based on deep learning model YOLO. According to the nature of YOLO network, the raw image data with a size of 4096 pixels would be divided into smaller sub-images because sunspots are relatively tiny compared with the whole solar image. At the same time, sunspots will be compressed and disappear in neural network, which will influence the training process of network. In order to improve the ability of first layer to detect more smaller sunspots, the k-means algorithm is applied to optimize the anchor parameter in YOLO model. After the first layer model, most sunspots and sunspot groups are able to be recognized, with just a few smaller sunspots being unidentified. For the purpose of detecting more unidentified smaller sunspots in the first layer, the second layer utilizes AGAST algorithms for feature detection, in which the smaller sunspots are viewed as speckles.

In the experiment, 700 original images from SDO/HMI data set are used to train YOLO network. After training process, the loss function reduces from 935.12 to 0.22. The detecting results show that all kinds of sunspots can be recognized effectively with intersection-over-union being 73.41%, detecting accuracy being about 98.50%, and error recognition rate being around 0.60%. Therefore, the hierarchical model can be used to complete real-time sunspot detection task, and relevant ideas and models could also be applied to solve other object detection problems.

Citation: Zhao Z L, Liu J Z, Hu Z,A hierarchical method for quick and automatic recognition of sunspots[J]., 2020, 47(7): 190342

A hierarchical method for quick and automatic recognition of sunspots

Zhao Ziliang1, Liu Jiazhen1, Hu Zhen1, Jia Yanhao1, Wang Yue1, Li Qingwei1, Zhao Zeyang1, Liu Yangyi2,3,4*

1School of Mechanical, Electrical & Information Engineering, Shandong University, Weihai, Shandong 264209, China;2Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;3Sichuan Police College, Luzhou, Sichuan 646000, China;4Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China

The observation and recognition of sunspots is an important task of solar physics. By observing and analyzing sunspots, solar physicists are able to analyze and predict solar activities with higher accuracy. With the continuous progress of observation instruments, solar full-disk image data amount is also on a rapid growth. In order to recognize and label sunspots quickly and accurately, a two-layer sunspot recognition model is proposed in this paper. The first layer model is based on deep learning model YOLO. In order to enhance the ability of YOLO to recognize small sunspots, the parameters of YOLO are optimized by using the k-means algorithm based on intersection-over-union. The final YOLO model can identify most large sunspots and sunspot groups, with only a few isolated small sunspots being unidentified. For the purpose of further improving recognition rate of small sunspots, the second layer model applies AGAST (adaptive and generic accelerated segment test) feature detection algorithm to specifically identify the missing small sunspots. The experimental results on SDO/HMI sunspot data set show that all kinds of sunspots can be recognized effectively with high recognition accuracy by using the model proposed in this paper, thus realizing the real-time sunspot detection task.

sunspot; object detection; YOLO; convolutional neural network; k-means; AGAST

TP391

A

10.12086/oee.2020.190342

: Zhao Z L, Liu J Z, Hu Z,. A hierarchical method for quick and automatic recognition of sunspots[J]., 2020,47(7): 190342

趙梓良，劉家真，胡真，等. 一種層次化的太陽黑子快速自動識別方法[J]. 光電工程，2020，47(7): 190342

Supported by National Natural Science Foundation of China(11727805 and 11733005) and College Students' Innovation Practice Training Program of Institute of Optics and Electronics, Chinese Academy of Sciences (20184001188)

* E-mail: liuyangyi_ioe@163.com

2019-06-21；

2019-11-04

國家自然科學(xué)基金資助項目(11727805，11733005)；中國科學(xué)院光電技術(shù)研究所大學(xué)生創(chuàng)新實踐訓(xùn)練計劃(20184001188)

趙梓良(1998-)，男，碩士研究生，主要從事機器學(xué)習(xí)與深度學(xué)習(xí)的研究。E-mail：zhaoziliang@mail.sdu.edu.cn

劉洋毅(1989-)，男，博士，助理研究員，主要從事太陽高分辨力成像技術(shù)的研究。E-mail：liuyangyi_ioe@163.com