陳昌紅，劉 彬，張 浩

(南京郵電大學(xué) 通信與信息工程學(xué)院 圖像處理與圖像通信江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003)

0 引 言

極光是一種出現(xiàn)于星球的高磁緯地區(qū)上空，絢麗多彩的發(fā)光現(xiàn)象。極光不僅是個(gè)光學(xué)現(xiàn)象，而且是個(gè)無線電現(xiàn)象，可以用雷達(dá)進(jìn)行探測(cè)研究，它還會(huì)輻射出某些無線電波。極光不僅是科學(xué)研究的重要課題，還直接應(yīng)用到無線電通信、長(zhǎng)電纜通信，以及長(zhǎng)的管道和電力傳送線等許多實(shí)用工程項(xiàng)目中。地球極光的研究已有幾十年的歷史，極光圖像類別研究有著演進(jìn)過程。Hu等在2009年根據(jù)在北極采集的全天空極光圖像數(shù)據(jù)將日側(cè)極光劃分為帷幔冕狀、極光亮斑、弧狀和輻射冕狀4種類型；楊秋菊等[1]在2017年將極光類型劃分為弧狀、帷幔冕狀、輻射冕狀和熱點(diǎn)狀4類。文中采用的是弧狀、帷幔冕狀、輻射冕狀和熱點(diǎn)狀4類的分類方式。

Fu等[2]在2009年運(yùn)用形態(tài)學(xué)分析方法將極光背景區(qū)域和紋理區(qū)域分離進(jìn)行分類；Wang等[3]在2010年基于局部二值模式表征極光圖像特征進(jìn)行分類；韓冰等[4]在2013年采用顯著性編碼方法對(duì)極光圖像進(jìn)行分類；楊曦等[5]在2013年通過分層小波將極光全局特征和局部特征進(jìn)行結(jié)合對(duì)極光圖像進(jìn)行分類?？偨Y(jié)上述分類方法，采用的是利用分類器對(duì)傳統(tǒng)特征提取的極光圖像信息進(jìn)行分類。傳統(tǒng)特征提取針對(duì)某一特定的特征對(duì)極光圖像進(jìn)行信息提取，要么提取極光全局特征，要么提取極光局部特征，有時(shí)同時(shí)提取局部特征和全局特征，但都會(huì)或多或少地丟失圖像原來的信息，造成極光圖像分類結(jié)果不夠理想。近年來，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等快速發(fā)展。韓冰等[6]在2017年便采用基于改進(jìn)的主成分分析網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)進(jìn)行極光圖像分類，初步將機(jī)器學(xué)習(xí)運(yùn)用到極光研究中，在極光圖像二分類和三分類方面取得了一定的成果，但是僅僅利用了圖像結(jié)構(gòu)的整體信息沒有考慮到圖像結(jié)構(gòu)內(nèi)部的局部信息，導(dǎo)致極光圖像4分類準(zhǔn)確率不夠好。

近年來，卷積神經(jīng)網(wǎng)絡(luò)[7-11](convolutional neural network，CNN)在圖像處理、計(jì)算機(jī)視覺、文本處理、語音處理等領(lǐng)域得到了廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，模擬人類大腦皮層中局部敏感和方向選擇神經(jīng)元功能。

基于上述討論，文中旨在融合傳統(tǒng)特征與深度學(xué)習(xí)[12-13]技術(shù)，提取極光圖像全方位特征實(shí)現(xiàn)極光圖像普適高效分類，提出一種基于多通道融合和卷積神經(jīng)網(wǎng)絡(luò)的極光圖像分類方法。利用多通道融合技術(shù)將極光原圖、LBP[14]特征圖、光流圖進(jìn)行融合，得到處理后的融合圖像。融合圖像不僅包含極光所有原始信息，還包含有效紋理分類特征，還具有極光圖像可擴(kuò)展的光流運(yùn)動(dòng)特征。然后，采用預(yù)訓(xùn)練的CNN對(duì)多通道融合后的特征圖進(jìn)行自動(dòng)特征學(xué)習(xí)，提取融合圖像中全面有效的分類信息；最后采用基于SVM[15]分類，判定待測(cè)樣本圖像的極光類別。

1 極光圖像特征提取及分類

極光圖像分類，根據(jù)在極光圖像信息中所反映的不同特征，將不同類別的極光圖像區(qū)分開來。極光特征的選擇對(duì)于極光圖像分類至關(guān)重要。常用的圖像特征有顏色特征、紋理特征、形狀特征、空間關(guān)系特征、全局特征、局部特征等等。文中重在極光圖像特征的選擇與融合。選擇有極光圖像代表性的特征加以融合，利用深度學(xué)習(xí)技術(shù)對(duì)融合特征信息自動(dòng)提取不為人眼察覺的更有效信息。多種有針對(duì)性特征融合更具有代表性，利于極光圖像高分類準(zhǔn)確率。

算法流程如圖1所示。

圖1 算法流程

整個(gè)模型可以由多特征融合模塊和CNN特征提取器以及SVM分類器三部分組成。首先，將樣本圖像送入多特征融合模塊，經(jīng)過原圖、LBP特征、光流特征的多通道融合得到融合圖像。然后，將融合圖像送入CNN模型的輸入層，經(jīng)過多次卷積和降采樣操作，得到若干幅特征圖像。再將特征圖像拉伸為一列向量，依舊保留與特征向量全連接的輸出層，用于CNN特征提取器的訓(xùn)練。最后，利用特征提取器將提取到的特征向量送入SVM分類器，分類器進(jìn)行相關(guān)的運(yùn)算后，輸出最終分類的結(jié)果。

1.1 多通道融合特征提取

多通道特征融合特征提取基于人工設(shè)定提取指定的樣本特征(體現(xiàn)極光圖像特點(diǎn))，將不同的有代表性的突出極光圖像的提取特征圖放入圖像的多個(gè)通道，融合后的圖像具有圖像多方位多角度的特征，充分體現(xiàn)圖像有效可靠的信息。

文中采用三通道融合特征，包含極光原圖、極光LBP特征圖、極光HS光流圖。用上述三種特征圖合成三通道RGB圖像作為融合后特征圖。極光原圖沒有被任何手段進(jìn)行處理，保留有完整極光圖像信息，將極光原始圖像作為第一通道特征圖像；LBP(局部二值模式)是一種非參數(shù)化圖像局部空間結(jié)構(gòu)及紋理描述算子，具有旋轉(zhuǎn)不變性的優(yōu)點(diǎn)，將極光LBP圖像作為第二通道特征圖像；光流是圖像亮度模式的表觀運(yùn)動(dòng)，表達(dá)了圖像的變化，包含圖像的運(yùn)動(dòng)信息，HS光流圖像表征極光圖像前后變化幅度，提高分類準(zhǔn)確性，HS光流圖像作為第三通道特征圖像。

(1)極光原圖具有極光所有細(xì)節(jié)信息及整體信息，對(duì)其進(jìn)行任何的特征提取都會(huì)或多或少丟失某些細(xì)節(jié)信息。極光原圖是多通道特征中必不可少的一項(xiàng)，為接下來的CNN自動(dòng)特征學(xué)習(xí)提取提供最原始數(shù)據(jù)。由于拍攝設(shè)備、極地周邊環(huán)境和極光活動(dòng)強(qiáng)度的影響，中國(guó)北極黃河站所拍攝的極光原始數(shù)據(jù)存在各種各樣的問題，不能夠直接使用。文中的極光原圖一律為相關(guān)專家針對(duì)極光原始數(shù)據(jù)的特點(diǎn)，對(duì)原始數(shù)據(jù)進(jìn)行有效的減暗電流、去除邊緣噪聲和裁剪、灰度圖像拉伸、圖像旋轉(zhuǎn)四個(gè)預(yù)處理步驟后的圖像。

(2)極光LBP通道特征。LBP是由Ojala等提出的一種紋理特征描述算子，用于描述圖像中每個(gè)像素值和其近鄰點(diǎn)像素值之間的關(guān)系。初始LBP的缺陷在于固定的3×3紋理單元結(jié)構(gòu)不能夠表示大空間尺寸的紋理特征，Ojala等又對(duì)LBP做了改進(jìn)和完善。鄰域的選擇不再是以前固定的3×3方格結(jié)構(gòu)，而是采用更加靈活的圓形結(jié)構(gòu)。圓形鄰域由R和P定義，圓心為中心像素，R是圓周半徑，P是均勻分布在圓周上的鄰域像素個(gè)數(shù)。假如鄰域點(diǎn)沒有落在像素中心，可以使用雙線性內(nèi)插求出鄰域點(diǎn)的灰度值。

中心像素LBP值的計(jì)算公式如下：

(1)

不同P、R對(duì)應(yīng)的圓形鄰域如圖2所示。

圖2 不同P、R對(duì)應(yīng)的圓形鄰域

在式1中，i取值為0～P-1，gi是第i個(gè)鄰域像素的灰度大小，gc是中心像素的灰度大小。按照式1的計(jì)算，選定P和R后，對(duì)應(yīng)的LBP模式共有2P種。對(duì)極光圖像中的每個(gè)像素求LBP特征值，用LBP特征值替代原始的像素值，得到該極光圖像的LBP特征圖。將該LBP特征圖放入多通道融合圖像的一個(gè)通道，作為通道特征。

(3)光流通道。光流是圖像亮度模式的表觀運(yùn)動(dòng)，表達(dá)了圖像的變化，包含圖像豐富的運(yùn)動(dòng)信息。HS光流法基于物體移動(dòng)的光學(xué)特征的兩個(gè)假設(shè)，運(yùn)動(dòng)物體的灰度在很短的時(shí)間間隔內(nèi)保持不變，給定鄰域的速度向量場(chǎng)變化是緩慢的。每類極光圖像是從每類極光運(yùn)動(dòng)序列中抽取出來的，在同類的極光圖像用光流特征可以表示每類圖像的一個(gè)運(yùn)動(dòng)及變化信息，增加了極光圖像分類的容錯(cuò)性，提高了極光圖像的分類準(zhǔn)確率。將同類別極光圖像放在一起，進(jìn)行前后兩幅圖像HS光流特征提取，并將得到的光流信息生成灰度圖像作為極光HS特征圖，作為多通道融合的另一個(gè)通道特征圖。

多通道特征圖如圖3所示。

經(jīng)過上述三通道融合后的圖像，兼?zhèn)錁O光原圖所有完整信息、極光圖像代表性紋理特征LBP和可伸縮的極光圖像運(yùn)動(dòng)特征光流特征。融合圖像含有豐富的特征信息，為預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提供可靠有效的輸入。

圖3 多通道特征圖

1.2 預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)特征提取

CNN是一種包含卷積層的深度神經(jīng)網(wǎng)絡(luò)，其模型是受腦神經(jīng)科學(xué)研究的啟發(fā)，模仿視皮層中的簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞處理視覺信息的過程。深度學(xué)習(xí)CNN對(duì)極光樣本圖像進(jìn)行逐層特征變化，將樣本在原空間的特征表示變換到新的特征空間，自動(dòng)學(xué)習(xí)到層次化的更具代表性的特征。CNN是一個(gè)前饋式神經(jīng)網(wǎng)絡(luò)，能從一個(gè)二維圖像中提取特征，并采用反向傳播算法來優(yōu)化網(wǎng)絡(luò)中的參數(shù)。預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)是借助在其他數(shù)據(jù)庫的基礎(chǔ)上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型初始化極光圖像卷積神經(jīng)網(wǎng)絡(luò)，既能解決極光數(shù)據(jù)庫數(shù)據(jù)量過小的問題，又可以加快極光卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度。

CNN特征提取器包括輸入層、卷積層、池化層、全連接層和Softmax層。輸入層，直接將多通道融合后的圖像輸入至預(yù)訓(xùn)練CNN模型的輸入層中，不用再對(duì)融合圖像進(jìn)行其他處理。卷積層，卷積的主要功能是特征抽取，利用若干個(gè)卷積核對(duì)上一層圖像進(jìn)行卷積操作，從而得到多個(gè)特征圖像。卷積層的計(jì)算公式為：

(2)

其中，l為所在層數(shù)；k為卷積核；M為輸入層的感受野；B為偏置項(xiàng)；f為激活函數(shù)。

卷積層能降低網(wǎng)絡(luò)的空間分辨率，消除偏移和圖像扭曲，實(shí)現(xiàn)位移不變性。特征圖像個(gè)數(shù)不因降采樣操作發(fā)生任何變化，但圖像的尺寸會(huì)根據(jù)降采樣窗口和步長(zhǎng)發(fā)生相應(yīng)變化。池化層，采用最大池化(max-pooling)操作進(jìn)行下采樣。下采樣并不改變特征圖的數(shù)目，只是將特征圖變小，降低特征維度，加速結(jié)構(gòu)訓(xùn)練和特征提取。如果采樣窗口的大小是m×m，經(jīng)過一次池化后，特征圖大小變?yōu)樵瓉硖卣鲌D的1/m×1/m。池化的計(jì)算公式為：

(3)

全連接層：池化層的輸出是二維數(shù)組，將其特征圖對(duì)應(yīng)的二維數(shù)組轉(zhuǎn)換為一維數(shù)組，將每層所有的特征圖轉(zhuǎn)化的一維數(shù)組串聯(lián)成一個(gè)一維數(shù)組作為全連接層的輸入。全連接層的計(jì)算公式為：

Hw,b(x)=θ(wTx+b)

(4)

其中，Hw,b(x)表示神經(jīng)元的輸出值；x表示神經(jīng)元的輸入特征向量；w表示權(quán)值向量；b表示偏置；θ表示激活函數(shù)。

Softmax層：一種分類器，當(dāng)輸入給定樣本后，每一個(gè)神經(jīng)元輸出一個(gè)取值在0到1之間的數(shù)值，該數(shù)值代表輸入樣本屬于此類別概率，選取輸出值最大的神經(jīng)元對(duì)應(yīng)的類別作為此樣本的分類結(jié)果。文中將Softmax輸出神經(jīng)元數(shù)目設(shè)置為4，對(duì)應(yīng)四類極光。

針對(duì)目前極光數(shù)據(jù)庫標(biāo)定量有限的情況，采用預(yù)訓(xùn)練CNN進(jìn)行研究。通過在大的圖像分類數(shù)據(jù)集上訓(xùn)練好模型，把卷積神經(jīng)網(wǎng)絡(luò)前面那些層的參數(shù)固定，初始化極光圖像分類的卷積神經(jīng)網(wǎng)絡(luò)，修改模型最后一到兩層的參數(shù)設(shè)置符合極光圖像分類，實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)參數(shù)的極光圖像分類化同化。既利于加快訓(xùn)練速度，又解決了極光圖像數(shù)據(jù)庫標(biāo)定量小的問題。

1.3 基于SVM的極光圖像特征分類

文中分類器選用SVM分類器，在用分類器前對(duì)特征數(shù)據(jù)進(jìn)行重要的歸一化、PCA降維[16]操作。其中，特征數(shù)據(jù)歸一化是至關(guān)重要的，對(duì)于最后的分類結(jié)果有質(zhì)的作用。而PCA降維也十分重要，對(duì)于運(yùn)算量和運(yùn)行時(shí)間的優(yōu)化是非常有必要的。

1.3.1 歸一化

在進(jìn)行SVM分類之前，對(duì)數(shù)據(jù)進(jìn)行歸一化操作。將訓(xùn)練集和測(cè)試集整合為一個(gè)數(shù)據(jù)集，統(tǒng)一歸一化時(shí)樣本的每一維度的最大值和最小值是從訓(xùn)練集和測(cè)試集中尋找，然后將樣本數(shù)據(jù)映射到[0，1]的值域范圍內(nèi)。歸一化對(duì)計(jì)算和建模都是必要的，便于數(shù)據(jù)處理，還能保證程序運(yùn)行時(shí)收斂加快。

1.3.2 PCA降維

在CNN模型極光圖像特征提取過程中，隨著卷積層次的累加，特征維數(shù)會(huì)越來越大，導(dǎo)致“維數(shù)災(zāi)難”，造成時(shí)間和空間的浪費(fèi)。為了解決這個(gè)問題，使用PCA對(duì)得到的CNN特征進(jìn)行降維處理。

設(shè)X表示原始特征向量，則可根據(jù)式5對(duì)其進(jìn)行PCA變換，得到降維后的特征向量Y=[y1,y2,…,yn]。

Y=CX

(5)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 極光圖像數(shù)據(jù)庫

文中的極光原圖一律為相關(guān)專家針對(duì)極光原始數(shù)據(jù)的特點(diǎn)，對(duì)原始數(shù)據(jù)進(jìn)行有效的減暗電流、去除邊緣噪聲和裁剪、灰度圖像拉伸、圖像旋轉(zhuǎn)四個(gè)預(yù)處理步驟后的圖像。文中所用的極光圖像數(shù)據(jù)來自于中國(guó)極地研究中心的研究人員手動(dòng)標(biāo)記的北極黃河站2003-2004年越冬觀測(cè)19天數(shù)據(jù)。因?yàn)闃O光的四種分類機(jī)制是結(jié)合極光三個(gè)波段的特點(diǎn)定義的，因此他們?cè)跇?biāo)記時(shí)同時(shí)參考了三個(gè)波段的圖像，其中包含3 934幅弧狀極光圖像，1 786幅帷幔狀極光圖像，1 497幅輻射狀極光圖像和784幅熱點(diǎn)狀極光圖像。

2.2 極光圖像四分類實(shí)驗(yàn)

本節(jié)進(jìn)行極光圖像四分類普適分類實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行4類極光圖像(弧狀、放射狀、帷幔狀、熱點(diǎn)狀)分類。從上面提到的8 001幅數(shù)據(jù)庫中按照訓(xùn)練集測(cè)試集4∶1比例進(jìn)行實(shí)驗(yàn)。為了驗(yàn)證多通道融合及CNN在極光圖像分類上的有效性，對(duì)基于極光原圖+CNN、極光LBP圖+CNN、極光原圖LBP圖光流圖三通道融合+CNN的極光圖像識(shí)別算法進(jìn)行了比較。實(shí)驗(yàn)中預(yù)訓(xùn)練CNN采用的是imagenet-vgg-f訓(xùn)練模型。為減少實(shí)驗(yàn)的隨機(jī)性，實(shí)驗(yàn)重復(fù)10次，每一輪的數(shù)據(jù)劃分都不一樣，計(jì)算平均分類準(zhǔn)確率作為評(píng)估準(zhǔn)則：

分類正確率=正確分類數(shù)/所有圖像數(shù)

(6)

實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同算法的識(shí)別性能比較

表中給出了原圖+CNN+SVM、LBP+CNN+SVM和多通道(三通道：原圖、LBP、光流+CNN+SVM在相同條件下的平均分類正確率對(duì)比情況?？梢钥闯?，文中的多通道融合由于融合了多種有效表征極光圖像特征對(duì)其分類有很大的促進(jìn)作用。原圖雖包含圖像原始信息，但由于缺少運(yùn)動(dòng)信息，因而分類效果有所影響。LBP特征圖提取極光圖像的紋理特征，缺少運(yùn)動(dòng)特征及其他原圖所攜帶信息，分類效果有所影響。結(jié)果表明多通道融合特征有效提升了分類準(zhǔn)確率。

2.3 分類效果對(duì)比實(shí)驗(yàn)

將文中方法與一些其他的分類方法(WLD(韋伯描述符)、LBP)進(jìn)行比較，結(jié)果如圖4所示。

圖4 文中算法與其他算法的比較

對(duì)極光圖像進(jìn)行自動(dòng)分類的關(guān)鍵在于有效保證極光圖像信息，根本思想是模仿人的感官去區(qū)分不同極光類別的差異。WLD是一種紋理描述算子，由心理學(xué)韋伯定律發(fā)展而來，是一種局部描述符，因此會(huì)丟失極光圖像全局等信息。LBP也是一種紋理特征，會(huì)丟失極光圖像運(yùn)動(dòng)變化等特征。從圖4中可以看出，文中算法由于融合了原圖信息、有代表性的傳統(tǒng)特征LBP信息和光流信息以及卷積神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)特征，相比其他算法在分類準(zhǔn)確率上有所提高。對(duì)比弧狀、輻射冕狀、帷幔冕狀和熱點(diǎn)狀4類極光的結(jié)構(gòu)形態(tài)，熱點(diǎn)狀極光復(fù)雜多變，不利于分類識(shí)別，而弧狀極光由于具有明顯的弧形特征最具識(shí)別性。實(shí)驗(yàn)結(jié)果也顯示，三種分類方法都呈現(xiàn)出弧狀極光分類正確率最高，熱點(diǎn)狀極光分類準(zhǔn)確率最低，輻射冕狀極光和帷幔冕狀極光分類正確率介于弧狀極光跟熱點(diǎn)狀極光分類正確率之間。

3 結(jié)束語

利用多通道融合特征和預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)對(duì)極光圖像進(jìn)行分類。首先通過多通道融合原圖、LBP特征圖、HS光流特征圖構(gòu)建多通道融合特征圖，通過預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)特征學(xué)習(xí)，利用支持向量機(jī)進(jìn)行最終分類。實(shí)驗(yàn)結(jié)果表明，該方法具有良好的分類性能，解決了熱點(diǎn)狀極光容易混淆分類的難題。通過已標(biāo)定好的極光數(shù)據(jù)庫進(jìn)行訓(xùn)練測(cè)試，是有監(jiān)督的極光圖像分類研究。由于極光研究采集了大量樣本數(shù)據(jù)，都是為標(biāo)定的數(shù)據(jù)，人工標(biāo)定費(fèi)時(shí)費(fèi)力費(fèi)錢。因此今后的工作將針對(duì)無監(jiān)督數(shù)據(jù)進(jìn)行模型訓(xùn)練測(cè)試分類，以求將大量未標(biāo)定數(shù)據(jù)應(yīng)用到研究中。