李俊峰，汪月樂(lè)，胡 升，何慧靈*

1. 三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北 宜昌 443002

2. 三峽大學(xué)理學(xué)院，湖北 宜昌 443002

基于DBN，SVM和BP神經(jīng)網(wǎng)絡(luò)的光譜分類比較

李俊峰1，汪月樂(lè)1，胡 升2，何慧靈2*

1. 三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北 宜昌 443002

2. 三峽大學(xué)理學(xué)院，湖北 宜昌 443002

恒星的分類對(duì)了解恒星和星系形成與演化歷史具有重要的研究?jī)r(jià)值。面對(duì)大型巡天計(jì)劃及由此產(chǎn)生的海量數(shù)據(jù)，如何迅速準(zhǔn)確地將天體自動(dòng)分類顯得尤為重要。通過(guò)對(duì)SDSS DR9的恒星光譜數(shù)據(jù)進(jìn)行深度置信神經(jīng)網(wǎng)絡(luò)(DBN)、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)(SVM)等算法分類的對(duì)比，分析三種自動(dòng)光譜分類方法在恒星分類上的適用性。首先利用上述三種方法對(duì)K，F(xiàn)恒星進(jìn)行識(shí)別分類，然后再分別對(duì)K1，K3和K5次型和F2，F(xiàn)5，F(xiàn)9次型識(shí)別，最后基于SVM支持向量機(jī)的二次分類模型，利用K次型的數(shù)據(jù)，構(gòu)建剔除不屬于K次型的模型。結(jié)果表明：深度置信網(wǎng)絡(luò)對(duì)K，F(xiàn)型恒星分類效果較好，但是對(duì)K，F(xiàn)次型的分類效果不佳；SVM支持向量機(jī)在K，F(xiàn)型恒星分類以及相應(yīng)的次型分類都具有較好的識(shí)別率，對(duì)K，F(xiàn)型分類效果要好于K，F(xiàn)次型的分類效果；BP神經(jīng)網(wǎng)絡(luò)對(duì)K，F(xiàn)型恒星以及其次型的識(shí)別一般；在剔除不屬于K次型實(shí)驗(yàn)中，剔除率高達(dá)100%，可知SVM能夠?qū)ξ粗墓庾V數(shù)據(jù)進(jìn)行篩選與分類。

深度置信網(wǎng)絡(luò)；BP神經(jīng)網(wǎng)絡(luò)；SVM支持向量機(jī)；光譜自動(dòng)

引 言

隨著天文觀測(cè)技術(shù)的不斷改進(jìn)，獲取數(shù)據(jù)能力的提升和大型光譜巡天計(jì)劃的實(shí)施，天體光譜數(shù)據(jù)的自動(dòng)處理研究越來(lái)越受到重視和關(guān)注[1]。恒星的分類是天文學(xué)的基本分類任務(wù)之一，主要是根據(jù)恒星在不同波段的表現(xiàn)性質(zhì)的不同，應(yīng)用不同的方法將它們各自區(qū)分開(kāi)來(lái)。恒星的分類對(duì)了解恒星和星系形成與演化歷史具有重要的研究?jī)r(jià)值。面對(duì)大型巡天計(jì)劃及由此產(chǎn)生的海量數(shù)據(jù)，如何迅速準(zhǔn)確地將天體自動(dòng)分類顯得尤為重要。通過(guò)深度置信神經(jīng)網(wǎng)絡(luò)(deep belief network，DBN)自動(dòng)分類方法[2-4]，神經(jīng)網(wǎng)絡(luò)(back-propagation, BP)和支持向量機(jī)(support vector machine, SVM)[5-6]對(duì)恒星光譜進(jìn)行了分類。

目前，已經(jīng)有很多研究者在恒星分類上進(jìn)行了研究。例如：Ball, Nicholas M等[7]的利用決策樹(shù)對(duì)斯隆數(shù)字巡天DR3的數(shù)據(jù)進(jìn)行星系分類。Banerji, Manda等[8]的Galaxy Zoo: 利用人工神經(jīng)網(wǎng)絡(luò)對(duì)DR6的星系數(shù)據(jù)進(jìn)行了分類。嚴(yán)太生等[9]的基于自動(dòng)聚類的算法的恒星/星系分類，對(duì)SDSS DR6的恒星/星系的測(cè)光數(shù)據(jù)進(jìn)行了分析，恒星識(shí)別率高達(dá)98.52%。劉忠寶等的流形判別分析和支持向量機(jī)的恒星光譜數(shù)據(jù)自動(dòng)分類方法，對(duì)SDSS的光譜數(shù)據(jù)進(jìn)行了分類，也得到了較好的結(jié)果。屠良平等的基于局部均值的K-近質(zhì)心近鄰光譜分析，對(duì)SDSS DR8光譜數(shù)據(jù)進(jìn)行了分類，其中恒星的識(shí)別率達(dá)到了98.9%。其他光譜分類上也有大量的研究。李鄉(xiāng)儒等的RVM有監(jiān)督特征提取對(duì)Seyfert光譜的分類。楊金福等利用核覆蓋算法對(duì)星系和類星體的分類。趙梅芳等的利用自適應(yīng)增強(qiáng)的方法對(duì)活動(dòng)星系核的分類。

本文通過(guò)DBN，BP神經(jīng)網(wǎng)絡(luò)和SVM對(duì)SDSS DR9的恒星測(cè)光數(shù)據(jù)進(jìn)行分析處理，比較三種方法在K型、F型恒星光譜分類上的差別，特別對(duì)于少有文獻(xiàn)報(bào)道的光譜次型分類和未知光譜的分類方面做了相關(guān)研究。結(jié)果表明：SVM在K，F(xiàn)的次型分類方面明顯優(yōu)于DBN與BP神經(jīng)網(wǎng)絡(luò)方法。

1 模型介紹

1.1 深度置信網(wǎng)絡(luò)(DBN)

1.1.1 深度置信網(wǎng)絡(luò)介紹

深度置信神經(jīng)網(wǎng)絡(luò)(DBN)是一種無(wú)監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型，它由N個(gè)受限制的玻爾茲曼機(jī)單元構(gòu)成。Boltzmann機(jī)是基于能量的概率模型，概率分布模型為

(1)

玻爾茲曼機(jī)由可見(jiàn)層v與隱層h構(gòu)成的無(wú)向圖模型(同層的節(jié)點(diǎn)之間無(wú)連接)，其能量函數(shù)為

(2)

其中，E為h,θ={Wij,bi,cj}的函數(shù)；bi，cj分別為可見(jiàn)單元i的偏置和隱層單元j的偏置；Wij為可見(jiàn)單元i與隱層單元j的連接權(quán)重；vi，hj分別為單元i與隱層單元j的各個(gè)節(jié)點(diǎn)的值。

1.1.2 學(xué)習(xí)算法

無(wú)監(jiān)督的貪婪算法將采用自底朝上的順序，分層對(duì)DBN進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。具體算法如下：

Step1: 以x=h0為外界輸入，訓(xùn)練第一層的RBM使其達(dá)到能量平衡；

Step2: 將第一層訓(xùn)練得到的聯(lián)合分布，作為第二層的RBM的輸入；

Step3: 重復(fù)Step2，直至最后一層。

Step4: 精調(diào)網(wǎng)絡(luò)各層參數(shù)

1.2 BP神經(jīng)網(wǎng)絡(luò)介紹

BP神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，旨在反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型。

(1)計(jì)算各單元輸出層的實(shí)際輸出值yi

(3)

其中wij輸入層第i單元與隱層第j單元的連接權(quán)重，θj隱層第j單元閾值。

(2)計(jì)算各單元輸出層的實(shí)際輸出值yt

(4)

(3)設(shè)定誤差參數(shù)

(5)

(4)計(jì)算輸出層的各單元的調(diào)整誤差δt

(6)

(5)調(diào)整反向修正各層權(quán)值w和閾值θ

(7)

(8)

c為動(dòng)量因子，η為學(xué)習(xí)率。

1.3 支持向量機(jī)(SVM)

1.3.1 支持向量機(jī)(SVM)介紹

支持向量機(jī)的學(xué)習(xí)目標(biāo)就是構(gòu)建一個(gè)決策函數(shù)，將數(shù)據(jù)正確分類。學(xué)習(xí)目標(biāo)函數(shù)如下

(9)

其中，C為懲罰參數(shù)。

采用Lagrange乘子法求解式(9)。具有線性約束的二次規(guī)劃問(wèn)題，對(duì)應(yīng)的對(duì)偶問(wèn)題為

(10)

其中，K為核函數(shù)，其中不為0的αi所對(duì)應(yīng)的樣本為支持向量機(jī)。最后得出判別函數(shù)。

1.3.2 學(xué)習(xí)算法

Step1: 將大型的QP問(wèn)題轉(zhuǎn)化為一系列規(guī)模較小的QP問(wèn)題；

Step2: 找到所有的非零的Lagrange乘數(shù)并刪除；

Step3: 將上一個(gè)剩的具有非零的Lagrange乘數(shù)樣本以及M個(gè)不滿足KKT條件的的最差樣本作為下一個(gè)QP問(wèn)題的樣本；

Step4: 如果在某一子QP問(wèn)題中，不滿足KKT條件的樣本數(shù)不足M個(gè)，則這些樣本全部加入到新的QP問(wèn)題中；

Step5: 所有非零Lagrange乘數(shù)都被找到，從而解決了初始的大型QP問(wèn)題。

1.3.3 二叉樹(shù)型支持向量機(jī)多類分類器

如圖1：二叉樹(shù)型支持向量機(jī)的基本思想是從根節(jié)點(diǎn)開(kāi)始，采取某種方法將該節(jié)點(diǎn)所包含的類別劃分為兩個(gè)子類，然后再對(duì)兩個(gè)子類進(jìn)一步劃分，如此循環(huán)，直到子類中只包含一個(gè)類別。

圖1 二叉樹(shù)型支持向量機(jī)

2 光譜分類

2.1 對(duì)K，F(xiàn)型光譜的分類

選擇了SDSS DR9中K，F(xiàn)光譜數(shù)據(jù)作為實(shí)驗(yàn)樣本庫(kù)。且每類光譜的數(shù)據(jù)量為15 000條。每條光譜均勻采樣3 800個(gè)點(diǎn)，并采用對(duì)數(shù)波長(zhǎng)數(shù)據(jù)格式。為使分類器有效的識(shí)別兩種類型，需保持兩個(gè)樣本的訓(xùn)練集數(shù)量的均衡。DBN訓(xùn)練集數(shù)據(jù)為F，K型各4 900條；SVM訓(xùn)練集數(shù)據(jù)為F，K型各1 500條；BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集數(shù)據(jù)為F，K型各2 500條。分別從樣本庫(kù)中隨機(jī)抽取測(cè)試集，剩下的作為測(cè)試集。且為了使實(shí)驗(yàn)具有統(tǒng)計(jì)的意義，實(shí)驗(yàn)獨(dú)立重復(fù)10次。然后將數(shù)據(jù)歸一化，利用深度置信網(wǎng)絡(luò)訓(xùn)練、BP神經(jīng)網(wǎng)絡(luò)和SVM支持向量機(jī)進(jìn)行光譜的分類并對(duì)比，最后利用測(cè)試集來(lái)檢測(cè)分類的準(zhǔn)確。實(shí)驗(yàn)結(jié)果如表1所示。

表1 K，F(xiàn)型的分類結(jié)果

2.2 次型光譜分類

該實(shí)驗(yàn)分為兩個(gè)獨(dú)立的實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)仍以SDSS DR9中光譜數(shù)據(jù)作為實(shí)驗(yàn)樣本庫(kù)。K次型光譜分類數(shù)據(jù)：DBN訓(xùn)練集數(shù)據(jù)為K1，K3，K5型各4 000條；SVM訓(xùn)練集數(shù)據(jù)為K1，K3，K5型各2 000條；BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集數(shù)據(jù)為K1，K3，K5型各2 500條。分別從樣本庫(kù)中隨機(jī)抽取測(cè)試集，剩下的作為測(cè)試集，獨(dú)立重復(fù)10次。F次型光譜分類數(shù)據(jù)：DBN訓(xùn)練集數(shù)據(jù)為F2，F(xiàn)5，F(xiàn)9型各4 000條；SVM訓(xùn)練集數(shù)據(jù)為F2，F(xiàn)5，F(xiàn)9型各4 000條；BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練集數(shù)據(jù)為F2，F(xiàn)5，F(xiàn)9型各2 500條。分別從樣本庫(kù)中隨機(jī)抽取測(cè)試集，剩下的作為測(cè)試集，獨(dú)立重復(fù)10次。實(shí)驗(yàn)結(jié)果如表2所示。

2.3 基于SVM的剔除不屬于K次型分類器

介于目前的分類器只能對(duì)其訓(xùn)練的類別進(jìn)行分類，這里提出利用“一對(duì)多”分類思想，基于SVM支持向量機(jī)的二次分類模型，利用K次型的數(shù)據(jù)，構(gòu)建剔除不屬于K次型的模型。并利用2 000條G型光譜和2 000條F型光譜數(shù)據(jù)做了分類器的剔除不屬于K次型的實(shí)驗(yàn)，結(jié)果如表3所示。

表3 排除率

3 結(jié)果分析

由表1表明：在恒星K，F(xiàn)型光譜分類上SVM與DBN方法的識(shí)別率分別為85.6%，85.7%。兩種方法的識(shí)別率相差不大。但與BP神經(jīng)網(wǎng)絡(luò)對(duì)比結(jié)果可知，DBN和SVM的在恒星分類效果明顯好于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)。DBN和SVM對(duì)K，F(xiàn)型光譜的分類更具有效性。但是DBN和SVM的總的識(shí)別率都不是特別的高，這也反映了在F，K型分類上兩個(gè)方法確實(shí)有其局限性。由表2表明：SVM在恒星次型的分類上要明顯好于DBN和BP神經(jīng)網(wǎng)絡(luò)。且SVM的K1，K3和 K5的識(shí)別率高達(dá)99.7%，99.8%和99.6%。對(duì)F2，F(xiàn)5和F9的識(shí)別率也分別高達(dá)96.3%，95.2%和93.8%。這說(shuō)明SVM的在次型分類上與DBN和BP神經(jīng)網(wǎng)絡(luò)相比具有更好的實(shí)用性。與表1的對(duì)比中可知：DBN和BP神經(jīng)網(wǎng)絡(luò)對(duì)K，F(xiàn)型恒星的識(shí)別率高于對(duì)K，F(xiàn)次型的識(shí)別率，而SVM對(duì)K，F(xiàn)次型的識(shí)別率高于對(duì)K，F(xiàn)型恒星的識(shí)別率。表明DBN和BP神經(jīng)網(wǎng)絡(luò)更適合構(gòu)建K，F(xiàn)型的恒星分類器，利用SVM在次型的分類上能構(gòu)建更好的恒星分類器。

結(jié)合表2與表3可知，SVM可以對(duì)不屬于K次型的數(shù)據(jù)進(jìn)行100%的剔除。這說(shuō)明了SVM可以對(duì)未分類的光譜數(shù)據(jù)進(jìn)行篩選和分類。

4 總 結(jié)

研究了DBN，SVM以及BP神經(jīng)網(wǎng)絡(luò)在光譜分類上的應(yīng)用。通過(guò)比較這三種算法在光譜分類中的應(yīng)用，可知：在DBN和BP神經(jīng)網(wǎng)絡(luò)更適合構(gòu)建K，F(xiàn)型的恒星分類器，不適合構(gòu)建K，F(xiàn)次型恒星的分類器，SVM則K，F(xiàn)型的恒星和K，F(xiàn)次型恒星分類上都具有較高的適合率，且在對(duì)K，F(xiàn)次型恒星分類上的優(yōu)勢(shì)尤為突出，利用其構(gòu)建K，F(xiàn)次型恒星分類器具有更好的分類效果。

由于SVM可以對(duì)不屬于K次型的數(shù)據(jù)進(jìn)行100%的剔除，介于目前的分類器只能對(duì)其訓(xùn)練的類別進(jìn)行分類，這一方法可以運(yùn)用到對(duì)以后未知的光譜數(shù)據(jù)的篩選中去，并通過(guò)篩選出的數(shù)據(jù)對(duì)未知光譜進(jìn)行分類。

[1] LI Xiang-ru, HU Zhan-yi, ZHAO Yong-heng(李鄉(xiāng)儒，胡占義，趙永恒). Spectroscopy and Spectral Analysis(光譜學(xué)與光譜分析)，2007，27(9): 1898.

[2] HU Zhen, FU Kun, ZHANG Chang-shui(胡 振，傅 昆，張長(zhǎng)水). Journal of Computer Research and Development(計(jì)算機(jī)研究與發(fā)展)，2014, 51(9): 1945.

[3] Kuremoto T，Kimura S，Kobayashi K，et al. SI, 2014, 137: 47.

[4] LIU Jian-wei, LIU Yuan, LUO Xiong-lin(劉建偉，劉 媛，羅雄麟). Application Research of Computers(計(jì)算機(jī)應(yīng)用)，2014，31(7)：1921.

[5] XIONG Yu-hong, WEN Zhi-yu, CHEN Gang, et al(熊宇虹，溫志渝，陳 剛，等). Acta Photonica Sinica(光子學(xué)報(bào))，2005，34(10)：1514.

[6] RUAN Hua, DAI Lian-kui(阮 華，戴連奎). Chinese Journal of Scientific Instrument(儀器儀表學(xué)報(bào))，2010，31(11)：2440.

[7] Ball N M, Brunner R J, Myer A D, et al. The Astrophysical Journal, 2006, 650(1): 497.

[8] Banerji M, Lahav O, Lintott C J, et al. Monthly Notices of the Royal Astronomical Society, 2010, 406(1): 342.

[9] YAN Tai-sheng, ZHANG Yan-xia, ZHAO Yong-heng, et al(嚴(yán)太生，張彥霞，趙永恒，等). Science in China Press(中國(guó)科學(xué))，2009，39(12)：1793.

(Received Jul. 3, 2015; accepted Nov. 12, 2015)

*Corresponding author

The Comparison of Spectral Classification Based on DBN, BP Neural Network and SVM

LI Jun-feng1, WANG Yue-le1, HU Sheng2, HE Hui-ling2*

1. College of Computer and Information, China Three Gorges University, Yichang 443002, China

2. College of Science, China Three Gorges University, Yichang 443002, China

The stellar classification was an important research field for understanding the formation and evolution of stars and galaxies. With large sky surveys and its massive data, the speed and accuracy of the celestial automatic classification was very important. The depth confidence neural network (DBN), support vector machines (SVM) and BP neural networks used in the star classification were compared in this paper. And the applicability of star classification with these three methods was analyzed. First, K, F stars are classified according to the depth of confidence neural network and BP neural network and support vector machine.Then the K1, K3, K5 sub-type and F2, F5, F9 sub-type were separately identified. Finally, the data which did not belong to the k sub-type were excluded by a secondary classification model based on SVM support vector machine . The results shows that: the depth of belief networks is better for K, F-type star classification, but it is poor for K, F sub-type classification results; The recognition rate of SVM is high for the K, F-type stars and the classification effects of this method is better for K, F-type stars than the corresponding sub-type stars by comparison; The recognition rate of BP neural network is ordinary general for K, F-type stars and their sub-types. The experiment showed that the accuracy of excluding non-k-sub-type data can be up to 100% which indicates that the unknown spectral data can be screened and classified with SVM.

Depth belief networks；BP neural network；Support vector machine；SVM spectra classification

2015-07-03，

2015-11-12

國(guó)家自然科學(xué)基金天文聯(lián)合基金項(xiàng)目(U133113)，湖北省教育廳科研項(xiàng)目(B2015251)，三峽大學(xué)科學(xué)基金項(xiàng)目(KJ2013B018)資助

李俊峰，1993年生，三峽大學(xué)計(jì)算機(jī)與信息學(xué)院本科學(xué)生 e-mail: 1097009502@qq.com *通訊聯(lián)系人 e-mail: hlhe1980@163.com

TN911.7

A

10.3964/j.issn.1000-0593(2016)10-3261-04