王文玉，郭格霖，姜 斌，王 麗

山東大學(xué)(威海)機(jī)電與信息工程學(xué)院, 山東 威海 264209

基于徑向基神經(jīng)網(wǎng)絡(luò)的白矮主序雙星自動分類

王文玉，郭格霖，姜 斌，王 麗*

山東大學(xué)(威海)機(jī)電與信息工程學(xué)院, 山東 威海 264209

白矮主序雙星的光譜特征是決定其類型的關(guān)鍵因素，如何有效提取恒星光譜的特征是亟待解決的問題。提出一種新的方法，通過構(gòu)建模型捕獲恒星光譜數(shù)據(jù)的特征，對SDSS-DR10海量光譜進(jìn)行自動分類。徑向基神經(jīng)網(wǎng)絡(luò)作為一種有效的計(jì)算模型，在數(shù)值逼近和目標(biāo)分類上均有較好的表現(xiàn)效果，但由于目前神經(jīng)網(wǎng)絡(luò)超參數(shù)的確定大多數(shù)依賴于實(shí)驗(yàn)經(jīng)驗(yàn)，很大程度上制約了算法能力的發(fā)揮。在分析白矮主序雙星光譜數(shù)據(jù)的高維分布特征的基礎(chǔ)上，提出一種基于徑向基神經(jīng)網(wǎng)絡(luò)的白矮主序雙星自動分類模型，并以白矮主序雙星的光譜特征為導(dǎo)向，針對恒星光譜提出了中心準(zhǔn)則和寬度準(zhǔn)則以確定神經(jīng)網(wǎng)絡(luò)的超參數(shù)，大幅度提高了模型的準(zhǔn)確度。實(shí)驗(yàn)對分類模型進(jìn)行數(shù)值訓(xùn)練并使用訓(xùn)練的模型對SDSS-DR10光譜數(shù)據(jù)進(jìn)行白矮主序雙星的自動分類，共發(fā)現(xiàn)4 631個白矮主序雙星，通過Simbad，NED和Google交叉驗(yàn)證后發(fā)現(xiàn)其中有25個是未予以收錄的新候選體。實(shí)驗(yàn)結(jié)果驗(yàn)證了該模型在大規(guī)模白矮主序雙星自動分類任務(wù)中的有效性，新發(fā)現(xiàn)的白矮主序雙星也為特殊天體的進(jìn)一步研究補(bǔ)充了有效數(shù)據(jù)。

白矮主序雙星；徑向基神經(jīng)網(wǎng)絡(luò)；自動分類；中心準(zhǔn)則；寬度準(zhǔn)則

引 言

位于新墨西哥州阿帕奇山頂天文臺的斯隆數(shù)字巡天SDSS是有史以來具有重大突破性的巡天項(xiàng)目[1]。隨著2015年1月最新觀測數(shù)據(jù)DR12的發(fā)布，海量的天體觀測數(shù)據(jù)向特殊天體的自動發(fā)現(xiàn)工作發(fā)起挑戰(zhàn)。在這些海量的天體觀測數(shù)據(jù)中隱藏著很多稀少天體，時(shí)變天體以及未知天體。而白矮主序雙星(white dwarf-main sequence，WDMS)作為一種特殊的雙星系統(tǒng)，對求恒星的半徑、質(zhì)量等參數(shù)有著非常重要的作用。對于還沒有發(fā)生物質(zhì)交流或者沒有在白矮星周圍形成吸積盤的WDMS雙星系統(tǒng)，可以被近似認(rèn)為白矮星和M型主序星之間沒有或者有很弱的相互作用，因而它們的光譜可以看成是白矮星光譜和M型主序星光譜的簡單疊加。

目前，發(fā)現(xiàn)WDMS的方式仍以模板匹配、測光篩選以及人工判定的方法為主導(dǎo)。其中司建敏[2]在應(yīng)用核密度估計(jì)與人工判定研究特殊天體的過程中發(fā)現(xiàn)了1顆未予以收錄的WDMS，任娟娟[3]使用顏色篩選的方式從LAMOST望遠(yuǎn)鏡的先導(dǎo)巡天數(shù)據(jù)中發(fā)現(xiàn)了28顆未被收錄的WDMS，Mansergas[4]使用模板匹配的方法從DR7中發(fā)現(xiàn)了2 248個WDMS候選體，但是這幾種方法都存在需要進(jìn)行大量人工干預(yù)的問題，難以廣泛應(yīng)用到TB級別的海量天體光譜中。

徑向基(radial basis function，RBF)神經(jīng)網(wǎng)絡(luò)是一種具有數(shù)據(jù)局部特征捕捉能力的神經(jīng)網(wǎng)絡(luò)，和傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)相比，RBF有如下優(yōu)點(diǎn)：(1)收斂速度快[5]；(2)函數(shù)結(jié)構(gòu)更加緊湊[6]；(3)應(yīng)用范圍廣泛[7]。但由于RBF網(wǎng)絡(luò)的超參數(shù)沒有統(tǒng)一的確定方式，導(dǎo)致該算法的大規(guī)模實(shí)施存在一定的難度。

本文結(jié)合K-means算法，引入了中心準(zhǔn)則和寬度準(zhǔn)則，確定了白矮主序雙星RBF網(wǎng)絡(luò)模型，對SDSS的DR10數(shù)據(jù)進(jìn)行自動挖掘。

1 WDMS徑向基神經(jīng)網(wǎng)絡(luò)

徑向基神經(jīng)網(wǎng)絡(luò)是具有單隱含層的局部神經(jīng)網(wǎng)絡(luò)，構(gòu)造如圖1所示的RBF網(wǎng)絡(luò)系統(tǒng)用于完成WDMS分類任務(wù)。雖然RBF網(wǎng)絡(luò)是一個局部學(xué)習(xí)器，但Léon Bottou等[8]已發(fā)現(xiàn)通過合理地控制網(wǎng)絡(luò)的超參數(shù)，能夠利用RBF網(wǎng)絡(luò)去逼近全局學(xué)習(xí)器?；诖?，圖1中的決策信息從WDMS光譜實(shí)驗(yàn)中獲得：(1)通過交叉檢驗(yàn)準(zhǔn)確率確定主成分的數(shù)量；(2)基于K-means算法和兩個準(zhǔn)則確定網(wǎng)絡(luò)的超參數(shù)(樣本中心和局部寬度)。

圖1 預(yù)處理與發(fā)現(xiàn)WDMS的分類系統(tǒng)

標(biāo)準(zhǔn)RBF網(wǎng)絡(luò)的隱含層計(jì)算單元為高斯函數(shù)。對于輸入光譜x={x1，x2，…，xn}，RBF網(wǎng)絡(luò)擬合判別函數(shù)

(1)

隱含層結(jié)點(diǎn)和輸出層結(jié)點(diǎn)的傳遞函數(shù)采用Sigmoid函數(shù)，將網(wǎng)絡(luò)的輸出限制在(0，1)區(qū)間內(nèi)，具體形式為

(2)

網(wǎng)絡(luò)的輸出函數(shù)進(jìn)一步改寫為

(3)

通過基于梯度下降的優(yōu)化方法求解輸出函數(shù)的系數(shù){w1，w2，…，wk}和b0。

1.1 中心準(zhǔn)則

大量實(shí)驗(yàn)表明，在歐幾里得范數(shù)的度量下同種類型的天體光譜之間通常具有更近的距離，因此采用K-means算法選擇光譜作為樣本中心。在針對WDMS光譜的實(shí)驗(yàn)中發(fā)現(xiàn)，為使模型達(dá)到最優(yōu)的泛化效果，RBF網(wǎng)絡(luò)所需的隱含層神經(jīng)元個數(shù)滿足

(4)

其中n為訓(xùn)練樣本總數(shù)，c為訓(xùn)練光譜的類別總數(shù)，d為輸入樣本的維度，β∈(0，1]稱為寬度約束因子，當(dāng)光譜的高維分布越分散時(shí)，通常希望β的值越大。

1.2 寬度準(zhǔn)則

(1)定義中心距離矩陣D，對于矩陣中的元素

(5)

(2)計(jì)算最近中心距

(6)

(3)計(jì)算每一個類中心擁有的樣本點(diǎn)距離類中心的平均距離。即構(gòu)建距離數(shù)組R，其中

(7)

(4)定義神經(jīng)元對應(yīng)的寬度

(8)

寬度準(zhǔn)則保證模型能對光譜的局部分布特征進(jìn)行有力捕捉，使隱含層結(jié)點(diǎn)根據(jù)光譜的分布獲得不同程度的激活。

2 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

本文的實(shí)驗(yàn)數(shù)據(jù)來源于SDSS DR10恒星光譜數(shù)據(jù)，選用類型確定的12 000條光譜訓(xùn)練RBF模型，之后將模型對DR10中2 462 508條光譜進(jìn)行深度挖掘。訓(xùn)練數(shù)據(jù)分布見表1。

表1 樣本分配

對每一條光譜進(jìn)行歸一化處理并應(yīng)用主成分分析法進(jìn)行降維。為權(quán)衡運(yùn)算時(shí)間與模型準(zhǔn)確度，通過實(shí)驗(yàn)結(jié)果(表2)確定最終主成分?jǐn)?shù)量為27。

表2 參數(shù)性能

表2中k為通過中心準(zhǔn)則確定的隱含層結(jié)點(diǎn)數(shù)量。

3 結(jié)果及分析

3.1 K-means有效性驗(yàn)證

本實(shí)驗(yàn)采用K-means算法確定隱含層結(jié)點(diǎn)的樣本中心。相較于隨機(jī)從樣本點(diǎn)中選取光譜作為中心，K-means在表現(xiàn)效果上優(yōu)于隨機(jī)方法。見圖2。隨著隱含層結(jié)點(diǎn)的增多，兩種算法確定的模型呈現(xiàn)出不同的最優(yōu)解(K-means：k=30，MSE=0.1；Random：k=102，MSE=0.13)。

如圖2所示，應(yīng)用K-means算法確定的系統(tǒng)(系統(tǒng)1)在分類誤差上低于隨機(jī)算法所確定的系統(tǒng)(系統(tǒng)2)，且兩者在達(dá)到最優(yōu)解時(shí)，系統(tǒng)1所需的隱含層結(jié)點(diǎn)遠(yuǎn)少于系統(tǒng)2，大大降低了系統(tǒng)出現(xiàn)過擬合的風(fēng)險(xiǎn)[10]。

圖2 K-means與隨機(jī)算法確定樣本中心比較

3.2 WDMS光譜激活

通過K-means算法確定隱含層結(jié)點(diǎn)參數(shù)時(shí)確定k=30，該過程產(chǎn)生3個WDMS代表結(jié)點(diǎn)。對應(yīng)光譜見圖3。由于RBF網(wǎng)絡(luò)的局部特性，各隱含層結(jié)點(diǎn)捕捉到了不同類型光譜的局部特征，表現(xiàn)為賦予不同結(jié)點(diǎn)的權(quán)值隨著迭代次數(shù)的增加有著不同的變化趨勢。見圖4。以WDMS光譜為簇中心的結(jié)點(diǎn)在各次迭代中得到最大程度激活，而其他結(jié)點(diǎn)則隨著迭代次數(shù)的增多不斷被抑制。

圖3 K-means確定的WDMS光譜

訓(xùn)練后的RBF網(wǎng)絡(luò)對每一條未知類型的輸入光譜，輸出該光譜是WDMS的概率。

3.3 挖掘結(jié)果

本工作最后使用訓(xùn)練后的RBF網(wǎng)絡(luò)對SDSS DR10中所有光譜進(jìn)行海量挖掘，共產(chǎn)生4 631條WDMS光譜，經(jīng)過Simbad，NED和Google檢驗(yàn)后確定其中25個是未被收錄的新源。新候選體的信息見表3。

圖4 WDMS中心點(diǎn)和其他隱藏單元

表3 實(shí)驗(yàn)結(jié)果

Table 3 Results of experiment

RA+DECMJDplatefiber234337 64+152237 8532421895486160252 15+300252 0534961578418143829 02+463124 8534641674106141007 15+330000 6537952125409140411 96+503000 1534461671362123203 02+400506 0534331984231121049 71+274848 2538202227623160512 71+82324 1532281728617105656 16+194458 5541752482608103529 78+375535 053432197356625018 49+351149 3537942353156101819 45+174702 354174258939095706 37+263740 853742234224093211 04+132903 3540922580304210454 70-43 453240191923391419 48+220911 953705228754083824 42+101608 754061257322782425 09+91931 8540552571633082025 84+145213 253713227223181400 56-5215 653846207720781157 98+80623 35408125707773248 99+401622 954154270114063933 34+825632 75415225486730916 85+381710 954082244359025018 49+351149 3537682398360

4 結(jié) 論

通過引入中心準(zhǔn)則和寬度準(zhǔn)則，提出了RBF網(wǎng)絡(luò)在恒星光譜數(shù)據(jù)上超參數(shù)(中心參數(shù)、局部寬度)的一種確定方式，有效避免了網(wǎng)絡(luò)超參數(shù)僅能依靠經(jīng)驗(yàn)確定的弊端，為網(wǎng)絡(luò)的表現(xiàn)能力給予了一個良好的解釋。實(shí)驗(yàn)證明，將訓(xùn)練好的RBF網(wǎng)絡(luò)用于大規(guī)模WDMS的發(fā)現(xiàn)十分有效。

通過對比實(shí)驗(yàn)3.1驗(yàn)證了該方法的有效性。在對于WDMS的分類任務(wù)上，RBF和傳統(tǒng)多層感知機(jī)(MLP)相比具有更快的收斂速度和唯一的全局最優(yōu)解，大幅度提高了WDMS在海量恒星光譜中的分類準(zhǔn)確率。

由于深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，淺層網(wǎng)絡(luò)(2～3個隱含層)在復(fù)雜任務(wù)上的表現(xiàn)受到挑戰(zhàn)，如何將淺層模型進(jìn)行深度拓展是今后一個重要的研究趨勢。由于大多數(shù)恒星光譜的數(shù)據(jù)具有高維、信噪比低等特點(diǎn)，如何利用傷工智能算法對恒星光譜進(jìn)行強(qiáng)針對性的預(yù)處理也是一個重要的研究方向。

[1] Dawson Kyle S, Schlegel David J, Ahn Christopher P, et al. The Astronomical Journal, 2013, 145(1): 41.

[2] SI Jian-min, LUO A-li, WU Fu-zhao, et al. Spectrosc. Spectr. Anal., 2015, 35(3): 834.

[3] Ren J, Luo A, Li, et al. The Astronomical Journal, 2013, 146(4): 82.

[4] Rebassa-Mansergas A, Nebot Gomez-Moran A, Schreiber M R, et al. Monthly Notices of the Royal Astronomical Society, 2011, 402: 620.

[5] Moody J，Darken C J. Neural Computation, 1989.

[6] Lee S，Kil R M. Neural Networks, 1991.

[7] Park J，Wsandberg J. Neural Computation, 1991.

[8] Bottou E, Vapnik V. Neural Computation, 1992, 4(6): 888.

[9] H?rdle W, Müller M, et al. Springer, 2004.

[10] Yuan J L，F(xiàn)ine T L. IEEE Trans. Neural Networks，1998.

(Received May 6, 2015; accepted Sep. 10, 2015)

*Corresponding author

Discovering WDMS with Automatic Classification System Based on RBF Neural Network

WANG Wen-yu, GUO Ge-lin, JIANG Bin, WANG Li*

School of Mechanical, Electrical & Information Engineering, Shandong University, Weihai, Weihai 264209, China

A model which is capable of capturing the spectral distribution features helps to improve the WDMS(White Dwarf + M Sequence Binaries) classification system running in SDSS-DR10 because the distribution feature of a spectra is one of the most important factors that determine its spectral type. Radial basis function (RBF) neural network is an efficient computational model that is widely used for numerical approximation and object classification. However, due to the reason that the network’s hyper-parameters are usually determined empirically, the performance of the network is limited. In this paper, on the basis of analyzing the distribution features of WDMS in a high dimensional space, an automatic classification model for WDMS ia propose based on RBF neural network. And according to the features, we propose centroids criterion and width criterion to determine hyper-parameters for the network in a more theoretical way, which improves the accuracy of the model. After training and applying the model, a total number of 4 631 WDMS candidates are classified and 25 of them are newly identified, which proves the feasibility of the model and provides further researches on WDMS with more data.

WDMS；Radial basis function (RBF) neural network；Automatic classification；Centroids criterion；Width criterion

2015-05-06，

2015-09-10

國家自然科學(xué)基金項(xiàng)目(11473019), 山東省自然科學(xué)基金項(xiàng)目(ZR2014AM015)，山東大學(xué)基本科研業(yè)務(wù)費(fèi)項(xiàng)目(2015ZZXM002)資助

王文玉，1976年生，山東大學(xué)(威海)機(jī)電與信息工程學(xué)院博士研究生 e-mail: sdwangwenyu@163.com *通訊聯(lián)系人 e-mail: hochi@sdu.edu.cn

O657.3

A

10.3964/j.issn.1000-0593(2016)10-3360-04