高偉 李鄉(xiāng)儒

(華南師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院 廣州 510631)

多任務(wù)Sparse G roup Lasso特征提取與支持向量機(jī)回歸在恒星大氣物理參量估計(jì)中的應(yīng)用?

高偉 李鄉(xiāng)儒?

(華南師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院 廣州 510631)

多任務(wù)學(xué)習(xí)(Mu lti-task Learning,M TL)就是把多個(gè)問(wèn)題一起進(jìn)行分析、計(jì)算,以發(fā)掘不同問(wèn)題之間的相關(guān)性,提高分析結(jié)果的精度,該類方法已被廣泛地應(yīng)用于機(jī)器學(xué)習(xí)、模式識(shí)別、計(jì)算機(jī)視覺(jué)等領(lǐng)域.使用多任務(wù)學(xué)習(xí)方案研究了恒星大氣物理參數(shù)中表面溫度(Teff)、表面重力加速度(lg g)、化學(xué)豐度([Fe/H])的估計(jì)問(wèn)題.首先使用多任務(wù)Sparse G roup Lasso算法提取對(duì)3個(gè)大氣物理參數(shù)均有預(yù)測(cè)能力的光譜特征;然后使用支持向量機(jī)估計(jì)恒星大氣物理參數(shù).該方案在Sloan實(shí)測(cè)恒星光譜和理論光譜上均做了測(cè)試.在實(shí)測(cè)光譜上的平均絕對(duì)誤差分別為:0.0064(lg(Teff/K)),0.1622(lg(g/(cm·s?2))), 0.1221 dex([Fe/H]).在由Kurucz的New Opacity Distribution Function(NEWODF)模型得到的理論光譜上也做了同樣的特征提取和恒星大氣物理參數(shù)估計(jì)測(cè)試,相應(yīng)的平均絕對(duì)誤差分別為:0.0006(lg(Teff/K))),0.0098(lg(g/(cm·s?2))),0.0082 dex([Fe/H]).通過(guò)與文獻(xiàn)中的同類研究比較表明,多任務(wù)Sparse Group Lasso特征提取與支持向量機(jī)回歸(support vector machine regression,SVR)兩者結(jié)合的方案有較高的恒星大氣物理參量估計(jì)精度.

恒星:基本參數(shù),方法:數(shù)據(jù)分析,方法:統(tǒng)計(jì),方法:其他諸多方面

1 引言

隨著現(xiàn)代科技的飛速發(fā)展,美國(guó)的Sloan數(shù)字巡天望遠(yuǎn)鏡[1]獲得了大量的光譜數(shù)據(jù),而我國(guó)的郭守敬望遠(yuǎn)鏡——大天區(qū)面積多目標(biāo)光纖光譜天文望遠(yuǎn)鏡(LAMOST)[2]更是目前世界上光譜獲取率最高的望遠(yuǎn)鏡,一次觀測(cè)可同時(shí)獲得多達(dá)4000個(gè)天體的光譜,使人類觀測(cè)天體光譜的數(shù)目提高到千萬(wàn)數(shù)量級(jí).

海量恒星光譜數(shù)據(jù)的獲得,使精確、快速地從中估計(jì)恒星的3個(gè)大氣物理參數(shù)——表面溫度(Teff)、表面重力加速度(lg g)與化學(xué)豐度([Fe/H])成為一個(gè)很值得探討的研究課題.我們知道,來(lái)自遙遠(yuǎn)太空的天體光譜的數(shù)據(jù)量巨大,在傳輸?shù)倪^(guò)程中會(huì)受到大量的噪聲干擾,比如大氣環(huán)境、雜散光、宇宙射線等,在接收時(shí)還會(huì)受到儀器的不穩(wěn)定、系統(tǒng)誤差等噪聲干擾.這些因素會(huì)嚴(yán)重影響我們對(duì)恒星大氣物理參數(shù)估計(jì)的精度和速度,所以應(yīng)先對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理,降低數(shù)據(jù)量,提高速度,并減少噪聲干擾,然后用提取出的光譜特征估計(jì)天體的大氣物理參數(shù).

前述數(shù)據(jù)預(yù)處理在模式識(shí)別、數(shù)據(jù)挖掘等領(lǐng)域稱之為特征提取.典型的特征提取方法有基于神經(jīng)網(wǎng)絡(luò)的多層自編碼、主成分分析(Principle Com ponent Analysis, PCA)[3?4]、Lasso[5?6](Least Absolute Shrinkage Selection and Operator)等.特別是, Tibshirani在1996年提出的Lasso算法,該方法是通過(guò)對(duì)未知的系數(shù)向量施加一個(gè)l1范數(shù)約束,使得絕對(duì)值較小的系數(shù)自動(dòng)縮小到0,達(dá)到變量選擇和特征提取目的.不過(guò), Lasso方法有兩個(gè)局限性:第一,同一個(gè)光譜數(shù)據(jù)中包含著所有的光譜物理參量的信息量,而不同的光譜物理參量之間又有潛在的關(guān)系,所以上述方法把3個(gè)恒星大氣物理參量分開考慮,對(duì)光譜數(shù)據(jù)進(jìn)行降維提取光譜特征,會(huì)造成各個(gè)不同物理參量之間的信息量的損失,進(jìn)而導(dǎo)致預(yù)測(cè)精度降低;第二,分開處理3個(gè)物理參量的方式繁瑣耗時(shí)、效率低.

實(shí)際上要把3個(gè)恒星大氣物理參量一起考慮對(duì)光譜數(shù)據(jù)提取特征就是一個(gè)多任務(wù)學(xué)習(xí)的問(wèn)題.多任務(wù)學(xué)習(xí)(M u lti-task learning,MTL)就是在多個(gè)任務(wù)一起學(xué)習(xí)中挖掘不同任務(wù)之間的關(guān)系信息量,同時(shí)又能區(qū)分不同任務(wù)之間的差別,進(jìn)而能夠提高預(yù)測(cè)模型的預(yù)測(cè)精度及泛化性能的一種方法.本文使用的多任務(wù)Sparse G roup Lasso[7–11],實(shí)際上也是改進(jìn)于上述的Lasso方法及研究組變量選擇的Group Lasso[12].它不僅繼承了Lasso的優(yōu)勢(shì),能夠有效地剔除不重要的組,還克服了Group Lasso不具有組內(nèi)稀疏性的弊端,可以靈活地選擇組內(nèi)變量,更重要的是還具備做多任務(wù)的特征提取的能力,也彌補(bǔ)了上述方法的兩點(diǎn)不足,所以可以提高恒星大氣物理參數(shù)的估計(jì)精度.

2 多任務(wù)Sparse G roup Lasso特征提取

在光譜數(shù)據(jù)的多任務(wù)學(xué)習(xí)中,假設(shè)有N條恒星光譜,每條光譜由P個(gè)流量描述,且有M個(gè)恒星大氣物理參數(shù)需要估計(jì)(本文中M=3).記X為一個(gè)N×P維輸入的光譜數(shù)據(jù)變量,xj=(,···,)T是X的第j列的流量變量.記Y為響應(yīng)的N×M維的大氣物理參量,ym=(,···,)T是Y的第m列的大氣物理參量.對(duì)于每一列響應(yīng)的大氣物理參量,假設(shè)一個(gè)線性模型為

其中cm=(,···,)T是P維的回歸系數(shù),εm=(,···,)T是N維的對(duì)應(yīng)誤差.為了同時(shí)計(jì)算M個(gè)任務(wù)的回歸系數(shù)向量,即C=(c1,···,cM),需要優(yōu)化的多任務(wù)Sparse Group Lasso模型為

其中‖C‖l1/l2=∑‖(,···,)‖2,‖·‖1表示向量的1范數(shù):求向量所有元素的絕對(duì)值和,‖·‖2表示向量的2范數(shù):求向量所有元素的平方和,再開方.在這里C的每一行形成一個(gè)組.當(dāng)M=1時(shí),λ2=0,上式就是Lasso;λ1=0,上式就是Group Lasso.該方法的正則化參數(shù)λ1不僅控制整個(gè)模型的稀疏性,且控制著任務(wù)內(nèi)的稀疏性,正則化參數(shù)λ2不僅控制著任務(wù)間的稀疏性,且控制著不同任務(wù)的信息保留程度.

3 支持向量機(jī)回歸

支持向量機(jī)是一種典型的統(tǒng)計(jì)學(xué)習(xí)算法,廣泛地應(yīng)用在文本識(shí)別、人臉識(shí)別、語(yǔ)音識(shí)別、時(shí)間序列預(yù)測(cè)等領(lǐng)域.它是建立在Vapnik等人提出的統(tǒng)計(jì)學(xué)習(xí)理論、結(jié)構(gòu)風(fēng)險(xiǎn)最小準(zhǔn)則之上,最初是作為一個(gè)分類機(jī)器提出來(lái)的學(xué)習(xí)方法.支持向量機(jī)回歸支持向量用于回歸問(wèn)題中的情況,其核心思想是通過(guò)核函數(shù)間接進(jìn)行非線性變換來(lái)實(shí)現(xiàn)非線性的支持向量函數(shù)擬合.

由于高維度光譜數(shù)據(jù)的結(jié)構(gòu)復(fù)雜性、非線性,本文中采用的是非線性支持向量機(jī)回歸.假設(shè)待估計(jì)的恒星大氣物理參數(shù)有效溫度、表面重力或化學(xué)豐度用y表示,相應(yīng)的多任務(wù)Sparse Group Lasso特征用x表示,則支持向量機(jī)回歸模型為:

其中K(?,?)是非線性的高斯核函數(shù),即

系數(shù)βi=?αi,i=1,···,l是以下優(yōu)化問(wèn)題的解:

其中,ε是控制擬合誤差的一個(gè)精度,即誤差限,常數(shù)C控制著對(duì)超出誤差限樣本的懲罰與函數(shù)的平坦性之間的折中.

4 光譜數(shù)據(jù)與估計(jì)準(zhǔn)則

本文在Sloan的實(shí)測(cè)數(shù)據(jù)和理論恒星光譜數(shù)據(jù)上均做了實(shí)驗(yàn),驗(yàn)證了方案的可行性,共兩個(gè)實(shí)驗(yàn).

實(shí)驗(yàn)1:數(shù)據(jù)是美國(guó)大型巡天項(xiàng)目Sloan發(fā)布的SDSS實(shí)測(cè)光譜數(shù)據(jù)中的50000條光譜及每條光譜對(duì)應(yīng)的3個(gè)光譜物理參量,分別是表面溫度(Teff)、表面重力加速度(lg g)和化學(xué)豐度([Fe/H]).每條光譜具有3821個(gè)流量特征.3個(gè)物理參量的范圍分別為:Teff:[4088, 9740]K,lg(g/(cm·s?2)):[1.015,4.998],[Fe/H]:[?3.497,0.268]dex.其中20000條光譜數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),剩下30000條光譜數(shù)據(jù)作為測(cè)試數(shù)據(jù).

設(shè)訓(xùn)練集為

其中xi=(,···,)T∈Rp×1代表第i條光譜數(shù)據(jù),yi=(,···,)T∈Rm×1代表第i條光譜數(shù)據(jù)所對(duì)應(yīng)的m個(gè)光譜物理參量.令(Xtr,Ytr)代表訓(xùn)練光譜數(shù)據(jù)及每條光譜所對(duì)應(yīng)的物理參量,其中

實(shí)驗(yàn)2:數(shù)據(jù)是由Kurucz的NEWODF模型得到的理論光譜中的18969條光譜數(shù)據(jù).每條光譜具有3821個(gè)流量特征.3個(gè)物理參量的范圍分別為:Teff:[4000,9750]K,lg (g/(cm·s?2)):[1,5],[Fe/H]:[?3.6,0.3]dex.其中8000條作訓(xùn)練數(shù)據(jù),另外10969條作測(cè)試數(shù)據(jù),對(duì)其也做同實(shí)驗(yàn)1數(shù)據(jù)的對(duì)應(yīng)記法及下面的數(shù)據(jù)預(yù)處理.

4.1 數(shù)據(jù)預(yù)處理

(1)為了減小波動(dòng)范圍,精確地描述表面溫度(Teff),實(shí)驗(yàn)中用溫度參量的以10為底的對(duì)數(shù)lg Teff代替溫度參量(Teff).記

(2)對(duì)光譜數(shù)據(jù)Xtr的每列求均值和標(biāo)準(zhǔn)差,然后中心化,最后標(biāo)準(zhǔn)化.記

其中i=1,···,n,j=1,···,p.則(7)式轉(zhuǎn)變?yōu)?/p>

訓(xùn)練集(6)式轉(zhuǎn)變?yōu)?/p>

測(cè)試集Ste也做同上處理為te={(i,i),i=1,2,···,n},同時(shí)得到te,te.

4.2 估計(jì)準(zhǔn)則

為了更好地評(píng)價(jià)恒星大氣物理參量估計(jì)的效果,把估計(jì)值與觀測(cè)值作平均絕對(duì)誤差(Mean Absolute Error,MAE)、平均誤差(Mean Error,ME)和標(biāo)準(zhǔn)偏差(Standard Deviation,SD):

其中en是第n條光譜的物理參量的估計(jì)值與觀測(cè)值之差.

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)測(cè)光譜的結(jié)果與分析

在實(shí)驗(yàn)1中,主要有3個(gè)操作步驟:第1步對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理,第2步用多任務(wù)Sparse Group Lasso提取光譜流量特征,第3步用支持向量機(jī)回歸(SVR)對(duì)表面溫度(Teff)、表面重力加速度(lg g)與化學(xué)豐度([Fe/H])進(jìn)行估計(jì).

本實(shí)驗(yàn)不僅估計(jì)出3個(gè)主要物理參量的平均絕對(duì)誤差(MAE)、平均誤差(ME)與標(biāo)準(zhǔn)偏差(SD),而且列出一些相關(guān)文獻(xiàn)方法的結(jié)果作比較,具體實(shí)驗(yàn)與相關(guān)文獻(xiàn)的結(jié)果見表1.更重要的是分別檢測(cè)出3個(gè)物理參量的特征:表面溫度(Teff)36個(gè)、表面重力加速度(lg g)109個(gè)、化學(xué)豐度([Fe/H])136個(gè),具體見圖1及其具體位置見表2.另外,畫出參量誤差隨Teff、lg g、[Fe/H]的變化情況,具體見圖2.

在表1中,相關(guān)文獻(xiàn)中的研究方法SVRG、ANN與MAχ都是非線性擬合方法, SVRl與OLS是線性擬合方法,明顯非線性擬合的結(jié)果要比線性擬合的結(jié)果好,這也說(shuō)明恒星光譜數(shù)據(jù)與3個(gè)物理參量之間的函數(shù)關(guān)系更可能是非線性關(guān)系,尤其是與表面重力加速度(lg g)、化學(xué)豐度([Fe/H])的函數(shù)關(guān)系.這也是本文采用非線性的支持向量機(jī)回歸(SVR),核函數(shù)為高斯函數(shù)作估計(jì)的原因之一.在實(shí)驗(yàn)過(guò)程中,發(fā)現(xiàn)對(duì)表面溫度(Teff)的預(yù)測(cè)是最容易的,化學(xué)豐度([Fe/H])次之,表面重力加速度(lg g)是最難預(yù)測(cè)的,表1中3個(gè)物理參量相應(yīng)的預(yù)測(cè)結(jié)果剛好也印證了這一點(diǎn).

從平均絕對(duì)誤差(MAE)相較很小可以看出,本文采用的多任務(wù)Sparse Group Lasso特征提取與支持向量機(jī)回歸(SVR)相結(jié)合的方案的預(yù)測(cè)結(jié)果要優(yōu)于相關(guān)文獻(xiàn)中的線性與非線性方法的預(yù)測(cè)結(jié)果,特別是對(duì)表面重力加速度(lg g)與化學(xué)豐度([Fe/H])的預(yù)測(cè);從平均誤差(ME)幾乎趨于0能夠看出本文方法的系統(tǒng)誤差要比相關(guān)文獻(xiàn)方法的小;實(shí)測(cè)光譜本身含有相當(dāng)多的各種噪聲,而本文方法預(yù)測(cè)結(jié)果的標(biāo)準(zhǔn)偏差(SD)卻相對(duì)很小,說(shuō)明預(yù)測(cè)結(jié)果波動(dòng)很小,此方法抗噪能力不錯(cuò),魯棒性好.

表1 本文方法和文獻(xiàn)中典型方案在SDSS實(shí)測(cè)光譜數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果Tab le 1 Ex p erim en tal resu lts of the p rop osed m ethod an d som e ty p ica l schem es in the literatu re on SDSS sp ectra

在文獻(xiàn)[6]中SVRG方法與本文的擬合方法是一樣的,而特征提取的方法不同.在文獻(xiàn)[6]中采用系數(shù)壓縮法Lasso,是把3個(gè)物理參量分開單獨(dú)進(jìn)行特征提取,而未對(duì)3個(gè)物理參量同時(shí)提取特征,這樣導(dǎo)致不同的光譜物理參量之間潛在的關(guān)系信息量的損失,進(jìn)而影響預(yù)測(cè)結(jié)果.本文使用的多任務(wù)Sparse G roup Lasso是系數(shù)壓縮法Lasso的改進(jìn)方法,克服了上述弊端,另外多任務(wù)方法同時(shí)作特征提取也節(jié)省了科研時(shí)間,提高了效率.從表1中的預(yù)測(cè)結(jié)果也可以看到,此法確實(shí)比系數(shù)壓縮法Lasso適合光譜特征的提取.

圖1 為估計(jì)SDSS實(shí)測(cè)光譜的大氣參數(shù)而檢測(cè)到的特征.圖中的曲線是具有不同參數(shù)的恒星光譜(右上角的參數(shù)與曲線從上到下依次對(duì)應(yīng)).垂直虛線的橫坐標(biāo)就是特征的位置.Fig.1 Detected featu res for estim ating the atm ospheric param eters from SDSS stellar sp ectra.Cu rves are stellar spectra with d ifferen t param eters(the param eters in the upp er righ t corner correspond to the curves from top to bottom).The vertical dashed lines rep resent the w avelength positions of the detected featu res.

從表1中的多任務(wù)Lasso回歸法的結(jié)果看,只是化學(xué)豐度([Fe/H])的結(jié)果相對(duì)好點(diǎn),這可能是提取的特征數(shù)目多的緣故,而且其總共使用了4000條SDSS數(shù)據(jù),其中75%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),而測(cè)試數(shù)據(jù)只用剩下的25%數(shù)據(jù),有這樣的結(jié)果也很正常,更不能表現(xiàn)出其方法的泛化能力強(qiáng).而本實(shí)驗(yàn)使用了50000條SDSS數(shù)據(jù),40%的數(shù)據(jù)作為訓(xùn)練集,60%的作為測(cè)試集,預(yù)測(cè)結(jié)果也很不錯(cuò),足以說(shuō)明本方案的泛化能力強(qiáng),要比文獻(xiàn)[15-16]的方法優(yōu)越.

觀察圖1及表2,可以明顯看出3個(gè)物理參量的被檢測(cè)到的特征不僅數(shù)目不相同,而且波長(zhǎng)位置不都一樣,這充分體現(xiàn)出了多任務(wù)Sparse Group Lasso方法不僅可以提取到單個(gè)物理參量的光譜信息,還能夠挖掘到不同物理參量之間的潛在關(guān)系信息.

表2 SDSS實(shí)測(cè)光譜數(shù)據(jù)中檢測(cè)到的特征及其波長(zhǎng)位置Tab le 2 T he d etected featu res from SDSS sp ectra an d their w avelength p osition s

續(xù)表2Tab le 2 Con tinued

續(xù)表2Tab le 2 Con tinued

觀察圖2,可以看出3個(gè)參量誤差的變化情況各不相同,但整體上誤差都在0的附近變化,其中Teff的誤差偏離最小,lg(g/(cm·s?2))的[1,2.8)、[Fe/H]的(?4,?2.2)dex區(qū)間誤差偏離非常大,主要因?yàn)檫@些區(qū)間的光譜分布比較稀疏分散,其誤差偏離度會(huì)隨著訓(xùn)練數(shù)據(jù)的增多而改善[17].其次,Teff的整個(gè)區(qū)間誤差精度都很高,而lg(g/(cm·s?2))的(3, 5)、[Fe/H]的(?2,1)dex區(qū)間誤差精度稍高,其他區(qū)間的誤差精度很低.另外,高估了巨星(lg(g/(cm·s?2))～2–3)的表面重力加速度,而低估了矮星(lg(g/(cm·s?2))～4)的表面重力加速度;高估了貧金屬恒星([Fe/H]～?3–?2 dex)的化學(xué)豐度,而低估了太陽(yáng)豐度恒星([Fe/H]～0 dex)的化學(xué)豐度.

圖2 在SDSS實(shí)測(cè)光譜上的估計(jì)誤差對(duì)參數(shù)的相依性.橫坐標(biāo)是物理參量的真實(shí)值,縱坐標(biāo)是參量的預(yù)測(cè)值與真實(shí)值的差.曲線是平均誤差隨參量變化的擬合曲線.Fig.2 The dep endency of estim ation error on the param eters to be estim ated on the SDSS sp ectra.T he horizontal axis is the true values of physical param eters,and the vertical axis is the d ifference between the estim ated va lues and the true values of the physica l param eters.T he cu rves are the fitting resu lts of the variation of the m ean error with the param eter.

5.2 理論光譜的結(jié)果與分析

在實(shí)驗(yàn)2中,同樣有3個(gè)主要的操作步驟:首先對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理,然后用多任務(wù)Sparse Group Lasso提取光譜流量特征,最后用支持向量機(jī)回歸(SVR)對(duì)光譜的3個(gè)物理參量進(jìn)行估計(jì).3個(gè)主要物理參量的平均絕對(duì)誤差(MAE)、平均誤差(ME)、標(biāo)準(zhǔn)偏差(SD),與一些相關(guān)文獻(xiàn)方法的結(jié)果具體見表3.更重要的是分別檢測(cè)出3個(gè)物理參量的特征:表面溫度(Teff)21個(gè)、表面重力加速度(lg g)24個(gè)、化學(xué)豐度([Fe/H])24個(gè),具體見圖3及其具體位置見表4.另外,畫出參量誤差隨Teff、lg g、[Fe/H]的變化情況,具體見圖4.

表3 本文方法和文獻(xiàn)中典型方案在理論光譜數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果Tab le 3 Ex p erim en tal resu lts of the p rop osed m ethod an d som e ty p ica l schem es in the literatu re on the syn thetic sp ectra

圖3 為估計(jì)理論光譜的大氣參數(shù)而檢測(cè)到的特征.圖中的曲線是具有不同參數(shù)的恒星光譜(右上角的參數(shù)與曲線從上到下依次對(duì)應(yīng)).垂直虛線的橫坐標(biāo)就是特征的位置,與曲線交點(diǎn)的縱坐標(biāo)就是被檢測(cè)到的特征.Fig.3 Detected featu res for estim ating the atm ospheric param eters from syn thetic stellar sp ectra. Cu rves are stellar sp ectra with d ifferen t param eters(the param eters in the upp er right corner corresp ond to the cu rves from top to bottom).The horizon tal coord inates of vertical dashed lines rep resen t the w avelength positions of the detected featu res.The vertical coordinates of the intersections betw een the vertical dashed lines and the cu rves are the detected featu res.

觀察表3,結(jié)合表1,可以看出本文采用的多任務(wù)Sparse Group Lasso特征提取與支持向量機(jī)回歸(SVR)相結(jié)合的方案在理論光譜實(shí)驗(yàn)中預(yù)測(cè)效果比在實(shí)測(cè)光譜實(shí)驗(yàn)中預(yù)測(cè)效果更好.在表3中,不僅可以發(fā)現(xiàn)對(duì)表面溫度(Teff)的預(yù)測(cè)最容易,化學(xué)豐度([Fe/H])次之,表面重力加速度(lg g)預(yù)測(cè)最難這個(gè)規(guī)律,還可以從平均絕對(duì)誤差(MAE)看出本文方法預(yù)測(cè)結(jié)果的精度要比相關(guān)文獻(xiàn)中非線性方法ANN及線性方法OLS高得多;平均誤差(ME)都幾乎為0也說(shuō)明系統(tǒng)誤差非常小;標(biāo)準(zhǔn)偏差(SD)很小也說(shuō)明此方法對(duì)理論光譜物理參量的預(yù)測(cè)結(jié)果波動(dòng)非常小.

圖4 在理論光譜上的估計(jì)誤差對(duì)參數(shù)的相依性.橫坐標(biāo)是物理參量的真實(shí)值,縱坐標(biāo)是參量的預(yù)測(cè)值與真實(shí)值的差.曲線是平均誤差隨參量變化的擬合曲線.Fig.4 The dependency of estim ation error on the param eters to be estim ated on the synthetic spectra. T he horizonta l ax is is the true va lues of physica l param eters,and the vertica l ax is is the error betw een the estim ated va lues and the true values of the physica l param eters.T he cu rves are the fitting resu lts of the variation of the m ean error with the param eter.

表4 從理論光譜數(shù)據(jù)中檢測(cè)到的特征及其波長(zhǎng)位置Tab le 4 T he detected featu res from syn thetic sp ectra and their w avelength p ositions

查看圖3及表4,可以看到在理論光譜數(shù)據(jù)上檢測(cè)到3個(gè)物理參量的特征數(shù)目不僅很接近而且明顯要比實(shí)測(cè)光譜的少;表面溫度(Teff)的特征與另外2個(gè)物理參量的特征位置很相近,甚至表面重力加速度(lg g)與化學(xué)豐度([Fe/H])的特征位置完全一樣,這很可能是由Kurucz的NEWODF模型得到的理論光譜數(shù)據(jù),沒(méi)有各種噪聲干擾的緣故.

觀察圖4,可以看出3個(gè)參量誤差的變化情況大致相同,呈沿著縱軸0值的一條直線, Teff、lg g、[Fe/H]的區(qū)間誤差偏離都非常小且誤差精度都很高,這是由于理論光譜訓(xùn)練數(shù)據(jù)在整個(gè)參數(shù)范圍內(nèi)比較集中且分布均勻.

6 總結(jié)與展望

本文把對(duì)3個(gè)重要的光譜物理參量表面溫度(Teff)、表面重力加速度(lg g)、化學(xué)豐度[Fe/H]的估計(jì),作為3個(gè)任務(wù),用多任務(wù)Sparse Group Lasso提取特征,然后再用支持向量機(jī)回歸(SVR),不僅估計(jì)的結(jié)果精度高、魯棒性好、泛化性能高,而且操作簡(jiǎn)單、計(jì)算速度快.同時(shí),這種對(duì)大數(shù)據(jù)多任務(wù)學(xué)習(xí)的方式,不僅學(xué)習(xí)到了單個(gè)任務(wù)的信息,而且兼顧學(xué)習(xí)到了多個(gè)任務(wù)之間的關(guān)聯(lián)信息.總的來(lái)說(shuō),本文采用的多任務(wù)Sparse Group Lasso特征提取與支持向量機(jī)回歸(SVR)相結(jié)合的方案對(duì)恒星大氣物理參量的估計(jì)結(jié)果要優(yōu)于相關(guān)文獻(xiàn)中方法的結(jié)果.另外此方案不僅適用于多任務(wù)光譜數(shù)據(jù)的處理,還適用于其他類型大數(shù)據(jù)的多任務(wù)學(xué)習(xí),比如銀行金融大數(shù)據(jù),期貨股票大數(shù)據(jù),淘寶交易大數(shù)據(jù)等等.

當(dāng)然,在SDSS實(shí)測(cè)光譜數(shù)據(jù)上,對(duì)于本文多任務(wù)Sparse Group Lasso所提取光譜特征的數(shù)目可以探討進(jìn)一步減少,同時(shí)保證估計(jì)的準(zhǔn)確度.比如說(shuō)可以做探索性實(shí)驗(yàn),使用多任務(wù)Sparse Group Lasso提取特征之后,然后使用主成分分析(PCA)再次剔除冗余噪聲或者采用對(duì)提取的每個(gè)光譜特征的鄰近區(qū)域的一些特征求均值,以達(dá)到特征數(shù)目的減少,可以深入做實(shí)驗(yàn)以檢驗(yàn)經(jīng)過(guò)這些方式處理后的估計(jì)值精度是否有所提高等等.

致謝衷心感謝潘儒揚(yáng)在論文修訂、校對(duì)中提供的幫助.

[1]Ahn C P,A lexand roff R,A llende P rieto C A,et a l.A p JS,2012,203:21

[2]Cu i X Q,Zhao Y H,Chu Y Q,et a l.RAA,2012,12:1197

[3]Fioren tin P R,Bailer-Jones C A L,Lee Y S,et al.A&A,2007,467:1373

[4]李鄉(xiāng)儒.天文學(xué)進(jìn)展,2012,30:94

[5]T ibsh irani R.Jou rna l of the Roya l Statistica l Society Series B,1996,58:267

[6]Li X R,W u Q M J,Luo A L,et a l.A p J,2014,790:105

[7]Sim on N,Friedm an J,Hastie T,et a l.Jou rnal of Com pu tational&G raph ica l Statistics,2013,22:231

[8]Liu J,Ji S,Ye J.P roceed ings of the Tw enty-fifth Con ference on Uncertain ty in A rtificia l In telligence, 2009:339

[9]V incen t M,Hansen N R.Com pu tationa l Statistics&Data A nalysis,2014,71:771

[10]Liu J,Ye J.A dvances in Neu ral In form ation P rocessing System s,2010,23:1459

[11]張吐輝,張海.純粹數(shù)學(xué)與應(yīng)用數(shù)學(xué),2014,30:178

[12]Yuan M,L in Y.Jou rna l of the Roya l Statistical Society Series B,2006,68:49

[13]Jofr′e P,Panter B,Hansen C J,et al.A&A,2010,517:57

[14]譚鑫,潘景昌,王杰,等.光譜學(xué)與光譜分析,2013,33:1397

[15]常麗娜,張培愛.天文學(xué)報(bào),2015,56:26

[16]Chang L N,Zhang P A.ChA&A,2015,39:319

[17]Lu Y,Li X R.M NRAS,2015,452:1394

A pp lication of M u lti-task Sparse G roup Lassofeatu re Ex traction and Support Vector M achine Regression in the Stellar A tm ospheric Param etrization

GAO Wei LIXiang-ru

(Schoo l of M a them a tica l Scien ces,Sou th China Norm a l Un iversity,G uangzhou 510631)

Themulti-task learning puts themultiple tasks together to analyse and calculate for discovering the correlation between them,which can im prove the accuracy of analysis resu lts.This kind of methods have been w idely studied in machine learning,pattern recognition,com puter vision,and other related fields.This paper investigates the app lication ofmu lti-task learning in estimating the effective tem perature(Teff),surface gravity(lg g),and chem icalabundance([Fe/H]).Firstly,the spectral characteristics of the three atmospheric physical parameters are extracted by using the multi-task Sparse Group Lasso algorithm,and then the support vectormachine is used to estimate the atm ospheric physical param eters.The proposed schem e is evaluated on both Sloan stellar spectra and theoretical spectra computed from Kurucz’s New Opacity Distribution Function(NEWODF)model.Them ean absolute errors(MAEs) on the Sloan spectra are:0.0064 for lg(Teff/K),0.1622 for lg(g/(cm·s?2)),and 0.1221 dex for[Fe/H];The MAEs on synthetic spectra are 0.0006 for lg(Teff/K),0.0098 for lg (g/(cm·s?2)),and 0.0082 dex for[Fe/H].Experimental results show that the proposed schem e is excellent for atm ospheric parameter estim ation.

stars:fundamental parameters,methods:data analysis,methods:statistical,methods:m iscellaneous

P144;

A

10.15940/j.cnki.0001-5245.2016.04.002

2015-12-10收到原稿,2016-01-26收到修改稿

?國(guó)家自然科學(xué)基金項(xiàng)目(61273248,61075033)、國(guó)家自然科學(xué)基金委員會(huì)-中國(guó)科學(xué)院天文聯(lián)合基金項(xiàng)目(U1531242)和廣東省自然科學(xué)基金項(xiàng)目(2014A030313425,S2011010003348)資助

?xiangru.li@gm ail.com