張凌潔寶雞文理學(xué)院
?
淺談高維數(shù)據(jù)變量選擇現(xiàn)狀與方法
張凌潔
寶雞文理學(xué)院
變量選擇是統(tǒng)計(jì)分析理論中的重要內(nèi)容,也是目前學(xué)者們研究的重點(diǎn)。本文在傳統(tǒng)數(shù)據(jù)變量選擇的基礎(chǔ)上,介紹高維數(shù)據(jù)變量選擇方法的研究歷史和研究現(xiàn)狀,總結(jié)已有變量選擇的研究成果,并在此基礎(chǔ)上進(jìn)行了總結(jié)和展望。
高維 變量選擇 穩(wěn)健方法
從20世紀(jì)60年代至今,變量選擇的研究已有不少文獻(xiàn)與資料。以Akaike 在1974年提出的AIC準(zhǔn)則為標(biāo)志,近幾十年來,變量選擇是統(tǒng)計(jì)學(xué)者們研究的重點(diǎn),研究的方法和理論結(jié)果已經(jīng)有了相對(duì)成熟的進(jìn)展。
經(jīng)典的變量選擇包括前進(jìn)法、后退法、逐步回歸法、最優(yōu)回歸子集法等,通過AIC,BIC,Cp等從候選模型中選出一個(gè)最優(yōu)子集來擬合回歸模型。建立回歸模型初期,引入很多相關(guān)的變量以減小模型的誤差;選擇對(duì)因變量有明顯影響的重要變量以提高模型預(yù)測(cè)的精度和可解釋性。
實(shí)際中,經(jīng)典的變量選擇方法,適合模型中變量個(gè)數(shù)比較少的模型。但是當(dāng)變量個(gè)數(shù)增多時(shí),需要解決的問題也隨之增多。如由于要求解一個(gè)多項(xiàng)式復(fù)雜程度的非確定性問題,從而處理高維和海量問題時(shí)失效;對(duì)于成百上千的變量,如果我們選擇過多的變量,則會(huì)使計(jì)算成本過大、變量選擇估計(jì)的速度減慢以及模型選擇的精準(zhǔn)度降低,也會(huì)出現(xiàn)過度擬合現(xiàn)象;如果我們選擇較少的變量,則會(huì)遺漏重要變量或選擇變量不當(dāng),使結(jié)果誤差較大,也失去了分析研究的意義。只有選取適合的變量選擇方法,才能選擇出有用變量,去除冗余變量,化簡模型。這樣既節(jié)省了計(jì)算量,也便于分析數(shù)據(jù)使結(jié)果更加精確,所以選擇適合的變量選擇方法是研究高維數(shù)據(jù)時(shí)的重要的步驟。
近年來,統(tǒng)計(jì)學(xué)者們提出用懲罰函數(shù)同時(shí)進(jìn)行變量選擇和系數(shù)估計(jì),其基本思想就是在進(jìn)行參數(shù)估計(jì)的同時(shí),把較小的系數(shù)估計(jì)壓縮,而將較大的系數(shù)估計(jì)保留,從而選擇出重要變量達(dá)到變量選擇的目的──正則化方法。正則化估計(jì)能大大減少計(jì)算量、克服經(jīng)典變量選擇方法的不穩(wěn)定性。目前的懲罰方法有:Tishirani等提出的Lasso、Fan等提出的SCAD、Zou等提出的自適應(yīng)Lasso、Zou等提出的Elast ic Net、Wang等提出的組Lasso、Zhao等提出的分級(jí)Lasso、Candes等提出的Dantzig Selector 以及Xu等提出L1/2正則化、Zhang等提出處理NP維下的非凸懲罰估計(jì)MCP懲罰、Fan等研究超高維非凸懲罰函數(shù)變量選擇問題。
隨著科學(xué)技術(shù)的發(fā)展,人們可以搜集到物理化學(xué)、個(gè)性化醫(yī)療、霧霾分析及其它領(lǐng)域的高維海量數(shù)據(jù)。這些數(shù)據(jù)計(jì)算的復(fù)雜性和高成本使得經(jīng)典地變量選擇方法不再適用,為此,統(tǒng)計(jì)學(xué)者們開始尋找研究高維數(shù)據(jù)的變量選擇方法,即以lasso為代表的懲罰似然方法(通過系數(shù)壓縮來實(shí)現(xiàn)變量選擇)。然而實(shí)際中的高維數(shù)據(jù)卻含有異常值點(diǎn),使得數(shù)據(jù)呈現(xiàn)尖峰或厚尾分布,此時(shí)的變量選擇方法將不再具有優(yōu)良性和穩(wěn)健性,統(tǒng)計(jì)學(xué)者們提出穩(wěn)健估計(jì)方法,即用具有穩(wěn)健性的損失函數(shù)來替代最小二乘損失函數(shù),如M-估計(jì)、最小平方中位數(shù)估計(jì)和最小平方修整估計(jì)、分位數(shù)回歸模型、秩回歸、CQR估計(jì)等。
2.1方法的提出和性質(zhì)的研究
1996年Tibshirani提出一般線性模型下的lasso方法,開啟了高維數(shù)據(jù)變量選擇的研究,具有劃時(shí)代的意義。Lasso可以使無明顯影響變量的系數(shù)壓縮為零,同時(shí)進(jìn)行變量選擇和參數(shù)估計(jì)。Lasso在估計(jì)值較大的變量可將重要變量的系數(shù)壓縮較小,而保證參數(shù)估計(jì)的準(zhǔn)確性。但是lasso方法不具有oracle性。2004年Fan得出SCAD具有oracle性質(zhì)且降低了計(jì)算的復(fù)雜度。2007年Zhao提出lasso不具有相合性也不具有oracle性,Zou對(duì)lasso做相同系數(shù)壓縮提出ALasso方法,證明其在固定維數(shù)時(shí)具有oracle性。2010年Shojaie提出ALasso中調(diào)整系數(shù)A值的ALasso是一種凸優(yōu)化問題,可快速有效地得到其全局最優(yōu)解。2005年Zou提出了處理基因微陣列數(shù)據(jù)的Elastic net方法,對(duì)系數(shù)二次懲罰,使得具有組效應(yīng)的數(shù)據(jù)可以進(jìn)行有效的變量選擇,且能解決高維小樣本問題。2009年Zou提出的adaptive Elastic Net具有oracle性質(zhì)。為解決Lasso方法過擬合問題,2007年Meinshausen引入壓縮參數(shù)提出Relaxed Lasso,2013張凌潔等分析研究LS+LAD組合損失函數(shù)的高維穩(wěn)健統(tǒng)計(jì)性質(zhì)。這些方法一定程度上可以處理高維統(tǒng)計(jì)問題。
2.2方法在各類模型中的研究
一般線性模型中有變量選擇,同樣其他模型中也有變量選擇。1996年Tibshirani推出COX模型下的lasso,2001年P(guān)aek提出廣義線性模型下的lasso,2007年Meinshausen提出高斯圖模型中的Graphical lasso,2014年張凌潔等分析研究了分層懲罰鏈接單個(gè)圖模型的估計(jì)的多圖模型,2011年盧穎提出poisson對(duì)數(shù)線性模型下和logist ic回歸模型下的ElasticNet變量選擇方法,同年Nardi提出時(shí)間序列模型下的lasso,Kai等提出的變系數(shù)半?yún)?shù)模型下的SCAD及其理論性質(zhì),崔靜等提出Poisson對(duì)數(shù)回歸模型下ALasso的定義和性質(zhì),2012年Li提出半?yún)?shù)模型的lasso,2015年蘇美紅等[4]分析研究了LADElastic Net模型選擇的一致性。
2.3方法研究注意的事項(xiàng)
正則化方法研究的模式通常是“損失函數(shù)+懲罰函數(shù)”,一個(gè)較優(yōu)的懲罰估計(jì)需注意以下幾個(gè)問題:
(1)選擇損失函數(shù)。損失函數(shù)的好壞決定著模型的穩(wěn)健性,數(shù)據(jù)模型呈正態(tài)分布時(shí),其結(jié)果最佳;
(2)選擇懲罰函數(shù)。懲罰估計(jì)的理論性質(zhì)(稀疏性、連續(xù)性和無偏性)取決于懲罰函數(shù)的選擇;
(3)采用的算法。算法的可行性,運(yùn)算時(shí)間直接影響著估計(jì)結(jié)果的準(zhǔn)確性;
(4)選擇調(diào)試參數(shù)。調(diào)試參數(shù)對(duì)模型稀疏性和相合性影響較大。
隨著大數(shù)據(jù)應(yīng)用的深廣,人們對(duì)高維數(shù)據(jù)的研究和運(yùn)用也日益普遍。高維數(shù)據(jù)變量選擇是大數(shù)據(jù)研究領(lǐng)域的熱點(diǎn),也是大數(shù)據(jù)領(lǐng)域不得不關(guān)注的重要問題。本文介紹了高維數(shù)據(jù)變量選擇方法的研究歷史和研究現(xiàn)狀,總結(jié)了一些已有的研究成果。高維數(shù)據(jù)變量選擇模型多種多樣,從中選擇與實(shí)際情況相結(jié)合并不斷地修改模型使其具有實(shí)際應(yīng)用價(jià)值。如果采用最優(yōu)的函數(shù)和有效的算法,用于模型的建立與算法的實(shí)現(xiàn),可為高維數(shù)據(jù)變量選擇的應(yīng)用提供研究基礎(chǔ),有利于推進(jìn)研究工作的進(jìn)一步深化,也有利于體現(xiàn)現(xiàn)實(shí)價(jià)值。
[1] Tibshi rani, R. Regression shrinkage and selectionvia the Lasso[J]. Journal of the Royal Statistical Society Series B. 1996, 58: 267-288.
[2]張凌潔,蘇美紅,張海。LS,LAD組合損失的高維統(tǒng)計(jì)性質(zhì)分析[J].純粹數(shù)學(xué)與應(yīng)用數(shù)學(xué)期刊(自然科學(xué)版),2013,29(5):536-546.
[3]張凌潔,張海。多圖模型的聯(lián)合估計(jì)的群橋方法[J].高校應(yīng)用數(shù)學(xué)學(xué)報(bào)(自然科學(xué)版).2014,29(2):127-137.
[4]蘇美紅,張海,張凌潔.基于LAD-Elast ic Net的模型選擇[J].南京大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,51(4):894-900.
寶雞文理學(xué)院校級(jí)重點(diǎn)科研項(xiàng)目,項(xiàng)目名稱:高維數(shù)據(jù)統(tǒng)計(jì)性質(zhì)分析。編號(hào):(ZK16118)。
0212.1
張凌潔(1986-),女,陜西鳳翔人,碩士學(xué)位,主要研究方向:機(jī)器學(xué)習(xí)。