亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Lp正則化的自適應(yīng)稀疏group lasso研究

        2014-07-19 13:54:52張吐輝張海
        關(guān)鍵詞:凸性高維范數(shù)

        張吐輝,張海

        (西北大學(xué)數(shù)學(xué)系,陜西 西安 710069)

        基于Lp正則化的自適應(yīng)稀疏group lasso研究

        張吐輝,張海

        (西北大學(xué)數(shù)學(xué)系,陜西 西安 710069)

        基于稀疏group lasso的思想和adaptive lasso的優(yōu)點(diǎn),提出更具一般性的Lp正則化的自適應(yīng)稀疏group lasso,并對其高維統(tǒng)計(jì)性質(zhì)進(jìn)行了研究.通過對正則子、損失函數(shù)的性質(zhì)和正則參數(shù)的選擇的分析,最終得到基于Lp正則化的自適應(yīng)稀疏group lasso非漸近誤差界估計(jì).

        稀疏group lasso;限制強(qiáng)凸;可分解性;adaptive lasso

        1 前言

        一般線性回歸問題

        其中 y是 n×1響應(yīng)變量,X=(X1,X2,···,Xn)T是 n×d矩陣,Xi=(xi1,···,xid), i=1,···,n,β=(β1,···,βd)為d×1未知參數(shù).?是噪聲向量且服從高斯分布?~N(0,σ2I).若真實(shí)模型系數(shù)為β?=(,,···,)且q

        一般地,具有組結(jié)構(gòu)線性模型可表示為:

        其中y是n×1響應(yīng)變量,?~N(0,σ2I),Xl是n×ml矩陣,表示第l個因子,βl是第l個因子對應(yīng)系數(shù),大小為ml,l=1,···,L.若記X=(X1,X2,···,XL),β=(β1,β2,···,βL)′,進(jìn)而上述線性回歸問題可寫為y=Xβ+?.針對變量之間具有組結(jié)構(gòu)的問題,文獻(xiàn)[4]提出了以組的形式進(jìn)行變量選擇的group lasso,其模型為:

        該方法對lasso進(jìn)行了改進(jìn),為高維結(jié)構(gòu)化海量數(shù)據(jù)分析提供了一種新方法,并能從中選擇出重要因子.隨后,不同研究者開始了各種變形的group lasso方法研究[5-6].但group lasso只在組間具有稀疏性,而組內(nèi)沒有稀疏性,也就是說,在一個組內(nèi),因子將被同時選擇或刪除,然而在許多實(shí)際問題中,組內(nèi)變量影響往往有所差異,這一缺點(diǎn)限制了它的應(yīng)用.文獻(xiàn)[7]提出p=2的稀疏group lasso組內(nèi)組間都具有稀疏性,模型為:

        此時,當(dāng) λ1=0時是大家熟知的lasso;當(dāng)λ2=0時是group lasso.

        顯然,稀疏group lasso具有l(wèi)asso的優(yōu)良性質(zhì),可以選擇出相關(guān)重要因子,但是lasso方法具有不一致性,詳見文獻(xiàn)[8-11].文獻(xiàn)[12]提出的adaptive lasso,只要選擇出合適權(quán)重就能解決lasso的缺點(diǎn),從而稀疏group lasso也繼承了lasso的缺點(diǎn).基于此,本文研究更一般的Lp(p≥2)正則化的自適應(yīng)稀疏group lasso,模型為:

        其中ωl>0.由于p≥2時,正則化模型具有優(yōu)良性質(zhì)[13-14].本文關(guān)注于參數(shù)d大于樣本數(shù)n時Lp(p≥2)正則化的自適應(yīng)稀疏group lasso的非漸近誤差界估計(jì).

        注 1.1Lp正則化的自適應(yīng)稀疏group lasso三項(xiàng)都是關(guān)于β的凸函數(shù),因此求解模型是對應(yīng)于一個凸優(yōu)化問題的求解.

        2 理論分析

        一般地,正則化問題都可以寫成如下形式:

        其中L(β;X,y)是損失函數(shù),r(β)是正則函數(shù),λn≥0是正則參數(shù).在高維統(tǒng)計(jì)情形下,通過估計(jì)值βλn與真實(shí)值β?之間的誤差界來度量一個算法的好壞[15-17].

        首先引入相應(yīng)定義.正則子r可分是指正則子關(guān)于Rd的兩個子空間A?B,滿足

        損失函數(shù)滿足限制強(qiáng)凸是指給定的集合

        上,下式成立:

        其中參數(shù)kL>0.

        引理 2.1[17]平方損失函數(shù)滿足限制強(qiáng)凸性即就是損失函數(shù)滿足限制特征值.如果設(shè)計(jì)矩陣的每行向量服從分布正態(tài)分布,即其中是協(xié)方差矩陣,則損失函數(shù)限制強(qiáng)凸性以較大概率成立.

        引理 2.2[17]如果損失函數(shù)L是凸函數(shù)、可微函數(shù)且滿足限制強(qiáng)凸性,同時正則子滿足可分性,正則參數(shù)時,有

        下面利用上述兩引理研究Lp正則化的自適應(yīng)稀疏group lasso理論性質(zhì).假設(shè)具有組結(jié)構(gòu)的線性模型組的劃分為:

        即i=1時組的大小為1.

        則Lp正則化的自適應(yīng)稀疏group lasso在平方損失下的模型可寫為:

        定理Lp正則化的自適應(yīng)稀疏group lasso模型(2.1),當(dāng)正則參數(shù)

        證明首先證明模型(2.1)滿足引理2.2的條件.對于任意的

        由此可知Lp正則化的自適應(yīng)稀疏group lasso正則子r(β)滿足可分性.

        由于此模型的損失函數(shù)是平方損失函數(shù),由引理2.1知限制強(qiáng)凸性滿足.除限制強(qiáng)凸性外,對于給定大小為m的組G,令XG:→,算子范數(shù)

        對所有的l=1,2,···,ni.當(dāng)i=1時,即每組的大小是1,有

        使正則參數(shù)λn滿足定理中的條件,即就是使參數(shù)成立.由對偶范數(shù)的定義,有

        其中b=min{?l},l=1,···,d.而,即

        由對偶范數(shù)的定義知:

        為 ∥u∥1的對偶范數(shù),由列標(biāo)準(zhǔn)化和高斯條件,有

        對于高斯過程

        由Sudakov-Fernique[18],有

        由此可知,

        由(2.2)式誤差界可知,當(dāng)損失函數(shù)滿足限制強(qiáng)凸性和正則函數(shù)滿足可分性且選擇適當(dāng)正則參數(shù)時,對基于Lp正則化的自適應(yīng)稀疏 group lasso的誤差界估計(jì)有準(zhǔn)確的描述.可以看到Lp正則化的自適應(yīng)稀疏group lasso誤差界不僅與正則參數(shù)λn和限制強(qiáng)凸常量kL有關(guān),而且還與罰函數(shù)范數(shù)的選擇有關(guān).

        3 結(jié)論

        變量選擇問題是統(tǒng)計(jì)學(xué)基本問題.本文主要研究具有組結(jié)構(gòu)的變量選擇問題,針對經(jīng)典group lasso的缺點(diǎn),研究了更一般的Lp正則化的自適應(yīng)稀疏group lasso,在對損失函數(shù)加限制強(qiáng)凸性條件以及罰函數(shù)滿足可分性時,選擇適當(dāng)?shù)膮?shù),給出了估計(jì)值與真實(shí)值之間的非漸近界估計(jì).

        本文研究罰函數(shù)是凸罰函數(shù)的情形.對于目前流行的非凸罰函數(shù)情況[2,10,19-21],其高維統(tǒng)計(jì)性質(zhì)是否成立尚沒有研究.另外如果損失函數(shù)是非凸損失函數(shù),研究具有組結(jié)構(gòu)的變量選擇問題也是有意義的工作之一.

        [1]Efron B,Hastie T Johnstone.Least angle regression[J].The Annals of Statistics,2004,32,407-499.

        [2]Xu Z.B,Zhang H,Wang Y.Lregularizer[J].Science in China(Information Sciences),2010,53:1159-1169.

        [3]Tibshirani R.Regression shrinkage and selection via the Lasso[J].Journal of the Royal Statistical Society Series B,1996,5:267-288.

        [4]Yuan M,Lin Y.Model selection and estimation in regression with grouped variables[J].Journal of the Royal Statistics Society B,2006,68(1):49-67.

        [5]Vogt J E,Roth V.A Complete Analysis of the lpGroup Lasso[C].Edinburgh:International Conference on Machine Learning,2012.

        [6]Meier L,Geer S,Buhlmann P.The group lasso for logistic regression[J].Journal of the Royal Statistical Society:Series B,2008,70(1):53-71.

        [7]Friedman J,Hastie T,Tibshirani R.A note on the group lasso and a sparse group lasso[J].Mathmatical Statistics,arXiv:1001.0736vl,2010.

        [8]Meinshausen N,Buhlmann P.High dimensional graphs and variable selection with the lasso[J].The Annals of Statistics,2006,34:1436-1462.

        [9]Zhao P,Yu B.On model seletion consistency of lasso[J].Journal of Machine Learning Reseach,2006,7:2541-2567.

        [10]Fan J,Li R.Variable selection via nonconcave penalized likelihood and its oracle properties[J].Journal of the American Statistical Association,2001,96:1348-1360.

        [11]Fan J,Peng H.Nonconcave penalized likelihood with diverging nunmber of parameters[J].The Annals of Statistics,2004,32:928-961.

        [12]Zou H.The adaptive lasso and its oracle properties[J].Journal of the American Statistical Association, 2006,101:1418-1429.

        [13]Vogt J E,Roth V.The group lasso:l(1,∞)regularization versus l(1,2)regularization[J].In Department of Computer Science,2010(9):252-261.

        [14]Zhao P,Rocha G,Yu B.The composite absolute penalties family for grouped and hierarchical variable selection Source[J].The Annals of Statistics,2009,37(6A):3468-3497.

        [15]曹懷火,張永,王勇.種群擴(kuò)散系數(shù)互譯系統(tǒng)解的一致有界性[J].純粹數(shù)學(xué)與應(yīng)用數(shù)學(xué),2011,27(3):38-41.

        [16]Raskutti G,wainwright M,Yu B.Minimax rates of estimation for high-dimentional linear regression over lq-ball[J].IEEE Transactiions on Information Theory,2011,57(10):6976-6994.

        [17]Negahban S,Ravikumar P,Wainwright M,Yu B.A unifed framework for high-dimensional analysis of M-estimators with decomposable regularizers[J].Statistical Science,2012,27(4):538-557.

        [18]Ledoux M,Talagrand M.Probability in Banach Spaces:Isoperimetry and Processes[M].New York: Springer-Verlag,1991.

        [19]Breheny P,Huang J.Coordinate descent algorithms for nonconvex penalized regression with appications to biological feature seletion[J].Annals of Applied Statistics,2011,5(1):232-253.

        [20]Zhang C H.Nearly unbiased variable seletion under minimax concave penalty[J].Annals of Statistics, 2012,38(2):894-942.

        [21]Zhang C H,Zhang T.A general theory of concave regularization for high-dimentional sparse estimation problems[J].Statistical Science,2012,27(4):576-593.

        The analysis of adaptive sparse group lasso based on the Lpregularizer

        Zhang Tuhui,Zhang Hai
        (Department of Mathematics,Northwest University,Xi′an 710069,China)

        In this paper we propose adaptive sparse group lasso based on the Lpregularizer,we studied the high-dimensional statistical properties of our method by analysising properties of loss function and regularizer and choosing appropriate regularization paramete.Finally we obtained the nonasymptotic error bound.

        sparse group lasso,restricted strong convexity,decomposability,adaptive lasso

        O236,O213

        A

        1008-5513(2014)02-0178-08

        10.3969/j.issn.1008-5513.2014.02.009

        2013-11-10.

        國家自然科學(xué)基金(60975036,11171272).

        張吐輝(1988-),碩士生,研究方向:機(jī)器學(xué)習(xí).

        2010 MSC:62B10

        猜你喜歡
        凸性高維范數(shù)
        一種改進(jìn)的GP-CLIQUE自適應(yīng)高維子空間聚類算法
        基于加權(quán)核范數(shù)與范數(shù)的魯棒主成分分析
        矩陣酉不變范數(shù)H?lder不等式及其應(yīng)用
        基于加權(quán)自學(xué)習(xí)散列的高維數(shù)據(jù)最近鄰查詢算法
        一般非齊次非線性擴(kuò)散方程的等價變換和高維不變子空間
        一類具有準(zhǔn)齊次核的Hilbert型奇異重積分算子的范數(shù)及應(yīng)用
        高維Kramers系統(tǒng)離出點(diǎn)的分布問題
        无遮挡很爽很污很黄的女同| 亚洲av永久无码精品一区二区| 人妻熟妇乱又伦精品视频app| 日本久久精品免费播放| 久久婷婷国产色一区二区三区| 性人久久久久| 中文成人无码精品久久久不卡| 久久久久久久妓女精品免费影院| 日本加勒比一区二区在线观看| 亚洲tv精品一区二区三区| 性色av浪潮av色欲av| 国产白丝网站精品污在线入口| 亚洲国产av中文字幕| 一区二区三区美女免费视频| 国产免国产免费| 无码人妻专区免费视频| 日本一区二区啪啪视频| 女人18片毛片60分钟| 亚洲欧美在线观看| 国内精品福利在线视频| 中文字幕乱码一区在线观看| 日本免费在线一区二区三区| 欧美嫩交一区二区三区| 欧美日韩精品一区二区三区高清视频| 在线免费观看国产精品| 日本在线中文字幕一区二区| 国产自拍精品一区在线观看| 伊人久久大香线蕉av一区| 精品国产亚欧无码久久久| 国产二区中文字幕在线观看 | 少妇激情一区二区三区99| 亚洲v欧美v国产v在线观看| 久久水蜜桃亚洲av无码精品麻豆| 国产精品自产拍av在线| 国产一级黄色录像大片| 免费va国产高清大片在线| 色综合88| 久久精品久久精品中文字幕| 18国产精品白浆在线观看免费 | 中国孕妇变态孕交xxxx| 亚洲欧美日韩国产综合一区二区|