董青

（西北大學數學學院，陜西西安710127）

具有二階矩有限噪聲的Lasso高維統(tǒng)計分析

董青

（西北大學數學學院，陜西西安710127）

研究在非高斯噪聲下的Lasso的高維統(tǒng)計分析，給出了在誤差噪聲滿足二階矩有限條件下，Lasso方法的高維界估計，推廣了現有的關于Lasso的主要理論結果.所得結果具有一定的理論及應用價值.

Lasso；稀疏；高維數據

1 引言

高維數據處理是機器學習和統(tǒng)計學等領域的研究熱點之一.而高維特征是海量數據的一個重要特征，其特點在于所研究問題的未知參數的維數遠遠大于所觀測到數據的個數.顯然，此問題對應于一個病態(tài)問題，問題的求解依賴于額外的信息.近20年來，在統(tǒng)計學以及信息信號處理等領域均開展了關于此問題的研究，代表性的工作包括Tibshirani在1996年提出的Lasso［1］.以及信號重建方面的壓縮感知方向的諸如Candes和Donoho［24］等工作，即所謂的L1正則化方法.此方面的開創(chuàng)性工作為高維數據分析提供了有力的工具，也為近年來機器學習和統(tǒng)計學研究提供了基礎.自L1正則化方法提出后，大批學者開展了關于其理論及算法的研究工作，比較有影響的工作有文獻［28］.上述主要的理論結果均在誤差是高斯噪聲的假設下，而在實際工作中，存在多種噪聲形式.因此開展在非高斯噪聲下的L1正則化方法的高維統(tǒng)計分析有著非常重要的理論及應用價值.

本文開展此方面的工作，利用新的不等式，在誤差噪聲滿足二階矩有限的條件下，研究L1正則化方法的高維統(tǒng)計性質.

2 非高斯噪聲下的L1正則化

下面給出在上述假設下L1正則化的理論分析.

定理2給出了Lasso在二階矩有限條件下的高維統(tǒng)計分析.從不等式右端可以看出，界通過樣本數n、參數維數p以及變量的稀疏度K給出，即所謂的高維性質.

3 實驗結果

本節(jié)通過實驗驗證本文所給理論的正確性.在本實驗中，線性模型（1）假設噪聲服從［0，1］上的均勻分布，其中真實

調用Matlab中的Lars程序，所得結果的路徑如下圖所示.參數λ的選擇利用了10倍交叉驗證，所得結果

可以看出，對有界噪聲，Lasso可準確選擇出正確的模型.從而佐證了本文所給理論的正確性.

圖1 Lasso變量選擇結果

4 結論

L1正則化是近年來處理高維數據的有力工具，本文關注非高斯噪聲的L1正則化的理論性質分析.在噪聲滿足二階矩有限條件下給出了L1正則化的解的統(tǒng)計性質分析.近年來，L1正則化方法被推廣到多方面的問題研究，例如文獻［9-10］所做的工作.本文工作可推廣到此類問題的研究.

［1］Tibshirani R.Regression shrinkage and selection via the lasso［J］.Journal of the Royal Statistical Society：Series B，1996，58：267-288.

［2］Candes E，Tao T.The dantzig selector statistical estimation when p is much larger than n［J］.Annals of Statistics，2007，35：2313-2351.

［3］Chen S，Donoho D，Saunders M.Atomic decomposition by basis pursuit［J］.SIAM Journal on Scientific Computing，1998，43：33-61.

［4］Donoho D.Compressed sensing［J］.IEEE Transaction on Information Theory，2006，54（4）：1289-1306.

［5］Zhao P，Yu B.On model selection consistency of Lasso［J］.Journal of Machine Learning Research，2006，7：2541-2563.

［6］Efron B，Hastie T，Johnstone L，et al.Least angle regression［J］.Annals of Statistics，2004，32（2）：407-499.

［7］Bühlmann P，van de Geer S.Statistics for High-dimensional Data：Methods，Theory and Applications［M］. New York：Springer，2011.

［8］Wainwright M.Sharp thresholds for high-dimensional and noisy sparsity recovery using l1-constrained quadratic programming（Lasso）［J］.IEEE Transaction on Information Theory，2009，55：2183-2202.

［9］Yuan M，Lin Y.Model selection and estimation in regression with grouped variables［J］.Journal of the Royal Statistical Society：Series B，2006，68（1）：49-67.

［10］Zou H，Hastie T.Regularization and variable selection via the elastic net［J］.Journal of the Royal Statistical Society：Series B，2005，67：301-320.

The high dimensional statistical analysis of Lasso with second moment noise

Dong Qing
（School of Mathematics，Northwest University，Xi′an710127，China）

In this paper，we study the high-dimensional statistical theory of Lasso with the bounded second moment noise.We propose the nonasymptotic bounds of Lasso which generalize the existing results.The results are of great theoretical importance and applied value.

Lasso，sparse，high-dimensional data

O236；O213

A

1008-5513（2016）02-0206-06

10.3969/j.issn.1008-5513.2016.02.012

2015-12-28.

國家自然科學基金（11571011）.

董青（1990-），碩士生，研究方向：統(tǒng)計機器學習.

2010 MSC:39A05，34B10