王偵倪，邱歡

（西安石油大學(xué)電子工程學(xué)院，陜西西安，710065）

1 公式介紹

一個(gè)線性模型如下所示：

其中，x ∈ Rn是未知向量，y∈Rm是觀測(cè)向量，v∈Rm是噪聲，A ∈ Rm×n是字典矩陣。

2 2l規(guī)則化最小二乘

防止過度擬合的標(biāo)準(zhǔn)技術(shù)或Tikhonov正則化[1]公式為：

當(dāng)正則化參數(shù)0λ＞時(shí)， Tikhonov正則化問題或2l規(guī)則化最小二乘問題（LSP）可轉(zhuǎn)化為下式求解：

Tikhonov正則化的一些基本屬性有：

（1）直線性。它的解在線性函數(shù)里面不是線性的。

（2）限制性。隨著 λ → 0 ,xl2聚集在摩爾 - 彭羅斯解決方案里面，極限點(diǎn)滿足L2范數(shù)最小化的所有點(diǎn)，即 AT(A x?y) = 0。

3 1l規(guī)則化最小二乘

在1l規(guī)則化最小二乘（LS）中，本文用Tikhonov正則化中使用的平方和的絕對(duì)值之和來代替，使得：

其中，；λ＞0是正則項(xiàng)，式（3）為調(diào)整最小二乘（LSP）。

l1正則化的一些基本屬性：

(1)非線性。l1最小二乘產(chǎn)生一個(gè)向量，它在線性函數(shù)里面不是線性的。

(2)限制性。隨著λ→0,l1正則化顯示不同的限制性，在l1正則化中，限制點(diǎn)在所有滿足 l最小范數(shù)，即 AT(A x?y) = 0。

(3)隨著λ→∞，有限收斂為零。在 l1正則化中，λ的有限值決定趨向，即：

(4)正則化路徑。Tikhonov正則化問題的解 xl2變化平穩(wěn)，相反，l1范數(shù)求解是分段線性解路徑特性[2]。

l1正則化（LS）通常會(huì)產(chǎn)生一個(gè)稀疏向量x，即具有相對(duì)較少的非零系數(shù)。

隨著λ逐漸減少，x有可能更傾向于稀疏[3,4]。相反，對(duì)于Tikhonov正則化問題的解 xl2通常具有所有的非零系數(shù)。

最近，正規(guī)化的思想在信號(hào)處理和統(tǒng)計(jì)方面引起了學(xué)者很大的興趣。在信號(hào)處理中，正則化的思想主要體現(xiàn)在幾個(gè)方面，包括基礎(chǔ)追蹤去噪和不完全測(cè)量的信號(hào)恢復(fù)方法[6]。在統(tǒng)計(jì)學(xué)中，正則化的思想被用在眾所周知的Lasso算法中用于特征選擇及其擴(kuò)展，比如彈性網(wǎng)。

4 數(shù)值實(shí)驗(yàn)

本文用截?cái)嗯ｎD內(nèi)點(diǎn)法的方法用來恢復(fù)稀疏信號(hào)。算法參數(shù)如下：

考慮信號(hào) x ∈R1024的稀疏信號(hào)恢復(fù)問題，其由10個(gè)幅度為±1的峰值組成，如圖1（a）所示。假設(shè)：

其中，Ax給出m=128個(gè)頻率的x的離散余弦變換，從索引1上的布中選擇1...1024。

本文方法找到不低于1%次優(yōu)的點(diǎn)，相對(duì)容差為0.01。將正則化參數(shù)取為 λ =0.01λmax，其中λmax的值使用（4）中給出的公式計(jì)算，與其他方法相比，截?cái)嗟呐ｎD內(nèi)點(diǎn)方法對(duì)于這個(gè)中等問題是最有效的。

圖1 稀疏信號(hào)重構(gòu)

5 實(shí)驗(yàn)結(jié)論

圖1（c）所示的是通過求解BPDN問題獲得1lx 的信號(hào)，雖然測(cè)量的數(shù)量遠(yuǎn)遠(yuǎn)少于未知的數(shù)量，但是基于1l正則化的方法能夠確切地找到了原始信號(hào)中非零點(diǎn)的位置。最小能量重構(gòu)方法根本不能識(shí)別非零位置。我們應(yīng)用了廣泛的Tikhonov正則化參數(shù)的范圍來估計(jì)信號(hào)，可以實(shí)現(xiàn)信號(hào)重構(gòu)。

參考文獻(xiàn)

[1]A.Neumaier,‘Solving ill-conditioned and singular linear systems:A tutorial on regularization’SIAM REV,vol.40,no.3,pp.636-666.

[2]B.Efron,T.Hastie,I.Johnstone,and R.Tibshirani,’Least angle regression,’’Ann.Statist,vol.32,no.2,pp.407-499,2004.

[3]T.Hastie,R.Tibshirani,and J.Firedman,The Elements of Statistical Learning.New York:Springer-Verlag,2011,Springer Series in Statistics.

[4]R.Tibshirani,’Regression shrinkage and selection via the lasso,’J. Roy.Statist.Soc,ser.B,vol.58,no.1,pp.267-288,1996.

[5]S.Chen,D.Donoho,and M.Saunders,’Atomic decomposition by basis pursuit,’SIAM Rev.,vol.43,no.1,pp.129-159,2011.

[6]E.Candes,’Compressive sampling,’Proc.Int.Conger.Mathematics,2006