收稿日期：2024-03-15

基金項目：國家自然科學(xué)基金（12201091）；重慶市自然科學(xué)基金面上項目（CSTB2022NSCQ-MSX0852）；全國統(tǒng)計科學(xué)研究項目（2022LY019）；重慶市教育委員會科學(xué)技術(shù)研究項目（KJQN202100526）

作者簡介：李孀孀（1999-），女，重慶綦江人，在讀碩士，研究方向為穩(wěn)健估計.E-mail：1247044115@qq.com.

文章編號：2095-6991（2024）04-0029-05

摘要：針對估計參數(shù)具有非負(fù)要求的回歸模型，基于自適應(yīng)Lasso懲罰函數(shù)和加權(quán)指數(shù)平方損失，提出一種關(guān)于非負(fù)穩(wěn)健估計與變量選擇的方法.該方法保證了估計參數(shù)的非負(fù)要求，而且還能進(jìn)行穩(wěn)健的變量選擇.數(shù)值模擬結(jié)果表明該方法與其他方法相比更有效.最后，將該方法運(yùn)用到上證50指數(shù)的追蹤，結(jié)果證明了所提方法的穩(wěn)健性和有效性.

關(guān)鍵詞：非負(fù)估計；加權(quán)指數(shù)平方損失；變量選擇；穩(wěn)健估計

中圖分類號：O212.1""" 文獻(xiàn)標(biāo)志碼：A

Non-negative Robust Estimation and Variable Selection Basedon Weighted Exponential Squared Loss

LI Shuang-shuang

（School of Mathematical Sciences， Chongqing Normal University， Chongqing 401331，China）

Abstract：Aiming at the regression model with non-negative requirements for estimating parameters， based on the adaptive Lasso penalty function and the weighted exponential squared loss， a method for non-negative robust estimation and variable selection is proposed. This method ensures the non-negative requirements of the estimated parameters， and also enables robust variable selection. Numerical simulation results show that the proposed method is more effective than other methods. Finally， the method is applied to the tracking of the SSE 50 index， and the results prove the robustness and effectiveness of the proposed method.

Key words：non-negative estimates; weighted exponential squared loss; variable selection; robust estimate

0" 引言

許多學(xué)者在變量選擇和穩(wěn)健估計領(lǐng)域做了大量研究.Tibsniran［1］提出了Lasso估計，該方法是在模型中引入Lasso懲罰函數(shù)，將不重要變量的估計參數(shù)壓縮為零，以此來達(dá)到變量選擇的目的.但是Lasso估計不具有Oracle性質(zhì).因此，Zou［2］在Lasso估計的基礎(chǔ)上提出了自適應(yīng)Lasso估計，該方法對每個估計參數(shù)施加不同的懲罰，并且證明了自適應(yīng)Lasso估計具有Oracle性質(zhì).這些方法大多數(shù)都是基于最小二乘法來進(jìn)行研究的，但是最小二乘法不具有穩(wěn)健性.為了克服不穩(wěn)健的缺點，Wang等［3］基于指數(shù)平方損失提出了一種穩(wěn)健的變量選擇方法，該方法既能保證估計的穩(wěn)健性還能進(jìn)行變量選擇，并證明了該方法具有良好的統(tǒng)計性質(zhì).但是指數(shù)平方損失法只能限制被解釋變量中異常值對估計的影響，當(dāng)解釋變量出現(xiàn)異常值時該方法仍然不具有穩(wěn)健性.為了限制解釋變量中異常值對估計的影響，Yang等［4］在指數(shù)平方損失的基礎(chǔ)上加了一個權(quán)重，提出一種更加穩(wěn)健的估計方法，該方法在解釋變量和被解釋量都存在異常值時仍然能保證估計是穩(wěn)健的.

上述提到的方法都不能保證估計參數(shù)的非負(fù)要求，所以有一些學(xué)者對估計參數(shù)的非負(fù)要求進(jìn)行了研究.Slawski和Hein［5］提出了非負(fù)最小二乘估計，滿足了估計參數(shù)的非負(fù)要求.Wu等［6］在非負(fù)最小二乘估計的基礎(chǔ)上提出了非負(fù)Lasso估計，既能保證估計參數(shù)的非負(fù)要求還能進(jìn)行變量選擇.Yang和Wu［7］提出非負(fù)自適應(yīng)Lasso估計，并證明了該方法具有Oracle性質(zhì).Li和Yang［8］提出非負(fù)自適應(yīng)彈性網(wǎng)估計，在一定的正則條件下，證明所提估計具有Oracle性質(zhì).彭麗楠［9］將眾數(shù)回歸與非負(fù)估計相結(jié)合，提高了非負(fù)估計的穩(wěn)健性，但是眾數(shù)回歸只能限制被解釋變量出現(xiàn)異常值對估計的影響，當(dāng)解釋變量出現(xiàn)異常值時該方法依然不穩(wěn)建.由于加權(quán)指數(shù)平方損失估計具有良好的穩(wěn)健性，于是本文基于自適應(yīng)Lasso懲罰函數(shù)和加權(quán)指數(shù)平方損失，提出一種非負(fù)穩(wěn)健估計與變量選擇的方法，該方法既能保證估計參數(shù)的非負(fù)要求，同時在解釋變量和被解釋變量都存在異常值時仍能夠進(jìn)行穩(wěn)健的變量選擇.

1" 估計方法

考慮線性回歸模型：

Y=Xβ+ε，（1）

其中Y=（Y1，…，Yn）T是n×1維被解釋變量；X=（X1，…，Xn）T是n×p維解釋變量；β=（β1，…，βp）T是p×1維未知參數(shù)；ε=（ε1，…，εn）T是n×1維隨機(jī)誤差.本文將Y和X都進(jìn)行中心化處理，因此該線性回歸模型不含截距項.

由Wang等［3］提出的指數(shù)平方損失法是穩(wěn)健的，有如下形式：

φγti=1－exp－t2iγ，（2）

其中ti=Yi－XTiβ，γgt;0為調(diào)節(jié)參數(shù)，控制著估計的穩(wěn)健性和有效性.當(dāng)γ較大時，φγt≈t2γ，因此在極端情況下，該方法類似于最小二乘法.因此選取較小的γ可以限制異常值對估計參數(shù)的影響.但是該方法只能限制被解釋變量中的異常值對估計的影響，當(dāng)解釋變量存在異常時該方法仍然不穩(wěn)健.因此結(jié)合文獻(xiàn)［4］給出基于加權(quán)指數(shù)平方損失的目標(biāo)函數(shù)：

Qβ=

∑ni=1hXi1－exp－Yi－XTiβ2γ，（3）

其中：

h（Xi）=min1，bXi－μ∧TS－1Xi－μ∧ρ2

是馬氏距離函數(shù)，可以限制解釋變量中異常值對模型估計的影響.ρ≥1，μ∧是位置參數(shù)，S是尺度參數(shù)，b是0.95分位點的卡方分布，且卡方分布的自由度為p.

利用加權(quán)指數(shù)平方損失可以得到更加穩(wěn)健的估計，但是不能選出重要的解釋變量，即無法進(jìn)行變量選擇.因此本文把加權(quán)指數(shù)平方損失與自適應(yīng)Lasso懲罰函數(shù)相結(jié)合，提出一種新的非負(fù)穩(wěn)健估計與變量選擇的方法，得到的目標(biāo)函數(shù)為以下形式：

Q1β=

∑ni=1hXi1－exp－Yi－XTiβ2γ+

λ∑pj=1ω∧jβj，（4）

其中ω∧=ω∧1，…，ω∧p是對每個估計參數(shù)施加不同懲罰的權(quán)重向量，λgt;0稱為懲罰參數(shù)，控制著懲罰的尺度.

最小化式（4）就可以得到關(guān)于β的非負(fù)估計：

β∧=argminβ≥0－∑ni=1hXi

exp－Yi－XTiβ2γ+λ∑pj=1ωjβj.（5）

2" 估計算法與調(diào)節(jié)參數(shù)的選擇

2.1" 估計算法

為了計算出關(guān)于β的非負(fù)估計，把EM算法與乘性迭代相結(jié)合，具體算法如下：

給定一個初始值β0，

E步：估計權(quán)重ζsβk，s=1，…，n，

ζsβk=

hXiexp－Yi－XTiβk2γ∑ni=1hXiexp－Yi－XTiβk2γ.（6）

M步：更新βk+1.

βk+1=

argminβ≥0－∑ni=1ζsβk

log

exp－Yi－XTiβ2γ+

λ∑pj=1ω∧jβj=

argminβ≥0Y－XβTWY－Xβ+

λ∑pj=1ω∧jβj=

argminβ≥012βT2XTWXβ+

λω∧－2XTWYTβ，（7）

其中W是n×n的對角矩陣，對角元素為ζsβk.

此時M步就轉(zhuǎn)換為一個非負(fù)二次規(guī)劃的問題，利用乘性迭代可解出.

最小化：Fb=12βTAβ+bβ，約束：β≥0，（8）

其中A=2XTWX且是正定矩陣，b=λω∧－2XTWY.

記

A+ij=Aij，Aijgt;0；

0，Aij≤0，A－ij=Aij，Aijlt;0；0，Aij≥0.

令a=A+β，c=A－β，則有ai=A+βi，ci=A－βi.

乘性迭代的表達(dá)式為

βk+1i=－bi+b2i+4aici122aiβki，（9）

其中ai，bi，ci分別是a，b，c的第i個分量.

2.2" 參數(shù)選擇

調(diào)節(jié)參數(shù)γ控制著估計的穩(wěn)定性和有效性，所以選擇出一個合適的γ是非常有必要的.

假設(shè)估計參數(shù)的協(xié)方差矩陣為如下形式：

V∧γ=Inβ∧－1∑∧nInβ∧－1，（10）

其中

Inβ∧=－2γ∑ni=1hXiexp

－Yi－XTiβ∧2γYi－XTiβ∧2γ－1×

1n∑ni=1XiXTi，

∑∧n=cov－h(huán)X1exp

－Y1－XT1β∧2γ2Y1－XT1β∧γX1，…，

－h(huán)Xnexp－Yn－XTnβ∧2γ

2Yn－XTnβ∧γXn.

在協(xié)方差矩陣的基礎(chǔ)上可以選出最優(yōu)的γ，即γopt=argmindetV∧γ.

懲罰參數(shù)λ的取值決定了懲罰函數(shù)的尺度，所以想要選出重要的變量，找到一個合適的λ是非常重要的.本文使用BIC準(zhǔn)則來選擇最優(yōu)的λ，即讓以下函數(shù)達(dá)到最?。?/p>

BICλ=log∑ni=1hXi1－

exp－Yi－XTiβ∧2γopt+dfλlognn，（11）

其中β∧為給定懲罰參數(shù)λ下的加權(quán)指數(shù)平方損失的非負(fù)估計的估計值，dfλ是β∧中非零分量的個數(shù).

基于上述的討論，最終算法步驟如下：

步驟1" 給定一個初始值β0，利用非負(fù)最小二乘得到；

步驟2" 確定調(diào)節(jié)參數(shù)γ；

步驟3" 確定懲罰參數(shù)λ；

步驟4" 在當(dāng)前估計值βk下，利用式（9）得到新的估計值βk+1；

步驟5" 重復(fù)步驟2，3，4，直到估計收斂，即‖βk+1－βk‖lt;10－6.

3" 數(shù)值模擬與實證分析

3.1" 數(shù)值模擬

例1" 考慮數(shù)據(jù)來自于以下線性回歸模型：

Yi=XTiβ+εi，i=1，…，n.（12）

其中β=（3，1.5，2，0，0，0，0，0）T，Xi=（Xi1，…，Xi8）T～N（0，Ω），其中Ω中的第（i，j）個元素為0.5|i－j|，1≤i，j≤n.考慮隨機(jī)誤差項ε分別服從以下3種分布：標(biāo)準(zhǔn)正態(tài)分布N（0，1）、自由度為3的t分布t3、混合正態(tài)分布MN：0.9N（0，1）+0.1N（0，16）.對于每種情況分別模擬200次，結(jié)果如表1所列.為了方便比較，本文將提出的加權(quán)指數(shù)平方損失的非負(fù)穩(wěn)健估計與變量選擇記為WNEXP，指數(shù)平方損失的非負(fù)穩(wěn)健估計與變量選擇記為NEXP，非負(fù)自適應(yīng)Lasso估計記為NLS，并且采用以下幾個指標(biāo)來評價估計的好壞.

（1）均方誤差，其定義為MSE=‖β－β∧‖2.

（2）正確識別0系數(shù)的平均個數(shù)：C.

（3）錯誤識別非0系數(shù)的平均個數(shù)：IC.

（4）正確識別真實模型比例：CF.

從表1中可以看出，當(dāng)隨機(jī)誤差項服從標(biāo)準(zhǔn)正態(tài)分布時，三種估計方法差別不大.但是當(dāng)隨機(jī)誤差項服從t3分布和混合正態(tài)分布時，WNEXP與NEXP的估計方法更好，說明指數(shù)平方損失和加權(quán)指數(shù)平方損失都能限制被解釋變量中異常值對估計的影響.

仍然考慮式（12）的線性回歸模型，隨機(jī)誤差項分別服從例1中的三種分布，并且在產(chǎn)生的數(shù)據(jù)中選取5%的解釋變量來產(chǎn)生異常值.評價指標(biāo)與例1中的評價指標(biāo)相同，模擬結(jié)果如表2所列.

從表2中可以看出在三種誤差分布中WNEXP的估計效果最好，其次是NEXP，最差的是NLS.說明WNEXP方法能同時抵御解釋變量和被解釋變量的異常值，而NEXP方法只能限制被解釋變量中異常值對估計的影響，不能限制解釋變量中異常值對估計的影響.并且隨著樣本量的增加WNEXP的MSE值也隨之越來越小，這說明本文所提方法是相合的，證明了本文所提方法的穩(wěn)健性和有效性.

3.2" 實證分析

指數(shù)追蹤是投資者選擇基金的重要參考依據(jù)，如何利用較少的成分股來得到較小的追蹤誤差，就需要用到變量的選擇，同時做指數(shù)追蹤時對估計參數(shù)還有非負(fù)的要求.所以本節(jié)將討論加權(quán)指數(shù)平方損失的非負(fù)穩(wěn)健估計與變量選擇在指數(shù)追蹤上的應(yīng)用.

由于成分股每半年就會進(jìn)行調(diào)整，因此本文選取2023年6月20日至2023年12月8日期間的上證50指數(shù)以及所有成分股的收盤價作為研究對象.在此期間成分股沒有發(fā)生變化，一共116個樣本，并將搜集到的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化.

將上證50指數(shù)的收盤價作為被解釋變量，50支成分股的收盤價作為解釋變量，建立線性回歸模型.將2/3的樣本作為訓(xùn)練集，1/3的樣本作為測試集，利用訓(xùn)練集獲得估計參數(shù).為了方便比較分別計算訓(xùn)練集和預(yù)測集的誤差.訓(xùn)練集誤差記為ISPE，測試集誤差記為OSPE，表達(dá)式如下：

ISPE=∑t∈Iyt－y∧t2/I，（13）

OSPE=∑t∈oyt－y∧t2/O，（14）

其中：t為追蹤時間，I為訓(xùn)練集樣本數(shù)，O為測試集樣本數(shù).指數(shù)追蹤結(jié)果如表3所列和圖1所示，其中圖1表示在測試集上各種方法的實際值與預(yù)測值的走勢圖.

從表3中可以看出不管是訓(xùn)練集誤差還是測試集誤差，WNEXP的誤差都比NLS的誤差小，并且利用NLS方法選擇了22支成分股，WNEXP方法選擇了20支成分股，說明WNEXP方法能用最少的成分股得到最小的追蹤誤差.從圖1中也可以看出本文所提出的方法得到的預(yù)測值曲線和實際值曲線擬合得更好.

4" 結(jié)語

本文基于自適應(yīng)Lasso懲罰函數(shù)和加權(quán)指數(shù)平方損失，提出了基于加權(quán)指數(shù)平方損失的非負(fù)穩(wěn)健估計與變量選擇的方法.通過數(shù)值模擬可以看出本文提出的方法既能保證估計參數(shù)的非負(fù)要求，同時在解釋變量和被解釋變量都存在異常值時仍能夠進(jìn)行穩(wěn)健的變量選擇.將本文所提方法運(yùn)用于上證50指數(shù)的股指追蹤，該方法能利用最少的成分股得到最小的追蹤誤差，證明了本文所提方法的穩(wěn)健性和有效性.

參考文獻(xiàn)：

［1］ TIBSHIRANI R.Regression shrinkage and selection via the lasso［J］.Journal of the Royal Statistical Socie-ty Series B：Statistical Methodology，1996，58（1）：267-288.

［2］ ZOU H.The adaptive lasso and its oracle properties［J］.Journal of the American statistical association，2006，101（476）：1418-1429.

［3］ WANG X，JIANG Y，HUANG M，et al.Robust variable selection with exponential squared loss［J］.Journal of the American Statistical Association，2013，108（502）：632-643.

［4］ YANG H，LV J，GUO C.Robust variable selection in modal varying-coefficient models with longitudinal［J］.Journal of Statistical Computation and Simulation，2015，85（15）：3064-3079.

［5］ SLAWSKI M，HEIN M.Non-negative least squares for high-dimensional linear models：Consistency and sparse recovery without regularization［J］.Electronic Journal of Statistics，2013，7：3004-3056.

［6］ WU L，YANG Y，LIU H.Nonnegative-lasso and app-lication in index tracking［J］.Computational Statistics amp; Data Analysis，2014，70：116-126.

［7］ YANG Y，WU L.Nonnegative adaptive lasso for ultra-high dimensional regression models and a two-stage method applied in financial modeling［J］.Journal of Statistical Planning and Inference，2016，174：52-67.

［8］ LI N，YANG H，YANG J.Nonnegative estimation and variable selection via adaptive elastic-net for high-dimensional data［J］.Communications in Statistics-Simulation and Computation，2021，50（12）：4263-4279.

［9］ 彭麗楠.非負(fù)眾數(shù)回歸變量選擇及在股指追蹤的應(yīng)用［J］.樂山師范學(xué)院學(xué)報，2023，38（4）：13-19.

［責(zé)任編輯：趙慧霞］