梁澤群

【摘要】本文對(duì)Stein型根方估計(jì)[1]進(jìn)行了進(jìn)一步的討論，計(jì)算出其均方誤差和均方殘差，并給出了M（s）[2]準(zhǔn)則，然后計(jì)算出了在M（s）準(zhǔn)則Stein型根方估計(jì)的s與c的關(guān)系，找出了Stein型根方估計(jì)的最優(yōu)估計(jì).

【關(guān)鍵詞】Stein型根方估計(jì)；均方誤差；均方殘差M（s）準(zhǔn)則

對(duì)于線性回歸模型Y=Xβ+ε，E（ε）=0，Cov（ε）=σ2In.本文討論當(dāng)模型的設(shè)計(jì)陣病態(tài)時(shí)，因?yàn)閄′X的某些特征根λi幾乎為零，這時(shí)最小二乘估計(jì)的均方誤差MSE（β^）=σ2∑pi=11λi變得很大，這說明最小二乘估計(jì)值與真值之間有很大的偏差，所以那些小于1的特征根對(duì)MSE（β^）值的影響很大，根方估計(jì)[3]就是通過將這些小于1的特征根進(jìn)行k-1次方（01），自然也能達(dá)到減小均方誤差MSE（β^）目的.將這兩種估計(jì)綜合一下進(jìn)行研究，就給出了一種新的估計(jì).

一、敘述模型及估計(jì)量

對(duì)于線性回歸模型：

Y=Xβ+ε，E（ε）=0，Cov（ε）=σ2In，（1.1）

其中，Y是n維觀測(cè)向量，β是p維未知參數(shù)向量，X是n×p設(shè)計(jì)陣，ε是n維隨機(jī)誤差向量，In為單位陣，Rank（X）=p.

定義1.1[1]對(duì)于線性回歸模型（1.1），稱

β^（k）（c）=c-1（X′X）k-1X′Y，0≤k<1，c≥1（1.2）

為參數(shù)β的Stein型根方估計(jì)，其中（X′X）k-1定義為[1]

（X′X）k-1=Qλk-11λk-12λk-1p Q′，（1.3）

其中，λ1≥λ2≥…≥λp>0是X′X的特征根，Q是X′X的特征向量矩陣，并且QQ′=1.

很容易得到Stein型根方估計(jì)（1.2）有以下特殊情況：

（1）當(dāng)c=1，k=0時(shí)，β^（k）（c）=（X′X）-1X′Y，就是最小二乘估計(jì)；

（2）當(dāng)c=1，0

（3）當(dāng)c>1，k=0時(shí)，β^（k）（c）=（cX′X）-1X′Y，就是Stein估計(jì).

對(duì)于線性模型（1.1）里面的X為可知的列滿秩矩陣，y是n×1維觀察向量，β是p×1維未知參數(shù)向量，rk（X）=p≤n，σ2≥0是未知的參數(shù)，ε是n×1隨機(jī)誤差向量，In是n階的單位矩陣.E（ε）表示ε的數(shù)學(xué)期望，Cov表示協(xié)方差矩陣.在線性模型（1.1）中引入變量Z=XQ，α=Q′β，其中Q′為p階的正交矩陣，它的列向量是X′X的特征向量，Λ=diag（λ1，…，λp），λj≥0是X′X的特征根，這樣模型可以得到（1.1）的典則形式

y=Zα+ε，E（ε）=0，Cov（ε）=σ2In.（1.4）

這時(shí)Z′Z=Q′X′XQ=Λ.那么典則參數(shù)α的最小二乘估計(jì)是=Λ-1Z′y，并且MSE（α）=σ2∑pi=11λi.

我們可以得出模型（1.4）中α的Stein型根方估計(jì)[1]

α（k）（c）=c-1Λk-1Z′y=Q′β（k）（c）.

性質(zhì)1.1Stein根方估計(jì)β^（k）（c）是β的線性有偏估計(jì).

證明定義1.1

β^（k）（c）=c-1（X′X）k-1X′Y=c-1（X′X）kβ^，

有E（β^（k）（c））=c-1（X′X）β≠β，0≤k<1，c≥1.

性質(zhì)1.2在模型（1.1）下，記M（c，k）=MSE（β^（k）（c）），Stein型根方估計(jì)的均方誤差為

M（c，k）=σ2c-2∑pi=1λ2k-1i+∑pi=1（c-1λki-1）2α2i，（1.5）

其中，α=Q′β，λ1≥λ2≥…≥λn>0，0≤k<1，c≥1.

性質(zhì)1.3在模型（1.1）下，記ΔMSR（β^（k）（c））是Stein型根方估計(jì)的均方殘差[2]為

ΔMSR（β^（k）（c））=∑pi=1（σ2+α2λ）（λk-c）2c2.（1.6）

證明ΔMSR（β^（k）（c））=E‖Zα（k）（c）-Z‖2

=E‖Z[c-1Λk-1-Λ-1]Z′y‖2

=σ2tr[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]+

（Ey）′[Z（c-1Λk-1-Λ-1）Z′Z（c-1Λk-1-Λ-1）Z′]Ey

=σ2tr[Λ2（c-1Λk-1-Λ-1）2]+α′Λ3（c-1Λk-1-Λ-1）2α

=∑pi=1（σ2+α2λ）（λk-c）2c2.

二、M（s）準(zhǔn)則

定義2.2在Stein型根方估計(jì)中，我們稱

M（s）=sMSE（β～（k）（c））+（1-s）ΔMSR（β～（k）（c））（2.1）

為M（s）準(zhǔn)則.這里s∈[0，1]是給定的常數(shù).選出c令M（s）最小，從而找出β（k）（c）的最優(yōu)估計(jì).

三、β（k）（c）在M（s）準(zhǔn)則下的優(yōu)良性

把（1.5）和（1.6）代入到（2.1）中，我們得到

M（s）=s（σ2c-2λ2k-1i+（c-1λki-1）2）α2+（1-s）（c-2（σ2+α2λi）（λki-c）2）.（3.1）

然后我們對(duì)（2.2）中的c求偏導(dǎo)數(shù)

M（s）c=-2sσ2c-3λ2k-1i-2sα2c-3λ2ki+2sα2c-2λki+

（1-s）[-2c-3λ2ki（σ2+α2λi）+2c-2λki（σ2+α2λi）]

=2sc-2λki[α2-c-1λki（σ2λ-1-α2）]+

（1-s）[（2c-2λki-2c-3λ2ki）（σ2+α2λ）]

令上式等于零，得出結(jié)果c（s），這時(shí)的β（k）（c）為Stein型根方估計(jì)中M（s）準(zhǔn)則下的最優(yōu)估計(jì).

四、結(jié)語

通過計(jì)算我們得出，只有當(dāng)c和s的關(guān)系滿足c（s），我們才能得出Stein型根方估計(jì)中M（s）準(zhǔn)則下的最優(yōu)估計(jì).

【參考文獻(xiàn)】

[1]申潔麗.線性回歸模型參數(shù)的Stein型根方估計(jì)[D].長(zhǎng)沙：湖南大學(xué)，2012.

[2]王志福.嶺估計(jì)中參數(shù)選擇的一種新方法[J].錦州師范學(xué)院學(xué)報(bào)，2003（1）：51-53.

[3]夏結(jié)來.回歸系數(shù)的根方有偏估計(jì)及其應(yīng)用[J].數(shù)理統(tǒng)計(jì)與應(yīng)用概率，1988（1）：21-29.

[4]Stein C.Inadmissibility of the Usual Estimator for the Mean of a Multivariate Normal Distribution[J].Proc Third Berkeley Symp.Math.Statist.Prob.，1956（1）：197-206.

[5]王松桂.線性模型參數(shù)估計(jì)的新進(jìn)展[J].數(shù)學(xué)進(jìn)展，1985（14）：193-204.