楊 斌 (海軍工程大學(xué)管理工程系，湖北 武漢 430033)

張建軍,瞿 勇 (海軍工程大學(xué)理學(xué)院，湖北 武漢 430033)

線性回歸模型系數(shù)有偏估計研究

楊 斌 (海軍工程大學(xué)管理工程系，湖北 武漢 430033)

張建軍,瞿 勇 (海軍工程大學(xué)理學(xué)院，湖北 武漢 430033)

針對引起線性回歸模型LS估計性能變壞的根本原因，提出了回歸系數(shù)的廣義c-K估計，將眾多經(jīng)典的有偏估計結(jié)合在一起，對有偏估計的改進(jìn)進(jìn)行了研究，分別證明了最小化均方誤差和數(shù)量化矩陣K均可對Stein估計進(jìn)行改進(jìn)，給出了參數(shù)的最優(yōu)值，為病態(tài)線性回歸模型系數(shù)有偏估計的改進(jìn)提供了有效途徑。

有偏估計；廣義c-K估計；嶺估計；Stein估計；均方誤差；可容許性

考慮線性回歸模型:

Y=Xβ+eE(e)=0 Cov(e)=σ2I

(1)

的系數(shù)估計問題，其中，I為n×n單位矩陣；Y為n×1觀測向量;e為n×1 隨機誤差向量；X為n×p的設(shè)計矩陣，且已中心標(biāo)準(zhǔn)化，且R(X)=p；β為p×1未知參數(shù)向量，稱為回歸系數(shù)。

對于p階的正定方陣S=XTX，必存在正交矩陣Q，使:

QTXTXQ=A

其中，A=diag(λ1,λ2,…,λp),λ1≥λ2≥…≥λpgt;0為S的特征值。假定σ2gt;0，并記Z=XQ，且α=QTβ，則模型(1)可改寫為:

Y=Zα+eE(e)=0 Cov(e)=σ2I

(2)

則α的LS估計(Least Squares Estimate，最小二乘估計)為:

針對引起LS估計性能變壞的根本原因，筆者提出了一種新的有偏估計類，研究了有偏估計的改進(jìn)。

1 廣義c-K估計及其基本性質(zhì)

定義1對模型(2)，定義α的廣義c-K估計為:

相應(yīng)地，定義模型(1)的系數(shù)β的廣義c-K估計為:

其中，K=diag(k1,k2,…,kp),k1,k2,…，kp≥0稱為廣義嶺參數(shù)；參數(shù)c≥1稱為壓縮因子。

廣義c-K估計具有如下性質(zhì)：

證明只證明性質(zhì)3，性質(zhì)1，2可從性質(zhì)3的證明中得出。

事實上：

再由Q的正交性，得：

2 對Stein估計的改進(jìn)

(3)

對該函數(shù)最小化，可得以下結(jié)果。

證明由式(3)，有:

將上式分別對k1,k2,…,kp求偏導(dǎo)數(shù)，并令其為零，得:

(4)

(5)

2.2數(shù)量化矩陣K以改進(jìn)Stein估計

(6)

與式(4)不同，由式(6)直接解出的最優(yōu)值非常困難，但是，可以研究最優(yōu)值k*的存在性及其范圍。

從而，有下面的結(jié)果。

由定理3，還可得到以下結(jié)論。

特別重要的是，由上述推論2，再結(jié)合文獻(xiàn)[9]中的結(jié)果，可得以下結(jié)論。

2.3廣義c-K估計的偏差

定理6對任意cgt;1及kgt;0，有：

3 廣義c-K估計的可容許性

關(guān)于可容許性，有如下充要條件:

(cXTX+QKQT)-1(XTX)(XTX)-1(XTX)(cXTX+QKQT)-1≤(cXTX+QKQT)-1(XTX)(XTX)-1I

?(cXTX+QKQT)-1((c-1)XTX+QKQT)(cXTX+QKQT)-1≥O

(7)

注意到c≥1且K≥O，可知(c-1)XTX+QKQT≥O，從而存在矩陣B，使(c-1)XTX+QKQT=BTB，因而有：

(cXXT+QKQT)-1BT(cXTX+QKQT)-1B≥O

4 結(jié) 論

針對引起LS估計性能變壞的根本原因，首次提出了廣義c-K估計類，研究了有偏估計的改進(jìn)問題，分別給出一種最小化廣義c-K估計的均方誤差和選擇數(shù)量矩陣K以改進(jìn)Stein估計的方法，給出了參數(shù)的最優(yōu)值。筆者提出的方法處理工程應(yīng)用問題中的病態(tài)經(jīng)濟模型時，能使某些現(xiàn)象得到更合理的解釋。具體的例子，可以參見文獻(xiàn)[2]中關(guān)于特殊的廣義c-K估計的實例。

[1]王松桂. 線性模型的理論及其應(yīng)用[M]. 合肥: 安徽教育出版社, 1987.

[2] 張建軍. 線性回歸模型系數(shù)嶺估計的改進(jìn)研究[J]. 海軍工程大學(xué)學(xué)報, 2005, 17(1): 54～57.

[3] 張建軍. 線性回歸模型系數(shù)Stein估計的改進(jìn)研究[J]. 海軍工程大學(xué)學(xué)報, 2004, 16(4): 22～25.

[4] Deng W S, Chu C K, Cheng M Y. A study of local ridge regression estimators[J]. Journal of Statistics Planning and Inference, 2001, 93: 225～238.

[5] Wan A T K. On generalized ridge regression estimators under collinearity and balanced loss[J]. Applied Mathematics and Computation, 2002, 129: 455～467.

[6] Hawkins D M, Yin X Y. A faster algorithm for ridge regression of reduced rank data[J]. Computational Statistica amp; Data Analysis, 2002, 40: 253～262.

[7] Ohtani K. Inadimissibility of the Stein-rule estimator under the balanced loss function[J]. Journal of Econometrics, 1999, 88: 193～201.

[8] Hoeral A E, Kennard R W. Ridge regression: biased estimation for non-orthogonal problems[J]. Technometrics, 1970, 12: 55～67.

[9] Stein C M. Multiple regression contributions to probability and statistics[A]. Essays in Honor of Harold Hotelling[C]. Stanford: Stanford University Press, 1960.

[10] Hocking R R, Speed F M, Lynn M J. Aclass of estimators in linear regression[J]. Technometrics, 1976, 18: 425～437.

[11] 凌晨飛. 病態(tài)線性回歸模型系數(shù)的0-k型嶺估計[J]. 湖南大學(xué)學(xué)報, 1990, 17(1): 54～57.

[編輯] 洪云飛

O212

A

1673-1409(2009)02-N019-04

2009-02-27

國家自然科學(xué)基金資助項目(60774029); 海軍工程大學(xué)科學(xué)研究基金資助項目(HGDJJ05005, HGDJJ07007)。

楊斌(1968-)，男，1990年大學(xué)畢業(yè)，碩士，講師，現(xiàn)主要從事多元統(tǒng)計分析、并行與分布式計算和運籌優(yōu)化等方面的研究工作。