隋丹陽鄂英力遼寧裝備制造職業(yè)技術(shù)學(xué)院 （沈陽 06）高明實(shí)驗(yàn)學(xué)校 （沈陽 0000）

?

對線性回歸模型新有偏估計 β?= （K， c）的進(jìn)一步討論

隋丹陽1鄂英力2
1遼寧裝備制造職業(yè)技術(shù)學(xué)院 （沈陽 110161）2高明實(shí)驗(yàn)學(xué)校 （沈陽 110000）

摘 要在線性回歸模型 Y= X β+ ε；E（ε） = 0；cov = σ2Σ； Σ ＞0下給出了有偏估計β?（K，c）= c（ XTΣˉ1X + K）ˉ1（XTΣˉ1Y +β?），其中 K ＞ 0，c＞ 0為參數(shù)，β?表示線性回歸模型的廣義最小二乘估計，討論了這種有偏估計的優(yōu)良性質(zhì)，得出了主要結(jié)論。

關(guān)鍵詞有偏估計；廣義最小二乘；嶺估計

1 考慮線性回歸模型

X為已知列滿秩矩陣， Y = n×1為可觀測的隨即向量，β為 p×1未知參數(shù)向量， r（ X ）= p ≤ n，σ2＞0為未知參數(shù)，ε為 n×1隨機(jī)誤差向量。 In為n階單位矩陣， E（ε）表示ε的均值向量，cov（ε）表示ε的協(xié)方差矩陣。在模型（1）中給出典則交換Z = XQ，典則參數(shù)α = QTβ，其中Q為p階正交矩陣，其列向量為 XTX的特征向量，Λ = diag （λ1， λ2，"，λp），λj≥0（j =1，2，"，p）為XTX的特征根。則模型（1）化為典則形式：

2 β?（K， c）的提出

本文將模型推廣到奇異線性模型中：

考慮模型（6）的典則形式：設(shè)λ≥ λ ≥ " ≥λ為

12pXTX = XTΣˉ1X的特征根，t1， t2，" ，tp為相應(yīng)的標(biāo)準(zhǔn)正交化特征向量。記 T = （t1，"，tp），Λ =diag（λ1， " ，λp），則有Y = Zα+。這里 Z = XT ，α = TTβ.因?yàn)閆TZ = TTXTXT =Λ，所以 α?= TTβ?=Λˉ1ZTY.

我們將對廣義嶺估計做進(jìn)一步改進(jìn)，給出模型（5）的一個新估計：

3 β?（K， c）的均方誤差和均方殘差

通過計算我們發(fā)現(xiàn)當(dāng)MSE逐漸減少的同時，對模型擬合的均方殘差（MSR）卻在增大，這與我們期望的相反。下面通過計算來討論MSE和MSR的變化情形［1］。考慮估計：

顯然 MSEβ?（K， c）是（ki， c）的二元連續(xù)函數(shù)，且滿足隱函數(shù)定理［2］的一切條件。

這說明c與 λi+ ki之間有線性關(guān)系。令上述兩個偏導(dǎo)數(shù)分別等于零，得

可以判斷 MSEβ?（K， c）在（c?， ki?）處取得最小值，且

當(dāng)c→∞或 k→∞時，

其中 MSR（β?）為β?的均方殘差， ΔMSRβ?（K， c）為 β?（K， c）對β?修正后產(chǎn)生的平均增量，對于MSR（β?）已熟知，故只討論 ΔMSRβ?（K， c）。

4 β?（K， c）的可容許性

引理［3］：模型（5）中，在二次損失（d ˉβ）T（d ˉβ）下，LY在線性估計類中是β的可容許估計的充分必要條件是：

不成立。

定理：模型（5）在均方誤差意義下在線性估計類中，當(dāng)r（ X ）= p， Σ＞ 0，β?（K， c） = c（ XTΣˉ1X + K ）ˉ1（XTΣˉ1Y + β?）是β的可容許估計的充要條件為0 < ki

證明：充分性在文獻(xiàn)［4］中已證，下面主要證明必要性。

因?yàn)長Y為可容許估計，所以 ?b ∈ （0，1），g（ b， L）不是半正定陣，T為正交陣，即 ?b ∈ （0，1），TTg（ b， L） T 不是半正定陣，令

因?yàn)??b ∈ （0，1），TTg（ b， L） T 不是半正定陣，

所以， ?b ∈（0，1），min ｛y1（ b） ，y2（ b） ，"，yp（b） ｝<0

則0

min ｛y1（ b ），y2（ b） ，"，yp（b ）｝= y1（ b）＞0

則 ?b ∈ （0，1），TTg（ b， L） T 半正定，矛盾。

所以， β?（K， c） =c（ XTΣˉ1X + K ）ˉ1（XTΣˉ1Y +β?）是β的可容許估計的充要條件為0 < ki

參考文獻(xiàn)

［1］騰素珍，王志福.對泛嶺古跡的最優(yōu)準(zhǔn)則的進(jìn)一步討論［J］.大連理工大學(xué)學(xué)報，1994，9（2），42-47.

［2］華東師范大學(xué)數(shù)學(xué)系編.隱函數(shù)定理及其應(yīng)用（數(shù)學(xué)分析下冊）第三版［M］.北京：高等教育出版，2001.

［3］王松佳.線性模型的理論及應(yīng)用［M］.合肥：安徽教育出版社.1987.

［4］張瑋，劉祿勤.線性回歸模型的一種有偏估計［J］.武漢大學(xué)學(xué)報（理學(xué)報），2006，6（3）：281-281

（責(zé)任編輯：文婷）

中圖分類號：O1-0

文獻(xiàn)標(biāo)識碼：A

文章編號：1003-3319（2016）01-00013-02