岳元龍 張彩虹 趙曉磊 韓云峰 左 信

（1.中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院；2.海洋石油工程股份有限公司；3.中海油研究總院有限責(zé)任公司）

在自動化等領(lǐng)域，y=Hx+w是一個重要的線性模型，廣泛用于估計未知參數(shù)x，其中又以Gauss和Legendre在18世紀(jì)初提出的最小二乘估計最為經(jīng)典。1900年，Markov提出Gauss-Markov定理和高斯最小二乘估計，并且證明了高斯最小二乘估計在線性無偏估計中具有最小的估計方差。

均方誤差是衡量不同估計方法優(yōu)劣程度的重要指標(biāo)，估計均方誤差越小，表示這種估計方法越好。 均方誤差等于估計方差與估計偏差平方的代數(shù)和。 經(jīng)典的高斯最小二乘估計是一種無偏估計，即偏差平方等于零，所以高斯最小二乘估計的均方誤差就等于它的估計方差。 當(dāng)數(shù)據(jù)出現(xiàn)復(fù)共線性時，此時最小二乘估計的均方誤差會大幅增加，它不再是最優(yōu)的估計方法。 為了解決這種問題，得到較小的估計均方誤差，科研工作者提出了很多方法，其中，線性有偏估計是最直接有效的方法。 線性有偏估計通過引入較小的偏差，在均方誤差準(zhǔn)則［1～3］條件下，達(dá)到減小最小二乘估計方差的目的。 有偏估計不僅需要考慮方差大小，還要考慮偏差大小。 有偏估計優(yōu)于最小二乘估計表現(xiàn)為有偏估計的均方誤差小于最小二乘估計的均方誤差。

線性有偏估計在近半個世紀(jì)以來發(fā)展迅速，科研工作者提出了不同結(jié)構(gòu)形式的有偏估計。STEIN C針對Stein現(xiàn)象［4］提出James-Stein估計［5］。SCLOVE S L于1968年完善了James-Stein估計并提 出 壓 縮 最 小 二 乘 估 計［6］。 HOERL A E 和KENNARD R W在研究回歸問題中的嶺分析及其應(yīng)用的基礎(chǔ)上［7］，在設(shè)計矩陣中加入了一個偏參數(shù)， 提出最常用的有偏估計方法——嶺估計［8，9］。LIU K J結(jié)合Stein壓縮估計和嶺估計的優(yōu)點(diǎn)，對嶺估計進(jìn)行修正和改進(jìn)，分別于1993年和2003年提出了兩種新的較為常用的有偏估計方法——Liu估 計 和Liu 型 估 計［10，11］。 ?ZKALE M R 和KA?IRANLAR S結(jié)合嶺估計和Liu估計提出兩參數(shù)估計［12，13］，并在均方誤差準(zhǔn)則下證明，當(dāng)觀測矩陣存在復(fù)共線性時，它的估計效果是優(yōu)于最小二乘估計的。 BATAH F S M等提出刀切廣義嶺估計和修正刀切廣義嶺估計，并在均方誤差準(zhǔn)則下得出 它 優(yōu) 于 廣 義 嶺 估 計 的 條 件［14］。 2008 年，SAKALLIOLU S和KA?IRANLAR S綜合嶺估計和帶有先驗(yàn)信息的Liu估計，提出k-d估計類，并與Liu估計、 嶺估計和兩種特殊的Liu型估計進(jìn)行比較， 得到新的有偏估計在均方誤差準(zhǔn)則下優(yōu)于普通最小二乘估計、 普通嶺回歸估計和Liu估計［15］。DURAN E A和AKDENIZ F于2012年提出修正刀切廣義Liu估計， 它是廣義Liu估計和刀切廣義Liu估計的組合估計， 并在均方誤差準(zhǔn)則條件下與廣義Liu估計和刀切廣義Liu估計進(jìn)行比較，在均方誤差準(zhǔn)則下證明了修正刀切廣義Liu估計優(yōu)于廣義Liu估計的一個充要條件［16，17］。 由于不同的估計方法有著不同的形式， 這給研究有偏估計的共同特性增加了難度，為此，岳元龍于2013年提出線性統(tǒng)一有偏估計，將不同的有偏估計方法用一種形式表示［18］。 2016年，劉佳瑞在嶺估計的基礎(chǔ)上考慮了齊次等式約束，提出綜合條件c-K嶺估計的方法，證明這種方法的有偏性［19］。 LIU G和YIN H于2020年在加權(quán)平衡損失下證明了橢球約束下的Gauss-Markov模型的可容許性［20］。 2021年，WANG L Y和CHEN T提出最小二乘估計的一種迭代算法，并基于嶺估計原理推導(dǎo)出了嶺參數(shù)的U曲線法［21］。

在工業(yè)研究中，更關(guān)注選擇哪種有偏估計方法能更好地改善最小二乘估計。 因此，研究不同的典型有偏估計方法改善最小二乘估計方法的均方誤差極小值的能力是否相同就顯得尤為重要，如果相同，說明選用任何一種有偏估計方法改善最小二乘估計都是可行的；如果不同，則可選擇具有最小均方誤差極小值的有偏估計方法改善最小二乘估計。

在多種有偏估計方法中，廣義嶺估計（Generalized Ridge Estimation，GRE） 和 廣 義Liu 估 計（Generalized Liu Estimation，GLE） 是對嶺估計和Liu估計的推廣，是兩種應(yīng)用比較廣泛的典型有偏估計， 修正廣義嶺估計 （Modified Generalized Ridge Estimation，MGRE） 和 刀 切 廣 義Liu 估 計（Jackknifing Generalized Liu Estimation，JGLE）則是先驗(yàn)信息估計類和刀切估計類中具有代表性的估計方法，線性統(tǒng)一有偏估計方法是現(xiàn)有的有偏估計方法 （Linear Unified Biased Estimation，LUBE）的統(tǒng)一表示形式。 因此，筆者選取這5種典型有偏估計方法進(jìn)行研究。

1 線性估計模型及復(fù)共線性判斷

1.1 線性估計模型

線性估計模型中估計未知參數(shù)的一般形式為y=Hx+w，其中，y是m×1維的觀測矩陣，H是m×n維的觀測矩陣，x是n×1維的未知參數(shù)矢量，w是與未 知 參 數(shù)x 無 關(guān) 且 滿 足E（wTx）=0 和Var（w）=σ2I的相同分布的高斯噪聲。 若HTH非奇異，此時最小二乘估計=（HTH）-1HTy。

1.2 矩陣復(fù)共線性判斷

判斷矩陣復(fù)共線性的方法有： 特征根分析法、條件數(shù)法、方差擴(kuò)大因子法和行列式法。 本研究中判斷矩陣的復(fù)共線性時選擇的是條件數(shù)法。

2 有偏估計的一致性分析

本節(jié)選取GRE、GLE、MGRE、JGLE和LUBE共5種典型的有偏估計方法， 利用矩陣的分量形式進(jìn)行典型有偏估計方法的均方誤差極小值的一致性分析的理論推導(dǎo)。

2.1 GRE的極小值分析

GRE是在設(shè)計矩陣時通過引入偏參數(shù)矩陣KGRE來改善最小二乘的方差， 是應(yīng)用最廣泛的有偏估計方法。 GRE的典則形式表示為：

GRE的方差表示為：

將式（1）用矩陣分量形式表示為：

GRE的偏差表示為：

將式（3）用矩陣分量形式表示為：

GRE的均方誤差用矩陣的分量形式表示為：

通過對式（5）進(jìn)行求導(dǎo)，得到：

2.2 GLE的極小值分析

將式（7）用矩陣分量形式表示為：

GLE的偏差為：

將式（9）用矩陣分量形式表示為：

GLE的均方誤差用矩陣的分量形式表示為：

GLE的均方誤差取得極小值，表示為：

2.3 MGRE的極小值分析

MGRE是在GRE的基礎(chǔ)上添加了未知參數(shù)的先驗(yàn)信息b所產(chǎn)生的一種新的有偏估計方法。 假設(shè)先驗(yàn)信息b=，T=diag（ti），0

其中，KMGRE為偏參數(shù)矩陣。

MGRE的方差為：

將式（13）用矩陣分量表示為：

MGRE的偏差表示為：

將式（15）用矩陣分量表示為：

MGRE的均方誤差用矩陣分量表示為：

2.4 JGLE的極小值分析

JGLE是一種綜合了刀切估計和廣義Liu估計的優(yōu)點(diǎn)的有偏估計方法。 偏參數(shù)矩陣FD=diag（fi）=（Λ+I）-1（Λ+D），i=1，2，…，n，JGLE的典則形式表示為：

JGLE的方差為：

將式（19）用矩陣分量表示為：

JGLE的偏差表示為：

將式（21）用矩陣分量表示為：

JGLE的均方誤差用矩陣分量形式表示為：

2.5 LUBE的極小值分析

LUBE是在綜合了多種有偏估計方法的基礎(chǔ)上提出的估計方法。 最小二乘估計=（ZTZ）-1ZTy是針對ZTy進(jìn)行的線性變換矩陣，其中ZTZ=Λ是一個變換算子。 所以，LUBE通過直接調(diào)整變換矩陣，也就是對角矩陣，提高最小二乘估計（LSE）的估計準(zhǔn)確度。 LUBE的典則形式為（T）=。

LUBE的方差表示為：

將式（25）用矩陣分量表示為：

線性統(tǒng)一有偏估計的偏差表示為：

將式（27）用矩陣分量表示為：

LUBE的均方誤差用矩陣分量形式表示為：

3 實(shí)例分析

在5種典型有偏估計方法的均方誤差極小值一致性的理論分析的基礎(chǔ)上，采用經(jīng)典數(shù)據(jù)集進(jìn)行數(shù)據(jù)分析，以更好地說明典型有偏估計的一致性。

1932年，WOODS H等在波蘭進(jìn)行水泥實(shí)驗(yàn)時產(chǎn)生的一組數(shù)據(jù)［22］，是有偏估計研究應(yīng)用最廣泛的工程數(shù)據(jù)，1999年，KACIRANLAR S等在研究中再次使用該數(shù)據(jù)［23］，這組數(shù)據(jù)是應(yīng)用最廣泛的工程數(shù)據(jù)。 本節(jié)也采用這組經(jīng)典的數(shù)據(jù)集例子進(jìn)行數(shù)據(jù)分析。 x1，x2，x3，x4分別代表水泥的4種化學(xué)成分，y0代表每1 g水泥所釋放出的熱量，h1，h2，h3，h4分別為熱量與4種成分含量之間的關(guān)系，詳見表1。

表1 波蘭水泥熱量與4種成分含量的關(guān)系

首先對數(shù)據(jù)處理如下：

參數(shù)向量x0的最小二乘估計為：

表2 數(shù)據(jù)的特征值及特征向量平方

表3 不同有偏估計方法的數(shù)據(jù)分析

圖1a～e 分別是5 種典型有偏估計的方差（Var）、偏差（Bias2）和均方誤差（MSE）的曲線。 可以看出，在偏參數(shù)為零時，有偏估計退化為最小二乘估計， 此時5種典型有偏估計方法的均方誤差是相等的。 隨著偏參數(shù)的增加，5種典型有偏估計曲線呈現(xiàn)相同的變化趨勢，即偏差逐漸增加，方差逐漸減小，均方誤差先減小后增加，但均方誤差曲線都會出現(xiàn)一個極小值。 盡管5種典型有偏估計取得均方誤差極小值時的偏參數(shù)不同，但它們的均方誤差極小值是相同的。 說明不同的有偏估計方法改善最小二乘方差的能力是相同的，即典型有偏估計方法的極小值一致。

圖1 5種典型有偏估計的指標(biāo)曲線

4 結(jié)束語

由于每種有偏估計方法的均方誤差與最小二乘方差的差代表它們改善最小二乘方差的能力， 雖然每種有偏估計方法呈現(xiàn)不同的結(jié)構(gòu)形式，但每種有偏估計方法的均方誤差都存在相同的極小值，即均方誤差極小值與最小二乘方差的差是一個常數(shù)，這個常數(shù)不依賴于有偏估計方法的選擇，這說明它們改善最小二乘的方差能力是相同的。 如果把最小均方誤差作為有偏估計方法改善方差的能力指標(biāo)，那么先驗(yàn)信息估計類的先驗(yàn)信息并不影響改善最小二乘方差的能力。 無論哪種有偏估計方法， 總能找到在某個偏參數(shù)時，均方誤差取得極小值，此時有偏估計方法具有最優(yōu)的改善最小二乘方差的能力。 因?yàn)榈湫陀衅烙嫹椒ǖ淖顑?yōu)估計效果是相同的，那么在實(shí)際參數(shù)估計問題的研究中， 若需達(dá)到最優(yōu)估計效果，可以根據(jù)實(shí)際情況選取任意一種有偏估計方法進(jìn)行參數(shù)估計。