周 鑫

（南京曉莊學(xué)院，江蘇 南京 210000）

1 問題提出

在多元線性回歸模型中，如果解釋變量之間存在著密切的線性相關(guān)關(guān)系，就稱它們之間存在著多重共線性。在出現(xiàn)多重共線性情形時(shí)，普通最小二乘估計(jì)不再適用；回歸參數(shù)的估計(jì)值方差會(huì)很大，從而影響自變量對(duì)因變量的解釋；估計(jì)的精度會(huì)降低；估計(jì)的效果也會(huì)變壞。在實(shí)際經(jīng)濟(jì)問題的多元回歸分析中，多重共線性的現(xiàn)象很多，這時(shí)我們就應(yīng)該尋找另外的回歸方法對(duì)參數(shù)進(jìn)行估計(jì)。

2 方法介紹

目前，處理多重共線性問題的三種有偏回歸方法主要是：主成分回歸（PCR）、嶺回歸（RR）和偏最小二乘回歸（PLS）。主成分回歸是通過對(duì)解釋變量先進(jìn)行主成分分析，綜合提取出自變量的少數(shù)幾個(gè)互不相關(guān)的主成分，而后建立因變量與主成分的回歸關(guān)系式，最后再還原成關(guān)于原來自變量的回歸方程的一種方法。嶺回歸是利用嶺估計(jì)(X′X+kI)-1X′Y 來替代普通最小二乘估計(jì)(X′X)-1X′Y，從而消除了普通最小二乘估計(jì)中矩陣X′X 無法求逆的問題。偏最小二乘回歸是先在自變量集和因變量集中分別提取第一潛在因子t1與u1，其中t1與u1分別是自變量與因變量的線性組合，要求t1與u1盡可能多地提取所在變量組的變異信息，且t1與u1的相關(guān)程度達(dá)最大，然后建立因變量與t1的回歸方程，若回歸方程不能達(dá)到滿意的精度，則繼續(xù)提取第二潛在因子，否則停止。

這三種有偏回歸方法在處理多重共線性問題上到底效果如何，以下將通過兩個(gè)實(shí)例來進(jìn)行比較分析，并從預(yù)測均方誤差PE2=E(y-（y)T(y-（y)和調(diào)整的復(fù)測定系數(shù)R2兩方面分別比較三種方法所得出的回歸模型在預(yù)測方面的優(yōu)劣性和擬合效果好壞。

3 實(shí)例比較

（1）為了研究我國職工的平均工資，需建立以職工平均工資指數(shù)為因變量y，以國有單位貨幣工資指數(shù)x1、城鎮(zhèn)集體單位貨幣工資指數(shù)x2、其他單位貨幣工資指數(shù)x3為自變量的回歸方程。據(jù)《中國統(tǒng)計(jì)年鑒》收集了1990－2005年的數(shù)據(jù)如下：

利用統(tǒng)計(jì)軟件SAS 作統(tǒng)計(jì)分析可得，用普通最小二乘估計(jì)求得的回歸方程為：

y=-8.32578+0.74950x1+0.34291x2-0.01296x3

顯然，x3前系數(shù)符號(hào)與實(shí)際不符，而且x3的條件指數(shù)為132.48232，說明多重共線性問題嚴(yán)重，用主成分回歸、嶺回歸、偏最小二乘回歸分別來處理，可得：

從表格中可看出，PE2(PLS)＜PE2(PCR)＜PE2(RR)，說明在模型的預(yù)測方面，PLS 的精度最高，PCR 次之，RR 最差；而R2(PLS)＞R2(PCR)＞R2(RR)，說明PLS 擬合原數(shù)據(jù)的效果最好，PCR 其次，RR 較差。

（2）為了建立中國糧食生產(chǎn)函數(shù)的回歸模型，以糧食產(chǎn)量為因變量y（萬噸），以影響其主要因素：農(nóng)業(yè)化肥施用量x1（萬千克）、糧食播種面積x2（千公頃）、成災(zāi)面積x3（公頃）、農(nóng)業(yè)機(jī)械總動(dòng)力x4（萬千瓦）、農(nóng)業(yè)勞動(dòng)力x5（萬人）為自變量建模。根據(jù)《中國統(tǒng)計(jì)年鑒》，查得以下相關(guān)數(shù)據(jù)：

在SAS 軟件上求解可得，自變量x1，x4的方差膨脹因子分別為16.30926 和16.64266，這兩個(gè)值都大于10，說明存在很強(qiáng)的多重共線性問題。下面是用PCR、RR、PLS 處理的結(jié)果：

從表格中可看出，PE2(RR)＜PE2(PLS)＜PE2(PCR)，R2(RR)＞R2(PLS)＞R2(PCR)。說明在此例中，無論是從模型的預(yù)測精度方面，還是從擬合度方面，RR 都優(yōu)于其他兩種方法。

4 總結(jié)

從以上兩例可以看出，這三種有偏回歸方法都可以處理多重共線性問題，但我們不能說哪種方法一定優(yōu)于其他方法，因?yàn)槲覀兛紤]問題的角度和研究問題的目的往往不同。有時(shí)我們只從預(yù)測角度考慮；有時(shí)只從擬合角度考慮，而不考慮模型的經(jīng)濟(jì)意義；有時(shí)希望模型還能給出合理的經(jīng)濟(jì)解釋。另外，需要指出的是，在這兩個(gè)例子中，自變量的個(gè)數(shù)都較少，用三種方法建立的回歸方程都包含了所有的自變量。如果碰到自變量個(gè)數(shù)較多的問題，最好在進(jìn)行回歸建模之前，先進(jìn)行自變量的篩選，而后再用這幾種方法求解。

［1］高惠璇.實(shí)用統(tǒng)計(jì)方法與SAS 系統(tǒng)[M].北京：北京大學(xué)出版社，2001.

［2］何曉群.現(xiàn)代統(tǒng)計(jì)分析方法與應(yīng)用[M].北京：中國人民大學(xué)出版社，1998.