黃恒君，劉 明

（蘭州商學(xué)院a.統(tǒng)計(jì)學(xué)院，b.甘肅省經(jīng)濟(jì)發(fā)展數(shù)量分析研究中心,蘭州 730020）

0 引言

線性回歸模型最基本的參數(shù)估計(jì)方法是普通最小二乘法，在最小二乘法下線性回歸模型具有良好的統(tǒng)計(jì)性質(zhì)，從數(shù)理的角度來分析，最小二乘估計(jì)方法及估計(jì)結(jié)果的數(shù)學(xué)特征也非常顯著，用數(shù)學(xué)思想對(duì)最小二乘估計(jì)方法及估計(jì)結(jié)果進(jìn)行分析和研究，能夠?qū)⑵渲庇^化、系統(tǒng)化。我們?cè)谜缓屯队皩?duì)普通最小二乘法原理作出了幾何解釋[1]，在此基礎(chǔ)上，本文利用“長(zhǎng)度”和“角度”等幾何概念，分別對(duì)普通最小二乘估計(jì)形成的回歸系數(shù)、相關(guān)系數(shù)、可決系數(shù)R2、F統(tǒng)計(jì)量作出幾何分析，以期用數(shù)學(xué)語(yǔ)言表述它們，得到直觀的、系統(tǒng)的分析結(jié)果。

1 長(zhǎng)度、角度與相關(guān)系數(shù)

圖1 長(zhǎng)度與角度解釋

由于-1≤cosθ≤1，-1≤r≤1，這就容易對(duì)相關(guān)系數(shù)作出解釋。在坐標(biāo)軸的第一象限，θ越接近于0，則正相關(guān)程度越高；在坐標(biāo)軸第二象限，θ越接近于π，則負(fù)相關(guān)程度越高。特別地，當(dāng)r=cosθ=0時(shí)，θ=π/2，此時(shí)，向量y與x相互垂直(正交)，即兩者完全線性不相關(guān)；當(dāng)r=cosθ=1時(shí)，θ=0，向量 y與x方向相同(平行或重合)，即兩者完全線性正相關(guān)；當(dāng)r=cosθ=-1時(shí)，θ=π，向量y與x方向相反(平行或重合)，即兩者完全線性負(fù)相關(guān)。

上述二維歐氏空間的分析容易推廣到n維。若x和y是n維歐氏空間中向量，其相關(guān)系數(shù)表現(xiàn)x和y在n維空間中的形成的兩個(gè)點(diǎn)與原點(diǎn)形成的夾角，上述結(jié)論仍然成立。因此不難看出，相關(guān)系數(shù)就是cosθ。

2 線性回歸模型的幾何分析

2.1 回歸系數(shù)的幾何分析

考慮更一般的情形——把空間擴(kuò)張成n維，x與y表現(xiàn)為n維歐氏空間中的兩個(gè)向量，則有：

2.2 檢驗(yàn)統(tǒng)計(jì)量的幾何分析

根據(jù)上述相關(guān)系數(shù)的幾何分析，并進(jìn)一步結(jié)合圖1，可以對(duì)可決系數(shù)作出幾何解釋。根據(jù)圖1及勾股定理

由cos2θ的取值范圍[0,1]，不難得到R2的取值范圍為[0,1]。

同樣可以對(duì)F檢驗(yàn)作出幾何解釋。通過上述分析過程可知，回歸方程總體顯著性F檢驗(yàn)可寫為：

其中，df表示自由度。在樣本量n和變量數(shù)K給定的情況下，df1/df2為常數(shù)，不妨設(shè)為A，因此

即F統(tǒng)計(jì)量是向量夾角的余切平方的線性函數(shù)。

3 多元線性回歸模型的推廣

3.1 多元推廣

若樣本容量為n，可設(shè)向量y、x1和x2來自n維歐氏空間，則x1和x2可生成n維歐氏空間的一個(gè)子空間(記為X)，在子空間X中，必然存在x1*與x2正交(如圖2)。

圖2 多元投影幾何解釋

3.2 多元模型的一元分解

在多元線性回歸模型中，如果解釋變量之間相互正交，那么多元回歸模型可以獨(dú)立地分解為一元回歸模型，即多元回歸模型的回歸系數(shù)估計(jì)結(jié)果與對(duì)應(yīng)的單個(gè)解釋變量與原被解釋變量所構(gòu)建的一元回歸模型的回歸系數(shù)估計(jì)結(jié)果相同。借鑒這一思路，我們對(duì)一般的情況進(jìn)行分解，并由此說明多元線性回歸模型的多重共線性問題。

同理，若先將y投影到x2方向，并進(jìn)一步投影到x1，最終擬合結(jié)果以及殘差相同，但中間分解過程不同。因此，在x1和x2非正交的一般情況下，多元回歸不能獨(dú)立地分解為一元回歸。

若x1*與方向一致，即x1與x2正交，α=π/2，此時(shí)，B*、B和E三點(diǎn)重合，多元回歸可獨(dú)立分解為數(shù)個(gè)一元回歸的情形。方差膨脹因子為1。當(dāng)解釋變量相互正交時(shí)，被解釋變量對(duì)所有解釋變量進(jìn)行回歸所得到的偏回歸系數(shù)估計(jì)量分別與對(duì)單個(gè)解釋變量回歸時(shí)的系數(shù)估計(jì)量對(duì)應(yīng)相等。

4 結(jié)語(yǔ)

由上述分析過程可以看出，普通最小二乘法的數(shù)學(xué)本質(zhì)是將研究對(duì)象即被解釋變量分解為相互正交的兩部分。本文通過一元、二元線性回歸模型，對(duì)普通最小二乘估計(jì)結(jié)果及檢驗(yàn)統(tǒng)計(jì)量進(jìn)行幾何分析，發(fā)現(xiàn)參數(shù)估計(jì)結(jié)果、檢驗(yàn)統(tǒng)計(jì)量等都可以在向量空間內(nèi)用幾何方法進(jìn)行描述。該分析方法可以擴(kuò)展到對(duì)多元線性回歸模型的分析：最終表現(xiàn)為兩個(gè)向量(被解釋變量、解釋變量線性組合)的長(zhǎng)度和角度關(guān)系。

[1]劉明.普通最小二乘法的幾何分析[J].統(tǒng)計(jì)與決策,2012,(4).

[2]龐浩.計(jì)量經(jīng)濟(jì)學(xué)[M].北京：科學(xué)出版社,2010.

[3]Kreyszig E.Introductory Functional Analysis with Applications[M].New York：John Wiley&Sons,1978.