王義鬧

(溫州大學(xué)數(shù)理學(xué)院，浙江溫州 325035)

考慮隨機解釋變量問題：

其中 b0,b1為常數(shù)， x,u為隨機變量，其相關(guān)系數(shù) r(x,u ) = rxu≠0 ,E (u ) = 0 ，并有容量為n的簡單隨機樣本(yi, xi, ui) ,i = 1 ,2,… ,n ，于是 r(xi, ui) = rxu≠0 , i = 1 ,2,… ,n ，即隨機解釋變量x與隨機干擾項u同期線性相關(guān).

我們知道，用最小二乘法（Ordinary Least Squares, OLS）估計模型（1）中的參數(shù) b1，得到的是有偏的、不一致的估計量，用工具變量法（Instrumental Variable, IV）可以得到有偏的、一致估計量[1].于是只要有足夠的樣本，工具變量法估計值優(yōu)于最小二乘法估計值的概率就足夠大.工具變量法已經(jīng)成為一種重要方法.本文對工具變量進行研究，證明了工具變量有如下性質(zhì)：

存在

其中 ux,為（1）式中變量，使

即存在與u不相關(guān)，與x相關(guān)性最強的隨機變量v（以下稱為理想工具變量），且這樣的理想工具變量滿足

為敘述方便，以下稱工具變量的這一性質(zhì)為理想工具變量存在性.

以依次表示隨機解釋變量x與工具變量w的樣本相關(guān)系數(shù)、工具變量w與隨機干擾項u的樣本相關(guān)系數(shù)，以 σxs, σus依次表示隨機解釋變量x與隨機干擾項u的樣本標準差，則工具變量法估計值為

最小二乘法估計值為

由理想工具變量存在性易見，x的任一工具變量w滿足 ( r(x,w) )2≤1- ( r(x,u))2，這表明隨機解釋變量x與隨機干擾項u高度相關(guān)時，任一工具變量w必與解釋變量x低度相關(guān)，進而將會因為 rwus不等于0的概率為1、并且 rxws接近0的概率較大，從而由（5）式可見，工具變量法估計值b?1偏離真值b1較遠的概率較大.

這就提示我們，當隨機解釋變量x與隨機干擾項u高度相關(guān)時，隨機解釋變量x與工具變量w必然低度相關(guān)，如果樣本容量不夠大，要慎重應(yīng)用工具變量法估計值分析問題.

另一方面，當隨機解釋變量x與工具變量w高度相關(guān)時，由理想工具變量存在性易見，一定很小，從而由（5）式和（6）式知工具變量法估計值優(yōu)于最小二乘法估計值的概率不一定很小.如果樣本容量不夠大，也要慎重應(yīng)用工具變量法估計值分析問題.

下面嚴格證明理想工具變量存在性，并通過數(shù)值模擬對工具變量法估計值與最小二乘法估計值的精度作一直觀比較.為證明（2）式的存在性，先討論兩個隨機變量線性相關(guān)與一元線性回歸之間的關(guān)系.

1 線性相關(guān)與線性回歸的一點關(guān)系

為下文引用方便，重述文[2]給出的結(jié)果.

定理1 當變量 x ,y都是隨機變量，且二者線性相關(guān)系數(shù) r ( x ,y)≠0時，必存在唯一一組常數(shù)

以及隨機變量 xbbyu10--= ，使

證明見文[2].

定理2 設(shè)被解釋變量y與隨機解釋變量x及隨機干擾項u之間有如下總體規(guī)律：

其中 x ,u線性無關(guān)，V ar(x) = σx2≠0 ,E (u) = 0 ,Var(u ) = σu2,b1≠0，則其中常數(shù) b0,b1及隨機變量u是唯一的，且 y ,x線性相關(guān)， y ,u線性相關(guān)，相關(guān)系數(shù)為

且有 [r (y,x) ]2+ [ r(y,u)]2=1.

證明：若存在常數(shù) c0,c1及零均值隨機變量v，使 y = c0+c1x+v，且x與v線性無關(guān)，則與（1）式相減得

求x與（10）式兩端的協(xié)方差得 (b1-c1)2σx2=0，由Var(x) = σx2≠0知c1=b1.于是（10）式成為 b0- c0+ u - v = 0 ，兩邊取數(shù)學(xué)期望，由 E ( u )= 0 =E(v)得 b0= c0，進而得 u = v .這就證明了 y = b0+b1x+u中常數(shù) b0,b1及隨機變量u是唯一的.且有

定理2表明，在解釋變量是隨機變量的一元線性回歸問題中，在隨機干擾項均值為0，解釋變量方差大于0且與隨機干擾項線性無關(guān)的條件下，總體規(guī)律的表達式是唯一的，且 yx,必線性相關(guān).

定理1表明，線性相關(guān)的隨機變量 yx,之間一定有形如（8）式的唯一線性表示；定理2表明隨機被解釋變量y與隨機解釋變量x滿足關(guān)系式（8）且隨機解釋變量x與隨機干擾項線性無關(guān)時， yx,之間的關(guān)系式（8）是唯一的，且隨機變量 yx,之間一定線性相關(guān)，相關(guān)系數(shù)由（9）式給出.這就是線性回歸分析與線性相關(guān)分析的一點聯(lián)系.

2 隨機解釋變量問題的理想工具變量

考慮只有一個隨機解釋變量的問題（1）：

式中，10,bb 為常數(shù)，u為0均值隨機干擾項，x與u同期線性相關(guān)（ix與iu線性相關(guān)）.理想的工具變量z是與u線性無關(guān)，與x的線性相關(guān)系數(shù)達到最大的隨機變量.

由于x與u線性相關(guān)，故由定理1及u為0均值知，存在

使

下面推導(dǎo)理想的工具變量z與x的線性相關(guān)系數(shù)的上界.由于z與x線性相關(guān)，根據(jù)定理 1可設(shè)

我們的目標是在滿足 r ( z ,u)=0的條件下，尋找合適的 a0, a1,w，使 r ( z ,x)達到最大.由

與（11）式知， r ( z ,u)=0的條件等價于（13）式分子為0，即

亦即w與u是線性相關(guān)的，且相關(guān)系數(shù)由（14）式給出.于是由定理1及 wu, 為0均值知，存在

其中隨機變量t滿足 E (t ) = 0 ,r(u,t)=0.代入（11）式得工具變量z應(yīng)滿足

并且其中 wx,應(yīng)滿足

從而 tv,應(yīng)滿足

即 tv,必須線性相關(guān)且相關(guān)系數(shù)如（17）式.從而存在與v線性無關(guān)的隨機變量s，使

由（11）式、（16）式和（18）式得

其中 d0,d1∈ R ,d1≠0.由工具變量與隨機干擾項不相關(guān)的基本要求 r ( z ,u)=0以及（12）式r( u ,v)=0知，工具變量z的表達式（19）中s還應(yīng)滿足

至此，我們得到工具變量z必須滿足的條件為（19）式和（20）式.這樣的工具變量z與x的線性相關(guān)系數(shù)的絕對值

其中σs=0，即工具變量z以概率1等于（19）式中d0+d1v時，|r(z,x)|取到最大值σvσx，我們稱這樣的工具變量z為x的理想工具變量.特別，當 d0= 0 , d1=1時， z = v 即x中分解出的與u不相關(guān)的v就是x的一個理想工具變量.

在實際問題中，隨機誤差項u是觀測不到的，因此x的理想分解式（11）就得不到，所以我們稱 d0+ d1v為x的理想工具變量.雖然理想工具變量在現(xiàn)實中難以得到，但我們可以用它分析工具變量法估計量的估計效果.上面的討論可總結(jié)成如下定理.

定理3 對只有一個隨機解釋變量的問題：

式中， b0,b1為常數(shù)，u為0均值隨機誤差項.對簡單隨機樣本 { (yi,xi)｜i=1,2,…,n}，隨機解釋變量 xi與 ui同期線性相關(guān).則存在 c0= μx, c1= r (x,u)σxσu,v = x - c0- c1u ，使

即x的任一工具變量z與x的線性相關(guān)系數(shù)的平方小于或等于1減去隨機解釋變量x與隨機誤差項的相關(guān)系數(shù)的平方.

（23）式表明，當隨機解釋變量與隨機干擾項高度相關(guān)時，只存在與隨機解釋變量中低度相關(guān)的工具變量，不存在與隨機解釋變量高度相關(guān)的工具變量.例如任一工具變量z與x的線性相關(guān)系數(shù)的絕對值 r(x,z)|≤0 .1；一工具變量z與x的線性相關(guān)系數(shù)的絕對值 | r (x,z )|≤0.3；當 r (x ,u)=0.8時，任一工具變量z與x的線性相關(guān)系數(shù)的絕對值 | r (x,z)|≤0.6.另一方面，存在與隨機解釋變量高度相關(guān)的工具變量時，隨機解釋變量與隨機干擾項必然是中低度相關(guān)的.例如文[1] P151例題中，隨機解釋變量與工具變量的樣本相關(guān)系數(shù)高達0.994 295，則隨機解釋變量與工具變量的相關(guān)系數(shù)大于0.953 9的概率較大，進而隨機解釋變量與理想工具變量的相關(guān)系數(shù)大于0.953 9的概率更大，故由（23）式可知，隨機解釋變量與隨機干擾項的相關(guān)系數(shù)絕對值小于0.3的概率較大.

由隨機解釋變量與工具變量的相關(guān)性可以推斷隨機解釋變量與隨機干擾項相關(guān)程度的范圍.

3 工具變量法估計量與最小二乘估計量的誤差的數(shù)值模擬分析

在實際問題中，我們通過定性分析可以確定隨機解釋變量與隨機干擾項線性相關(guān)，但相關(guān)程度有多大并不清楚.雖然可以把隨機解釋變量與工具變量的樣本相關(guān)系數(shù)作為總體相關(guān)系數(shù)的估計，進而由（23）式估計隨機解釋變量與隨機干擾項線性相關(guān)系數(shù)的絕對值的上限，但我們?nèi)匀粵]辦法估計下限.由（5）式（6）式可見，中小樣本并且隨機解釋變量與隨機干擾項低度線性相關(guān)的情況下，工具變量法估計值的誤差很可能大于最小二乘估計值的誤差.下面用數(shù)值模擬方法給出三個直觀的示例來驗證這一推斷.

例1 為模擬隨機解釋變量與隨機干擾項高度相關(guān)的情況，問題（1）中 b0,b1為常數(shù)，取為b0= 2 , b1=1；隨機解釋變量x取為服從3 + 4 × N ( 0,1)的一組容量為n的樣本，記為 x1.u為0均值隨機干擾項，與x線性相關(guān)，取為

其中 v1～ N ( 0,0.12)由程序隨機函數(shù)生成一組容量為n的樣本，由程序生成的隨機數(shù)具有良好的獨立性，于是可以認為能滿足 v1與 x1不相關(guān)的要求（或進一步檢驗獨立性，符合要求就用）.則，11,xu高度線性相關(guān)；理想工具變量 v1與 x1的相關(guān)系數(shù)r(x1, v1)= 1 65 ≈ 0 .1 2403473，由定理1有

即在x取定一組觀察值的條件下，理想工具變量v觀察值完全由隨機干擾項u的觀察值所確定，最后再由

生成y的觀察值.然后依次用最小二乘法、工具變量法估計參數(shù)，循環(huán)1 000次，統(tǒng)計估計值的均值、與設(shè)定參數(shù)值相比的均方根誤差，以及工具變量法估計值更接近真值的比例，列于表1 - 3的第1 - 2行.

例2 為模擬隨機解釋變量與隨機干擾項中度相關(guān)的情況，取

u取為 u2=-0 .6 + 0 .2x2+ v2，其中v2～ N ( 0,32)由程序隨機函數(shù)生成，則 x2～ N ( 3,102)，想工具變量，為使模擬更符合實際，取工具變量2w與隨機解釋變量的相關(guān)系數(shù)為 0.6，可設(shè)為

由程序隨機函數(shù)生成t，則它與程序隨機函數(shù)生成的 v2、 x2都線性無關(guān)，這也就滿足了z與x2線性無關(guān)的要求.為滿足 w2與 x2相關(guān)系數(shù)為0.6的要求，可通過適當選?。?7）式中的 d1和t的方差實現(xiàn)：

然后依次用最小二乘法、工具變量法估計參數(shù)，循環(huán)1 000次，統(tǒng)計估計值的均值，與設(shè)定參數(shù)值相比的均方根誤差，以及工具變量法估計值更接近真值的比例，列于表1 - 3的第3 - 5行.

例3 為模擬隨機解釋變量與隨機干擾項低度相關(guān)的情況，取

其中u,v2線性無關(guān)，則低度線性相關(guān).理想工具變量 v3與 x3的相關(guān)系數(shù)假定實際上取得與 x3中度線性相關(guān)的工具變量

然后依次用最小二乘法、工具變量法估計參數(shù)，循環(huán)1 000次，統(tǒng)計估計值的均值、與設(shè)定參數(shù)值相比的均方根誤差，以及工具變量法估計值更接近真值的比例，列于表1 - 3的第6 - 10行.

表1 - 3依次列出了樣本容量為10、30、100，對參數(shù) b1=1進行1 000次模擬估計的結(jié)果：

表2 樣本容量為30的1 000次模擬估計結(jié)果

表1 - 3中各行、列的意義如下：

x1ols行表示用最小二乘法和數(shù)據(jù) x1, y1估計參數(shù) b1=1的估計結(jié)果；

x1ivv行表示用工具變量法、理想工具變量和數(shù)據(jù) x1, y1的估計結(jié)果；

x2ols行表示用最小二乘法和數(shù)據(jù) x2,y2的估計結(jié)果；

x2ivv行表示用工具變量法、理想工具變量和數(shù)據(jù) x2,y2的估計結(jié)果；

表3 樣本容量為100的1 000次模擬估計結(jié)果

x2ivw2行表示用工具變量法、由（27）式生成的與解釋變量的相關(guān)系數(shù)為0.6的工具變量 w2和數(shù)據(jù) x2, y2的估計結(jié)果；

x3ols行表示用最小二乘法和數(shù)據(jù) x3, y3的估計結(jié)果；

x3ivv行表示用工具變量法、理想工具變量和數(shù)據(jù) x3, y3的估計結(jié)果；

x3ivw3行表示用工具變量法、由（30）式生成的與解釋變量的相關(guān)系數(shù)為0.48的工具變量和數(shù)據(jù) x3, y3的估計結(jié)果；

x3ivw4行表示用工具變量法、由（31）式生成的與解釋變量的相關(guān)系數(shù)為0.30的工具變量和數(shù)據(jù) x3, y3的估計結(jié)果；

x3ivw5行表示用工具變量法、由（32）式生成的與解釋變量的相關(guān)系數(shù)為0.91的工具變量和數(shù)據(jù) x3, y3的估計結(jié)果；

均值列表示用不同估計方法和數(shù)據(jù)估計參數(shù) b1=1的估計值的平均值；

均方誤差列表示用不同估計方法和數(shù)據(jù)估計參數(shù) b1=1的估計值的均方誤差；

較好頻率列的x1ivv行表示用工具變量法、理想工具變量和數(shù)據(jù) x1, y1估計參數(shù) b1=1的估計值好于用最小二乘法和數(shù)據(jù) x1, y1估計參數(shù) b1=1的估計值的頻率，其他行也是與最小二乘法比較的結(jié)果；

非弱iv頻數(shù)這一列是1 000次模擬中工具變量不是弱工具變量[3]的次數(shù)；

非弱iv較好頻率這一列是當工具變量不是弱工具變量時，工具變量法好于最小二乘法的頻率.

模擬結(jié)果分析顯示：

對表1 - 3中的x1ols行比較可見OLS估計對樣本容量不太敏感，對表1 - 3中的x2ols、x3ols行比較可見同樣現(xiàn)象.

對表1 - 3中的x1ivv行比較可見，當隨機解釋變量與隨機干擾項高度相關(guān)時，IV估計隨樣本容量增大改進不明顯.

對表1 - 3中的x2ivv、x3ivv兩行比較可見，當隨機解釋變量與隨機干擾項中、低度相關(guān)時，用理想工具變量估計的平均值很接近參數(shù) b1的設(shè)定值，且隨樣本容量增大均方誤差明顯減小，體現(xiàn)了工具變量估計的一致性.

對同一表格的x1ivv、x2ivv、x3ivv行比較可見，當隨機解釋變量與隨機干擾項高度相關(guān)時，理想IV估計較差，當隨機解釋變量與隨機干擾項中、低度相關(guān)時，理想IV估計較好.

對同一表格的x2ivw2、x3ivw3兩行與x2ols、x3ols兩行比較可見，當隨機解釋變量與隨機干擾項中、低度相關(guān)時，用與隨機解釋變量中度相關(guān)的工具變量估計的均值與OLS估計均值相近，但對不同表格比較可見，隨著樣本容量增大，IV估計值好于OLS估計值的頻率，由明顯低于0.5增大到0.5左右，均方誤差明顯減小.

由3個表的x3ivw4行可見，當隨機解釋變量與隨機干擾項低度相關(guān)時，如果選用的工具變量與隨機解釋變量也低度相關(guān)，則在樣本容量小的情況下，工具變量估計值沒有參考價值；在樣本容量較大（模擬實驗中為100）的情況下，工具變量估計值與OLS估計值相近，IV估計值的均方誤差也較小，但1 000次模擬中優(yōu)于OLS估計值的次數(shù)仍小于一半.

綜上可見，模擬結(jié)果顯示，當樣本容量不超過100時，如果選用的工具變量與隨機解釋變量中、低度相關(guān)，則工具變量法估計值比OLS估計值更接近設(shè)定值的頻率在0.3至0.7之間.這就提醒我們，要注意檢驗所選工具變量與隨機解釋變量是否高度相關(guān)！