胡學(xué)葉，張正家

（廣西師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣西 桂林 541004）

0 引言

經(jīng)驗(yàn)似然是由Owen[1-3]提出的一種非參數(shù)統(tǒng)計(jì)推斷方法,具有構(gòu)造的置信區(qū)間域保持性、變換不變性等優(yōu)點(diǎn),應(yīng)用于各種統(tǒng)計(jì)模型中。石堅(jiān)[4]研究了線性模型誤差方差的經(jīng)驗(yàn)似然估計(jì)。非線性回歸模型是統(tǒng)計(jì)學(xué)中最基礎(chǔ)的模型之一,是線性回歸模型的推廣,有諸多研究成果。Jennrich[5]和Wu[6]利用最小二乘法給出了非線性回歸模型參數(shù)估計(jì)并證明估計(jì)量的漸近正態(tài)性?？紤]到非線性回歸模型廣泛應(yīng)用在各個(gè)行業(yè)中,本文利用經(jīng)驗(yàn)似然方法獲得了在設(shè)計(jì)矩陣為非隨機(jī)的情形下非線性回歸模型誤差方差的經(jīng)驗(yàn)似然估計(jì),并證明了估計(jì)量的漸近正態(tài)性。通過數(shù)據(jù)模擬發(fā)現(xiàn),經(jīng)驗(yàn)似然方法得到的漸近方差比傳統(tǒng)殘差平方和方法得到的估計(jì)更小。

考慮非線性回歸模型

其中f是一個(gè)已知的回歸函數(shù),x∈Rp是固定設(shè)計(jì)矩陣,Y∈R1是響應(yīng)變量,β∈Rk是參數(shù)向量,e∈R1是不可觀測的隨機(jī)誤差。設(shè)有來自模型的獨(dú)立同分布樣(x1,Y1),…,(xn,Yn),其中xi=(xi1,…,xip)Τ,相應(yīng)地有一組不可觀測的隨機(jī)誤差e1,…,en,使得Yi=f(xi,β)+ei,1≤i≤n。記x(n)=(x1,…,xn)Τ,Y(n)=(Y1,…,Yn)Τ,e(n)=(e1,…,en)Τ。

我們的目的是得到誤差方差σ2的估計(jì)量,由于e(n)不可觀測,需要先對β進(jìn)行估計(jì)。采用最小二乘法,即求的極小值點(diǎn)。

對Qn(β)關(guān)于β求導(dǎo),得到

其中ui(β)=?f(xi,β)?β,由于上式?jīng)]有顯示解,我們采用牛頓迭代方法求解,得到滿足(2)式的為β的最小二乘估計(jì)。具體操作如下：

(2)令β新 的 估 計(jì) 為,其 中A是n×k的矩 陣,uij是A的(i,j)元素,且uij=?f(xi,β)?βj;

由拉格朗日數(shù)乘法得到：

其中λ滿足：

因此可以得到誤差方差σ2的一個(gè)修正估計(jì)

（A1）e1,…,en是獨(dú)立同分布的隨機(jī)變量,且;存在ε>0,使得,記=μj,j=3,4;

（A2）對每一個(gè)x∈τ,函數(shù)f(x,β)關(guān)于β有連續(xù)的二階導(dǎo)數(shù),β∈Γ,其中τ={x:x∈Rp},Γ={β:β∈Rk},且τ和Γ是緊集;

（A3）對每一個(gè)x∈τ,β在真實(shí)值某領(lǐng)域內(nèi),有是有界的,即,其中ui(β)=表示歐式模;

（A4）存在正定矩陣V,使得當(dāng)n→∞,有，其中ui(β)=(ui1(β),ui2(β),…,uip(β))Τ;

（A5）存在常數(shù)C>0,使得,其中σ2未知,;

注1：為敘述方便,始終假設(shè)C表示一不依賴于n的大于0的常數(shù),且C每次出現(xiàn)可以取不同的值。

1 主要結(jié)論

定理1若條件（A1）~（A6）成立,當(dāng)n→∞,有

且

由定理1知，經(jīng)驗(yàn)似然得到的誤差方差的漸近方差比傳統(tǒng)殘差平方和得到的漸近方差小。

2 模擬結(jié)果

表1 估計(jì)量的偏差,方差和相對效率(e1～N(0,1))

表2 估計(jì)量的偏差,方差和相對效率(e1～exp(1)-1)

3 定理的證明

引理1設(shè)W1,W2,…,Wn為獨(dú)立同分布的隨機(jī)變量序列,若存在α>0,使得,則有

證明：見Ghosh等[7]的引理3。

引理2若條件（A1）~（A6）成立,則有：

其中μj=,j=3,4。

證明：(11)式的證明。滿足(2)式，

(12)式的證明。令,由引理2得。且

(13)式的證明。因?yàn)?/p>

由獨(dú)立隨機(jī)變量求和的矩不等式得到

(14)式的證明。令,有

(15)式的證明。由(6)式得。

令ζi=λeni,那么,,即。

定理1 的中(8)式的證明。

定理1中(9)式的證明：