張同琦,李 鳳
(渭南師范學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院,陜西渭南714000)
通常所謂的一元非線性回歸問題,都是假定兩個隨機變量ξ,η之間的非線性函數(shù)關(guān)系是已知的,例如η =aebξ,給定(ξ,η) 一組樣本值(xi,yi)(i=1,2,…,n) ,要求對其中的參數(shù)a,b作出估計,解決的方法是用變量代換,將其化為線性模型[1-5].例如,令 Y=lnη,則有Y=ln a+bξ,這種情形,本質(zhì)上仍是線性回歸問題.本文研究具有統(tǒng)計相關(guān)關(guān)系的二維連續(xù)型隨機變量(ξ,η)的非線性回歸分析問題:η=f(ξ)+ε,ξ的分布是已知的,ξ與ε獨立,ε ~N(0,σ2),要求從給定的一組樣本值(xi,yi)(i=1,2,…,n)來確定未知函數(shù)f(x).首先得出(ξ,η)的聯(lián)合密度函數(shù)為.其次研究φ(x,y)的統(tǒng)計學(xué)性質(zhì)和幾何性質(zhì),由條件密度的表達式,易知,在過點(x,0)且平行于y軸的直線上,點(x,f(x))處的密度函數(shù)達到最大值,從而得到在xoy平面上的一切有二階連續(xù)導(dǎo)數(shù)的曲線g(x)中,對給定的點> φ(x,g(x)),即曲線y=f(x) 是00一條極值曲線,從而將非線性回歸問題歸結(jié)為泛函極值問題,應(yīng)用變分法,求出未知函數(shù)的分析表達式.本文對所提問題的研究有一定方法論方面的意義.
已知連續(xù)型隨機變量ξ的密度函數(shù)為φξ(x),另一隨機變量η=f(ξ)+ε,ξ的分布是已知的,ξ與ε獨立,ε ~ N(0,σ2).f(x) 為有二階連續(xù)導(dǎo)數(shù)的未知函數(shù),要求由給定(ξ,η) 的一組樣本值(xi,yi)(i=1,2,…,n)來確定未知函數(shù)f(x).
首先,我們有如下定理:
定理1 設(shè)φξ(x)是連續(xù)型隨機變量ξ的密度函數(shù),令η =f(ξ)+ε,則二維隨機變量(ξ,η)的聯(lián)合密度為
上式等號兩邊同時對x,y求混合偏導(dǎo)數(shù),得
顯然,φ(x,y)有以下性質(zhì):
以上結(jié)果表明:當(dāng)ξ=x時,條件分布φη|ξ(y|x)是以f(x)為中心的正態(tài)分布,條件密度曲線是過點(x,0)且垂直于x軸的平面與曲面φ(x,y)的截線(如圖1).
研究xoy平面上過點(x,0)且平行于y軸的直線l上各點處的條件密度性質(zhì),易知,在點(x,f(x))處密度函數(shù)達到最大值,同理xoy平面上過另一點(x,0)且平行于y軸的直線l上點(x,f(x))111處密度函數(shù)達到最大值,這些點(x,f(x))、(x1f(x1))所在的曲線正好是曲線y=f(x).這說明,曲線y=f(x)上的總質(zhì)量ds比任一條平面曲線y=g(x)的總質(zhì)量都大,稱曲線y=f(x)為極值曲線.
圖1
根據(jù)以上分析,本文研究的非線性模型中的未知函數(shù)y=f(x)是xoy平面上的一條極值曲線y=g(x),(ξ,η) 的聯(lián)合密度為 φ(x,y),在其上的總質(zhì)量達到最大值.換言之,在一切有二階連續(xù)導(dǎo)數(shù)的平面曲線y=g(x)中,只有一條曲線使ds達到最大值.到此本文研究的一元非線性回歸問題,歸結(jié)為泛函極值問題.
為求本文中的非線性模型中的未知函數(shù)y=f(x),可分為三種情形:
(1) 給定(ξ,η) 的一組樣本值(xi,yi)(i=1,2,…,n),求y=f(x) 使到最大;
(2) 給定(ξ,η) 的一組樣本值(xi,yi)(i=1,2,…,n),求 y=f(x),在約束條件 E(η) =< + ∞ 下,使達到最大;
(3)對y=f(x)附加條件,將附加條件作為約束條件,使達到最大.
下面分別對(1)、(2)兩種情形,求未知函數(shù)y=f(x):
上式是以y=f(x)為未知函數(shù)的泛函極值問題,且F只依賴x和y',由變分法[1],相應(yīng)的尤拉方程為=0,即,或
這是一個二階非線性微分方程,積分后得出未知函數(shù)的一般形式
其中c1,c2是兩次積分常數(shù).給定的一組樣本值(xi,yi)(i=1,2,…,n),令W(λ,c1,c2)= ∑(yi- f(xi;λ,c1,c2))2,應(yīng)用最小二乘法,得方程組
解方程組,得出 λ、c1、c2的估計值,從而得到 y=f(x) 的回歸表達式
(1)第一種情形
引入?yún)?shù)t,使y'=tgt,則尤拉方程呈如下形式
給定的一組樣本值(xi,yi)(i=1,2,…,n),應(yīng)用最小二乘法,得出 λ、c1、c2的估計值,從而得到y(tǒng)=f(x)的估計回歸參數(shù)表達式
[1][美]Douglas M.Baces,[加拿大]Donald G.Watts.非線性回歸分析及應(yīng)用[M].北京:中國統(tǒng)計出版社,1997.
[2]書博成.非線性回歸分析[M].南京:東南大學(xué)出版社,1998.
[3][蘇]艾利斯哥爾茲.變分法[M].北京:人民教育出版社,1958.
[4]CHEN Jin-hong.Gemai Semi parametric generalized least squares estimation in partially linear models with correlated errors[J].Journal of statistical planning and inference,2007,137:117 -132.
[5]Huang J.Z,Shen H.P.Functional coefficient regression models for nonlinear time series:A polynomial spine approach[J].Scandinavian Journal of Statistics,2004,31:515 -534.