周路平，馮予

（南京理工大學理學院，江蘇 南京　210094）

非線性半?yún)?shù)統(tǒng)計模型估計函數(shù)的幾何方法

周路平，馮予

（南京理工大學理學院，江蘇 南京210094）

將非線性半?yún)?shù)統(tǒng)計模型的概率密度函數(shù)族視為統(tǒng)計流形，利用微分幾何方法，建立非線性半?yún)?shù)統(tǒng)計模型相對應的Hilbert空間，進而研究非線性半?yún)?shù)統(tǒng)計模型的估計函數(shù)問題.利用兩類得分函數(shù)張成的子空間對Hilbert空間進行正交分解，進而討論估計函數(shù)所在的集合，以及如何選取最優(yōu)估計函數(shù)的問題.最后，通過實例分析來驗證此方法的有效性.

估計函數(shù)；得分函數(shù)；有興趣參數(shù)；冗余參數(shù)

1　引言

近年來，半?yún)?shù)統(tǒng)計模型受到了許多統(tǒng)計學者的關注[1]，這是因為半?yún)?shù)統(tǒng)計模型不僅具有非參數(shù)統(tǒng)計模型的變通性，同時保持了參數(shù)統(tǒng)計模型的可解釋性.1986年，文獻［2］在分析電力需求與氣候變化之間的關系時提出了部分線性模型，其形式為：

注意到模型(1)中，第一部分是θ和x的線性關系，而在實際應用中，嚴格的線性關系并不多見，它們大多帶有某種程度的線性近似.隨著近代統(tǒng)計學的發(fā)展，非線性統(tǒng)計模型在理論研究和實踐中的作用日趨重要.因此，引入非線性半?yún)?shù)統(tǒng)計模型[3]：

其中，θ視為m維有興趣參數(shù)，f為已知的非線性函數(shù)，k(.)為未知的冗余光滑函數(shù)，(x，y，t)是

來自總體(X，Y，T)的獨立同分布樣本.假設ε服從標準正態(tài)分布，則有

由于統(tǒng)計模型的概率分布族由參數(shù)集來描述，而分布族的性質就使得參數(shù)空間有著幾何性質和幾何結構，因此可以用幾何方法解決統(tǒng)計學中的問題[48]，本文從以下幾個問題出發(fā)，利用微分幾何方法解決非線性半?yún)?shù)統(tǒng)計模型(2)的估計函數(shù)問題.第一，估計函數(shù)所在集合的幾何結構；第二，什么條件下存在估計函數(shù)；第三，估計函數(shù)相應估計量的漸近性質.

2　估計函數(shù)的定義

設y(x，θ)=(yi(x，θ)，i=1，...，m)是有興趣參數(shù)θ的向量值光滑函數(shù)，維數(shù)與θ的維數(shù)相同.如果y(x，θ)滿足以下三個正則條件：

則稱y(x，θ)為估計函數(shù).其中Eθ，k表示非線性半?yún)?shù)統(tǒng)計模型的密度函數(shù)p(y|x，t；θ，k)對應的期望，?θy(x，θ)表示y(x，θ)關于θ的偏導數(shù)，且det|.|表示矩陣的行列式，||y||2表示向量y范數(shù)的平方，即||y||2=Σ(yi)2.

3　非線性半?yún)?shù)統(tǒng)計模型估計函數(shù)所在集合的結構

給定非線性半?yún)?shù)統(tǒng)計模型S={p(y|x，t；θ，k)}，其相應的Hilbert空間與參數(shù)集中的點(θ，k)有關，記為Hθ，k.為了研究估計函數(shù)所在集合的幾何結構，首先定義非線性半?yún)?shù)統(tǒng)計模型的兩類得分函數(shù)，由得分函數(shù)張成相應的子空間，再對Hθ，k進行正交分解.

3.1沿著有興趣參數(shù)方向的得分函數(shù)

稱為非線性半?yún)?shù)統(tǒng)計模型沿著有興趣參數(shù)θ第i個分量θi的得分函數(shù)，其中易見Eθ，k［ui］=0，進一步假定ui是平方可積的，則ui∈Hθ，k.將ui沿著有興趣參數(shù)θ方向張成的切空間記為T，非線性半?yún)?shù)統(tǒng)計模型沿著有興趣參數(shù)θ方向的得分函數(shù)定義為u=(u1，...，um).

3.2沿著冗余參數(shù)方向的得分函數(shù)

非線性半?yún)?shù)統(tǒng)計模型沿著冗余參數(shù)方向的得分函數(shù)定義為：

向量uE=(u)稱為非線性半?yún)?shù)統(tǒng)計模型的有效得分函數(shù).將有效得分函數(shù)的分量uEi張成的子空間記為T，稱T⊕T在Hθ，k中的正交補空間為從屬切空間，記為T.

下面引入兩類轉換，即e轉換和m轉換，進一步分析Hilbert空間Hθ，k的正交分解.

3.3兩類轉換的定義

假設a(x)是Hilbert空間Hθ，k中一個隨機變量，固定θ，考慮集合

將

分別定義為a(x)從(θ，k)到(θ，k′)的e轉換和m轉換.由于

因此

3.3.1e平行轉換存在的充要條件

當且僅當a(x)在(θ，k′)處期望存在，a(x)的e平行轉換存在，且有

3.3.2兩類轉換包含于 Hilbert空間的條件

a(x)的e轉換和m轉換屬于Hilbert空間Hθ，k′的充要條件是這兩類轉換在(θ，k′)處關于p(y|x，t；θ，k′)是平方可積的.

3.4Hilbert空間的正交分解

其中將Hilbert空間中滿足條件(15)式和(16)式的所有向量構成的閉子空間記為F，其中I表示信息部分，A表示從屬部分，顯然，有以下關系成立：

通過以上討論，得到Hilbert空間Hθ，k的一個正交分解

3.5非線性半?yún)?shù)統(tǒng)計模型的估計函數(shù)所在集合

定義g(0)=0，對g(t)求導得

其中

且?k′∈K，有Eθ，k′［h(x，θ)］=0.若h(x，θ)的分量hi(x，θ)在信息子空間F上的投影向量張成F，并且F是非退化的，則h(x，θ)是非線性半?yún)?shù)統(tǒng)計模型的一個估計函數(shù).

假設y(x，θ)是非線性半?yún)?shù)統(tǒng)計模型(2)的一個估計函數(shù)，由正則條件(6)知，在Hilbert空間Hθ，k中y(x，θ)的e轉換是存在的，且

易證，對冗余參數(shù)k和k′，有

因此

對(4)式關于θ求導數(shù)，可得

于是有

其中u為沿著有興趣參數(shù)θ方向的得分函數(shù)，易見u在子空間F⊕F上的投影不包含F(xiàn)的部分，從而由(32)式知，

其中uI表示u在F上的投影，易見，對于非線性半?yún)?shù)統(tǒng)計模型(2)，有

4　估計函數(shù)存在條件

由以上討論知，對于非線性半?yún)?shù)統(tǒng)計模型(2)，其估計函數(shù)存在的必要條件是信息子空間F非退化，充分條件是固定k0，?k′∈K，，(i=1，...，m)在F上的投影張成F則uI是一個估計函數(shù)，且非線性半?yún)?shù)統(tǒng)計模型的任意估計函數(shù)y(x，θ)均可以表示為

其中 A(x；θ，k)的分量 Ai(x；θ，k)∈T，T(θ，k)是非奇異矩陣.反之，在某個定值 k0處，由(36)式定義的函數(shù)y(x，θ)是非線性半?yún)?shù)統(tǒng)計模型的估計函數(shù).取T(θ，k)為單位矩陣，得到一個估計函數(shù)

5　估計函數(shù)相應估計量的漸近性質以及最優(yōu)估計函數(shù)的選取

5.1估計量的漸近性質

將(38)式在θ處展開，得

z是服從正態(tài)分布N(0，C)的隨機變量，

從而忽略高階項，可得(?θ-θ)依分布收斂于B-1z，因此

換言之，由(38)式得到的估計量 ?θ服從漸近正態(tài)分布，其漸近協(xié)方差即為(42)式.由此可知，(37)式定義的估計函數(shù)相應的估計量 ?θ具有協(xié)方差陣

其中

5.2最優(yōu)估計函數(shù)

5.2.1最優(yōu)估計函數(shù)的定義

設估計函數(shù)y(x，θ)相應的估計量為?θ，如果對于任意估計量 ?θ′，有

則稱y(x，θ)為最優(yōu)估計函數(shù).其中Var(θ)表示θ的方差.

5.2.2最優(yōu)估計函數(shù)的選取

當非線性半?yún)?shù)統(tǒng)計模型的真分布恰好由(θ，k0)定義，其中k0∈K是固定的，并且對于?k∈K，張成F，則

是一個估計函數(shù)，且(47)式相應的估計量 ?θ的漸近協(xié)方差陣為Var(?θ)=(GI)-1，易見，對于θ任意估計量 ?θ′，均有Var(?θ)≤Var(?θ′)，因此，由(39)式定義的估計函數(shù)為非線性半?yún)?shù)模型的最優(yōu)估計函數(shù).

6　實例分析

對于非線性半?yún)?shù)統(tǒng)計模型(2)，利用權函數(shù)估計方法取最優(yōu)估計函數(shù)(39)式中的k0(t) 為k(t)的權函數(shù)估計，即

其中

假設x，t服從［0，1］上的均勻分布，則最優(yōu)帶寬h=0.274，其中K(.)取高斯核，即

下面分別考慮θ是一維和二維兩種簡單情形，來驗證微分幾何方法的有效性. 例6.1取

則

從而知非線性半?yún)?shù)統(tǒng)計模型

的最優(yōu)估計函數(shù)為

由

得到θ的一個估計量?θ=-0.0161，且?θ對應的漸近方差為Var(?θ)=0.7433，殘差平方和

其中

取

其中

易見

其數(shù)據(jù)見表1.

例6.2取

則

從而知，最優(yōu)估計函數(shù)的兩個分量分別為：

因此，非線性半?yún)?shù)統(tǒng)計模型

的最優(yōu)估計函數(shù)為

由

j=1，2，得到θ的估計量

對應的殘差平方和

其中

令

由

得到θ的最小二乘估計量為

對應的殘差平方和

其中

易見

其數(shù)據(jù)見表2.

表2　例題6.2數(shù)據(jù)

2　結束語

非線性半?yún)?shù)統(tǒng)計模型作為半?yún)?shù)模型的一種推廣，它綜合了非線性回歸和非參數(shù)回歸模型，吸收了各自的優(yōu)點.利用微分幾何方法對非線性半?yún)?shù)統(tǒng)計模型進行分析，解決了以下幾個主要問題，即估計函數(shù)所在集合，估計函數(shù)存在條件，估計函數(shù)相應估計量的漸近性質以及如何選取最優(yōu)估計函數(shù).在文章最后的兩個例子中，用微分幾何方法進行參數(shù)估計優(yōu)于最小二乘方法.微分幾何方法進行參數(shù)估計是否在所有統(tǒng)計模型的參數(shù)估計問題中都比最小二乘方法有效？這一問題還有待進一步探討.

[1］Xue L G，Xue D.Empirical likelood for semiparametric regression model with missing response data[J］. Journal of Multivariate Analysis，2011，102（4）：723-740.

[2］Engle.Semiparametric estimates of the relation between weather and electricity sales[J］.Journal of the American Statistical Association，1986，81（394）：310-320.

[3］Wierzbicki M R，Guo L B，Du Q T，Guo W.Sparse semiparametric nonlinear model with application to chromatographic fingerprints[J］.Journal of the American Statistical Association，2013，109（508）：1339-1349. [4］Amari S.Differential Geometrical Methods in Statistics（Lecture Notes in Statistics）[M］.Berlin：Springer-Verlag，1990.

[5］Amari S.Dual connections on the Hilbert bundles of statistical models[J］.Geometrization of Statistical Theory，1987，3（1）：123-152.

[6］Amari S.Estimation in the presence of infinitely many nuisance parameters-Geometry of estimating function [J］.The Annals of Statistics，1988，16（3）：1044-1068.

[7］Amari S，Han T S.Statistical inference under multiterminal rate restrictions[J］.IEEE Information Theory，1989，35：217-227.

[8］Amari S.Information geometry of estimating functions in semi-parametric statistical models[J］.Bernoulli，1997，3（1）：29-54.

[9］Fu Y Z，Chen X D.Model selection of generalized partially linear models with missing covariates[J］.Journal of Statistical Planning and Inference，2012，142（1）：126-138.

[10］Liu W，Wu L.Some asymptotic results for semiparametric nonlinear mixed-effects models with incomplete data[J］.Journal of Statistical Planning Inference，2010，140（1）：52-64.

2010 MSC:62G86

Geometry method of estimating functions in nonlinear semiparametric models

Zhou Luping，F(xiàn)eng Yu
（School of Science，Nanjing University of Science and Technology，Nanjing210094，China）

The probability density function family of nonlinear semi-parametric statistical model are considered as a statistical manifold.Using the methods of differential geometry to construct Hilbert space corresponding to nonlinear semiparametric model，and then study some questions of estimation function.Using the subspace spanned by two kinds of score function to decompose the Hilbert space orthogonally，and then discuss the set of the estimated function is located，and how to select the best estimate of function problems.Finally，through the analysis of examples to verify the effectiveness of this method.

estimating function，score function，interesting parameter，nuisance parameter

O212

A

1008-5513(2016)04-0351-11

10.3969/j.issn.1008-5513.2016.04.004

2016-01-17.

國家自然科學基金(11271189).

周路平(1988-)，碩士生，研究方向：統(tǒng)計推斷與微分幾何.