李靜茹，錢偉民

（同濟大學 數(shù)學系，上海200092）

1 引言

非參數(shù)回歸模型由于其形式自由、對數(shù)據(jù)的假定要求小、穩(wěn)健性高等優(yōu)點而越來越受到重視.但常用的非參數(shù)估計方法在估計多元的非參數(shù)回歸函數(shù)時需要大量數(shù)據(jù)，估計極不穩(wěn)定，人們稱這種現(xiàn)象為“維數(shù)禍根”.對于高維數(shù)據(jù)近年來半?yún)?shù)回歸分析受到廣泛關注，其中變系數(shù)模型是一個研究的熱點，它具有結構簡單、容易解釋、應用廣泛等特點.

本文討論變系數(shù)模型：

變系數(shù)模型是一般線性模型的推廣，由Hastie和Tibshirani［1］提出.對于函數(shù)項系數(shù)的估計，主要方法有核估計最小二乘方法；光滑樣條補償最小二乘法（Wahba［2］）；局部多項式法［3-5］等.Hoover等［6］將變系數(shù)模型推廣到縱向數(shù)據(jù)的分析，給出了函數(shù)項系數(shù)的局部多項式估計.

在非參數(shù)縱向數(shù)據(jù)的局部模型中，考慮相關結構十分重要.Wang［7］、Lin等［8］證明了使用真正的相關結構的核光滑樣條方法要比使用獨立結構得到的估計更有效.但在實際中方差結構通常是未知的，經(jīng)驗上估計非構造的相關結構很困難，存在可能非正定、不可逆和冗余參數(shù)多等對估計至關重要的問題.采用Liang等［9］提出的使用工作相關矩陣的廣義估計方程方法，又會產生大量的不必要的待估參數(shù).Qu等［10］提出了二次推斷函數(shù)方法，用一系列基矩陣的線性組合來逼近工作相關矩陣.這一方法的好處是可以把線性組合中的系數(shù)視為冗余參數(shù)，不予理睬，而通過最小化二次推斷函數(shù)，直接獲得參數(shù)的估計.Qu和Li［11］將這一思想應用于縱向數(shù)據(jù)變系數(shù)模型，通過懲罰樣條方法得到函數(shù)系數(shù)的估計.

本文利用了二次推斷函數(shù)的思想，使用局部多項式（一階）光滑法建立了縱向數(shù)據(jù)變系數(shù)模型的核權二次推斷函數(shù)，基于此得到函數(shù)系數(shù)的估計，并證明了估計的漸近性質.在隨機模擬中對核權二次推斷函數(shù)估計與非構造協(xié)方差結構的最小二乘估計做了比較.Lin和Carroll［12］指出，最漸近有效的核估計是在完全忽略樣本相關性得到的.但在實際中充分大的樣本容量和趨向于0的窗寬都不易達到，模擬中會發(fā)現(xiàn)獨立結構下的估計并不總是最好的.由此可以給出了一種選取核權二次推斷函數(shù)方法窗寬的一種方法，以及如何確定擬合的工作相關結構.

2 估計方法

3 漸近性質

假設以下條件成立：

條件1：系數(shù)函數(shù)βk（·）有連續(xù)二階導數(shù)，k=1，…，p.

條件2：tij，i=1，…N，j=1，…ni獨立同分布，密度函數(shù)f（t）有連續(xù)一階導數(shù).

定理證明略去.

綜上，使用局部多項式擬合構造了核權二次推斷函數(shù)，可以證明由此得到的函數(shù)系數(shù)具有漸近正態(tài)性和強相合性.與Qu等［11］的使用懲罰樣條方法所得到的的結論是類似的.與樣條方法相比，局部多項式擬合的計算速度略慢，但卻具有同時估計系數(shù)函數(shù)及其各階導數(shù)的優(yōu)勢.樣條方法通過控制節(jié)點數(shù)和懲罰系數(shù)來控制擬合的誤差與光滑度，而局部多項式估計是選取合適的窗寬來完成這一任務的，兩者均是非參數(shù)回歸的主要方法.同時局部多項式估計時線性估計類中的最佳估計，它具有幾個吸引人的特點，例如它有好的最小最大性質，可適用于各種設計，如隨機設計和固定設計等；它容易解釋、實施并適應于導數(shù)的估計等.

4 隨機模擬

數(shù)據(jù)生成模型類似于Qu等［11］中的例2，具體如下：

（3）εi～MV（0，Σi），Σi為對角線為2，其余位置為1.6的ni階方陣.

圖1 固定窗寬h＝1.2時，100次模擬的MADE比值散點圖Fig.1 Scatter diagrams for the MADE’s ratios ofrespectively in 100simulations with fixed h＝1.2

R h 0.4 0.8 1.2 1.6 2.0 2.4 1 1.078 0.98 1.00 1.04 1.00 0.98 2 1.09 0.94 0.85 0.80 0.87 1.03 3 1.25 1.05 1.06 0.96 0.92 0.96 4 1.16 1.21 1.05 0.99 0.97 1.02 5 0.99 0.99 0.89 0.98 1.11 1.25 1 1.10 0.99 0.94 0.99 1.10 1.21 2 1.10 0.95 0.91 0.98 1.13 1.25 3 0.95 0.90 0.93 0.96 1.06 1.15 4 1.06 1.05 0.98 0.99 1.06 1.16 5 1.06 0.93 0.99 1.13 1.30 1.44 R=MADE，β^ex MADE，β^（0）N=100 R=MADE，β^QIF4 MADE，β^（0）N=100

序號 R h0 hQIF4序號 R h0 hQIF4 1 1.03 1.53 1.80 11 0.86 1.53 1.80 2 1.01 1.53 1.6212 1.11 1.35 1.80 3 0.93 1.53 1.8013 1.00 1.62 1.71 4 0.89 1.35 1.3514 0.89 1.44 1.71 5 1.28 1.62 1.5315 0.92 1.62 1.80 6 0.93 1.53 1.8016 1.04 1.80 1.53 7 0.95 1.44 1.8017 1.01 1.53 1.62 8 1.20 0.99 0.9018 0.90 1.44 1.80 9 1.17 1.80 1.7119 1.03 1.62 1.44 10 1.15 1.26 1.3520 0.97 1.62 1.80

眾所周知，核估計中窗寬h的選擇至關重要，h選擇過大，會使估計的偏差加大，h選擇過小雖然可以減少估計的偏差，但卻增加了估計的方差，造成“過擬合”的現(xiàn)象.通過以上模擬可以看到，使用核權二次推斷函數(shù)方法，選擇合適的h，在局部范圍內適當引入了數(shù)據(jù)間的相關結構，既可以保證估計的效果足夠令人滿意，也不會造成“過擬合”的結果.

［1］ Hastie T J，Tibshirani R J.Varying-coefficient models（with discussion）［J］.Journal of the Royal Statistical Society Series B，1993，55（4）：757.

［2］ Wahba G.Spline models for observational data ［M ］.Philadelphia：SIAM，1990.

［3］ Stone C J.Consistent nonparametric kernel regression［J］.Annals of Statistics，1997，5（4）：595.

［4］ Cleveland W S.Robust locally weighted regression and smoothing scatterplots［J］.Journal of the American Statistical Association，1979，74：828.

［5］ Fan J.Design-adaptive nonparametric regression［J］.Journal of the American Statistical Association，1992，87：998.

［6］ Hoover D R，Rice J A，Wu C O，et al.Nonparametric smoothing estimates of time-varying coefficient models with longitudinal data［J］.Biomatrika，1998，85：809

［7］ Wang N.Marginal nonparametric kernel regression accounting for within-subjuct correlation［J］.Biometrika，2003，90：43.

［8］ Lin X，Wang N，Welsh A H，et al.Equivalent kernels of smoothing splines in nonparametric regression for clustered/longitudinal data［J］.Biometrika，2004，91：177.

［9］ Liang K Y ，Zegger S L.Longitudinal data analysis using generalized linear models［J］.Biometika，1986，73：12.

［10］ Qu A，Lindsay B G，Li B.Improving geralised estimating equations using quadratic inference functions［J］.Biometrika，2000，87：823.

［11］ Qu A，Li R.Quadratic inference function for varyingcoefficient models with longitudinal data［J］.Biometrics，2006，62：379.

［12］ Lin X，Carroll R J.Nonparametric function estimation for clustered data when the predictor is measured without/with error［J］.Journal of the American Statistical Association，2000，95：520.

［13］ Wedderburn R W M.Quasi-likelihood functions，generalized linear models，and the Gauss-Newton method［J］.Biometrika，1974，61：439.

［14］ Qu A，Lindsay B G.Building adaptive estimating equations when inverse-of-covariance estimation is difficult［J］.Journal of the Royal Statistical Society Series B，2003，65：127.