周生彬,張波

(1.中國人民大學(xué)統(tǒng)計學(xué)院,北京100872;2.哈爾濱師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院,哈爾濱150025)

乘積模型的最小二乘相對誤差估計

周生彬1,2,張波1

(1.中國人民大學(xué)統(tǒng)計學(xué)院,北京100872;2.哈爾濱師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院,哈爾濱150025)

文章提出了一種基于最小二乘準(zhǔn)則下的乘積模型的相對誤差估計方法。該方法的目標(biāo)函數(shù)是光滑的凸函數(shù),所得到的估計量具有強(qiáng)相合性和漸進(jìn)正態(tài)性,估計量的漸進(jìn)方差可以用插入法直接估計。模擬結(jié)果顯示所提方法與其他同類方法比較具有一定的優(yōu)勢。

乘積回歸模型;相對誤差;最小絕對值相對誤差;隨機(jī)加權(quán)

0 引言

在統(tǒng)計分析中,線性回歸模型是最流行最重要的模型之一。通過指數(shù)變換,線性模型可以寫成乘積模型的形式:

其中yi是響應(yīng)變量,Xi是協(xié)變量,β是含有截距項的回歸系數(shù),εi是不可觀測的誤差項且與Xi獨(dú)立。模型(1)在經(jīng)濟(jì)理論和生存分析中有著廣泛的應(yīng)用。比如,生存分析中的加速失效模型,經(jīng)濟(jì)理論中的Cobb-Douglas類型的乘積函數(shù),引力貿(mào)易流動方程和乘積需求函數(shù)[1],這些模型的響應(yīng)變量都是正值且可以寫成模型(1)的形式。在估計乘積模型時,通常的做法是先做對數(shù)變換把乘積模型轉(zhuǎn)化成線性模型,然后對線性模型做參數(shù)估計,最后把估計的參數(shù)做指數(shù)變換。但是,在實際中有時我們關(guān)心的是變量之間的乘積結(jié)構(gòu)而不是線性結(jié)構(gòu)。另外,當(dāng)我們感興趣的是E(Y|X)而不是參數(shù)β時,上面這種做變換的方法就會使得結(jié)果不具有一致性。線性模型最常用的估計方法是最小二乘估計和最小絕對值估計,這兩種方法都是基于絕對誤差。但是在實際中,我們可能更感興趣的是相對誤差而不是絕對誤差,因此,有必要建立一種基于相對誤差的統(tǒng)計方法。當(dāng)考慮相對誤差時,響應(yīng)變量通常為正值,而乘積模型處理正是這種變量的模型。在國內(nèi),相對誤差的研究通常是應(yīng)用性質(zhì)的研究[2,3],國外對于相對誤差已有一些統(tǒng)計方法的研究[4-8],但是一直沒有證明相對誤差下估計量的統(tǒng)計性質(zhì)(如相合性和漸進(jìn)正態(tài)性)。Chen等[9]提出最小絕對值相對誤差(LARE)準(zhǔn)則:

并證明了該準(zhǔn)則下估計量的漸進(jìn)正態(tài)性。該準(zhǔn)則同時考慮兩種類型的相對誤差:其中為yi估計值。最近,許多學(xué)者研究了基于LARE準(zhǔn)則下的相對誤差估計。Zhang等[10]通過局部光滑的方法把LARE準(zhǔn)則推廣到部分線性乘積模型并且對于線性部分提出了一種變量選擇的方法。Yang等[11]提出一種一般的相對誤差準(zhǔn)則(GREC)估計乘積模型的未知參數(shù),通過將相對誤差準(zhǔn)則變換為一般的絕對誤差準(zhǔn)則研究了估計量的漸進(jìn)性質(zhì)。Li等[12]提出一種經(jīng)驗似然的方法從而避免了未知的密度估計。在一定的正則條件下,Chen等[1]證明了LARE的漸進(jìn)性質(zhì)。但是,該準(zhǔn)則得到的估計量的漸進(jìn)方差含有未知的誤差項的密度函數(shù)。另外,LARE準(zhǔn)則定義的函數(shù)不是光滑函數(shù)這使得求解計算非常費(fèi)時。因此,有必要建立一種準(zhǔn)則,該準(zhǔn)則不僅含有相對誤差項而且所定義的函數(shù)是光滑的凸函數(shù)。準(zhǔn)則函數(shù)的凸性保證了所得估計量的唯一性和一般的三明治類型的插入估計量的相合性。本文基于LARE準(zhǔn)則進(jìn)一步提出最小二乘的相對誤差(LSRE)準(zhǔn)則,該準(zhǔn)則下目標(biāo)函數(shù)為光滑的凸函數(shù),估計量的漸進(jìn)方差可以用插入法直接估計。

1 最小二乘相對誤差準(zhǔn)則

在LARE準(zhǔn)則的基礎(chǔ)上,基于上述兩種類型的相對誤差,本文提出一種最小二乘相對誤差準(zhǔn)則:

由式(4)可以看到LSRE準(zhǔn)則的一些優(yōu)點。首先,LSRE準(zhǔn)則得到的目標(biāo)函數(shù)是光滑的且有無窮階導(dǎo)數(shù)。其次,由于指數(shù)函數(shù)是嚴(yán)凸函數(shù),所以目標(biāo)函數(shù)也是嚴(yán)凸函數(shù)。于是,最小化目標(biāo)函數(shù)(4)等價于求其一階導(dǎo)數(shù)的根。所以,可以用局部二項式展開直接得到估計量的漸進(jìn)性質(zhì)而且可以應(yīng)用M-估計的方法進(jìn)行統(tǒng)計推斷。記為β的估計量,即:

由式(4)的嚴(yán)凸性可知,如果式(4)存在最小值,則最小值一定是唯一的。若設(shè)計陣是非奇異的,那么存在且唯一。為了得到估計量的漸進(jìn)性質(zhì),假設(shè)如下條件成立:

條件1:E(XXT)是正定陣;

條件2:存在ψ＞0使得E｛(ε2+ε-2)exp(ψ‖X‖)}＜∞;

條件3:存在ψ＞0使得E｛(ε2+ε-2)2exp(ψ‖X‖)}＜∞;

條件4:誤差項滿足E(ε2)-E(ε-2)=0。

條件1保證了設(shè)計陣是非奇異的,該假設(shè)是回歸參數(shù)可識別的最小條件。條件2幾乎是目標(biāo)函數(shù)(4)在真實參數(shù)β0的某個鄰域內(nèi)有有限期望的最小條件,同時保證了式(4)的極限關(guān)于β是可微的且微分和期望是可交換的。條件3與假設(shè)2類似,為了證明估計量的漸進(jìn)正態(tài)性。條件4等價于目標(biāo)函數(shù)(4)在β點導(dǎo)數(shù)的均值為0,這一假設(shè)也是估計量漸進(jìn)無偏的最小條件。嚴(yán)凸性和漸進(jìn)無偏性使得估計量一定是相合的。

n0的一個鄰域內(nèi)收斂到E{LARE(β)}且二者都是凸的。

n因此,由Rockafellar[13],收斂到β0,其中為 LAREn(β)的最小值,β0為E{LAREn(β)}的最小值。

證明:記Ln(β)=LAREn(β),由的定義有因為是相合的,由泰勒公式,所以,

估計量的漸進(jìn)方差可以用插入法直接估計。定義插入估計量為:

性質(zhì):設(shè)條件1成立,如果誤差項ε的密度函數(shù)有如下形式:

其中c是正則常數(shù),則估計量β?n是漸進(jìn)有效的,其中I(·)為示性函數(shù)。

證明:給定ε的密度函數(shù),則:

因此,Y的似然函數(shù)為:

最大化上面的似然函數(shù)等價于最小化所提的LSRE準(zhǔn)則,所以,當(dāng)時,最小化LAREn得到的估計量是有效的。

2 數(shù)值模擬

采用蒙特卡洛模擬方法比較最小二乘(LS),最小絕對值偏差(LAD),最小絕對值相對誤差(LARE)和本文所提的最小二乘相對誤差(LSRE)在有限樣本情形下的有效性。模擬研究基于如下模型:

其中X1i和X2i都服從標(biāo)準(zhǔn)正態(tài)分布N(0,1)且相互獨(dú)立,β0,β1和β2是回歸參數(shù),取值為(β0,β1,β2)T=(1,1, 1)T。考慮四種誤差分布:(1)ε的分布使得LSRE的估計為有效估計;(2)logε服從N(0,1);(3)logε服從(-2,2)的均勻分布;(4)ε的分布使得LARE的估計為有效估計,即, ε～feff1(x)=c1exp(-|1-x|-|1-x-1|-log x)I(x＞0),其中c1為正則化常數(shù)。樣本量n取200。LARE和LAD的方差估計采用隨機(jī)加權(quán)的方法且重抽樣的次數(shù)為N=500,LS和LSRE的方差估計采用插入法直接估計。模擬結(jié)果為重復(fù)1000次的情形。

表1 LSRE,LARE,LS和LAD在β=(1,1,1)T時的對比結(jié)果

3 應(yīng)用舉例

人體脂肪數(shù)據(jù)共收集252個人的多項人體指標(biāo),該數(shù)據(jù)可用來分析人體脂肪所占體重的百分比,對于該數(shù)據(jù)的具體描述可參考Penrose[14],從原始數(shù)據(jù)中收集到12個解釋變量:年齡(X1)身高4/體重2(X2)和10個其他人體圍度指標(biāo)(頸、胸、腹、臀、大腿、膝、踝、二頭肌、前臂和手腕、分別記為Xi,i=3,…,12),其中X2對體質(zhì)指數(shù)(BMI=體重/身高2)變換得到。響應(yīng)變量Y為人體脂肪百分比。該數(shù)據(jù)有一個觀測值Y=0,將其刪除并用多元回歸模型擬合剩余n=251個數(shù)據(jù):

其中Zj,j=1,…,12表示標(biāo)準(zhǔn)化的解釋變量。為了對不同的方法進(jìn)行評估,數(shù)據(jù)集被分成兩部分。第一部分有200個樣本,用來擬合模型(7),剩余51個樣本被用來評估預(yù)測效果。表2和表3給出了擬合結(jié)果。p-值的計算公式為,其中是回歸系數(shù)的估計值,是的標(biāo)準(zhǔn)偏差的估計,Φ(·)是標(biāo)準(zhǔn)正態(tài)累積分布函數(shù)。LSRE和LS的方差用插入法估計,LARE和LAD的方差用隨機(jī)加權(quán)重抽樣的方法估計。表2說明這四種方法都能夠識別出某些共同的變量(p-值＜0.05),比如年齡、1/BMI和腹圍。隨著年齡的增長、BMI的增加和腹圍的變大,人體脂肪的比例也會隨著增加,這一點是非常合理的。但是,只有LSRE識別出了肱二頭肌和大腿的圍度而其他三種方法卻沒有識別出來,這說明人體脂肪的比例會隨著大腿變粗和肱二頭肌的圍度變大而增加。

表2 LSRE,LARE,LS和LAD四種方法分析人體數(shù)據(jù)的結(jié)果

表3 LSRE,LARE,LS和LAD四種方法預(yù)測誤差的中位數(shù)的比較結(jié)果

這四種估計的預(yù)測效果用兩種不同的中位數(shù)指標(biāo)度量:乘積相對誤差中位數(shù)(MPPE)和可加相對預(yù)測誤差中位數(shù)(MAPE),其中i=201,…,251。表3表明LSRE的MPPE和MSPE比LARE、LS和LAD都要小。

4 結(jié)論

本文提出一種乘積模型的最小二乘相對誤差(LSRE)準(zhǔn)則。所提的LSRE準(zhǔn)則的形式簡單而且漸進(jìn)方差不包含未知的誤差項的密度,因此可以直接用插入法估計漸進(jìn)方差。而Chen[1]所提方法要用隨機(jī)加權(quán)的方法估計漸進(jìn)方差,該方法無論是算法的復(fù)雜度還是計算時間都要比插入法復(fù)雜得多。因此,本文所提方法進(jìn)一步改進(jìn)了LARE的估計效率。相對誤差還沒有像絕對誤差那樣受到人們普遍的關(guān)注,在相對誤差準(zhǔn)則下也沒有哪一個準(zhǔn)則像最小二乘準(zhǔn)則那樣被人們普遍接受,因此,本文所提出的LSRE準(zhǔn)則無論是在理論上還是在計算上都是LARE準(zhǔn)則的另外一種可能的選擇。數(shù)值模擬和實證研究結(jié)果表明LSRE準(zhǔn)則的優(yōu)良性。

[1]Chen K,Guo S,Lin y,etal.LeastAbsolute Relative Error Estimation. [J].Journalof the American StatisticalAssociation,2010,(105).

[2]Teekens R,Korets J.Some Statistical Implications of the Log Transformation ofMultiplicative Models[J].Econometrica,1972,(40).

[3]云連英,曹勃.基于優(yōu)化的相對誤差意義下的數(shù)據(jù)擬合[J].統(tǒng)計與決策,2007,(21).

[4]高尚,張紹虎,梅亮.基于相對誤差的線性組合預(yù)測研究[J].系統(tǒng)工程與電子技術(shù),2008,(3).

[5]Narula S C,w ellington,J F.Prediction,Linear Regresion and the Minimum Sum ofRelative Errors[J].Technometrics,1977,(19).

[6]Makridakis S,Andersen A,Carbone R,etal.The Forecasting Accuracy ofMajor Time SeriesMethods[M].New y ork:w iley,1984.

[7]Khoshgoftaar T M,Bhattacharyya B B,Richardson G D.Predicting Software Errors,During Development,Using Nonlinear Regression Models:A Comparative Study[J].IEEE Transactions on Reliability, 1992,(41).

[8]Park H,Stefanski L A.Relative一Error Prediction[J].Statist.&Prob. Letters,1998,(40).

[9]ye J.Price Models and the value Relevance of Accounting Information[R].TechnicalReport,2007.

[10]Zhang Q,w ang Q.Local Least Absolute Relative Error Estimating Approach for Partially Linear Multiplicative Model[J].Statistic Sinica,2012,(23).

[11]y ang y,ye F.General relative Error Criterion And M一estimation [J].FrontiersofMathematics in China,2013,(8).

[12]Li Z,Lin y,Zhou G,et al.Empirical Likelihood for Least Absolute Relative Error Regression[J].Test,2013,(23).

[13]Rockafellar R T.Convex analysis.Princeton University Press[M], Princeton:N J,1970.

[14]Penrose K w,Nelson A G,Fisher A G.Generalized Body Composition Prediction Equation for Men Using Simple Measurement Techniques(Abstract)[J].Medicine and Science in Sports and Exercise, 1895,(17).

(責(zé)任編輯/亦民)

O212

A

1002-6487(2016)20-0009-03

國家自然科學(xué)基金資助項目(71471173)

周生彬(1979—),男,吉林延邊人,博士研究生,研究方向:高維數(shù)據(jù)分析。張波(1960—),男,黑龍江哈爾濱人,教授,博士生導(dǎo)師,研究方向:概率統(tǒng)計。