楊曉偉,張軍艦

(1.廣西師范大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣西 桂林 541006；2.巢湖學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，安徽 合肥 238000)

負(fù)二項(xiàng)回歸模型主要研究負(fù)二項(xiàng)型響應(yīng)變量和一組解釋變量之間的關(guān)系，廣泛應(yīng)用于計(jì)量經(jīng)濟(jì)學(xué)等領(lǐng)域中，例如分析面板負(fù)二項(xiàng)模型選擇問(wèn)題等。負(fù)二項(xiàng)回歸除參數(shù)估計(jì)外，另一個(gè)重要功能是能夠搜索最能解釋或預(yù)測(cè)響應(yīng)變量的子集，該過(guò)程相當(dāng)于變量選擇過(guò)程。在模型選擇領(lǐng)域中最新文獻(xiàn)有很多，它們以不同方式處理不同模型。查閱文獻(xiàn)[1-3]并做詳細(xì)調(diào)查，發(fā)現(xiàn)負(fù)二項(xiàng)回歸模型選擇方法很少被研究。負(fù)二項(xiàng)回歸模型選擇理論方法的缺失給實(shí)際應(yīng)用帶來(lái)諸多不便。為此，本文研究側(cè)重于該類(lèi)模型選擇準(zhǔn)則的漸近性質(zhì)，包括AIC、BIC、MallowsCp和隨機(jī)復(fù)雜度或負(fù)二項(xiàng)回歸模型的最小描述長(zhǎng)度。其漸近性研究的副產(chǎn)品是基于負(fù)二項(xiàng)回歸模型構(gòu)建了最大似然估計(jì)(MLE)的重對(duì)數(shù)律，即

其中d為某給定常數(shù)，‖·‖表示歐氏范數(shù)。由重對(duì)數(shù)律提供的MLE收斂速率在導(dǎo)出似然函數(shù)的精確近似時(shí)是非常有用的。

與本文相關(guān)的早期研究有Cameron和Trivedi[4]以及Qian和Field[5]，其重點(diǎn)僅限于Poisson模型和邏輯回歸模型。本文考慮更一般的情況，即允許存在任何有意義聯(lián)系函數(shù)的負(fù)二項(xiàng)回歸模型。Qian和Field[5]提出的方法不能推出這種看似簡(jiǎn)單的理論表達(dá)，它需要一種實(shí)質(zhì)性的證明技術(shù)。首先，這種泛化的對(duì)數(shù)似然函數(shù)失去了邏輯聯(lián)系下?lián)碛械暮?jiǎn)單性和一些好的性質(zhì)，例如全局凸性，因此，要建立對(duì)數(shù)似然函數(shù)強(qiáng)的性質(zhì)表示，使得各種可靠一致界限的給定變得更加困難。響應(yīng)變量服從負(fù)二項(xiàng)分布，但并沒(méi)有緩解這種困境。其次，聯(lián)系函數(shù)具體表達(dá)的缺乏是另一個(gè)困難因素，因此，需要對(duì)一些條件進(jìn)行限定，并適當(dāng)?shù)卣{(diào)整聯(lián)系函數(shù)以獲得所需的模型選擇性能。

1 負(fù)二項(xiàng)回歸模型選擇

假設(shè)負(fù)二項(xiàng)回歸設(shè)計(jì)數(shù)據(jù)服從兩參數(shù)具有過(guò)離散性的負(fù)二項(xiàng)分布

負(fù)二項(xiàng)回歸的最大對(duì)數(shù)似然函數(shù)為

參數(shù)β的費(fèi)希信息陣為

2 相關(guān)條件和主要結(jié)論

2.1 相關(guān)條件

為了證明主要結(jié)果，需要先給定以下假設(shè)條件：

(C1)存在正的常數(shù)b1、b2，滿(mǎn)足b1n≤λ1{In(β0)}≤λp{In(β0)}≤b2n；

2.2 主要結(jié)論

定理1若條件(C1)～(C5)成立，則對(duì)任意正確模型α∈Ac，有

(1)

進(jìn)一步，存在常數(shù)d>0，滿(mǎn)足對(duì)任意α∈Ac，有

定理2在條件(C1)～(C5)下，對(duì)任意正確模型α∈Ac，有

(2)

定理3在條件(C1)～(C5)下，對(duì)任意錯(cuò)誤模型α∈Aω，有

(3)

定理4若一個(gè)負(fù)二項(xiàng)回歸模型滿(mǎn)足條件(C1) ～ (C5)，則模型對(duì)于BIC和SCC準(zhǔn)則都是強(qiáng)收斂的，而對(duì)于AIC準(zhǔn)則是收斂的但不是強(qiáng)收斂。

3 主要結(jié)論的證明

證明的關(guān)鍵在于負(fù)最大對(duì)數(shù)似然函數(shù)的凸性、二次逼近、負(fù)二項(xiàng)標(biāo)準(zhǔn)分布的伽瑪逼近以及獨(dú)立隨機(jī)變量的重對(duì)數(shù)律。凸性的應(yīng)用是廣泛的，另外漸近性理論的建立和線性模型M估計(jì)量的代表性文獻(xiàn)有很多，具體可查文獻(xiàn)[14-16]。

根據(jù)ξn定義和條件(C1)、(C2)，容易看出存在一個(gè)正的序列{τn}滿(mǎn)足

利用τn定義如下2個(gè)子集：

顯然，B1?B2?B3?…?Bn，進(jìn)一步定義：

令K(r,s)=f(r)-f(s)-f′(s)(r-s)，式中f(s)=θln(θ+es)，則

(4)

為方便證明，先給出幾個(gè)引理。

引理1函數(shù)K(r,s)有以下幾個(gè)性質(zhì)：

①K(r,s)≥0對(duì)任意數(shù)值r和s都成立；

②K(r,s)是關(guān)于r的嚴(yán)格凸函數(shù)；

③ 存在常數(shù)c1，滿(mǎn)足

證明注意到K(r,s)=f(r)-f(s)-f′(s)(r-s)，f(s)=θln(θ+es)。由泰勒展開(kāi)式，存在某數(shù)值v介于r與s之間，且

引理2設(shè)W服從負(fù)二項(xiàng)分布NB(μi,θ)，參數(shù)θ已知，對(duì)任意t>0，有

式中b為某一常數(shù)。

引理2由文獻(xiàn)[17]中引理6.1修改而得，證明略。

引理4假設(shè)B是正定矩陣，對(duì)任意向量X≠0,V(X)=XTBX>0，則

式中λmin=min{|λ|：λ是矩陣B的特征值}，λmax=max{|λ|:λ是矩陣B的特征值}。

引理4由文獻(xiàn)[15]中引理6修改而得，證明略。

引理5若條件(C1)～(C3)成立，則

(5)

(6)

證明顯然式(6)的結(jié)論來(lái)源于式(5)和條件(C1)，故僅需證明式(5)。不失一般性，假定xkj>0。利用條件信息yk～NB(μi,θ)，θ已知，由In(β0)的定義易證，對(duì)于j=1,…，p,

(7)

(8)

由條件(C1)，當(dāng)n→∞時(shí)式(8)成立。

進(jìn)一步，對(duì)于j=1,…，p,

(9)

P{|(yn-μ0n)xnj|>εdnj}=P{|yn-μ0n|>εdnj|xnj|-1}。

(10)

由引理2，yn～NB(μ0n,θ)，θ已知。若令t=εdnj|xnj|-1，Eyn=μ0n，則

(11)

式中b為常數(shù)。注意到(C1)和不等式λ1{In(β0)}≤In(β0)(j,j)≤λp{In(β0)}，則

由上述不等式得，

由條件(C2)和ε的任意性，當(dāng)n充分大時(shí)，有

(12)

根據(jù)式(10)～(12)，有

(13)

當(dāng)n充分大時(shí)，由式(13)和條件(C1)，得

下面證明定理1。

定理1的證明對(duì)真實(shí)模型，要證明式(1)，證明

(14)

顯然是充分的。應(yīng)用引理1結(jié)論③，有

上述不等式的成立應(yīng)用了引理4的結(jié)論。由條件(C1)，

(15)

另一方面，利用式(4)、(6)，

(16)

(17)

由式(15)～(17)，存在b6>0，使得

(18)

(19)

因?yàn)樾蛄衶τn}是盡可能慢的趨于無(wú)窮，則由式(19)可得式(14)。

(20)

從而推出式(19)是正確的。根據(jù)引理1③的結(jié)論，對(duì)于式(4)，有

(21)

(22)

另一方面，根據(jù)引理5，存在一個(gè)正整數(shù)序列{ni↑∞}滿(mǎn)足

故當(dāng)ni充分大時(shí)，有

(23)

由式(23)，當(dāng)ni充分大時(shí)，有

(24)

由條件(C1)，

(25)

同時(shí)，當(dāng)n充分大時(shí)，有

(26)

由式(25)、(26)，當(dāng)ni充分大時(shí)，

由式(21)、(25)，當(dāng)ni充分大時(shí)，

(27)

類(lèi)似地，

(28)

結(jié)合式(24)、(27)、(28)，當(dāng)ni充分大時(shí)，

由式(26)，

(29)

(30)

顯然，式(30)與式(22)是矛盾的，即式(20)的假定是錯(cuò)誤的。因此，對(duì)正確模型，

是成立的。定理1證畢。

下面證明定理2。

定理2的證明根據(jù)定理1的證明，若要證明式(2)，即證式(31)。由H(β,n)的定義可知

(31)

(32)

結(jié)合引理5的式(6)和定理1，得

(33)

(34)

下面證明定理3。

(35)

定義

(36)

利用引理1結(jié)論③、式(4)、條件(C4)，可得，

(37)

類(lèi)似地，由式(16)可證明

(38)

(39)

根據(jù)式(4)，有

(40)

聯(lián)立式(37)～(39)，則式(40)、(36)成立，隨之式(35)成立。定理3證畢。

本章最后證明定理4。

定理4的證明由于Fisher信息陣的行列式|I(β(α))|通常是O(npα)階的，SCC和BIC懲罰項(xiàng)都是關(guān)于模型維數(shù)pα的遞增函數(shù)且是O(lnn)階的，從定理2和定理3的結(jié)論可推出SCC和BIC都是強(qiáng)相合的。由于AIC懲罰項(xiàng)為O(1)階，故不一定是強(qiáng)相合的。但AIC顯然是相合的，因?yàn)楫?dāng)n充分大時(shí)，正確模型的標(biāo)準(zhǔn)誤差幾乎必然小于任何錯(cuò)誤模型且大于τn。定理4證畢。

4 后續(xù)工作

本文基于響應(yīng)變量服從負(fù)二項(xiàng)分布，且候選模型依據(jù)可用解釋變量作為假設(shè)前提獲得漸近結(jié)果。由于實(shí)際應(yīng)用中可能存在一些潛在變量，這些變量也會(huì)影響響應(yīng)變量，在這種情況下，對(duì)響應(yīng)變量可引入混合負(fù)二項(xiàng)分布來(lái)建模，利用過(guò)度離散參數(shù)來(lái)解釋潛在變量的影響。查閱文獻(xiàn)[8]第6章過(guò)度離散對(duì)數(shù)線性模型的詳細(xì)內(nèi)容可發(fā)現(xiàn)，將本文的漸近結(jié)果擴(kuò)展到上述情況是非常困難的，但對(duì)于模型選擇仍應(yīng)關(guān)注那些可用解釋變量。當(dāng)然對(duì)于混合負(fù)二項(xiàng)分布(可模仿文獻(xiàn)[21]中的證明來(lái)表示)能夠獲得類(lèi)似引理2的結(jié)果，同時(shí)也可得到與定理1至4相同的結(jié)論。將漸近結(jié)果推廣到除具有對(duì)數(shù)關(guān)聯(lián)之外聯(lián)系函數(shù)的負(fù)二項(xiàng)回歸模型仍在研究之中，這些研究不僅涉及模型選擇標(biāo)準(zhǔn)，還有許多其他模型選擇方法，例如分層貝葉斯法[22]和Lasso[23]等，本文的結(jié)果可能不適用。另外，除確定模型選擇標(biāo)準(zhǔn)并評(píng)估其漸近性質(zhì)之外，還存在針對(duì)大量候選模型如何執(zhí)行模型選擇的計(jì)算問(wèn)題，特別當(dāng)候選模型數(shù)量(通常為2p)很大時(shí)，這將變得尤為重要，后續(xù)的工作也會(huì)對(duì)此問(wèn)題進(jìn)行更深入地研究。