甘勝進(jìn)　游文杰

摘 要 提出中心K階條件矩降維子空間，指出與中心K階中心矩子空間的關(guān)系，并給出迭代的海塞變換估計(jì)，該方法僅僅需要線性條件，綜合了最小二乘和海塞主方向方法.

關(guān)鍵詞 降維；CKCMS；OLS；PHD；迭代海塞變換

中圖分類號(hào) O213文獻(xiàn)標(biāo)識(shí)碼 A文章編號(hào) 10002537（2016）02009005

Iterative Hessian Transformation Estimation of

Central Kth Conditional Moment Subspace

GAN Shengjin*， YOU Wenjie

（School of Electronical and Information Engineering， Fuqing Branch of Fujian Normal University， Fuqing 350300， China）

Abstract This paper defines the central Kth moment subspace， and has derived its relationship with CKCMS. In addition， iterative Hessian transformation estimation has been proposed， which is a combination of ordinary least square estimation and principal Hessian directions applied only to the linear condition.

Key words dimension reduction； CKCMS； OLS； PHD； IHT

在高維空間中進(jìn)行統(tǒng)計(jì)建模，往往會(huì)碰到“維數(shù)災(zāi)難”（curse of dimensionality）問題，因此降維作為建模之前的數(shù)據(jù)預(yù)處理階段，顯得十分重要.常見的降維方法有主成分回歸分析、偏最小二乘回歸和投影尋蹤等，主成分回歸僅僅考慮了自變量之間的相關(guān)信息，忽略了與因變量之間的關(guān)系，而偏最小二乘雖然同時(shí)考慮自變量與因變量之間相關(guān)關(guān)系，但是僅僅局限于線性關(guān)系，沒有考慮非線性關(guān)系，另外投影尋蹤需要估計(jì)連接函數(shù)，超出數(shù)據(jù)預(yù)處理的范圍.

對(duì)于一維響應(yīng)變量Y和p維解釋變量X=（X1，X2，…，Xp），考慮它們之間的回歸問題本質(zhì)上是討論在X給定條件下，Y的條件分布FY|X如何隨X變化.Li（1991）[1]提出切片逆回歸（sliced inverse regression，簡(jiǎn)稱SIR），即如果存在p×k（k

則FY|X（y|x）=FY|ηTX（y|ηTx），Y對(duì)X條件分布是k維的，如果k遠(yuǎn)小于p，就達(dá)到了降維的目的，特別地，當(dāng)k=1或2時(shí)，便可從可視化角度來分析Y與X之間的回歸關(guān)系，由于Y‖X|ηTXY‖X|（ηB）TX，其中B為k階可逆方陣，η與ηB所形成的子空間一樣，所以關(guān)心的是span{η}，而不是η本身，并稱span{η}為降維子空間.如果滿足（1）的所有η的交集仍然滿足（1），則稱之為中心降維子空間（central dimension reduction subspace，簡(jiǎn)稱CS），記為SY|X，rank（SY|X）稱為結(jié)構(gòu)維數(shù).一般來說，在很弱條件下CS總是存在的.有時(shí)候感興趣的是E（Y|X），Cook和Li（2002）[2]提出中心均值子空間，即：

類似CS，若所有滿足（2）的集合的交集仍然滿足（2），稱之為中心均值降維子空間（central mean dimension reduction subspace，簡(jiǎn)稱CMS），記為SE（Y|X）.估計(jì)降維子空間[34]的條件通常為：

（1）線性條件：E（X|ηTX）為ηTX線性函數(shù)，即E（X|ηTX）=PηX，η∈Rp，其中投影陣Pη=η（ηTη）-1ηT.

（2）常數(shù)方差 ：Var（X|ηTX）為非隨機(jī)矩陣.

滿足線性條件一般要求X是橢圓分布，滿足常數(shù)方差條件的是多元正態(tài)分布.本文分三個(gè)部分，第二部分提出中心K階條件矩降維子空間定義，并指出與中心K階中心矩子空間的關(guān)系，第三部分為利用Cook和Li[5]（2004）提出的迭代海塞變換方法來估計(jì)中心K階條件矩子空間，最后部分給出實(shí)例模擬.

1 中心K階條件矩子空間

Yin和Cook（2002）[6]提出中心K階中心矩子空間定義：

Y‖{M（1）（Y|X），…，M（k）（Y|X）}|ηTX， （3）

其中Mk（Y|X）=E[{Y-E（Y|X）}k|X]，k≥2，M（1）（Y|X）=E（Y|X），所有滿足（3）的集合的交集若仍然滿足（3），稱之為中心K階中心矩子空間（central kth conditional moment subspace，簡(jiǎn)稱CKCMS），記為SY|X （k），顯然當(dāng)k=1時(shí)，S

式（5）雖然條件弱，但是沒有估計(jì)出CKCMS中更多的方向，式（6）相對(duì)于（5）似乎得到更多估計(jì)方向，但是需要條件較為苛刻.本節(jié)提出一種新的估計(jì)方法，只需要在線性條件下，以最小二乘為種子向量，最小二乘與高階海塞矩陣[811]不斷結(jié)合產(chǎn)生新的方向，其理論依據(jù)如下.

從表1可以看出：維數(shù)相同情況下，迭代海塞變換估計(jì)方向與真實(shí)方向接近程度的均值越來越大，標(biāo)準(zhǔn)差越來越小，表明樣本容量越大，估計(jì)的效果越好，說明估計(jì)具有相合性；樣本容量相同情況下，維數(shù)越高，均值越小，而標(biāo)準(zhǔn)差變化不大，表明維數(shù)越高，該方法估計(jì)的效果越差，但穩(wěn)定性較好.因此迭代海塞變換收斂速度依賴樣本容量和解釋變量的維數(shù).圖1和圖2為100次重復(fù)下，維數(shù)p=8，樣本容量分別為300和500時(shí)，迭代海塞變換估計(jì)與現(xiàn)常見方法如切片逆回歸（切片數(shù)量為10）、最小二乘相比較.

通過比較發(fā)現(xiàn)：最小二乘估計(jì)非常穩(wěn)定，但是估計(jì)的效果遠(yuǎn)遠(yuǎn)不及前兩者，當(dāng)樣本容量變大時(shí)，與其他兩種方法估計(jì)效果的差距越來越大，一個(gè)很重要的原因是最小二乘只能估計(jì)降維子空間中的一個(gè)方向；切片逆回歸性能對(duì)切片數(shù)量較為敏感，如何選擇切片數(shù)量至今是個(gè)公開的難題，并且當(dāng)回歸函數(shù)是偶函數(shù)時(shí)，該方法失效；相比之下迭代海塞變換隨著樣本容量增大在估計(jì)效果與穩(wěn)定性方面越來越好.

致謝 感謝審稿人的細(xì)致和編輯提出的有益建議！

參考文獻(xiàn)：

[1] LI K C. Sliced inverse regression for dimension reduction[J]. J Am Stat Assoc，1991，86（414）：316327.

[2] COOK R D， LI B. Dimension reduction for conditional mean in regression[J].Ann Stat， 2002，30（2）：455474.

[3] COOK R D， LI L X. Dimension reduction in regressions with exponential family predictors[J].J Comput Graph Stat， 2009，18（3）.

[4] PENG Z， YU Z. An integral transform method for estimating the central mean and central subspaces[J]. J Multiv Anal， 2010，101：271290.

[5] COOK R D， LI B. Determing the dimension of iterative Hessian transformation[J]. Ann Stat，2004，32（6）：25012531.

[6] YIN X R， COOK R D. Dimension reduction for the conditional kth moment in regression[J].J Statist Soc B， 2002，64：159175.

[7] YIN X Y， COOK R D. Dimension reduction via marginal high moments in regression[J].Stat Prob Lett， 2006，76：393400.

[8] LI K C. On principal hessian directions for data visualization and dimension reduction ：another application of steins lemma[J].J Am Stat Assoc，1992，87：420.

[9] COOK R D. Principal hessian directions revisited[J]. J Am Stat Assoc， 1998，93：441.

[10] LUE H H. On principal Hessian directions for multivariate response regressions[J]. Comput Stat， 2010，25：619632.

[11] ZHOU Y， DONG Y X， FANG Y. Marginal coordinate tests for central mean subspace with principal Hessian directions[J]. Chin J Appl Proba Stat，2010，26（5）.

[12] ZHU L P， ZHU L X， WEN S Q. On dimension reduction in regression with multivariate responses[J]. Stat Sin， 2010，20：12911307.

[13] RAPHAEL C， STEPHANE G， JEROME S. A new sliced inverse regression method for multivariate response[J]. Comput Stat Data Anal，2014，77：285299.

（編輯 HWJ）