高羽飛, 來 鵬, 何孟霜, 夏文俊

(南京信息工程大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院, 南京 210044)

為了對超高維數(shù)據(jù)進(jìn)行分析, 眾多學(xué)者展開了研究．Fan等[1]提出基于Pearson相關(guān)系數(shù)的SIS超高維特征篩選方法; Zhu等[2]提出可用于篩選非線性相關(guān)變量的SIRS特征篩選方法; Li等[3]在更一般的情況下,提出基于距離相關(guān)系數(shù)的DC方法, 實(shí)現(xiàn)了在無模型假設(shè)條件下對超高維數(shù)據(jù)進(jìn)行變量篩選,并適用于對分組預(yù)測變量和多元響應(yīng)變量的篩選; Wu等[4]提出基于條件分位數(shù)的自由模型特征篩選方法(conditional quantile screening, CQSIS), 該法可用于處理刪失數(shù)據(jù)問題; 在此基礎(chǔ)上, Liu等[5]提出適用于給定變量條件下的超高維分位數(shù)獨(dú)立篩選方法; Cui等[6]依據(jù)超高維判別分析問題中響應(yīng)變量是分類變量的特點(diǎn),提出基于經(jīng)驗(yàn)條件分布的邊際特征篩選方法; Liu等[7]利用條件距離相關(guān)系數(shù),構(gòu)造出針對超高維數(shù)據(jù)的條件特征篩選過程．以上方法已經(jīng)在很大程度上改進(jìn)了傳統(tǒng)方法對超高維數(shù)據(jù)分析的不足,但研究更穩(wěn)健、有效的特征篩選方法仍然十分有意義．

近年來,模型平均思想在統(tǒng)計(jì)學(xué)上被廣泛運(yùn)用,它通過對不同的估計(jì)模型或者預(yù)測模型進(jìn)行加權(quán),綜合考慮它們的性能,進(jìn)而達(dá)到提高模型效率且降低模型誤差的目的．Hansen等[8]提出在不確定異方差誤差設(shè)置下,利用最小化交叉驗(yàn)證準(zhǔn)則篩選權(quán)重對M個(gè)非嵌套近似模型加以組合來提高估計(jì)效果的JMA(jackknife model averaging)估計(jì)方法; Liang等[9]認(rèn)為模型平均集成了模型選擇過程中固有的不確定性, 通過對候選模型適當(dāng)加權(quán)可以提高擬合模型的預(yù)測能力; Chen等[10]利用模型平均邊際回歸半?yún)?shù)懲罰方法對超高維動態(tài)時(shí)間序列數(shù)據(jù)進(jìn)行了處理分析; Gao等[11]基于留一交叉驗(yàn)證, 提出可用于縱向數(shù)據(jù)以及包含異方差誤差時(shí)間序列數(shù)據(jù)的模型平均方法．本文受模型平均思想的啟發(fā),擬將其與條件分位數(shù)篩選方法(CQSIS)相結(jié)合,給出基于模型平均的穩(wěn)健超高維數(shù)據(jù)特征篩選方法．

1 基于模型平均的超高維數(shù)據(jù)特征篩選(MASIS)

1.1 篩選方法

1.2 理論性質(zhì)

為了研究MASIS的理論性質(zhì),假設(shè)[4]:

(H1) 關(guān)于正的常數(shù)c和M以及α∈(0,1/4), 1≤s≤m, 有+∞>M≥maxk∈Aτs‖dk,τs‖≥mink∈Aτs‖dk,τs‖>2cn-α>0;

(H2) 在Qτ(Y)的領(lǐng)域內(nèi),F(y)是二階可微的．Y的密度函數(shù)f(y)一致有界且不靠近0和無窮, 其導(dǎo)數(shù)f′(y)也是一致有界的．

定理1在條件(H1)和(H2)下, 對于正的常數(shù)c8,c9,c10和c11, 有

(1)

其中Sn,m=max{Sn,τs,s=1,…,m}．進(jìn)而, 若mink∈Awk≥2cn-α,則

(2)

(3)

(4)

則

(5)

(6)

根據(jù)文獻(xiàn)[4],得

(7)

(8)

(9)

結(jié)合式(4)～(6), (9), 得

(10)

而

(11)

(12)

2 蒙特卡洛模擬

例1考慮線性回歸模型Yi=X1i+3X2i+1.5X3i+2X4i+εi, 當(dāng)ρ和殘差εi滿足: i)ρ=0.5,εi服從t(1)分布; ii)ρ=0.8,εi服從標(biāo)準(zhǔn)柯西分布時(shí), 模擬結(jié)果見表1和表2．從表1和表2中的結(jié)果不難看出, MASIS、SIRS以及DC篩選出所有真實(shí)重要變量需要的模型規(guī)模相似且都較小, 與真實(shí)模型非常接近; 而SIS篩選時(shí), 雖然4個(gè)真實(shí)的重要變量也能篩選出來, 但穩(wěn)定性不高．比較Pa值, MASIS和SIRS方法均以趨于1的概率在200次試驗(yàn)中將真實(shí)重要變量篩選出來, 而DC方法稍差, SIS方法表現(xiàn)最差．

表1 ρ=0.5時(shí)殘差εi服從t(1)分布的篩選模擬結(jié)果

表2 ρ=0.8時(shí)殘差εi服從標(biāo)準(zhǔn)柯西分布的篩選模擬結(jié)果

例2考慮帶有交互項(xiàng)的可加模型Yi=3sinX1i+4cos2X2i+2exp(X3iX4i)+εi, 當(dāng)ρ和殘差εi滿足: i)ρ=0.8,εi服從標(biāo)準(zhǔn)正態(tài)分布; ii)ρ=0.9,εi服從標(biāo)準(zhǔn)柯西分布時(shí), 模擬結(jié)果見表3和表4．從模擬結(jié)果可以看出, MASIS方法篩選出所有真實(shí)重要變量需要的模型規(guī)模相似且均較小, 與真實(shí)模型非常接近; DC方法的總體篩選效果一般, 且穩(wěn)定性較差, 而SIS和SIRS方法雖然也可以篩選出4個(gè)真實(shí)的重要變量,但穩(wěn)定性都很低．比較Pa值,很明顯MASIS方法幾乎以趨于1的概率在200次試驗(yàn)中能將真實(shí)重要變量全部篩選出, 而DC方法稍差, SIS和SIRS方法表現(xiàn)很差．

表3 ρ=0.8時(shí)殘差εi服從標(biāo)準(zhǔn)正態(tài)分布的篩選模擬結(jié)果

表4 ρ=0.9殘差εi服從標(biāo)準(zhǔn)柯西分布的篩選模擬結(jié)果

3 實(shí)例分析

將MASIS特征篩選方法用于對轉(zhuǎn)基因小鼠心肌病數(shù)據(jù)的分析中, 篩選出小鼠體內(nèi)與Ro1相關(guān)的基因．轉(zhuǎn)基因小鼠心肌病數(shù)據(jù)中共有30個(gè)小鼠樣本,對應(yīng)的基因數(shù)有6 319個(gè), 從實(shí)例分析的結(jié)果可知[4], 與Ro1相關(guān)的基因?yàn)镸sa.2134.0, Msa.2877.0, Msa.26025.0, Msa.15442.0和Msa.10108.0．

考慮MASIS方法包括第一步的局部篩選以及第二步的加權(quán)后篩選, 為了避免遺漏可能的重要變量, 采用2個(gè)不同排序篩選變量數(shù)d．第一步選擇較大的d=100, 第二步選擇較小的d值來確定篩選模型的規(guī)模, 篩選結(jié)果如表5所示．結(jié)果表明,當(dāng)篩選模型的規(guī)模達(dá)到15時(shí),5個(gè)相關(guān)基因全被篩選出,而文獻(xiàn)[7]利用條件分位數(shù)篩選方法(CQSIS)完全篩選出所需模型的最小規(guī)模為29．本文方法縮小了篩選模型的規(guī)模, 說明MASIS篩選方法在一定程度上改進(jìn)了條件分位數(shù)篩選方法(CQSIS)．

表5 MASIS方法對轉(zhuǎn)基因小鼠心肌病數(shù)據(jù)的篩選結(jié)果

為了進(jìn)一步研究這15個(gè)基因與Ro1之間的關(guān)系, 分別建立LASSO、神經(jīng)網(wǎng)絡(luò)和分類回歸樹模型．建模預(yù)測結(jié)果如圖1所示．模擬結(jié)果證實(shí), 分類回歸樹模型的預(yù)測情況最好．

圖1 回歸預(yù)測圖及標(biāo)準(zhǔn)差σ(上圖為訓(xùn)練集，下圖為測試集)Fig.1 Regression forecasting and standard deviation (the training set is shown in the figure above, and the test set is shown in the figure below)

4 結(jié)論

本文提出基于模型平均思想的穩(wěn)健超高維特征篩選方法(MASIS), 分析其確定性篩選性質(zhì),并給出了MASIS方法理論性質(zhì)的證明．通過蒙特卡洛模擬,驗(yàn)證了MASIS方法在處理線性問題和非線性問題時(shí)具有很好的穩(wěn)健性,同時(shí)該方法相比較于其他方法,能更好地處理超高維數(shù)據(jù)中經(jīng)常出現(xiàn)的異構(gòu)性和交互作用等問題．自由模型假設(shè)的條件,使得該方法具有更廣泛的使用范圍．?dāng)?shù)值模擬和實(shí)例分析的特征篩選結(jié)果顯示,MASIS方法比之前的篩選方法能更有效、更穩(wěn)健地篩選出理想的特征變量,對現(xiàn)有方法進(jìn)行了恰當(dāng)?shù)馗倪M(jìn)．