亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        嶺回歸和核主成分回歸在消除共線性中的實(shí)證分析及比較

        2019-05-04 05:52:24
        關(guān)鍵詞:共線性客運(yùn)量回歸系數(shù)

        (1. 海南大學(xué)理學(xué)院,???,570228;2. 廣東財(cái)經(jīng)大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院,廣州,510320)

        1 引言

        在多元回歸分析的過(guò)程中,常常會(huì)遇到多重共線性的問(wèn)題.當(dāng)自變量之間存在嚴(yán)重的多重共線性時(shí),使用最小二乘法得到的回歸模型的有效性就會(huì)大大降低,模型穩(wěn)定性也會(huì)變得很差,同時(shí)給回歸系數(shù)的統(tǒng)計(jì)檢驗(yàn)及回歸系數(shù)的物理含義解釋等造成一定的困難.因此采取適當(dāng)方法消除多重共線性帶來(lái)的不良影響,對(duì)回歸模型有著重大意義.國(guó)內(nèi)外學(xué)者對(duì)消除多重共線性問(wèn)題得出了許多有效的解決方法,如逐步回歸、嶺回歸、主成分回歸、偏最小二乘回歸、核主成分回歸等.肖雪夢(mèng)[1]、張應(yīng)應(yīng)實(shí)例比較了逐步回歸、主成分回歸及偏最小二乘回歸在消除多重共線性中的效果,周鑫[2]實(shí)例比較了嶺回歸和偏最小二乘回歸,丁立[3]、錢強(qiáng)強(qiáng)等人實(shí)證比較了主成分回歸、偏最小二乘回歸、嶺回歸及Lasso法.本文對(duì)嶺回歸和核主成分回歸兩種方法分別在消除多重共線性的效果上作實(shí)例比較分析.

        1.1 多重共線性的成因、可能影響及診斷方法

        對(duì)于多元線性回歸模型yi=β0+β1x1i+β2x2i+…+βpxpi+εi(i=1,2,…,n),回歸模型可寫作矩陣形式Y(jié)=Xβ+ε.當(dāng)模型違背自變量相互獨(dú)立的假設(shè),即多個(gè)自變量之間存在相互關(guān)系時(shí),就會(huì)產(chǎn)生多重共線性的問(wèn)題.多重共線性的主要來(lái)源[9]有過(guò)度定義回歸模型,數(shù)據(jù)收集的方法有問(wèn)題,對(duì)模型施加了不必要的約束,錯(cuò)誤定義回歸模型等.

        多重共線性的出現(xiàn)會(huì)導(dǎo)致每個(gè)解釋變量的貢獻(xiàn)混淆,使得難以解釋模型[7],多重共線性的存在會(huì)導(dǎo)致均方誤差極高,預(yù)測(cè)變量的方差、協(xié)方差和系數(shù)變得不合理,使得參數(shù)難以精確估計(jì)[8].普通最小二乘估計(jì)對(duì)數(shù)據(jù)微小變化十分敏感,缺乏穩(wěn)健性[19].

        1.2 多重共線性的處理方法

        1.2.1 嶺回歸

        嶺估計(jì)的方法是1970年由Hoerl和Kennard提出的[5],是對(duì)最小二乘估計(jì)的一種改進(jìn).嶺回歸實(shí)際上就是采用嶺估計(jì)對(duì)回歸方程的系數(shù)進(jìn)行估計(jì)的過(guò)程.當(dāng)自變量間存在多重共線性時(shí),|X′X|≈0,設(shè)想給X′X加上一個(gè)正常數(shù)矩陣kI(k>0),那么X′X+kI的奇異程度就會(huì)遠(yuǎn)遠(yuǎn)小于X′X的奇異程度[4].

        1.2.2 核主成分回歸

        核主成分回歸是將核方法與主成分回歸結(jié)合起來(lái)的一種回歸模型,核方法具有良好的性質(zhì),可以有效處理高維數(shù)據(jù),同時(shí)保證較快的計(jì)算速度.

        核函數(shù)理論

        定義1設(shè)二元函數(shù)K:X×X→R,如果存在某個(gè)內(nèi)積空間,以及映射φ:X→H,使得

        K(x,y)=[φ(x),φ(y)],

        則稱H為特征空間,φ為特征映射,K為核函數(shù)[10].

        定義2函數(shù)K(x,y)稱為半正定核函數(shù)[11],如果滿足如下條件:

        1)函數(shù)K(x,y)∈L(X×Y)連續(xù)對(duì)稱;

        2)f∈L2(X);

        Mercer定理在特征空間中,對(duì)于任意的函數(shù)K(x,y)可以表成內(nèi)積形式

        K(x,y)=[φ(x),φ(y)]

        的充要條件是K(x,y)是正定的.

        常用的Mercer核函數(shù)有

        1)高斯徑向基核函數(shù):

        其中σ>0是自定義參數(shù).

        2)多項(xiàng)式核函數(shù):

        K(x,y)=(x·y+c)σ,

        其中c>0,σ是整數(shù),它們是自定義參數(shù).

        3)多層感知機(jī)核函數(shù):

        K(x,y)=tanh(-b(x·y)-c),

        其中b,c是自定義參數(shù).

        核主成分回歸的基本原理[12]是,先引入非線性變換函數(shù)φ:R→F,將原始輸入空間映射到某個(gè)高維特征空間F,即將輸入空間樣本點(diǎn)X1,X2,…,Xn變換為特征空間的樣本點(diǎn)φ(X1),φ(X2),…,φ(Xn),再在特征空間F中進(jìn)行主成分回歸.

        φ(Xi),φ(Xj)兩個(gè)F空間樣本點(diǎn)的距離用其內(nèi)積表示,定義核函數(shù)為K(Xi,Xj)=(φ(Xi),φ(Xj)),核矩陣為K=[K(Xi,Xj)]n×n.

        特征空間中樣本點(diǎn)的協(xié)方差矩陣為

        設(shè)C的特征值為λ,特征向量為υ,則Cυ=λυ.可以推得

        υ=∑ni=1aiψ(Xi),

        最后對(duì)提取出的核主成分建立多元線性回歸模型

        y=Bω+ε,

        其中B=ΨVp,Ψ=(ψ(X1),…,ψ(Xn)),Vp為前p個(gè)特征向量組成的矩陣.

        運(yùn)用最小二乘法可求得回歸系數(shù)為

        從而可得核主成分回歸模型的方程表示為:

        2 實(shí)證分析及比較

        2.1 數(shù)據(jù)來(lái)源

        為了研究我國(guó)民航客運(yùn)量的變化趨勢(shì)及其成因,我們以民航客運(yùn)量作為因變量,以國(guó)民收入、消費(fèi)額、鐵路客運(yùn)量、民航航線里程、來(lái)華旅游入境人數(shù)作為影響民航客運(yùn)量的主要因素.y表示民航客運(yùn)量(萬(wàn)人),x1表示國(guó)民收入(億元),x2表示消費(fèi)額(億元)、x3表示鐵路客運(yùn)量(萬(wàn)人)、x4表示民航航線里程(萬(wàn)公里)、x5表示來(lái)華旅游入境人數(shù)(萬(wàn)人),詳細(xì)數(shù)據(jù)見(jiàn)[4].

        2.2 共線性診斷

        首先對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,將通過(guò)標(biāo)準(zhǔn)化的因變量y*對(duì)標(biāo)準(zhǔn)化自變量xi*(i=1,2,…,5)進(jìn)行多元線性回歸,并進(jìn)行多重共線性診斷,通過(guò)計(jì)算處理得到分析結(jié)果如下表1、表2.

        表1 共線性統(tǒng)計(jì)量

        表2 共線性診斷

        由表1、表2可知,自變量x1*,x2*的方差膨脹因子都大于10,5維以上的條件數(shù)大于10,可見(jiàn)診斷結(jié)果一致,表明此回歸模型存在較強(qiáng)的共線性.

        2.3 嶺回歸方法

        通過(guò)計(jì)算處理,可得不同嶺參數(shù)下的回歸方程及相應(yīng)的嶺跡圖,結(jié)果如下表3、圖1所示.

        表3 不同嶺參數(shù)下的嶺回歸(部分)

        圖1 嶺跡圖

        觀察嶺跡圖,可以看出當(dāng)k≥0.10時(shí),嶺回歸系數(shù)基本趨于穩(wěn)定,因此選取嶺參數(shù)k=0.10.此時(shí)嶺回歸方程為

        y*=0.2395x1*+0.2141x2*-0.07341x3*+0.3244x4*+0.2278x5*.

        方差分析結(jié)果及共線性診斷結(jié)果如下表4、表5、表6所示.

        表4 方差分析表

        表5 共線性統(tǒng)計(jì)量

        表6 共線性診斷

        由此可見(jiàn),嶺回歸各系數(shù)的方差膨脹因子都小于10,各個(gè)維度的條件數(shù)也都小于10,嶺回歸能夠很好地解決多重共線性問(wèn)題.

        2.4 核主成分回歸方法

        表7 KPCA特征值和累積貢獻(xiàn)

        前兩個(gè)核主成分的累積貢獻(xiàn)就已達(dá)到95%以上,因此提取KF1,KF2作為回歸自變量即可,KF1,KF2如下表8所示.

        表8 核主成分KF1,KF2

        將y*對(duì)提取的核主成分KF1,KF2進(jìn)行多元線性回歸,通過(guò)計(jì)算得到回歸方程

        y*=0.535+3.754*KF1+1.401*KF2.

        方差分析結(jié)果及共線性診斷結(jié)果如下表9、表10、表11所示.

        表9 方差分析表

        表10 共線性統(tǒng)計(jì)量

        表11 共線性診斷

        由此可見(jiàn),回歸系數(shù)的方差膨脹因子都小于10,各個(gè)維度的條件數(shù)也都小于10,采用核主成分回歸也能消除線性回歸過(guò)程中的多重共線性問(wèn)題.

        2.5 回歸結(jié)果對(duì)比

        嶺回歸和核主成分回歸都能很好地消除多重共線性,對(duì)兩種方法得到的回歸模型結(jié)果作比較,結(jié)果如下表12所示.

        表12 回歸結(jié)果對(duì)比表

        由表12可以看出,雖然嶺回歸在決定系數(shù)上略優(yōu)于核主成分回歸,但是在其他指標(biāo)上均劣于核主成分回歸,總的來(lái)說(shuō),核主成分的回歸結(jié)果要好于嶺回歸.

        3 總結(jié)

        本文通過(guò)對(duì)同一組數(shù)據(jù)分別用嶺回歸、核主成分回歸的方法進(jìn)行回歸分析,以消除自變量間的多重共線性,并對(duì)回歸模型結(jié)果進(jìn)行了比較.我們發(fā)現(xiàn)這兩種回歸方法均能有效地消除自變量間的多重共線性,使得回歸模型變得更有實(shí)際意義,總的來(lái)說(shuō)核主成分回歸對(duì)內(nèi)擬合效果要優(yōu)于嶺回歸.但是嶺回歸的嶺參數(shù)選擇,核主成分回歸的核函數(shù)及核參數(shù)的選擇都存在很強(qiáng)的主觀性,不同的參數(shù)選擇對(duì)回歸模型的好壞影響巨大,在實(shí)際的問(wèn)題求解中需要根據(jù)專業(yè)性及經(jīng)驗(yàn)性的判斷來(lái)妥善選擇.

        猜你喜歡
        共線性客運(yùn)量回歸系數(shù)
        交通運(yùn)輸部:3 月城市軌道交通客運(yùn)量環(huán)比增長(zhǎng)16.6%
        銀行不良貸款額影響因素分析
        2018年北京市城市公共交通運(yùn)行特征分析
        交通工程(2020年5期)2020-10-21 08:45:44
        2018年北京市軌道交通運(yùn)行特征分析
        交通工程(2020年2期)2020-06-03 01:10:58
        文氏圖在計(jì)量統(tǒng)計(jì)類課程教學(xué)中的應(yīng)用
        ——以多重共線性內(nèi)容為例
        不完全多重共線性定義存在的問(wèn)題及其修正建議
        多元線性回歸的估值漂移及其判定方法
        電導(dǎo)法協(xié)同Logistic方程進(jìn)行6種蘋果砧木抗寒性的比較
        多元線性模型中回歸系數(shù)矩陣的可估函數(shù)和協(xié)方差陣的同時(shí)Bayes估計(jì)及優(yōu)良性
        診斷復(fù)共線性的特征分析法及其在GEO定軌中的應(yīng)用
        伊人久久大香线蕉免费视频 | 岛国熟女一区二区三区| 免费人妻精品区一区二区三| 亚洲毛片一区二区在线| 中文字幕乱码一区av久久不卡 | 爆乳熟妇一区二区三区霸乳| 奇米影视久久777中文字幕| 国产精品无套粉嫩白浆在线| 日本一区二区三区四区啪啪啪| 国产精品无码一区二区在线观一| 大胆欧美熟妇xxbbwwbw高潮了| 精精国产xxxx视频在线播放器| av国产免费在线播放| 亚洲成av人片乱码色午夜| 欧美freesex黑人又粗又大 | 国产精品内射后入合集| 无码三级国产三级在线电影| 亚洲一区二区三区精品视频 | 国产精品福利片免费看 | a级大胆欧美人体大胆666| 国产精品亚洲专区在线播放| 国产亚洲av一线观看| 亚洲av一二三区成人影片| 亚洲欧洲中文日韩久久av乱码| 蜜芽尤物原创AV在线播放| 亚洲av老熟女一区二区三区| 免费无码a片一区二三区| 中日韩欧美在线观看| 国内偷拍第一视频第一视频区| 午夜dv内射一区二区| 黄色视频在线免费观看| 中国产无码一区二区三区| 女人被躁到高潮嗷嗷叫免| 野花社区视频在线观看| AV成人午夜无码一区二区| 国产成人av三级三级三级在线| 婷婷色香五月综合缴缴情| 暖暖免费 高清 日本社区在线观看| 亚洲精品一区二区三区av| 久久久99精品免费视频| 亚洲综合色自拍一区|