亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        嶺回歸分析及其應(yīng)用

        2016-04-14 05:30:49萬麗穎
        許昌學(xué)院學(xué)報(bào) 2016年2期
        關(guān)鍵詞:共線性平方和回歸系數(shù)

        萬麗穎

        (湖北大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院,湖北 武漢 430000)

        嶺回歸分析及其應(yīng)用

        萬麗穎

        (湖北大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院,湖北 武漢 430000)

        基于嶺回歸分析的定義及其性質(zhì),研究嶺參數(shù)的存在性及其選擇方法,進(jìn)而得到嶺參數(shù)k的選擇方法有嶺跡圖法、方差膨脹因子法和控制殘差平方和法,最后運(yùn)用嶺回歸成功解決了現(xiàn)實(shí)中存在的問題,并對(duì)嶺回歸方法進(jìn)行了推廣.

        多重共線性;回歸系數(shù);嶺回歸

        嶺回歸分析是一種專門用于共線性數(shù)據(jù)分析的有偏估計(jì)方法,它實(shí)際上是一種改良的最小二乘法,是以放棄最小二乘的無偏性,放棄部分精確度為代價(jià)來尋求效果稍差但更符合實(shí)際的回歸過程[1~3].雖然嶺回歸所得殘差平方和比最小二乘回歸要大,但它對(duì)病態(tài)數(shù)據(jù)的耐受性就遠(yuǎn)遠(yuǎn)強(qiáng)于最小二乘法.嶺回歸方法也非常靈活,它的使用存在著一定的主觀人為性,但這種人為性正好是發(fā)揮定性分析與定量分析有機(jī)結(jié)合之處,在解決多重共線性問題中有著獨(dú)特作用.

        1 嶺回歸的背景

        當(dāng)回歸方程的自變量之間出現(xiàn)多重共線性關(guān)系時(shí),無法再用普通的最小二乘法對(duì)回歸方程進(jìn)行準(zhǔn)確的分析, 早在 1962 年,Heer 便提出了一種改進(jìn)的最小二乘估計(jì)方法,叫嶺回歸(ridge regression)[4],如果自變量之間存在多重相關(guān)性,嶺回歸估計(jì)法是相對(duì)比較穩(wěn)定的方法,而且?guī)X回歸估計(jì)的回歸系數(shù)的標(biāo)準(zhǔn)差也較小.在 1970 年,Heer和 Kennard[1]給予了詳細(xì)討論.

        2 嶺回歸的定義

        由于變量可能存在著量綱問題,因此這里先對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,處理過后的設(shè)計(jì)矩陣仍然用X表示,于是得到嶺估計(jì)的表達(dá)式為

        其中k稱為嶺參數(shù).

        3 嶺回歸的性質(zhì)

        證明 因?yàn)?/p>

        性質(zhì)2 在認(rèn)為嶺參數(shù)k是與y無關(guān)的常數(shù)時(shí),知

        證明 由于

        所以認(rèn)為嶺估計(jì)

        這里‖·‖是向量的模,‖·‖等于各分量的平方和.

        可以推出

        又因?yàn)?/p>

        所以有

        證明 設(shè)線性模型為Y=Xβ+ε,E(ε)=0,cov(ε)=σ2I,令α=Q′β,Z=XQ,這里稱α為典則參數(shù),Q為X′Y的標(biāo)準(zhǔn)正交化特征向量組成的正交矩陣的特征根,

        Z′Z=Q′X′XQ=…=diag(λ1,λ2,…λn),

        其中λi(i=1,2,…,p)為X′X的特征根,模型的典則形式為

        Y=Zα+ε,E(ε)=0,cov(ε)=σ2I.

        =σ2Q(Z′Z+kI)-1Z′Z(Z′Z+kI)-1Q′+Qαα′Q′+Q(Z′Z+kI)-1Z′Z(Z′Z+kI)-1Q′+Qαα′Q′+

        Q(Z′Z+kI)-1Z′Zαα′Z′Z(Z′Z+kI)-1Q′-Qαα′Z′Z(Z′Z+kI)-1Q′-Q(Z′Z+kI)-1Z′Zαα′Q′,

        則有

        Qαα′Q′-Q(Z′Z+kI)-1Z′Zαα′(Z′Z+kI)-1Q′+Qαα′Z′Z(Z′Z+kI)-1Q′-

        Q(Z′Z+kI)-1Z′Zαα′Q′

        =Q(Z′Z+kI)-1[σ2(Z′Z+kI)(Z′Z)-1(Z′Z+kI)-σ2Z′Z-(Z′Z+kI)αα′(Z′Z+kI)-

        Z′Zαα′Z′Z+(Z′Z+kI)αα′Z′Z+Z′Zαα′(Z′Z+kI)](Z′Z+kI)-1Q′

        =Q(Z′Z+kI)-1[2kσ2I+σ2k(Z′Z)-1-k2αα′](Z′Z+kI)-1Q′

        ?2kσ2I+σ2k(Z′Z)-1-k2αα′>0

        上式成立的充分條件為2kσ2I-k2αα′>0,又k>0,即有

        2σ2I-k2αα′>0,

        4 嶺參數(shù)k的存在性及其選擇

        在嶺參數(shù)的選擇上,通常情況下人們的目的是要選擇k值,此值使得均方誤差達(dá)到最小,而這個(gè)k值的選擇又離不開未知參數(shù)β和σ2,所以在實(shí)際問題的應(yīng)用中,常常需要根據(jù)樣本來確定嶺參數(shù)k的值.一般地,有以下幾種方法來選擇嶺參數(shù)k值.

        4.1 嶺跡圖法

        (1)回歸方程中各回歸系數(shù)的嶺估計(jì)曲線變化不大,趨于平穩(wěn);

        (2)回歸系數(shù)基本符合實(shí)際意義;

        (3)與采用最小二乘估計(jì)相比,采用嶺回歸方法得到估計(jì)的符號(hào)更為合理,更符合實(shí)際意義;

        (4)殘差平方和雖然可能有所增大,但幅度不大,并且基本趨于穩(wěn)定. 嶺跡圖法與傳統(tǒng)的基于殘差的方法完全不同,它提供了一種全新的分析問題的思路,這是一種直觀的易于理解的方法.這對(duì)于本文研究自變量之間的相互作用是有幫助的,可以說采用嶺跡圖法確定嶺估計(jì)k值是定量分析與定性分析的一個(gè)很好的結(jié)合.但同時(shí),嶺跡圖分析方法也存在著明顯的缺點(diǎn),比如采用嶺跡圖分析方法確定的嶺參數(shù)k在一定程度上存在主觀人為性,并且缺少可靠的理論依據(jù).

        4.2 方差膨脹因子法

        通過對(duì)平均方差膨脹因子VIF的計(jì)算,可以掌握解釋量之間存在多重共線性問題的嚴(yán)重程度[8、9].一般地,當(dāng)VIF>10的時(shí)候,就認(rèn)為多元回歸方程的解釋變量間存在著嚴(yán)重的多重共線性問題.

        =(X′X+kI)-1X′cov(y,y)X(X′X+kI)-1=σ2(X′X+kI)-1X′X(X′X+kI)-1=σ2c(k),

        其中,矩陣c(k)=(X′X+kI)-1X′X(X′X+kI)-1,這里對(duì)角線元素cjj(k)為嶺估計(jì)的方差膨脹因子.

        從上面的分析可以看出,當(dāng)嶺參數(shù)k增大時(shí),cjj(k)減小;當(dāng)k減小時(shí),cjj(k)增大.從大量的試驗(yàn)中得到經(jīng)驗(yàn),如果應(yīng)用方差膨脹因子選擇嶺參數(shù)k值,那么選擇的k是使得所有方差膨脹因子cjj(k)≤10的k值.

        4.3 控制殘差平方和法

        5 試驗(yàn)?zāi)M

        經(jīng)濟(jì)工作者總希望通過國內(nèi)總產(chǎn)值x1、存儲(chǔ)量x2、總消費(fèi)量x3去預(yù)測進(jìn)口總額y,為此我們收集了中國統(tǒng)計(jì)年鑒1949~1959年的數(shù)據(jù)[5].

        由統(tǒng)計(jì)軟件spss中的回歸程序Liner-Enter可以得到系數(shù)表(見表1).

        表1 系數(shù)表

        由上表可見不僅x1、x3的方差膨脹因子非常大,而且β1的置信區(qū)間還包含了0點(diǎn),于是其回歸方程為

        由上述定義來求嶺估計(jì)中的參數(shù),這里我們?nèi)X估計(jì)中的嶺參數(shù)k從0到0.1每隔0.01計(jì)算一次,由所得的數(shù)據(jù)作嶺跡圖,如圖1所示.

        圖1 嶺跡圖

        從嶺跡圖上看,當(dāng)k=0.04時(shí),三條嶺跡都已經(jīng)比較平穩(wěn)了,故可以取k=0.04建立標(biāo)準(zhǔn)化的嶺回歸方程為

        所以嶺回歸方程為

        6 小結(jié)

        嶺回歸估計(jì)已不再是無偏估計(jì),而是通過對(duì)最小二乘法的改進(jìn),允許回歸系數(shù)的有偏估計(jì)量存在而補(bǔ)救多重共線性的方法.采用它可以通過允許小的偏差而換取高于無偏估計(jì)量的精度,因?yàn)樗咏鎸?shí)值的可能性較大.嶺回歸方法也非常靈活,它的使用存在著一定的主觀人為性,但這種人為性正好是發(fā)揮定性分析與定量分析有機(jī)結(jié)合之處,在解決多重共線性問題中有著獨(dú)特作用,靈活運(yùn)用嶺回歸方法,可以對(duì)分析各變量之間的作用和關(guān)系帶來獨(dú)特而有效的幫助.

        [1] Hoerl A E,Kennard R W.Ridge Regression :Biased Estimation for Nonorthogonal Problems Technometrics[J]. Technometrics ,1970, 12(6):55-67.

        [2] Yatchew A.Nonparametfic Regression Techniques in Economics[J].Journal of Economic Literature, 1998, 6(34):669-721.

        [3] 張潤楚.多元統(tǒng)計(jì)分析[M].北京:科學(xué)出版社,2007:18-40.

        [4] 何曉群,劉文卿.應(yīng)用回歸分析[M].北京:中國人民大學(xué)出版社,2001:24-53.

        [5] 王惠文,朱韻華.PLS回歸在消除多重共線性中的作用[J].數(shù)理統(tǒng)計(jì)與管理,1996,15(6):48-52.

        [6] 楊 楠.嶺回歸在解決多重共線性問題中的獨(dú)特作用[J].統(tǒng)計(jì)與決策,2004(3):14-15.

        [7] 葛宏立,方陸明.無偏的嶺回歸迭代算法[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí),1997,27(4):320-326.

        [8] 陳玲燕.多重共線性下的線性回歸方法綜述[J].市場研究,2008(4):148-152.

        [9] 王玉梅.多重共線性的消除:不相關(guān)法[J].統(tǒng)計(jì)教育,2006,7(2):18-19.

        [10]中國國家統(tǒng)計(jì)局.中國統(tǒng)計(jì)年鑒1949~1959[EB/OL].http://www.stats.gov.cn.

        責(zé)任編輯:周 倫

        Analysis and Application of Ridge Regression

        WAN Li-ying

        (SchoolofMathematicsandStatistics,HubeiUniversity,Wuhan430000,China)

        Under the definition of ridge regression, this paper has not only analyzed its qualities but also researched into existence and methods of choosing ridge parameters to obtain methods of choosing a ridge parameter K which contains ridge trace graph, variance inflation factor and residual sum of squares restricting. At last, some realistic problems have been solved by ridge regression which was spread.

        multicollinearity, regression coefficient, ridge regression

        2015-11-17

        萬麗穎(1990—),女,河南鄭州人,在讀碩士研究生,研究方向:統(tǒng)計(jì)學(xué)及其應(yīng)用.

        1671-9824(2016)02-0019-05

        F222.1

        A

        猜你喜歡
        共線性平方和回歸系數(shù)
        銀行不良貸款額影響因素分析
        文氏圖在計(jì)量統(tǒng)計(jì)類課程教學(xué)中的應(yīng)用
        ——以多重共線性內(nèi)容為例
        不完全多重共線性定義存在的問題及其修正建議
        費(fèi)馬—?dú)W拉兩平方和定理
        利用平方和方法證明不等式賽題
        多元線性回歸的估值漂移及其判定方法
        電導(dǎo)法協(xié)同Logistic方程進(jìn)行6種蘋果砧木抗寒性的比較
        勾股定理的擴(kuò)展
        多元線性模型中回歸系數(shù)矩陣的可估函數(shù)和協(xié)方差陣的同時(shí)Bayes估計(jì)及優(yōu)良性
        關(guān)于四奇數(shù)平方和問題
        av免费资源在线观看| 老妇肥熟凸凹丰满刺激| 亚洲人成电影网站色| 久久久久人妻精品一区蜜桃| 成年女人永久免费看片| 成人国产在线播放自拍| av一区二区三区观看| 亚洲av免费手机在线观看| 午夜毛片不卡免费观看视频| 又爽又黄又无遮挡网站动态图| 欧美国产日产一区二区 | 国内精品自在自线视频| 国产精品偷伦免费观看的| 国产女主播福利一区在线观看| 白色橄榄树在线阅读免费| 日本免费看片一区二区三区| 激情在线一区二区三区视频| 日本又色又爽又黄的a片18禁| 中文字幕乱码免费视频| 中文字幕成人精品久久不卡| 日韩高清av一区二区| 东京热日本道免费高清| 亚洲日本国产精品久久| 天天爽夜夜爱| 人人狠狠综合久久亚洲婷婷| 伊人影院在线观看不卡| 精品三级国产一区二区三| 国产精品无码一区二区三区电影 | 久久免费看黄a级毛片| 无码人妻久久一区二区三区app| 极品熟妇大蝴蝶20p| 国产一区二区黑丝美女| 91久久综合精品久久久综合| 东北老女人高潮大喊舒服死了| 玩弄放荡人妻少妇系列视频| 丝袜美女污污免费观看的网站| av免费一区在线播放| 午夜被窝精品国产亚洲av香蕉| 久久成人国产精品| 全免费a级毛片免费看| 亚洲综合伊人久久综合|