常振海，劉薇

（天水師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，甘肅 天水741001）

Logistic回歸模型及其應(yīng)用

常振海，劉薇

（天水師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，甘肅 天水741001）

為了利用Logistic模型提高多分類定性因變量的預(yù)測(cè)準(zhǔn)確率，在二分類Logistic回歸模型的基礎(chǔ)上，對(duì)實(shí)際統(tǒng)計(jì)數(shù)據(jù)建立三類別的Logistic模型.采用似然比檢驗(yàn)法對(duì)自變量的顯著性進(jìn)行檢驗(yàn)，剔除了不顯著的變量；對(duì)每個(gè)類別的因變量都確定了1個(gè)線性回歸函數(shù)，并進(jìn)行了模型檢驗(yàn).分析結(jié)果表明，在處理因變量為定性變量的回歸分析中，Logistic模型具有很好的預(yù)測(cè)準(zhǔn)確度和實(shí)用推廣性.

定性變量；Logistic回歸模型；預(yù)測(cè)

Logistic回歸屬于概率型非線性回歸，是分析因變量為定性變量的常用統(tǒng)計(jì)分析方法.由于Logistic回歸模型對(duì)數(shù)據(jù)的正態(tài)性、方差齊性以及自變量類型不做要求，并且具有系數(shù)的可解釋性等優(yōu)點(diǎn)，使得其在醫(yī)學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)等領(lǐng)域得到了廣泛的應(yīng)用［1－4］.目前，對(duì)Logistic回歸模型的研究已取得很多好的結(jié)果［5－6］，但這些結(jié)果多側(cè)重于二分類Logistic回歸模型.本文在二分類Logistic回歸模型的基礎(chǔ)上，以實(shí)例為背景討論了較為復(fù)雜的多分類Logistic回歸模型.

1 Logistic模型概述

通常意義上的Logistic回歸要求因變量y只有2種取值（二分類），但當(dāng)y的取值有2種以上時(shí)，就要用多分類Logistic回歸分析（Multinomial Logistic Regression）.

1.1 二分類Logistic回歸分析

1）模型及其背景.在許多情形下，Logistic回歸的因變量是二分類的.下面考慮一般的多元回歸模型i（1－πi）1－yi，yi＝0，1.顯然有E（yi）＝πi＝f（xi1，xi2，…，xip），故當(dāng)因變量為0－1型隨機(jī)變量時(shí)，因變量均值表示給定自變量時(shí)y＝1的概率.又因?yàn)?≤E（yi）＝πi≤1，所以因變量均值受到限制.另外，誤差項(xiàng)εi＝y(tǒng)i－f（xi1，xi2，…，xip）為具有異方差性的兩點(diǎn)型離散分布.事實(shí)上，Var（εi）＝Var（yi）＝πi（1－πi）＝f（xi1，xi2，…，xip）［1－f（xi1，xi2，…，xip）］，εi的方差依賴于xi＝ （xi1，xi2，…，xip），且具有異方差性，這時(shí)當(dāng)yi＝1時(shí)，εi＝y(tǒng)i－f（xi1，xi2，…，xip）＝1－πi；當(dāng)yi＝0時(shí)，εi＝y(tǒng)i－f（xi1，xi2，…，xip）＝－πi.

其中：εi滿足E（εi）＝0；yi為0－1型隨機(jī)變量，其概率分布為P（yi）＝πyi

針對(duì)0－1型因變量產(chǎn)生的問題，對(duì)回歸模型做2個(gè)方面的改進(jìn)：首先，回歸函數(shù)改用限制在［0，1］區(qū)間內(nèi)的連續(xù)曲線g（x）.限制在［0，1］區(qū)間內(nèi)的連續(xù)曲線有很多，如所有連續(xù)型隨機(jī)變量的分布函數(shù)都符合要求，其中常用的是Logistic函數(shù).其次，因變量yi本身只取0和1兩個(gè)離散值，不適合于直接作為回歸模型中的因變量.由于回歸函數(shù)E（yi）＝πi＝f（xi1，xi2，…，xip）表示在自變量為xi1，xi2，…，xip的條件下yi等于1的比例，所以可以用yi等于1的概率代替yi本身作為因變量.于是得到了Logistic回歸方程：

2）參數(shù)形式的Logistic回歸.若式（1）中的f（·）為多元線性函數(shù)，則上述模型可寫成

模型的參數(shù)估計(jì)分2種情形：①在大樣本下，常把數(shù)據(jù)分成若干組，比如c組，每組的個(gè)數(shù)為ni，i＝因?yàn)楫惙讲钚缘拇嬖?，一般采用加?quán)最小二乘法來估計(jì)其中的參數(shù).又因πi＝E（yi），故可以選擇權(quán)函數(shù)為ωi＝nipi（1－pi）.因該算法和普通最小二乘估計(jì)十分相近，故省略具體的算法過程.當(dāng)ni較大時(shí)，π＊i的近似方差為其證明參見文獻(xiàn)［7］.② 在小樣本下，可以把yi的概率函數(shù)合寫為P（yi）＝πyii（1－πi）1－yi，其中yi＝0，1；i＝1，2，…，n.于是，y1，y2，…，yn的似然函數(shù)為，取自然對(duì)數(shù)可得

對(duì)于Logistic回歸，得到

采用極大似然估計(jì)方法估計(jì)式（4）中參數(shù)β＝（β0，β1，…，βp）T，但此時(shí)無法用封閉形式找到此估計(jì)，故通常采用迭代方法，即選擇初始值＝（,，…,）T，i＝1，2，…，n，利用方程（3）計(jì)算πi，把βj用估計(jì)的代替，經(jīng)過迭代至收斂，其具體步驟為：①設(shè)令β的新估計(jì)為＝（XTW X）－1XTWZ，其中W 為對(duì)角矩陣，其第（i，j）個(gè)元素等于πi（1－πi），即相當(dāng)于做Z在X上的1個(gè)加權(quán)線性回歸；③以目前的＾β，利用方程（3）計(jì)算πi.

1.2 多類別Logistic回歸分析

記yj（j＝1，2，…，k）為定性因變量y取的k個(gè)類別，πj為y取第j個(gè)類別的概率.因變量y取值于每個(gè)類別的概率與1組自變量x1，x2，…，xp有關(guān).對(duì)于樣本數(shù)據(jù)（xi1，xi2，…，xip），i＝1，2，…，n，多類別Logistic回歸模型第i組樣本的因變量yi取第j個(gè)類別的概率為

上式中各回歸系數(shù)不是唯一確定的，每個(gè)回歸系數(shù)同時(shí)加減1個(gè)常數(shù)后的數(shù)值保持不變.為此，把分母的第一項(xiàng)中的系數(shù)都可設(shè)為0，稱為參照系數(shù)，其他類別回歸系數(shù)值的大小都以系數(shù)設(shè)為0的類別的回歸系數(shù)為參照，于是得到回歸函數(shù)的表達(dá)式：

2 實(shí)例分析

實(shí)例數(shù)據(jù)資料來源于軟件SPSS 13.0的自帶數(shù)據(jù).某快餐公司讓隨機(jī)抽選的880名顧客品嘗了公司的3種早餐套餐：y1－Breakfast Bar，y2－Oatmeal，y3－Cereal.然后讓每位顧客選定自己最喜歡的套餐，并記錄下顧客的年齡、性別、婚姻情況和健身運(yùn)動(dòng)情況（1周至少2次）.以Preferred breakfast為因變量（用bfast簡(jiǎn)記為相應(yīng)變量名稱，下同，并用“－”連接），以定性變量age category－agecat，gender－gender，marital status－marital，active lifestyle－active為自變量做統(tǒng)計(jì)分析，結(jié)果見表1（利用SPSS軟件運(yùn)算）.

表1給出了分類變量各類別的頻數(shù)和頻率，其中頻率僅是從數(shù)據(jù)直接做出的統(tǒng)計(jì)結(jié)果.下面采用多類別的Logistic模型做比較分析.首先采用似然比檢驗(yàn)法進(jìn)行自變量顯著性檢驗(yàn)，其中對(duì)定性變量的檢驗(yàn)是整體檢驗(yàn)，結(jié)果見表2.由表2可知變量gender不顯著，說明在該調(diào)查中性別對(duì)套餐的影響可以忽略，故剔除后再做檢驗(yàn)，結(jié)果見表3.

表1 變量總結(jié)

表2 似然比檢驗(yàn)結(jié)果

表3 似然比檢驗(yàn)結(jié)果

表3顯示各變量均顯著.本例因變量共有3個(gè)類別：1－Breakfast Bar，2－Oatmeal，3－Cereal，其中第1個(gè)類別作為基準(zhǔn)，回歸系數(shù)取為0.對(duì)于第2和第3類別，每個(gè)類別都需要確定1個(gè)線性回歸函數(shù)，因此每個(gè)自變量都有2個(gè)回歸系數(shù)，自由度為2.每1個(gè)定性自變量要用其類別數(shù)減去1個(gè)示性變量表示，如Age category共有4個(gè)變量取值，要用3個(gè)示性變量表示，因此有2×3＝6個(gè)回歸系數(shù)，把Age category作為1個(gè)整體時(shí)的自由度為6.從表3中可以看出，自變量agecat的相伴概率為Sig.＝0.000，說明該變量作為1個(gè)整體檢驗(yàn)是顯著的；但整體顯著并不表示該自變量的每個(gè)取值都顯著，如在表4的參數(shù)估計(jì)結(jié)果中，對(duì)因變量的類別2（Oatmeal），當(dāng)agecat＝3時(shí)Sig.＝0.177，所以其就不顯著，其余可類似參閱.

表4 參數(shù)估計(jì)

盡管從整體上對(duì)變量和其各個(gè)類別做了探討，但為確定該組數(shù)據(jù)擬合Logistic回歸模型是否合適，需要進(jìn)行有效性檢驗(yàn)，其結(jié)果見表5.其中原假設(shè)是回歸模型無效，所有系數(shù)均為0.

表5 模型的擬合優(yōu)度信息

模型檢驗(yàn)表明回歸模型顯著有效，可用于預(yù)測(cè).對(duì)每個(gè)樣品計(jì)算出因變量y取第j個(gè)類別的概率πj，因變量的預(yù)測(cè)值是πj最大的類別，結(jié)果見表6.

表6 預(yù)測(cè)結(jié)果

表6顯示：Breakfast Bar類別的231個(gè)觀測(cè)值中，有116個(gè)預(yù)測(cè)正確，正確率為50.2%；Oatmeal類別的310個(gè)觀測(cè)值中，有239個(gè)預(yù)測(cè)正確，正確率為77.1%；Cereal類別的339個(gè)觀測(cè)值中，有150個(gè)預(yù)測(cè)正確，正確率為44.2%；在全部880個(gè)觀測(cè)值中，有505個(gè)預(yù)測(cè)正確，總正確率為57.4%.

3 結(jié)論

從以上的分析可以分別得出對(duì)因變量y的3個(gè)類別（y1－Breakfast Bar，y2－Oatmeal，y3－Cereal）的預(yù)測(cè)概率的提高情況：①若沒有任何信息資料，全憑猜測(cè)，可能有4種情形，分別為y1，y2，y3或都不是，由隨機(jī)性知每個(gè)類別的預(yù)測(cè)概率均為25%，預(yù)測(cè)總正確率為25%；②若據(jù)現(xiàn)有數(shù)據(jù)信息，做一般的頻數(shù)頻率統(tǒng)計(jì)（表1），因變量3個(gè)類別y1，y2，y3的頻率分別為26.3%、35.2%和38.5%，與情況①相比，預(yù)測(cè)的正確率分別提高1.3%、10.2%和13.5%；③通過回歸分析，y1，y2，y3的預(yù)測(cè)正確率能在情況②的基礎(chǔ)上分別提高23.9%、41.9%和5.7%（表6）.因變量y的3個(gè)類別中，第2個(gè)類別（Oatmeal）的預(yù)測(cè)效果最好，正確率為77.1%；第3個(gè)類別（Cereal）的預(yù)測(cè)效果最差，正確率僅為44.2%，說明現(xiàn)有數(shù)據(jù)不能很好地解釋該類變量，若想進(jìn)一步提高預(yù)測(cè)率，需要對(duì)該類別的客戶群做進(jìn)一步的研究，以便找出相關(guān)的解釋變量.但總的來說，在處理因變量為定性變量的回歸分析中，Logistic模型具有很好的預(yù)測(cè)準(zhǔn)確度和實(shí)用推廣性.

［1］王昊.Logistics回歸模型在廣東省房?jī)r(jià)預(yù)測(cè)中的應(yīng)用研究［J］.現(xiàn)代商貿(mào)工業(yè)，2010（16）：304－306.

［2］袁建林，陳立文，景楠.基于Logistic模型的房地產(chǎn)上市公司經(jīng)濟(jì)效益風(fēng)險(xiǎn)評(píng)價(jià)研究［J］.統(tǒng)計(jì)與決策，2010（18）：77－79.

［3］楊茜.基于Logistic回歸模型的航運(yùn)業(yè)上市公司投資價(jià)值評(píng)價(jià)［J］.科技創(chuàng)業(yè)月刊，2010（8）：99－101.

［4］董曉萌.Logistic回歸模型診斷肺癌病人的生存時(shí)間［J］.科學(xué)技術(shù)與工程，2010，10（26）：6519－6521.

［5］何曉群，劉文卿.應(yīng)用回歸分析［M］.北京：中國(guó)人民大學(xué)出版社，2009：242－266.

［6］李江輝，曹素華.多分類屬性反應(yīng)變量分析方法初探［J］.中國(guó)衛(wèi)生統(tǒng)計(jì)，2000，17（5）：287－289.

［7］張堯庭.定性資料的統(tǒng)計(jì)分析［M］.桂林：廣西師范大學(xué)出版社，1991：111－165.

Logistic regression model and its application

CHANG Zhen－h(huán)ai，LIU Wei
（School ofMathematics andStatistics，TianshuiNormal University，Tianshui741001，China）

To improve the forecasting accuracy of the multinomial qualitative dependent variable by using logistic model，ternary logistic model is established for actual statistical data based on binary logistic regression model.The significance of independent variables is tested by using the likelihood ratio test method to remove the non－significant variable.A linear regression function is determined for each category dependent variable，and the models are tested.The analysis results sho wthat logistic regression model has good predictive accuracy and practical promotional value in handling regression analysis of qualitative dependent variable.

qualitative variable；logistic regression model；prediction

1004－4353（2012）01－0028－05

O212.1

A

2011－12－22

天水師范學(xué)院中青年教師科研基金資助項(xiàng)目（TSA1007）

常振海（1979—），男，講師，研究方向?yàn)閼?yīng)用概率統(tǒng)計(jì).