胡良平(1.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計(jì)學(xué)咨詢(xún)中心，北京 100850；2.世界中醫(yī)藥學(xué)會(huì)聯(lián)合會(huì)臨床科研統(tǒng)計(jì)學(xué)專(zhuān)業(yè)委員會(huì)，北京 100029 通信作者：胡良平，E-mail：lphu812@sina.com)

1 與多重線性回歸分析有關(guān)的基本概念

1.1 何為多重線性回歸分析

在生物醫(yī)藥學(xué)和臨床研究中的很多場(chǎng)合下，需要考察因變量如何依賴(lài)多因素變化而變化的規(guī)律，例如文獻(xiàn)[1-2]都涉及到這種需求。此時(shí)，所需要的統(tǒng)計(jì)分析方法泛稱(chēng)為“多重回歸分析”，當(dāng)因變量為“計(jì)量變量”時(shí)，常被稱(chēng)為“多重線性回歸分析”。

多重線性回歸分析就是要求算出相應(yīng)模型中參數(shù)的估計(jì)值，對(duì)回歸方程和參數(shù)進(jìn)行假設(shè)檢驗(yàn)；在這個(gè)過(guò)程中，還需要對(duì)自變量進(jìn)行篩選和共線性診斷、對(duì)觀測(cè)點(diǎn)進(jìn)行異常點(diǎn)診斷，基于構(gòu)建的多重線性回歸模型并在給定的自變量取值條件下對(duì)因變量的取值進(jìn)行預(yù)測(cè)。多重線性回歸模型(對(duì)總體而言)與回歸方程(對(duì)樣本而言)的表達(dá)式分別見(jiàn)式(1)和式(2)。

設(shè)用Y代表因變量，X1、X2、…、Xm分別代表m個(gè)自變量，則多重線性回歸模型可以表示為：

Y=β0+β1X1+β2X2+…+βmXm+ε

(1)

式中β0為總體截距，β1、β2、…、βm分別為各個(gè)自變量所對(duì)應(yīng)的總體偏回歸系數(shù)，ε為隨機(jī)誤差，常假定其服從正態(tài)分布。偏回歸系數(shù)βi(i=1,2,…,m)表示在其他自變量固定不變的情況下，Xi每改變一個(gè)測(cè)量單位時(shí)所引起的因變量Y的平均改變量。多重線性回歸模型的樣本回歸方程可以表示為：

(2)

在建立了回歸方程以后，就可以對(duì)因變量與自變量之間的線性依存關(guān)系進(jìn)行定量分析，進(jìn)而還可以利用回歸方程對(duì)因變量進(jìn)行預(yù)測(cè)。

1.2 如何在進(jìn)行多重線性回歸分析前估計(jì)樣本含量

在進(jìn)行試驗(yàn)研究或調(diào)查研究之前，一般都需要估計(jì)所需的最低樣本含量。在進(jìn)行多重線性回歸分析前，同樣也需要估計(jì)樣本含量。具體的方法可分兩步走[3]：

第一步，估計(jì)簡(jiǎn)單直線回歸或相關(guān)分析時(shí)所需要的樣本含量。

設(shè)因變量為Y，自變量為X1；再設(shè)它們之間的簡(jiǎn)單相關(guān)系數(shù)ρ(≈r)，其中，ρ為兩變量之間的總體相關(guān)系數(shù)，而r為兩變量之間的樣本相關(guān)系數(shù)。此時(shí)，所需要的樣本含量n1見(jiàn)式(3)：

(3)

在式(3)中，α、β都表示標(biāo)準(zhǔn)正態(tài)分布曲線下兩尾端面積之和；Zα/2=Z0.05/2=1.96為標(biāo)準(zhǔn)正態(tài)分布曲線下兩尾端面積之和為0.05時(shí)對(duì)應(yīng)的橫坐標(biāo)(也被稱(chēng)為臨界值)，同理，可理解Zβ=Z0.1=1.28的含義；當(dāng)總體相關(guān)系數(shù)ρ未知時(shí)，一般用樣本相關(guān)系數(shù)r取代。

若在簡(jiǎn)單直線回歸模型中新增加(m-1)個(gè)自變量，則為了檢驗(yàn)X1的回歸系數(shù)是否為0，此時(shí)，樣本含量nm的計(jì)算公式見(jiàn)式(4)：

(4)

(5)

1.3 適合進(jìn)行多重線性回歸分析的數(shù)據(jù)結(jié)構(gòu)

問(wèn)題與數(shù)據(jù)結(jié)構(gòu)見(jiàn)例1和表1。

【例1】26例糖尿病患者的血清總膽固醇(X1)、甘油三酯(X2)、空腹胰島素(X3)、糖化血紅蛋白(X4)、空腹血糖(Y)的測(cè)量值列于表1，建立血糖依賴(lài)其他幾項(xiàng)指標(biāo)變化的多重線性回歸模型(說(shuō)明：本例的研究者并沒(méi)有事先估計(jì)所需要的樣本含量)。

表1 26例糖尿病患者血樣中有關(guān)指標(biāo)的測(cè)定結(jié)果

【對(duì)數(shù)據(jù)結(jié)構(gòu)的解說(shuō)】在表1中，研究者從26例糖尿病患者體內(nèi)抽血，對(duì)每份血樣進(jìn)行檢查，測(cè)定了“血清總膽固醇(X1)、甘油三酯(X2)、空腹胰島素(X3)、糖化血紅蛋白(X4)、空腹血糖(Y)”5個(gè)定量變量的取值。它們之間的數(shù)量關(guān)系是客觀存在的，而且是并存關(guān)系，不存在誰(shuí)是自變量、誰(shuí)是因變量。對(duì)資料進(jìn)行統(tǒng)計(jì)分析時(shí)，可以有多種不同的統(tǒng)計(jì)分析目的，僅當(dāng)希望分析“空腹血糖(Y)”是否隨著“X1、X2、X3、X4”變化而變化時(shí)，才人為地將前者視為“因變量”、將后者視為“自變量”。

1.4 多重線性回歸分析要求資料應(yīng)滿足的前提條件

結(jié)合上面的表1，呈現(xiàn)多重線性回歸分析要求資料應(yīng)滿足的前提條件如下：

第一，受試對(duì)象具有同質(zhì)性。受試對(duì)象為26例糖尿病患者，而不是患有其他疾病的患者，也不是正常人。這里還有一些隱含的前提條件未明確交代：所患糖尿病的類(lèi)型、嚴(yán)重程度、病程、是否有糖尿病家族史等基本相同，年齡、性別、職業(yè)、身體素質(zhì)、生活和飲食習(xí)慣、鍛煉方式和程度等基本相同。

第二，全部變量、特別是因變量是計(jì)量變量。經(jīng)典統(tǒng)計(jì)學(xué)中，要求進(jìn)行多重線性回歸分析的全部變量都是定量的；在具體使用時(shí)，條件有所放松，即自變量中允許有二值定性變量或多值有序變量，若有多值名義變量，需要將其變換為二值的“啞變量(其個(gè)數(shù)為原多值名義變量的水平數(shù)減一)”。

第三，各自變量組合條件下的計(jì)量因變量應(yīng)服從正態(tài)分布且方差相等。這一條僅僅局限于“統(tǒng)計(jì)理論”上的規(guī)定或假定，在實(shí)際使用時(shí)是無(wú)法考證的。因?yàn)槊總€(gè)定量自變量的取值都有無(wú)窮多個(gè)，全部自變量的不同水平組合自然也就有無(wú)窮多種了。而在實(shí)際研究中，樣本含量十分有限，幾乎沒(méi)有兩個(gè)受試對(duì)象在全部自變量上的取值是完全相同的，那么，怎樣考察第三個(gè)前提條件是否成立呢？故在實(shí)際使用中，只能大大降低要求：只要因變量的全部取值近似服從正態(tài)分布即可。

第四，因變量與全部自變量間存在線性關(guān)系，而非曲線關(guān)系。這一點(diǎn)可以通過(guò)繪制因變量與每一個(gè)自變量之間的散布圖來(lái)初步了解。

第五，全部自變量間互相獨(dú)立，不存在共線性關(guān)系。當(dāng)所擬合的多重線性回歸模型中確實(shí)存在多重共線性問(wèn)題時(shí)，則此多重線性回歸模型的質(zhì)量就不高。所以，應(yīng)先進(jìn)行共線性診斷，當(dāng)發(fā)現(xiàn)存在多重共線性時(shí)，要設(shè)法消除，然后再構(gòu)建多重線性回歸模型。

1.5 如何進(jìn)行回歸診斷

1.5.1 何為自變量間的多重共線性

所謂多重共線性，就是某幾個(gè)自變量之間存在線性關(guān)系，例如：X1=0.35X2+1.28X3-21.45X4。

1.5.2 如何診斷自變量之間是否存在多重共線性

診斷是否存在多重共線性的方法有多種，如方差分量法、方差膨脹因子法(等價(jià)于容許度法)等，計(jì)算公式較復(fù)雜，此處從略；若借助SAS軟件中的REG過(guò)程來(lái)擬合多重線性回歸模型，只需在model語(yǔ)句中增加選擇項(xiàng)“COLLIN”和“COLLINOINT”或“VIF”和“TOL”即可實(shí)現(xiàn)。

1.5.3 何為異常點(diǎn)以及如何診斷

若在回歸分析的資料中，所有的觀測(cè)點(diǎn)(表1中就有26個(gè)觀測(cè)點(diǎn))都是“同質(zhì)的”，則不存在“異常點(diǎn)”；若有少數(shù)個(gè)體(即觀測(cè)點(diǎn))與其他絕大多數(shù)個(gè)體不同質(zhì)，則它們就有可能成為異常點(diǎn)。為了便于直觀理解異常點(diǎn)，參見(jiàn)圖1。

圖1 某實(shí)際問(wèn)題中(x,y)的散布圖

圖1中，最右邊的那個(gè)點(diǎn)在大多數(shù)點(diǎn)的延長(zhǎng)線上且偏離得很遠(yuǎn)，這樣的“異常點(diǎn)”可以通過(guò)“Cook’s D”統(tǒng)計(jì)量(其取值遠(yuǎn)遠(yuǎn)大于0.5就屬于異常點(diǎn))進(jìn)行診斷；還有一個(gè)點(diǎn)在垂直于x軸的方向上偏離多數(shù)點(diǎn)較遠(yuǎn)，此類(lèi)“異常點(diǎn)(在圖1中偏離較小，暫時(shí)可將其視為可疑異常點(diǎn))”可以通過(guò)“學(xué)生化殘差”統(tǒng)計(jì)量(其取值的絕對(duì)值大于2時(shí)就可定為異常點(diǎn))進(jìn)行診斷。這兩種統(tǒng)計(jì)量的計(jì)算公式此處從略。

1.6 篩選自變量和剔除異常點(diǎn)的意義和方法

1.6.1 篩選自變量的意義和方法

篩選自變量的意義在于：淘汰掉那些對(duì)因變量影響無(wú)統(tǒng)計(jì)學(xué)意義的自變量，使擬合的多重線性回歸模型精簡(jiǎn)且具有更高的價(jià)值。在SAS軟件包中，實(shí)現(xiàn)對(duì)自變量進(jìn)行篩選的model語(yǔ)句的選項(xiàng)有以下8個(gè)[4]，即：

①selection=forward(采用前進(jìn)法篩選自變量，變量經(jīng)假設(shè)檢驗(yàn)只進(jìn)不出)；

②selection=backward(采用后退法篩選自變量，變量經(jīng)假設(shè)檢驗(yàn)只出不進(jìn))；

③selection=stepwise(采用逐步法篩選自變量，變量經(jīng)假設(shè)檢驗(yàn)有進(jìn)有出)；

④selection=maxr(基于最大復(fù)相關(guān)系數(shù)的平方篩選自變量)；

⑤selection=minr(基于最小復(fù)相關(guān)系數(shù)的平方篩選自變量)；

⑥selection=rsquare(基于復(fù)相關(guān)系數(shù)的平方由大到小且所含自變量個(gè)數(shù)由少到多給自變量組合排序)；

⑦selection=adjrsq(基于校正的復(fù)相關(guān)系數(shù)的平方由大到小且所含自變量個(gè)數(shù)由少到多給自變量組合排序)；

⑧selection=cp(基于Mallow' sCP統(tǒng)計(jì)量的計(jì)算結(jié)果篩選自變量，此值越接近當(dāng)前回歸方程中自變量的個(gè)數(shù)，表明此時(shí)的回歸方程質(zhì)量越好)。

1.6.2 剔除異常點(diǎn)的意義和方法

若資料中確實(shí)存在嚴(yán)重的異常點(diǎn)，可能會(huì)導(dǎo)致所擬合的多重線性回歸模型嚴(yán)重歪曲實(shí)際情況，很可能會(huì)得出誤差很大的預(yù)測(cè)結(jié)果；若借助SAS軟件中的REG過(guò)程來(lái)擬合多重線性回歸模型，只需要在model語(yǔ)句中增加選擇項(xiàng)“r”(即要求進(jìn)行殘差分析)就可實(shí)現(xiàn)。

2 構(gòu)建多重線性回歸分析模型方法

2.1 基于經(jīng)典統(tǒng)計(jì)思想構(gòu)建多重線性回歸分析模型

構(gòu)建多重線性回歸分析模型的經(jīng)典統(tǒng)計(jì)思想是：假定模型(1)中的誤差項(xiàng)服從正態(tài)分布且各自變量組合條件下因變量Y的方差相等，在此假定成立的條件下，基于最小二乘原理構(gòu)造一個(gè)偏差函數(shù)Q[5]，見(jiàn)式(6)：

(6)

為了使Q達(dá)到最小，由高等數(shù)學(xué)知識(shí)可知，將Q對(duì)b0、b1、b2、…、bm求一階偏導(dǎo)數(shù)并且使之為0，就可以得到包含(m+1)個(gè)方程的正規(guī)方程組，然后利用求解線性方程組的方法就可由該正規(guī)方程組解得各個(gè)參數(shù)的估計(jì)值。為簡(jiǎn)便起見(jiàn)，下面以導(dǎo)出簡(jiǎn)單直線回歸模型中參數(shù)估計(jì)值為例，呈現(xiàn)其推導(dǎo)過(guò)程：

按以上程序確定直線回歸方程中兩個(gè)參數(shù)估計(jì)值，就被稱(chēng)為按最小二乘法或最小平方法進(jìn)行參數(shù)估計(jì)。

2.2 基于貝葉斯統(tǒng)計(jì)思想構(gòu)建多重線性回歸分析模型

貝葉斯統(tǒng)計(jì)思想是充分利用并有效整合“樣本信息、總體信息和先驗(yàn)信息”，再基于經(jīng)典統(tǒng)計(jì)中的“概率分布知識(shí)”和蒙特卡羅統(tǒng)計(jì)思想中的“隨機(jī)抽樣”和“統(tǒng)計(jì)模擬”技術(shù)，構(gòu)建所需要的多重線性回歸模型，進(jìn)而進(jìn)行“共軛先驗(yàn)下的貝葉斯推斷”和/或“廣義先驗(yàn)下的貝葉斯推斷”求出多重線性回歸模型中的“估計(jì)回歸系數(shù)矩陣”和“估計(jì)誤差協(xié)方差矩陣”。這些內(nèi)容的數(shù)學(xué)味過(guò)濃，感興趣的讀者參閱文獻(xiàn)[6]，詳細(xì)內(nèi)容此處從略。

2.3 基于機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想構(gòu)建多重線性回歸分析模型

機(jī)器學(xué)習(xí)的含義是希望通過(guò)對(duì)計(jì)算機(jī)編程，使它能夠根據(jù)已有的輸入數(shù)據(jù)進(jìn)行學(xué)習(xí)[7]。這里所說(shuō)的“學(xué)習(xí)”與人類(lèi)為了了解未知事物或不會(huì)的知識(shí)時(shí)進(jìn)行的“學(xué)習(xí)”是有區(qū)別的。在解決不同的問(wèn)題時(shí)，這種學(xué)習(xí)需要“具體化”。例如，在進(jìn)行簡(jiǎn)單直線回歸分析時(shí)，若基于經(jīng)典統(tǒng)計(jì)思想，前面介紹了依據(jù)最小二乘原理可以直接推導(dǎo)出直線回歸方程中兩個(gè)參數(shù)估計(jì)值的計(jì)算公式(7)，而利用機(jī)器學(xué)習(xí)方法卻無(wú)法給出公式(7)。若基于機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想，其解決問(wèn)題的思路如下[8]：

將擬分析的資料隨機(jī)劃分成兩部分，分別稱(chēng)為“訓(xùn)練集”與“測(cè)試集”，設(shè)其樣本含量分別為n與k。讓計(jì)算機(jī)在訓(xùn)練集上進(jìn)行學(xué)習(xí)，在測(cè)試集上設(shè)法使均方誤差[見(jiàn)式(8)]達(dá)到最小值，此時(shí)，所得的結(jié)果就是“機(jī)器學(xué)習(xí)的結(jié)果”(相當(dāng)于得到了回歸模型)。然后，將“機(jī)器學(xué)習(xí)的結(jié)果”用于測(cè)試集，即把測(cè)試集中自變量的數(shù)值代入已創(chuàng)建的回歸模型求出因變量的估計(jì)值，再求出測(cè)試集上因變量的殘差平方和，進(jìn)而求出均方誤差，見(jiàn)式(9)。

(8)

(9)

在上述的計(jì)算過(guò)程中，用機(jī)器學(xué)習(xí)法實(shí)現(xiàn)回歸分析時(shí)希望達(dá)到的最終目的是使式(9)取得最小值，但在具體實(shí)施時(shí)，卻是基于使式(8)達(dá)到最小值這個(gè)目標(biāo)來(lái)不斷優(yōu)化或改進(jìn)回歸模型[見(jiàn)式(10)]中的權(quán)重w來(lái)實(shí)現(xiàn)的。

(10)

在式(10)中，w∈Rn是參數(shù)向量。

值得一提的是：在經(jīng)典統(tǒng)計(jì)思想中，求一個(gè)函數(shù)的最小值或最大值通常都是基于高等數(shù)學(xué)中求極值的方法來(lái)實(shí)現(xiàn)的；而在機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想中，是通過(guò)事先給定的最小值的“閾值”來(lái)實(shí)現(xiàn)的。例如，要求式(8)或式(9)小于閾值“10-4”。顯然，閾值越小，迭代計(jì)算的次數(shù)就會(huì)越多。有時(shí)閾值定得過(guò)小，無(wú)論迭代計(jì)算多少次都難以滿足要求，此時(shí)可能就會(huì)出現(xiàn)所謂不能收斂的情形了。

3 多重線性回歸分析模型的假設(shè)檢驗(yàn)

3.1 對(duì)多重線性回歸模型進(jìn)行整體檢驗(yàn)

在估計(jì)出回歸模型的參數(shù)以后，需要對(duì)回歸方程進(jìn)行顯著性檢驗(yàn)，檢驗(yàn)的原假設(shè)為：

H0：β1=β2=…=βm=0

(11)

該假設(shè)表示所有的偏回歸系數(shù)都為0，也就是全部自變量對(duì)因變量的作用都沒(méi)有統(tǒng)計(jì)學(xué)意義，相應(yīng)的備擇假設(shè)為偏回歸系數(shù)不全為0。檢驗(yàn)的方法是方差分析，其基本思想與簡(jiǎn)單線性回歸相同，將總的離均差平方和分解為回歸平方和與殘差平方和，然后構(gòu)造F統(tǒng)計(jì)量，F(xiàn)統(tǒng)計(jì)量分子與分母的自由度分別為νR=m、νE=n-m-1。其計(jì)算公式為：

(12)

式中MSR與MSE分別稱(chēng)為回歸均方和殘差均方。求出F值后查F界值表，如果得到的P值小于事先確定的顯著性水平，就說(shuō)明回歸方程有統(tǒng)計(jì)學(xué)意義。

3.2 對(duì)多重線性回歸模型中各參數(shù)進(jìn)行逐一檢驗(yàn)

對(duì)整個(gè)回歸方程進(jìn)行顯著性檢驗(yàn)之后，還有必要對(duì)每一個(gè)偏回歸系數(shù)進(jìn)行檢驗(yàn)，檢驗(yàn)的原假設(shè)和備擇假設(shè)分別為H0：βi=0；H1：βi≠0。具體檢驗(yàn)時(shí)，可以根據(jù)偏回歸平方和構(gòu)造F統(tǒng)計(jì)量，也可以采用t檢驗(yàn)，這兩種方法是等價(jià)的。

多重線性回歸中自變量Xi的偏回歸平方和用Pi表示，它代表從回歸方程中剔除Xi后回歸平方和的減少量，或者在m-1個(gè)自變量的基礎(chǔ)上新增加X(jué)i后回歸平方和的增加量。偏回歸平方和的大小可用來(lái)衡量自變量Xi在回歸中所起作用的大小，它的取值越大，說(shuō)明Xi越重要。對(duì)自變量Xi進(jìn)行檢驗(yàn)的統(tǒng)計(jì)量Fi為：

(13)

該統(tǒng)計(jì)量分子和分母的自由度分別為1與n-m-1。

使用t檢驗(yàn)對(duì)偏回歸系數(shù)進(jìn)行檢驗(yàn)時(shí)，檢驗(yàn)統(tǒng)計(jì)量ti的計(jì)算公式為：

(14)

式中bi是偏回歸系數(shù)的估計(jì)值，Sbi是bi的標(biāo)準(zhǔn)誤，ti服從自由度為ν=n-m-1的t分布。

求出上述檢驗(yàn)統(tǒng)計(jì)量后，可以查相應(yīng)的界值表得出P值，從而判定Xi與Y之間是否存在線性關(guān)系。

4 多重線性回歸分析模型擬合效果的評(píng)價(jià)

一個(gè)多重線性回歸分析模型擬合效果如何，可從以下幾點(diǎn)來(lái)考量：

第一，擬合的多重線性回歸方程在整體上有統(tǒng)計(jì)學(xué)意義；

第二，多重線性回歸方程中各回歸參數(shù)估計(jì)值的假設(shè)檢驗(yàn)結(jié)果都有統(tǒng)計(jì)學(xué)意義；

第三，多重線性回歸方程中各回歸參數(shù)估計(jì)值的正負(fù)號(hào)與專(zhuān)業(yè)上的含義相吻合；

第四，根據(jù)多重線性回歸方程計(jì)算出因變量的所有預(yù)測(cè)值在專(zhuān)業(yè)上都有意義；

第五，若有多個(gè)較好的多重線性回歸方程時(shí)，殘差平方和較小且多重線性回歸方程中所含的自變量的個(gè)數(shù)又較少者為最佳。

[1] 李嬌婷, 許昊, 楊黃浩, 等. 利培酮和氯氮平對(duì)精神分裂癥患者自發(fā)性腦活動(dòng)的不同影響[J]. 四川精神衛(wèi)生, 2017, 30(1): 27-31.

[2] 趙茜, 史曉寧, 路亞洲, 等. 住院抑郁癥患者聯(lián)合心境穩(wěn)定劑治療的影響因素研究[J]. 四川精神衛(wèi)生, 2017, 30(2): 113-116.

[3] 方積乾. 衛(wèi)生統(tǒng)計(jì)學(xué)[M]. 7版. 北京: 人民衛(wèi)生出版社, 2017: 238-265.

[4] 胡良平. 科研設(shè)計(jì)與統(tǒng)計(jì)分析[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2012: 513-551.

[5] 胡良平, 毛瑋. 外科科研設(shè)計(jì)與統(tǒng)計(jì)分析[M]. 北京: 中國(guó)協(xié)和醫(yī)科大學(xué)出版社, 2012: 274-300.

[6] 劉金山, 夏強(qiáng). 基于MCMC算法的貝葉斯統(tǒng)計(jì)方法[M]. 北京: 科學(xué)出版社, 2017: 118-174.

[7] 沙伊·沙萊夫-施瓦茨，沙伊·本-戴維.深入理解機(jī)器學(xué)習(xí): 從原理到算法[M]. 張文生，譯.北京: 機(jī)械工業(yè)出版社, 2017: 1-65.

[8] 伊恩·古德費(fèi)洛, 約書(shū)亞·本古奧, 亞倫·庫(kù)維爾. 深度學(xué)習(xí)[M]. 趙申劍, 黎彧君, 符天凡, 等譯. 北京: 人民郵電出版社, 2017: 63-104.