胡良平(1.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計(jì)學(xué)咨詢中心，北京 100850；2.世界中醫(yī)藥學(xué)會(huì)聯(lián)合會(huì)臨床科研統(tǒng)計(jì)學(xué)專業(yè)委員會(huì)，北京 100029 通信作者：胡良平，E-mail：lphu812@sina.com)

1 與多重線性回歸分析有關(guān)的基本概念

1.1 何為多重線性回歸分析

在生物醫(yī)藥學(xué)和臨床研究中的很多場合下，需要考察因變量如何依賴多因素變化而變化的規(guī)律，例如文獻(xiàn)[1-2]都涉及到這種需求。此時(shí)，所需要的統(tǒng)計(jì)分析方法泛稱為“多重回歸分析”，當(dāng)因變量為“計(jì)量變量”時(shí)，常被稱為“多重線性回歸分析”。

多重線性回歸分析就是要求算出相應(yīng)模型中參數(shù)的估計(jì)值，對回歸方程和參數(shù)進(jìn)行假設(shè)檢驗(yàn)；在這個(gè)過程中，還需要對自變量進(jìn)行篩選和共線性診斷、對觀測點(diǎn)進(jìn)行異常點(diǎn)診斷，基于構(gòu)建的多重線性回歸模型并在給定的自變量取值條件下對因變量的取值進(jìn)行預(yù)測。多重線性回歸模型(對總體而言)與回歸方程(對樣本而言)的表達(dá)式分別見式(1)和式(2)。

設(shè)用Y代表因變量，X1、X2、…、Xm分別代表m個(gè)自變量，則多重線性回歸模型可以表示為：

Y=β0+β1X1+β2X2+…+βmXm+ε

(1)

式中β0為總體截距，β1、β2、…、βm分別為各個(gè)自變量所對應(yīng)的總體偏回歸系數(shù)，ε為隨機(jī)誤差，常假定其服從正態(tài)分布。偏回歸系數(shù)βi(i=1,2,…,m)表示在其他自變量固定不變的情況下，Xi每改變一個(gè)測量單位時(shí)所引起的因變量Y的平均改變量。多重線性回歸模型的樣本回歸方程可以表示為：

(2)

在建立了回歸方程以后，就可以對因變量與自變量之間的線性依存關(guān)系進(jìn)行定量分析，進(jìn)而還可以利用回歸方程對因變量進(jìn)行預(yù)測。

1.2 如何在進(jìn)行多重線性回歸分析前估計(jì)樣本含量

在進(jìn)行試驗(yàn)研究或調(diào)查研究之前，一般都需要估計(jì)所需的最低樣本含量。在進(jìn)行多重線性回歸分析前，同樣也需要估計(jì)樣本含量。具體的方法可分兩步走[3]：

第一步，估計(jì)簡單直線回歸或相關(guān)分析時(shí)所需要的樣本含量。

設(shè)因變量為Y，自變量為X1；再設(shè)它們之間的簡單相關(guān)系數(shù)ρ(≈r)，其中，ρ為兩變量之間的總體相關(guān)系數(shù)，而r為兩變量之間的樣本相關(guān)系數(shù)。此時(shí)，所需要的樣本含量n1見式(3)：

(3)

在式(3)中，α、β都表示標(biāo)準(zhǔn)正態(tài)分布曲線下兩尾端面積之和；Zα/2=Z0.05/2=1.96為標(biāo)準(zhǔn)正態(tài)分布曲線下兩尾端面積之和為0.05時(shí)對應(yīng)的橫坐標(biāo)(也被稱為臨界值)，同理，可理解Zβ=Z0.1=1.28的含義；當(dāng)總體相關(guān)系數(shù)ρ未知時(shí)，一般用樣本相關(guān)系數(shù)r取代。

若在簡單直線回歸模型中新增加(m-1)個(gè)自變量，則為了檢驗(yàn)X1的回歸系數(shù)是否為0，此時(shí)，樣本含量nm的計(jì)算公式見式(4)：

(4)

(5)

1.3 適合進(jìn)行多重線性回歸分析的數(shù)據(jù)結(jié)構(gòu)

問題與數(shù)據(jù)結(jié)構(gòu)見例1和表1。

【例1】26例糖尿病患者的血清總膽固醇(X1)、甘油三酯(X2)、空腹胰島素(X3)、糖化血紅蛋白(X4)、空腹血糖(Y)的測量值列于表1，建立血糖依賴其他幾項(xiàng)指標(biāo)變化的多重線性回歸模型(說明：本例的研究者并沒有事先估計(jì)所需要的樣本含量)。

表1 26例糖尿病患者血樣中有關(guān)指標(biāo)的測定結(jié)果

【對數(shù)據(jù)結(jié)構(gòu)的解說】在表1中，研究者從26例糖尿病患者體內(nèi)抽血，對每份血樣進(jìn)行檢查，測定了“血清總膽固醇(X1)、甘油三酯(X2)、空腹胰島素(X3)、糖化血紅蛋白(X4)、空腹血糖(Y)”5個(gè)定量變量的取值。它們之間的數(shù)量關(guān)系是客觀存在的，而且是并存關(guān)系，不存在誰是自變量、誰是因變量。對資料進(jìn)行統(tǒng)計(jì)分析時(shí)，可以有多種不同的統(tǒng)計(jì)分析目的，僅當(dāng)希望分析“空腹血糖(Y)”是否隨著“X1、X2、X3、X4”變化而變化時(shí)，才人為地將前者視為“因變量”、將后者視為“自變量”。

1.4 多重線性回歸分析要求資料應(yīng)滿足的前提條件

結(jié)合上面的表1，呈現(xiàn)多重線性回歸分析要求資料應(yīng)滿足的前提條件如下：

第一，受試對象具有同質(zhì)性。受試對象為26例糖尿病患者，而不是患有其他疾病的患者，也不是正常人。這里還有一些隱含的前提條件未明確交代：所患糖尿病的類型、嚴(yán)重程度、病程、是否有糖尿病家族史等基本相同，年齡、性別、職業(yè)、身體素質(zhì)、生活和飲食習(xí)慣、鍛煉方式和程度等基本相同。

第二，全部變量、特別是因變量是計(jì)量變量。經(jīng)典統(tǒng)計(jì)學(xué)中，要求進(jìn)行多重線性回歸分析的全部變量都是定量的；在具體使用時(shí)，條件有所放松，即自變量中允許有二值定性變量或多值有序變量，若有多值名義變量，需要將其變換為二值的“啞變量(其個(gè)數(shù)為原多值名義變量的水平數(shù)減一)”。

第三，各自變量組合條件下的計(jì)量因變量應(yīng)服從正態(tài)分布且方差相等。這一條僅僅局限于“統(tǒng)計(jì)理論”上的規(guī)定或假定，在實(shí)際使用時(shí)是無法考證的。因?yàn)槊總€(gè)定量自變量的取值都有無窮多個(gè)，全部自變量的不同水平組合自然也就有無窮多種了。而在實(shí)際研究中，樣本含量十分有限，幾乎沒有兩個(gè)受試對象在全部自變量上的取值是完全相同的，那么，怎樣考察第三個(gè)前提條件是否成立呢？故在實(shí)際使用中，只能大大降低要求：只要因變量的全部取值近似服從正態(tài)分布即可。

第四，因變量與全部自變量間存在線性關(guān)系，而非曲線關(guān)系。這一點(diǎn)可以通過繪制因變量與每一個(gè)自變量之間的散布圖來初步了解。

第五，全部自變量間互相獨(dú)立，不存在共線性關(guān)系。當(dāng)所擬合的多重線性回歸模型中確實(shí)存在多重共線性問題時(shí)，則此多重線性回歸模型的質(zhì)量就不高。所以，應(yīng)先進(jìn)行共線性診斷，當(dāng)發(fā)現(xiàn)存在多重共線性時(shí)，要設(shè)法消除，然后再構(gòu)建多重線性回歸模型。

1.5 如何進(jìn)行回歸診斷

1.5.1 何為自變量間的多重共線性

所謂多重共線性，就是某幾個(gè)自變量之間存在線性關(guān)系，例如：X1=0.35X2+1.28X3-21.45X4。

1.5.2 如何診斷自變量之間是否存在多重共線性

診斷是否存在多重共線性的方法有多種，如方差分量法、方差膨脹因子法(等價(jià)于容許度法)等，計(jì)算公式較復(fù)雜，此處從略；若借助SAS軟件中的REG過程來擬合多重線性回歸模型，只需在model語句中增加選擇項(xiàng)“COLLIN”和“COLLINOINT”或“VIF”和“TOL”即可實(shí)現(xiàn)。

1.5.3 何為異常點(diǎn)以及如何診斷

若在回歸分析的資料中，所有的觀測點(diǎn)(表1中就有26個(gè)觀測點(diǎn))都是“同質(zhì)的”，則不存在“異常點(diǎn)”；若有少數(shù)個(gè)體(即觀測點(diǎn))與其他絕大多數(shù)個(gè)體不同質(zhì)，則它們就有可能成為異常點(diǎn)。為了便于直觀理解異常點(diǎn)，參見圖1。

圖1 某實(shí)際問題中(x,y)的散布圖

圖1中，最右邊的那個(gè)點(diǎn)在大多數(shù)點(diǎn)的延長線上且偏離得很遠(yuǎn)，這樣的“異常點(diǎn)”可以通過“Cook’s D”統(tǒng)計(jì)量(其取值遠(yuǎn)遠(yuǎn)大于0.5就屬于異常點(diǎn))進(jìn)行診斷；還有一個(gè)點(diǎn)在垂直于x軸的方向上偏離多數(shù)點(diǎn)較遠(yuǎn)，此類“異常點(diǎn)(在圖1中偏離較小，暫時(shí)可將其視為可疑異常點(diǎn))”可以通過“學(xué)生化殘差”統(tǒng)計(jì)量(其取值的絕對值大于2時(shí)就可定為異常點(diǎn))進(jìn)行診斷。這兩種統(tǒng)計(jì)量的計(jì)算公式此處從略。

1.6 篩選自變量和剔除異常點(diǎn)的意義和方法

1.6.1 篩選自變量的意義和方法

篩選自變量的意義在于：淘汰掉那些對因變量影響無統(tǒng)計(jì)學(xué)意義的自變量，使擬合的多重線性回歸模型精簡且具有更高的價(jià)值。在SAS軟件包中，實(shí)現(xiàn)對自變量進(jìn)行篩選的model語句的選項(xiàng)有以下8個(gè)[4]，即：

①selection=forward(采用前進(jìn)法篩選自變量，變量經(jīng)假設(shè)檢驗(yàn)只進(jìn)不出)；

②selection=backward(采用后退法篩選自變量，變量經(jīng)假設(shè)檢驗(yàn)只出不進(jìn))；

③selection=stepwise(采用逐步法篩選自變量，變量經(jīng)假設(shè)檢驗(yàn)有進(jìn)有出)；

④selection=maxr(基于最大復(fù)相關(guān)系數(shù)的平方篩選自變量)；

⑤selection=minr(基于最小復(fù)相關(guān)系數(shù)的平方篩選自變量)；

⑥selection=rsquare(基于復(fù)相關(guān)系數(shù)的平方由大到小且所含自變量個(gè)數(shù)由少到多給自變量組合排序)；

⑦selection=adjrsq(基于校正的復(fù)相關(guān)系數(shù)的平方由大到小且所含自變量個(gè)數(shù)由少到多給自變量組合排序)；

⑧selection=cp(基于Mallow' sCP統(tǒng)計(jì)量的計(jì)算結(jié)果篩選自變量，此值越接近當(dāng)前回歸方程中自變量的個(gè)數(shù)，表明此時(shí)的回歸方程質(zhì)量越好)。

1.6.2 剔除異常點(diǎn)的意義和方法

若資料中確實(shí)存在嚴(yán)重的異常點(diǎn)，可能會(huì)導(dǎo)致所擬合的多重線性回歸模型嚴(yán)重歪曲實(shí)際情況，很可能會(huì)得出誤差很大的預(yù)測結(jié)果；若借助SAS軟件中的REG過程來擬合多重線性回歸模型，只需要在model語句中增加選擇項(xiàng)“r”(即要求進(jìn)行殘差分析)就可實(shí)現(xiàn)。

2 構(gòu)建多重線性回歸分析模型方法

2.1 基于經(jīng)典統(tǒng)計(jì)思想構(gòu)建多重線性回歸分析模型

構(gòu)建多重線性回歸分析模型的經(jīng)典統(tǒng)計(jì)思想是：假定模型(1)中的誤差項(xiàng)服從正態(tài)分布且各自變量組合條件下因變量Y的方差相等，在此假定成立的條件下，基于最小二乘原理構(gòu)造一個(gè)偏差函數(shù)Q[5]，見式(6)：

(6)

為了使Q達(dá)到最小，由高等數(shù)學(xué)知識(shí)可知，將Q對b0、b1、b2、…、bm求一階偏導(dǎo)數(shù)并且使之為0，就可以得到包含(m+1)個(gè)方程的正規(guī)方程組，然后利用求解線性方程組的方法就可由該正規(guī)方程組解得各個(gè)參數(shù)的估計(jì)值。為簡便起見，下面以導(dǎo)出簡單直線回歸模型中參數(shù)估計(jì)值為例，呈現(xiàn)其推導(dǎo)過程：

按以上程序確定直線回歸方程中兩個(gè)參數(shù)估計(jì)值，就被稱為按最小二乘法或最小平方法進(jìn)行參數(shù)估計(jì)。

2.2 基于貝葉斯統(tǒng)計(jì)思想構(gòu)建多重線性回歸分析模型

貝葉斯統(tǒng)計(jì)思想是充分利用并有效整合“樣本信息、總體信息和先驗(yàn)信息”，再基于經(jīng)典統(tǒng)計(jì)中的“概率分布知識(shí)”和蒙特卡羅統(tǒng)計(jì)思想中的“隨機(jī)抽樣”和“統(tǒng)計(jì)模擬”技術(shù)，構(gòu)建所需要的多重線性回歸模型，進(jìn)而進(jìn)行“共軛先驗(yàn)下的貝葉斯推斷”和/或“廣義先驗(yàn)下的貝葉斯推斷”求出多重線性回歸模型中的“估計(jì)回歸系數(shù)矩陣”和“估計(jì)誤差協(xié)方差矩陣”。這些內(nèi)容的數(shù)學(xué)味過濃，感興趣的讀者參閱文獻(xiàn)[6]，詳細(xì)內(nèi)容此處從略。

2.3 基于機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想構(gòu)建多重線性回歸分析模型

機(jī)器學(xué)習(xí)的含義是希望通過對計(jì)算機(jī)編程，使它能夠根據(jù)已有的輸入數(shù)據(jù)進(jìn)行學(xué)習(xí)[7]。這里所說的“學(xué)習(xí)”與人類為了了解未知事物或不會(huì)的知識(shí)時(shí)進(jìn)行的“學(xué)習(xí)”是有區(qū)別的。在解決不同的問題時(shí)，這種學(xué)習(xí)需要“具體化”。例如，在進(jìn)行簡單直線回歸分析時(shí)，若基于經(jīng)典統(tǒng)計(jì)思想，前面介紹了依據(jù)最小二乘原理可以直接推導(dǎo)出直線回歸方程中兩個(gè)參數(shù)估計(jì)值的計(jì)算公式(7)，而利用機(jī)器學(xué)習(xí)方法卻無法給出公式(7)。若基于機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想，其解決問題的思路如下[8]：

將擬分析的資料隨機(jī)劃分成兩部分，分別稱為“訓(xùn)練集”與“測試集”，設(shè)其樣本含量分別為n與k。讓計(jì)算機(jī)在訓(xùn)練集上進(jìn)行學(xué)習(xí)，在測試集上設(shè)法使均方誤差[見式(8)]達(dá)到最小值，此時(shí)，所得的結(jié)果就是“機(jī)器學(xué)習(xí)的結(jié)果”(相當(dāng)于得到了回歸模型)。然后，將“機(jī)器學(xué)習(xí)的結(jié)果”用于測試集，即把測試集中自變量的數(shù)值代入已創(chuàng)建的回歸模型求出因變量的估計(jì)值，再求出測試集上因變量的殘差平方和，進(jìn)而求出均方誤差，見式(9)。

(8)

(9)

在上述的計(jì)算過程中，用機(jī)器學(xué)習(xí)法實(shí)現(xiàn)回歸分析時(shí)希望達(dá)到的最終目的是使式(9)取得最小值，但在具體實(shí)施時(shí)，卻是基于使式(8)達(dá)到最小值這個(gè)目標(biāo)來不斷優(yōu)化或改進(jìn)回歸模型[見式(10)]中的權(quán)重w來實(shí)現(xiàn)的。

(10)

在式(10)中，w∈Rn是參數(shù)向量。

值得一提的是：在經(jīng)典統(tǒng)計(jì)思想中，求一個(gè)函數(shù)的最小值或最大值通常都是基于高等數(shù)學(xué)中求極值的方法來實(shí)現(xiàn)的；而在機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想中，是通過事先給定的最小值的“閾值”來實(shí)現(xiàn)的。例如，要求式(8)或式(9)小于閾值“10-4”。顯然，閾值越小，迭代計(jì)算的次數(shù)就會(huì)越多。有時(shí)閾值定得過小，無論迭代計(jì)算多少次都難以滿足要求，此時(shí)可能就會(huì)出現(xiàn)所謂不能收斂的情形了。

3 多重線性回歸分析模型的假設(shè)檢驗(yàn)

3.1 對多重線性回歸模型進(jìn)行整體檢驗(yàn)

在估計(jì)出回歸模型的參數(shù)以后，需要對回歸方程進(jìn)行顯著性檢驗(yàn)，檢驗(yàn)的原假設(shè)為：

H0：β1=β2=…=βm=0

(11)

該假設(shè)表示所有的偏回歸系數(shù)都為0，也就是全部自變量對因變量的作用都沒有統(tǒng)計(jì)學(xué)意義，相應(yīng)的備擇假設(shè)為偏回歸系數(shù)不全為0。檢驗(yàn)的方法是方差分析，其基本思想與簡單線性回歸相同，將總的離均差平方和分解為回歸平方和與殘差平方和，然后構(gòu)造F統(tǒng)計(jì)量，F(xiàn)統(tǒng)計(jì)量分子與分母的自由度分別為νR=m、νE=n-m-1。其計(jì)算公式為：

(12)

式中MSR與MSE分別稱為回歸均方和殘差均方。求出F值后查F界值表，如果得到的P值小于事先確定的顯著性水平，就說明回歸方程有統(tǒng)計(jì)學(xué)意義。

3.2 對多重線性回歸模型中各參數(shù)進(jìn)行逐一檢驗(yàn)

對整個(gè)回歸方程進(jìn)行顯著性檢驗(yàn)之后，還有必要對每一個(gè)偏回歸系數(shù)進(jìn)行檢驗(yàn)，檢驗(yàn)的原假設(shè)和備擇假設(shè)分別為H0：βi=0；H1：βi≠0。具體檢驗(yàn)時(shí)，可以根據(jù)偏回歸平方和構(gòu)造F統(tǒng)計(jì)量，也可以采用t檢驗(yàn)，這兩種方法是等價(jià)的。

多重線性回歸中自變量Xi的偏回歸平方和用Pi表示，它代表從回歸方程中剔除Xi后回歸平方和的減少量，或者在m-1個(gè)自變量的基礎(chǔ)上新增加Xi后回歸平方和的增加量。偏回歸平方和的大小可用來衡量自變量Xi在回歸中所起作用的大小，它的取值越大，說明Xi越重要。對自變量Xi進(jìn)行檢驗(yàn)的統(tǒng)計(jì)量Fi為：

(13)

該統(tǒng)計(jì)量分子和分母的自由度分別為1與n-m-1。

使用t檢驗(yàn)對偏回歸系數(shù)進(jìn)行檢驗(yàn)時(shí)，檢驗(yàn)統(tǒng)計(jì)量ti的計(jì)算公式為：

(14)

式中bi是偏回歸系數(shù)的估計(jì)值，Sbi是bi的標(biāo)準(zhǔn)誤，ti服從自由度為ν=n-m-1的t分布。

求出上述檢驗(yàn)統(tǒng)計(jì)量后，可以查相應(yīng)的界值表得出P值，從而判定Xi與Y之間是否存在線性關(guān)系。

4 多重線性回歸分析模型擬合效果的評價(jià)

一個(gè)多重線性回歸分析模型擬合效果如何，可從以下幾點(diǎn)來考量：

第一，擬合的多重線性回歸方程在整體上有統(tǒng)計(jì)學(xué)意義；

第二，多重線性回歸方程中各回歸參數(shù)估計(jì)值的假設(shè)檢驗(yàn)結(jié)果都有統(tǒng)計(jì)學(xué)意義；

第三，多重線性回歸方程中各回歸參數(shù)估計(jì)值的正負(fù)號(hào)與專業(yè)上的含義相吻合；

第四，根據(jù)多重線性回歸方程計(jì)算出因變量的所有預(yù)測值在專業(yè)上都有意義；

第五，若有多個(gè)較好的多重線性回歸方程時(shí)，殘差平方和較小且多重線性回歸方程中所含的自變量的個(gè)數(shù)又較少者為最佳。

[1] 李嬌婷, 許昊, 楊黃浩, 等. 利培酮和氯氮平對精神分裂癥患者自發(fā)性腦活動(dòng)的不同影響[J]. 四川精神衛(wèi)生, 2017, 30(1): 27-31.

[2] 趙茜, 史曉寧, 路亞洲, 等. 住院抑郁癥患者聯(lián)合心境穩(wěn)定劑治療的影響因素研究[J]. 四川精神衛(wèi)生, 2017, 30(2): 113-116.

[3] 方積乾. 衛(wèi)生統(tǒng)計(jì)學(xué)[M]. 7版. 北京: 人民衛(wèi)生出版社, 2017: 238-265.

[4] 胡良平. 科研設(shè)計(jì)與統(tǒng)計(jì)分析[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2012: 513-551.

[5] 胡良平, 毛瑋. 外科科研設(shè)計(jì)與統(tǒng)計(jì)分析[M]. 北京: 中國協(xié)和醫(yī)科大學(xué)出版社, 2012: 274-300.

[6] 劉金山, 夏強(qiáng). 基于MCMC算法的貝葉斯統(tǒng)計(jì)方法[M]. 北京: 科學(xué)出版社, 2017: 118-174.

[7] 沙伊·沙萊夫-施瓦茨，沙伊·本-戴維.深入理解機(jī)器學(xué)習(xí): 從原理到算法[M]. 張文生，譯.北京: 機(jī)械工業(yè)出版社, 2017: 1-65.

[8] 伊恩·古德費(fèi)洛, 約書亞·本古奧, 亞倫·庫維爾. 深度學(xué)習(xí)[M]. 趙申劍, 黎彧君, 符天凡, 等譯. 北京: 人民郵電出版社, 2017: 63-104.