谷恒明，胡良平,2(.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計(jì)學(xué)咨詢(xún)中心，北京 00850；2.世界中醫(yī)藥學(xué)會(huì)聯(lián)合會(huì)臨床科研統(tǒng)計(jì)學(xué)專(zhuān)業(yè)委員會(huì)，北京 00029 通信作者：胡良平，E-mail：lphu82@sina.com)

1 機(jī)器學(xué)習(xí)回歸分析方法概述

1.1 何為機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)脫胎于人工智能[1]，后者使“那些對(duì)人類(lèi)智力來(lái)說(shuō)非常困難、但對(duì)計(jì)算機(jī)來(lái)說(shuō)相對(duì)簡(jiǎn)單的問(wèn)題得到迅速解決”。人工智能的真正挑戰(zhàn)在于解決那些對(duì)人來(lái)說(shuō)很容易執(zhí)行、但很難形式化描述的任務(wù)[2]。誰(shuí)有能力“讓計(jì)算機(jī)從經(jīng)驗(yàn)獲取知識(shí)，可以避免由人類(lèi)來(lái)給計(jì)算機(jī)形式化地指定它需要的所有知識(shí)”？機(jī)器學(xué)習(xí)或深度學(xué)習(xí)具有這個(gè)能力。它致力于研究如何通過(guò)計(jì)算的手段，能夠根據(jù)已有的輸入數(shù)據(jù)進(jìn)行學(xué)習(xí)，利用經(jīng)驗(yàn)來(lái)改善系統(tǒng)自身的性能。具體地說(shuō)，它是關(guān)于在計(jì)算機(jī)上從數(shù)據(jù)中產(chǎn)生“模型”的算法，即“學(xué)習(xí)算法”(learning algorithm)[3-4]的一門(mén)學(xué)問(wèn)。

1.2 機(jī)器學(xué)習(xí)方法能解決的統(tǒng)計(jì)學(xué)問(wèn)題

不難想象，對(duì)于統(tǒng)計(jì)表達(dá)與描述、基于檢驗(yàn)統(tǒng)計(jì)量進(jìn)行假設(shè)檢驗(yàn)和相關(guān)性分析等問(wèn)題，一般只需要采用經(jīng)典統(tǒng)計(jì)方法、偶爾采用貝葉斯統(tǒng)計(jì)方法就可解決。而對(duì)于回歸分析、判別分析和樣品聚類(lèi)分析等問(wèn)題，雖然經(jīng)典統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)常常也可以處理得令人比較滿(mǎn)意，但若采取適當(dāng)?shù)臋C(jī)器學(xué)習(xí)方法(注意：具體的方法有很多種，如決策樹(shù)、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、集成學(xué)習(xí)和隨機(jī)森林等[5])，常能產(chǎn)生意想不到的結(jié)果，尤其是在對(duì)資料前提條件的“零要求”和結(jié)果具有極高精準(zhǔn)度等方面，更顯示出極大的優(yōu)越性。

前已述及，能夠進(jìn)行回歸分析的機(jī)器學(xué)習(xí)方法有很多種，因篇幅所限，本文僅介紹基于BP神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)多重線(xiàn)性回歸分析的做法。

1.3 BP神經(jīng)網(wǎng)絡(luò)回歸分析方法簡(jiǎn)介

BP神經(jīng)網(wǎng)絡(luò)是一種基于有監(jiān)督的學(xué)習(xí)、使用非線(xiàn)性的可導(dǎo)函數(shù)作為傳遞函數(shù)的前饋神經(jīng)網(wǎng)絡(luò)，在1986年由Rumlhart和McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。

基本BP算法包括信號(hào)的前向傳播和誤差的反向傳播兩個(gè)過(guò)程。即計(jì)算誤差輸出時(shí)按從輸入到輸出的方向進(jìn)行，而調(diào)整權(quán)值和閾值則從輸出到輸入的方向進(jìn)行。正向傳播時(shí)，輸入信號(hào)通過(guò)隱含層作用于輸出節(jié)點(diǎn)，經(jīng)過(guò)非線(xiàn)性變換，產(chǎn)生輸出信號(hào)，若實(shí)際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過(guò)程。誤差反傳是將輸出誤差通過(guò)隱含層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元，以從各層獲得的誤差信號(hào)作為調(diào)整各單元權(quán)值的依據(jù)。通過(guò)調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)的聯(lián)接強(qiáng)度和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的聯(lián)接強(qiáng)度以及閾值，使誤差沿梯度方向下降，經(jīng)過(guò)反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。一般情況下，隱層越多，誤差越小，但是相應(yīng)的模型越復(fù)雜。

BP神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)理論和性能方面已經(jīng)比較成熟。其突出優(yōu)點(diǎn)是具有很強(qiáng)的非線(xiàn)性映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)?？筛鶕?jù)具體情況設(shè)定網(wǎng)絡(luò)的中間層及層數(shù)，并且隨著結(jié)構(gòu)的差異其性能也有所不同。但是BP神經(jīng)網(wǎng)絡(luò)也存在一些缺陷：①學(xué)習(xí)速度慢，即使是一個(gè)簡(jiǎn)單的問(wèn)題，一般也需要幾百次甚至上千次的學(xué)習(xí)才能收斂；②容易陷入局部極小值；③網(wǎng)絡(luò)層數(shù)、神經(jīng)元個(gè)數(shù)的選擇沒(méi)有相應(yīng)的理論指導(dǎo)；④網(wǎng)絡(luò)推廣能力有限。

2 實(shí)例及機(jī)器學(xué)習(xí)回歸分析的實(shí)現(xiàn)

2.1 問(wèn)題與數(shù)據(jù)

【例1】26例糖尿病患者的血清總膽固醇(X1)、甘油三酯(X2)、空腹胰島素(X3)、糖化血紅蛋白(X4)、空腹血糖(Y)的測(cè)量值列于表1，試基于機(jī)器學(xué)習(xí)統(tǒng)計(jì)思想(具體方法為“BP神經(jīng)網(wǎng)絡(luò)”)建立血糖與其他幾項(xiàng)指標(biāo)間的多重線(xiàn)性回歸方程，并完成其他有關(guān)的任務(wù)。

表1 26例糖尿病患者血樣中有關(guān)指標(biāo)的測(cè)定結(jié)果

注：詳細(xì)數(shù)據(jù)見(jiàn)本期第一篇文章《多重線(xiàn)性回歸分析的核心內(nèi)容與關(guān)鍵技術(shù)概述》

2.2 采用BP神經(jīng)網(wǎng)絡(luò)分析方法建模

將表1中的26行5列數(shù)據(jù)(不包括第1列編號(hào)，保留各列的變量名)輸入計(jì)算機(jī)，用文本格式存儲(chǔ)，取名為“空腹血糖與血脂.txt”。將其存儲(chǔ)在G盤(pán)文件夾名為“studyr”的文件夾內(nèi)。采用R軟件包中的nnet()函數(shù)來(lái)實(shí)現(xiàn)，所需要的R程序[設(shè)程序名為：BP神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)空腹血糖依賴(lài)三項(xiàng)血脂指標(biāo)(注：X1無(wú)統(tǒng)計(jì)學(xué)意義，不參與建模)的多重線(xiàn)性回歸分析.txt]如下：

install.packages("nnet") #安裝實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)計(jì)算的子程序包nnet

library(nnet) #加載子程序包nnet

setwd("G://studyr/") #設(shè)置路徑為"G: //studyr/"

data<- read.table("空腹血糖與血脂.txt",header=TRUE)

#data中的數(shù)據(jù)為26行5列

data1<- data[,-1] #刪除data中的第1列(即X1)后為data1

y<- data1[,4]/max(data1[,4]) #data1中第4列除以該列最大值賦值給y，y為標(biāo)準(zhǔn)化結(jié)果

x<- data1[,-4] #data1中的前3列(即X2、X3、X4)賦值給向量x

set.seed(1101) #設(shè)置隨機(jī)數(shù)種子為1101

#每次修改size(隱節(jié)點(diǎn)個(gè)數(shù))的值，退出R運(yùn)行環(huán)境；

#再進(jìn)入，結(jié)果具有重現(xiàn)性。

#下面是基于3-5-1BP神經(jīng)網(wǎng)絡(luò)模型創(chuàng)建回歸模型

(model1=nnet(x,y,size=5,entropy=TRUE,decay=0.1))

#每次修改size(隱節(jié)點(diǎn)個(gè)數(shù))的值，退出R運(yùn)行環(huán)境；

#再進(jìn)入，結(jié)果具有重現(xiàn)性。

#設(shè)置5個(gè)隱節(jié)點(diǎn)，權(quán)重衰減速度的最小值為0.1

summary(model1) #輸出所創(chuàng)建的BP神經(jīng)網(wǎng)絡(luò)回歸模型

pred1=predict(model1,data1) #計(jì)算標(biāo)準(zhǔn)化y的預(yù)測(cè)值

pred2=pred1*max(data1[,4]) #計(jì)算原始數(shù)據(jù)y的預(yù)測(cè)值

M<- sum((data1[,4]-mean(data1[,4]))^2)

#計(jì)算原始數(shù)據(jù)y的離均差平方和

NMSE<- sum((data1[,4]-pred2)^2)/M

NMSE #輸出標(biāo)準(zhǔn)化均方誤差的數(shù)值

## data1[,4];pred2 #刪除語(yǔ)句前兩個(gè)井號(hào)可輸出觀(guān)測(cè)y與預(yù)測(cè)y的數(shù)值

【說(shuō)明】在上面的程序中，各語(yǔ)句后以“#”開(kāi)頭的就是該語(yǔ)句的解釋信息。

2.3 BP神經(jīng)網(wǎng)絡(luò)回歸分析的結(jié)果

通常，采用一個(gè)隱藏層的BP神經(jīng)網(wǎng)絡(luò)，即I-J-1 BP神經(jīng)網(wǎng)絡(luò)模型，其中，“I”為輸入節(jié)點(diǎn)個(gè)數(shù)(具有統(tǒng)計(jì)學(xué)意義的自變量的個(gè)數(shù))；“J”為隱藏層中隱節(jié)點(diǎn)的個(gè)數(shù)；最后的“1”為輸出節(jié)點(diǎn)個(gè)數(shù)(即定量結(jié)果變量的個(gè)數(shù)，回歸分析時(shí)通常為1；若是判別分析，通常為類(lèi)別的個(gè)數(shù))。

在上面的程序中，I=3(3個(gè)具有統(tǒng)計(jì)學(xué)意義的自變量，即X2、X3和X4)、J=5(設(shè)置了5個(gè)隱節(jié)點(diǎn))、1(代表只有1個(gè)輸出節(jié)點(diǎn)，即定量的結(jié)果變量只有一個(gè))，故被稱(chēng)為“3-5-1BP神經(jīng)網(wǎng)絡(luò)模型”。此模型的主要輸出結(jié)果如下：

a 3-5-1 network with 26 weights

options were - entropy fitting dec

ay=0.1a 3-5-1 network with 26 weights

options were - entropy fitting decay=0.1

b->h1 i1->h1 i2->h1 i3->h1

-0.07 0.17 -0.05 0.08

b->h2 i1->h2 i2->h2 i3->h2

-0.10 0.16 -0.34 0.11

b->h3 i1->h3 i2->h3 i3->h3

-0.07 0.17 -0.05 0.08

b->h4 i1->h4 i2->h4 i3->h4

0.12 -0.15 0.42 -0.12

b->h5 i1->h5 i2->h5 i3->h5

-0.10 0.16 -0.34 0.11

b->o h1->o h2->o h3->o h4->oh5->o

-0.05 0.36 0.48 0.36 -0.59 0.48

[1] 0.4166974

【說(shuō)明】具有26個(gè)權(quán)重系數(shù)的3-5-1 BP神經(jīng)網(wǎng)絡(luò)模型，其含義如下：

三個(gè)自變量(被稱(chēng)為3個(gè)輸入節(jié)點(diǎn))分別用i1、i2和i3表示；“b”代表模型中的常數(shù)項(xiàng)；5個(gè)隱節(jié)點(diǎn)(其本質(zhì)就相當(dāng)于因子分析中的“隱變量”，也可以將其視為“中間變量”，即它們是輸入變量的結(jié)果變量、是輸出變量的原因變量)分別用h1-h5表示；輸出節(jié)點(diǎn)(即定量的結(jié)果變量y)用“o”表示，即“Output”之義。

在3-5-1 BP神經(jīng)網(wǎng)絡(luò)模型中，有(3+1)×5+(5+1)×1=26個(gè)權(quán)重系數(shù)。這個(gè)算式中的數(shù)字分別代表什么？“(3+1)”代表“三個(gè)自變量加一個(gè)常數(shù)項(xiàng)”共4項(xiàng)，每一項(xiàng)都要與5個(gè)隱節(jié)點(diǎn)相連接，故需要乘以5；“(5+1)”代表5個(gè)隱節(jié)點(diǎn)加一個(gè)常數(shù)項(xiàng)共6項(xiàng)，每一項(xiàng)都要與一個(gè)輸出節(jié)點(diǎn)相連接，故需要乘以1。

任何一個(gè)“隱節(jié)點(diǎn)”與“輸入節(jié)點(diǎn)(包括一個(gè)常數(shù)項(xiàng))”之間都是通過(guò)“一個(gè)Logistic曲線(xiàn)”連接起來(lái)的，例如：

隱節(jié)點(diǎn)h1就是按下面的公式與四個(gè)輸入節(jié)點(diǎn)連接起來(lái)的：

h1=exp(-0.07+0.17i1-0.05i2+0.08i3)/[1+exp(-0.07+0.17i1-0.05i2+0.08i3)]

同理，可以寫(xiě)出其他四個(gè)隱節(jié)點(diǎn)的表達(dá)式：

h2=exp(-0.10+0.16i1-0.34i2+0.11i3)/[1+exp(-0.10+0.16i1-0.34i2+0.11i3)]

h3=exp(-0.07+0.17i1-0.05i2+0.08i3)/[1+exp(-0.07+0.17i1-0.05i2+0.08i3)]

h4=exp(0.12-0.15i1+0.42i2-0.12i3)/[1+exp(0.12-0.15i1+0.42i2-0.12i3)]

h5=exp(-0.10+0.16i1-0.34i2+0.11i3)/[1+exp(-0.10+0.16i1-0.34i2+0.11i3)]

最后，可以寫(xiě)出一個(gè)輸出節(jié)點(diǎn)的表達(dá)式：

0=A/(1+A)

(1)

其中，A=exp(-0.05+0.36h1+0.48h2+0.36h3-0.59h4+0.48h5)

將上面的h1-h5五個(gè)表達(dá)式代入公式(1)，就可呈現(xiàn)用三個(gè)自變量表達(dá)結(jié)果變量的計(jì)算公式，其計(jì)算結(jié)果“o”為標(biāo)準(zhǔn)化后的預(yù)測(cè)值y，即上面程序中的“Pred1”；將其乘以結(jié)果變量y的最大值，就將其還原為原始的結(jié)果變量的預(yù)測(cè)值了，即上面程序中的“Pred2”。

3-5-1 BP神經(jīng)網(wǎng)絡(luò)模型得到的標(biāo)準(zhǔn)化均方誤差NMSE=0.416697。

在給定隨機(jī)數(shù)和“I”數(shù)目的前提下，BP神經(jīng)網(wǎng)絡(luò)擬合回歸模型的計(jì)算結(jié)果的精確度可采用“標(biāo)準(zhǔn)化均方誤差(NMSE)”的大小來(lái)度量。通常，隨著隱節(jié)點(diǎn)的數(shù)目增大，NMSE會(huì)逐漸變小。在本例中，分別取隱節(jié)點(diǎn)數(shù)目為：1、2、…、10、20、30、40、50、100、110、120、130、140、150共20種情況時(shí)，對(duì)應(yīng)的NMSE見(jiàn)表2。

表2 取20種不同數(shù)目的隱節(jié)點(diǎn)BP神經(jīng)網(wǎng)絡(luò)回歸分析所產(chǎn)生的NMSE數(shù)值

結(jié)合本期前兩篇文章中的計(jì)算結(jié)果和本文前面的計(jì)算結(jié)果可知：從模型的簡(jiǎn)練程度上看，BP神經(jīng)網(wǎng)絡(luò)回歸分析的模型很復(fù)雜，而傳統(tǒng)統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)回歸分析模型相對(duì)簡(jiǎn)練得多；從標(biāo)準(zhǔn)化均方誤差(NMSE)大小上看，BP神經(jīng)網(wǎng)絡(luò)回歸分析的NMSE可以達(dá)到很小的程度，而很難使傳統(tǒng)統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)回歸分析模型的NMSE的數(shù)值降低很多。因此，基于BP神經(jīng)網(wǎng)絡(luò)回歸分析與傳統(tǒng)統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)回歸分析之間的擬合效果不具有可比性。

3 小 結(jié)

當(dāng)數(shù)據(jù)本身質(zhì)量較好時(shí)，經(jīng)典統(tǒng)計(jì)建模方法所要求的假定條件基本上能夠得到滿(mǎn)足，此時(shí)，經(jīng)典統(tǒng)計(jì)建模的效果就比較好；如果有足夠的先驗(yàn)信息，采用經(jīng)典多重線(xiàn)性回歸分析和貝葉斯回歸分析的結(jié)果相差不大；BP神經(jīng)網(wǎng)絡(luò)可以獲得很精確的計(jì)算結(jié)果和精準(zhǔn)的預(yù)測(cè)結(jié)果，但不便寫(xiě)出對(duì)應(yīng)的回歸模型。值得一提的是：只要結(jié)果變量為計(jì)量變量，希望研究其如何依賴(lài)自變量變化而變化的依賴(lài)關(guān)系時(shí)，選用多重線(xiàn)性回歸分析比選用單因素差異性分析更合適。例如文獻(xiàn)[6-9]。

[1] 鄭捷. 機(jī)器學(xué)習(xí)算法原理與編程實(shí)踐[M]. 北京: 電子工業(yè)出版社, 2015: 1-55.

[2] 伊恩·古德費(fèi)洛, 約書(shū)亞·本古奧, 亞倫·庫(kù)維爾. 深度學(xué)習(xí)[M]. 趙申劍, 黎彧君, 符天凡, 等譯. 北京: 人民郵電出版社, 2017: 1-18.

[3] 沙伊·沙萊夫-施瓦茨, 沙伊·本-戴維.深入理解機(jī)器學(xué)習(xí): 從原理到算法[M]. 張文生譯.北京: 機(jī)械工業(yè)出版社[M]. 北京: 機(jī)械工業(yè)出版社, 2017: 1-9.

[4] 周知華. 機(jī)器學(xué)習(xí)[M]. 北京: 清華大學(xué)出版社,2016: 1-22.

[5] 吳喜之. 復(fù)雜數(shù)據(jù)統(tǒng)計(jì)方法——基于R的應(yīng)用[M]. 3版. 北京: 中國(guó)人民大學(xué)出版社, 2015: 41-56.

[6] 任傳波, 姜季妍, 董黎明. 青少年抑郁障礙患者心理社會(huì)學(xué)特征[J]. 四川精神衛(wèi)生, 2017, 30(5): 455-457.

[7] 徐華麗, 孫崇勇, 高悅. 大學(xué)生人格特質(zhì)對(duì)手機(jī)成癮傾向的影響[J]. 四川精神衛(wèi)生, 2017, 30(5): 458-462.

[8] 李青青, 張倩. 醫(yī)學(xué)院校大學(xué)生情緒狀態(tài)與學(xué)業(yè)拖延的關(guān)系[J]. 四川精神衛(wèi)生, 2017, 30(5): 463-465.

[9] 魏國(guó)英, 曾麗娟, 周桂成, 等. 精神科護(hù)士職業(yè)倦怠與工作壓力的相關(guān)性[J]. 四川精神衛(wèi)生, 2017, 30(5): 466-469.