林利森，肖義龍

（1.江西省安瀾工程咨詢有限公司，江西 南昌330001；2.河海大學(xué)設(shè)計研究院有限公司江西分公司，江西 南昌330006）

0 引言

隨著我國經(jīng)濟的快速發(fā)展，工程建設(shè)項目中對混凝土的應(yīng)用也將更加廣泛?；炷恋目箟簭姸仁腔炷恋闹饕W(xué)性質(zhì)之一，在混凝土施工過程中經(jīng)常會碰到澆筑各種配合比的大量混凝土而不知道其強度是否可以滿足設(shè)計要求的問題。如何才能在短時間內(nèi)得到所澆筑的混凝土預(yù)期的28 d強度是一個值得探究的科學(xué)問題，其對提高和控制施工質(zhì)量具有重要的實際意義。

然而，混凝土強度的影響因素包括水泥的強度等級、水灰比、骨灰比、坍落度、水泥用量、粗骨料的最大尺寸、砂的細(xì)度模數(shù)、砂率等等，這些因素的共同作用決定了混凝土最終的強度。但是，這些影響因素與混凝土強度之間存在復(fù)雜的高維度非線性關(guān)系。多年來，為了探究各種因素之間的影響關(guān)系，國內(nèi)外學(xué)者采用試驗法、數(shù)值法、回歸分析、隨機模型等方法對混凝土強度的預(yù)測問題開展了大量的研究，并取得了一定的成效[1-2]。但由于該問題的高度復(fù)雜性，上述方法很難克服如數(shù)據(jù)有限，參數(shù)給不準(zhǔn)的瓶頸問題。近年來，一些學(xué)者將神經(jīng)網(wǎng)絡(luò)（ANN）[3-4]、支持向量機（SVM）[5]等機器學(xué)習(xí)方法應(yīng)用于混凝土強度的預(yù)測，取得了很好的研究成果，而由于這些方法本身還存在著一定的局限性，如：ANN對于小樣本問題推廣能力有限、SVM的核函數(shù)、核函數(shù)參數(shù)和損失函數(shù)難以確定等[6]。為此，探討一種新的有效預(yù)測方法是很有必要的。

高斯過程（Gaussian Process，GP）是近年發(fā)展起來的一種新的機器學(xué)習(xí)方法，具有嚴(yán)格的統(tǒng)計學(xué)習(xí)理論基礎(chǔ)，對處理高維數(shù)、小樣本、非線性等復(fù)雜的問題具有很好的適應(yīng)性[7～10]，現(xiàn)已成為機器學(xué)習(xí)領(lǐng)域的研究熱點，并在許多領(lǐng)域都得到了成功的應(yīng)用。

本文將高斯過程機器學(xué)習(xí)方法應(yīng)用于混凝土強度預(yù)測，為混凝土強度的合理預(yù)測提供了一個有效的解決思路和方法。

1 高斯過程的原理簡介

高斯過程是一種建立在高斯隨機過程和貝葉斯學(xué)習(xí)理論基礎(chǔ)上的機器學(xué)習(xí)方法。對于高斯過程機器學(xué)習(xí)原理存在兩種不同的闡述方式，其一從函數(shù)空間觀點[9-10]；其二從權(quán)重空間觀點。本文從權(quán)重觀點的角度進(jìn)行闡述。

高斯過程回歸模型實質(zhì)上也是一種廣義線性回歸模型。首先假設(shè)有k個固定基函數(shù)的形式如｛φi（X）｝，則復(fù)雜的高維度非線性回歸函數(shù)也可以通過基函數(shù)的線性組合表示，即：

根據(jù)貝葉斯原理，需要先設(shè)定一個先驗參數(shù)權(quán)重w為滿足均值為0，協(xié)方差矩陣為Σw的高斯分布，即：

假設(shè)有m個觀測值的訓(xùn)練樣本集為D=｛（xi，ti）｜i=1，2，…，m｝，噪聲ε服從相互獨立且分布相同的高斯分布，其均值為零，方差為σ2n：

則含假設(shè)參數(shù)w的似然函數(shù)為：

于是，基于權(quán)重w的后驗分布為：

根據(jù)嶺回歸原理，權(quán)重w的最大后驗概率的平均值wMAP可以通過求解下式的最小化獲得：

令β=1/σ2n，t=（t1，t2，…，tm）T，Φ表示為m×k的矩陣，即：

則式（6）也可以表示為：

使式（8）最小化，則由E對權(quán)重w偏導(dǎo)數(shù)等于零（令A(yù)=βΦTΦ+Σ-1ww）得：

由上面的推導(dǎo)，獲得了權(quán)重w的后驗分布的具體形式，對測試樣本x＊進(jìn)行預(yù)測，則目標(biāo)值的平均值表示為（設(shè)a=βA-1ΦTt）：

方差表示為：

在高斯過程機器學(xué)習(xí)中，常用的基函數(shù)形式為如下3種：

①平方指數(shù)協(xié)方差函數(shù)：

②當(dāng)馬特恩協(xié)方差函數(shù)中的參數(shù)v=3/2時，表達(dá)式形如：

③線性協(xié)方差函數(shù)

式中最優(yōu)超參數(shù)l、σf、σn即θ=（l，σf，σn），可通過極大似然法自適應(yīng)獲得。當(dāng)其中xp=xj和xq=x＊時，則式（12）可表示為：

所以式（10）可寫成：

2 高斯過程的性能測試

為了更好地反映出高斯過程在處理小樣本、非線性等復(fù)雜問題中具有很好的適應(yīng)性的性能，在此引用一個經(jīng)典的數(shù)學(xué)算例sinC函數(shù)進(jìn)行分析[11～12]：

其中，學(xué)習(xí)樣本由在x∈［-10，10］范圍內(nèi)等間距離散為10個隨機變量x，然后對x對應(yīng)的函數(shù)值y加上服從0.1倍的標(biāo)準(zhǔn)正態(tài)隨機分布的噪音，最后分別采用四次多項式、ANN模型（BP神經(jīng)網(wǎng)絡(luò)）和GP模型對加噪后生成的10個學(xué)習(xí)樣本（x，y）分別進(jìn)行回歸擬合分析（比較上述模型在學(xué)習(xí)樣本被噪音腐蝕的情況下的擬合效果見圖1）。

四次多項式函數(shù)形式為圖1（a）；ANN回歸時，其隱含層的神經(jīng)元數(shù)目為5的擬合效果見圖1（b）；神經(jīng)元數(shù)目為15的擬合效果見圖1（c）；采用GPR模型進(jìn)行訓(xùn)練學(xué)習(xí)，自適應(yīng)獲取最優(yōu)超參數(shù)對數(shù)后擬合效果見圖 1（d）。

圖1 不同模型的擬合效果比較

采用多項式擬合時，由于該函數(shù)的非線性較強，擬合曲線與真實函數(shù)的曲線相差甚遠(yuǎn)。即使增加學(xué)習(xí)樣本的數(shù)量對其擬合效果亦無大的改進(jìn)，其主要原因是多項式模型存在對高度非線性函數(shù)的擬合局限性問題。

采用ANN擬合時，其擬合效果較多項式擬合具有很大的改進(jìn)，但也存在隨著神經(jīng)元數(shù)目的增加均會出現(xiàn)“過擬合”現(xiàn)象，而且擬合效果的精度與神經(jīng)元數(shù)目存在很大的隨機性（網(wǎng)絡(luò)結(jié)構(gòu)難以確定）。另外，值得指出的是，在算例的研究過程中發(fā)現(xiàn)，ANN的回歸效果存在不穩(wěn)定性，即使是同樣的網(wǎng)絡(luò)結(jié)構(gòu)以及相同的參數(shù)，其回歸效果也會存在較大的差異性。

采用GP擬合時，其擬合效果較ANN擬合精度具有一定的提高，同時不存在ANN的參數(shù)影響以及擬合效果不穩(wěn)定性等問題。因為其最優(yōu)超參數(shù)都是通過自適應(yīng)獲取，而且在算例的研究過程中發(fā)現(xiàn)，GP模型的參數(shù)一旦確定了，其最后的擬合效果就基本保持不變。因此，GP模型對于這種高度非線性函數(shù)的擬合效果更加令人滿意。

3 工程實例研究

3.1 主要影響指標(biāo)的確定

影響混凝土強度的因素眾多，各因素之間又存在錯綜復(fù)雜的高度非線性關(guān)系。根據(jù)大量試驗數(shù)據(jù)綜合評定，最終選定了水泥強度、水泥用量、水灰比、骨灰比等9個指標(biāo)作為主要影響因素。

3.2 高斯過程模型的建立步驟

（1）根據(jù)文獻(xiàn)［3］中表2提供的33組混凝土試驗數(shù)據(jù)（鑒于篇幅有限，不予以列出）建立學(xué)習(xí)樣本（xi，yi）（i=1，2，…9），輸入向量xi代表影響混凝土強度的 9個主要影響因素數(shù)值，輸出標(biāo)量yi代表混凝土強度。

（2）為了消除各主要影響因素之間存在的數(shù)量級差異，并提高GP的學(xué)習(xí)效果，有必要對樣本數(shù)據(jù)進(jìn)行如下的標(biāo)準(zhǔn)化處理：

（3）對學(xué)習(xí)樣本進(jìn)行學(xué)習(xí)，通過學(xué)習(xí)樣本的對數(shù)似然（式（4））極大化獲得最優(yōu)的超參數(shù)。

（4）根據(jù)式（16）獲得測試樣本x＊（影響混凝土強度的9個主要因素組合）對應(yīng)的混凝土強度的預(yù)測均值y＊。

根據(jù)上述步驟，采用MATLAB語言編制相應(yīng)程序。

3.3 預(yù)測效果分析

采用文獻(xiàn)［3］表5中的10個試驗數(shù)據(jù)作為預(yù)測樣本（見表 1）。

對學(xué)習(xí)樣本進(jìn)行學(xué)習(xí)，超參數(shù)對數(shù)初始值設(shè)為lnl=［-1，-1，-1，-1，-1，-1，-1］，lnσf=ln1.0，lnσn=ln0.01，以訓(xùn)練樣本的極大似然為目標(biāo)，采用共軛梯度優(yōu)化算法搜索最優(yōu)超參數(shù)。收斂標(biāo)準(zhǔn)設(shè)為最大迭代步數(shù)為300或迭代步之間的絕對目標(biāo)值差值小于1×10-6。經(jīng)過迭代得 到 最 優(yōu) 超 參 數(shù) 值 為 ：l=［0.37，88.25，128.26，0.92，1.73，3.41，0.37，0.37，1.38］，σf=8.841，σn=0.49。

GP模型的預(yù)測結(jié)果見表2，從中可看出，GP模型預(yù)測樣本的預(yù)測最大相對誤差為2.06%。而文獻(xiàn)［3］采用神經(jīng)網(wǎng)絡(luò)模型預(yù)測時，其精度明顯不如GP。由此可見，兩種模型相比較，GP模型對小樣本問題的適應(yīng)性較強，更簡單實用，且精度高。

表1 混凝土試驗數(shù)據(jù)實測值（預(yù)測樣本）

表2 混凝土強度的實測值與預(yù)測值比較

4 結(jié)語

（1）傳統(tǒng)方法難以處理混凝土強度與其影響因素之間存在高維度的復(fù)雜非線性關(guān)系，高斯過程機器學(xué)習(xí)方法能夠很好的處理這種復(fù)雜關(guān)系。通過實例分析表明，混凝土強度的GP預(yù)測模型是可行的，且可以給出準(zhǔn)確可靠的預(yù)測結(jié)果，對混凝土強度的預(yù)測具有很強的適用性。

（2）GP模型僅需有限個實測試驗數(shù)據(jù)作為學(xué)習(xí)樣本，就能建立相應(yīng)的預(yù)測模型并預(yù)測出準(zhǔn)確可靠的預(yù)測結(jié)果。然而，該方法預(yù)測精度的高低仍然會依賴于學(xué)習(xí)樣本的質(zhì)量好壞，如何獲取高質(zhì)量的學(xué)習(xí)樣本將是該方法的下一步主要研究熱點之一。

（3）高斯過程機器學(xué)習(xí)方法具有嚴(yán)格的統(tǒng)計理論基礎(chǔ)、優(yōu)良的學(xué)習(xí)和預(yù)測性能且實現(xiàn)容易等優(yōu)點，現(xiàn)已成為當(dāng)今機器學(xué)習(xí)領(lǐng)域的標(biāo)準(zhǔn)工具之一，在工程預(yù)測方面擁有廣泛的應(yīng)用前景。

［1］周慧麟，余永禎譯.日本建筑學(xué)會，混凝土早期快速試驗方法集（第一版）［M］.北京：中國建筑工業(yè)出版社，1991 年，6-11.

［2］吳中偉，康慧珍.高性能混凝土（第一版）［M］.北京：中國鐵道出版社，1999，3-9.

［3］王繼宗，倪鴻光，何錦云，等.混凝土強度預(yù)測和模擬的智能化方法［J］.土木工程學(xué)報，2003，36（10）：24-29.

［4］周 梅，劉 松，王海超，等.利用神經(jīng)網(wǎng)絡(luò)預(yù)測混凝土的抗壓強度［J］.遼寧工程技術(shù)大學(xué)學(xué)報（自然科學(xué)版），1998，17（3）：275-277.

［5］武換娥，丁圣果，鞏玉志，等.支持向量回歸機在混凝土強度預(yù)測中的應(yīng)用研究［J］.工業(yè)建筑，2007，37（增刊）： 991-995.

［6］肖義龍.基于高斯過程機器學(xué)習(xí)的結(jié)構(gòu)可靠度分析方法研究［D］.廣西大學(xué)， 2011，5-9.

［7］ M.Girolami and S.Rogers.Variational Bayesian multinomial probit regression with Gaussian process priors ［J］.Neural Computation，2006，18（8）：1790-1817.

［8］ R.B.Gramacy.tgp：An R package for Bayesian nonstationary， semiparametric nonlinear regression and design by treed Gaussian process models ［J］.Journal of Statistical Software， 2007，19 （19）：1-46.

［9］蘇國韶，宋詠春，燕柳斌.巖體爆破效應(yīng)預(yù)測的一種新方法［J］.巖石力學(xué)與工程學(xué)報，2007，26（增 1）：3509-3514.

［10］蘇國韶，張 研，張小飛.高斯過程機器學(xué)習(xí)方法在地下水位預(yù)測中的應(yīng)用［J］.中國農(nóng)村水利水電， 2008（12）：48～50.

［11］鄧萬宇，鄭慶華，陳 琳，等.神經(jīng)網(wǎng)絡(luò)極速學(xué)習(xí)方法研究［J］.計算機學(xué)報， 2010（2）：279～287.

［12］朱國強，劉士榮，俞金壽.支持向量機及其在函數(shù)逼近中的應(yīng)用［J］.華東理工大學(xué)學(xué)報， 2002（5）：555-559.