王功明，李文靜，喬俊飛

?

基于PLSR自適應(yīng)深度信念網(wǎng)絡(luò)的出水總磷預(yù)測

王功明1,2，李文靜1,2，喬俊飛1,2

（1北京工業(yè)大學(xué)信息學(xué)部，北京100124；2計算智能與智能系統(tǒng)北京市重點實驗室，北京100124）

針對污水處理過程出水總磷預(yù)測問題存在的強非線性、大時變等特征, 提出了一種基于偏最小二乘回歸自適應(yīng)深度信念網(wǎng)絡(luò)(partial least square regression adaptive deep belief network, PLSR-ADBN)的出水總磷預(yù)測方法。PLSR-ADBN是基于深度學(xué)習(xí)模型DBN的一種改進型建模方法。首先，將自適應(yīng)學(xué)習(xí)率引入到DBN的無監(jiān)督預(yù)訓(xùn)練(pre-training)階段，來提高網(wǎng)絡(luò)收斂速度。其次，利用PLSR方法取代傳統(tǒng)DBN中基于梯度的逐層權(quán)值精調(diào)(fine-tuning)方法，來提高網(wǎng)絡(luò)預(yù)測精度。同時，通過構(gòu)造李雅普諾夫函數(shù)證明了PLSR-ADBN學(xué)習(xí)過程的收斂性。最后，將PLSR-ADBN用于實際污水處理過程出水總磷預(yù)測中。實驗結(jié)果表明所提出的PLSR-ADBN收斂速度快且預(yù)測精度高，能夠滿足實際污水處理過程對出水總磷監(jiān)測精度和運行效率的要求。

出水總磷；PLSR；自適應(yīng)學(xué)習(xí)率；深度學(xué)習(xí)；深度信念網(wǎng)絡(luò)

引 言

進入21世紀(jì)以來，隨著國家相繼出臺節(jié)能減排的一系列政策以及相關(guān)工作的不斷推進，污水處理過程中的氨氮和化學(xué)需氧量(chemical oxygen demand，COD)排放總量明顯降低。然而，隨著工業(yè)生產(chǎn)的快速發(fā)展與人們生活水平的不斷提高，排放的污水中總磷(total phosphorus，TP)含量卻居高不下?？偭缀扛呖蓪?dǎo)致水體營養(yǎng)物質(zhì)的富集，從而引起水生植物與藻類的異常繁殖，即水體的富營養(yǎng)化，因此限制水體里面總磷的濃度顯得尤為重要[1-4]?，F(xiàn)階段，加強對TP濃度的檢測是預(yù)防并解決水體富營養(yǎng)化的必要措施之一。目前，污水處理過程中TP監(jiān)測方法有釩鉬磷酸比色法、鉬-銻-鈧比色法和氯化亞錫法，雖然這些方法測量精度較高，但是操作過程復(fù)雜，并且成本較高[5-6]。近些年來，隨著基于數(shù)據(jù)驅(qū)動的人工智能技術(shù)的不斷發(fā)展，TP軟測量技術(shù)得到了成功的應(yīng)用[7-8]。人工神經(jīng)網(wǎng)絡(luò)就是一種典型的人工智能技術(shù)，其強大的非線性系統(tǒng)建模能力使其在污水處理過程中得到了較好的驗證與推廣[9-10]。人工神經(jīng)網(wǎng)絡(luò)在污水處理過程TP濃度預(yù)測方面得到了一定程度的應(yīng)用，并且也取得了一定的成果[11-12]。但是由于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元層數(shù)比較有限，所以在預(yù)測精度上還有待于進一步提高。盡管人工神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)逼近和建模方面有很多優(yōu)勢，但是其網(wǎng)絡(luò)一般都是淺層結(jié)構(gòu)。根據(jù)萬能逼近定理可知，當(dāng)網(wǎng)絡(luò)學(xué)習(xí)對象的變量以及觀測數(shù)據(jù)較多時，淺層結(jié)構(gòu)往往無法滿足對象的學(xué)習(xí)要求[13-14]。

2006年，Hinton等[15-16]介紹了一種基于深度學(xué)習(xí)思想的高效無監(jiān)督學(xué)習(xí)深度信念網(wǎng)絡(luò)(deep belief network，DBN)，并經(jīng)驗性地緩解了與深度模型相關(guān)的優(yōu)化難題。由于其具有的深層結(jié)構(gòu)以及無監(jiān)督權(quán)值初始化策略，DBN在非線性系統(tǒng)建模和軟測量方面得到了較快的發(fā)展[17-19]。目前DBN學(xué)習(xí)過程分為兩部分：無監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的精調(diào)。然而，精調(diào)過程是基于梯度的誤差反向傳播算法，這樣使得精調(diào)極易陷入局部最優(yōu)且學(xué)習(xí)速度緩慢，甚至?xí)虻讓犹荻任⑷醵鴮?dǎo)致無法完成精調(diào)過程[20-23]，進而影響DBN在軟測量的精度和效率。

通過分析不難發(fā)現(xiàn)，精調(diào)本質(zhì)上是一種基于梯度的逐層參數(shù)回歸方法，而如何選取一種能夠避開梯度的精調(diào)方法是提高軟測量精度的關(guān)鍵。偏最小二乘回歸(partial least square regression, PLSR)分析是一種不依賴梯度的有監(jiān)督參數(shù)回歸模型，其集中了主成分分析、典型相關(guān)分析和非線性回歸分析等方法的特點。He等[24]將PLSR應(yīng)用到極端學(xué)習(xí)機(extreme learning machine，ELM)的訓(xùn)練過程中，并在一定程度上克服了ELM容易出現(xiàn)過擬合的問題。Janik等[25]結(jié)合PLSR和神經(jīng)網(wǎng)絡(luò)從紅外光譜中預(yù)測土壤化學(xué)和物理特性，增強了神經(jīng)網(wǎng)絡(luò)的建模能力和魯棒性能。另一方面，由于預(yù)訓(xùn)練是為后續(xù)的精調(diào)提供更為有效的初始權(quán)值，所以預(yù)訓(xùn)練的訓(xùn)練效率直接影響著DBN的學(xué)習(xí)效率?？紤]到預(yù)訓(xùn)練階段主要由對比散度(contrastive divergence，CD) 算法來完成，所以將CD算法設(shè)置為根據(jù)連續(xù)兩次狀態(tài)采樣的變化趨勢自適應(yīng)地調(diào)整學(xué)習(xí)率大小可以有效地提高DBN的訓(xùn)練效率[18]。

針對污水處理過程中的出水TP預(yù)測問題，為了提高DBN在污水處理過程中TP的預(yù)測精度以及預(yù)測效率(網(wǎng)絡(luò)收斂速度)，本文提出并引入一系列的新方法。具體來說，首先在預(yù)訓(xùn)練階段引入自適應(yīng)學(xué)習(xí)率的方法保證了網(wǎng)絡(luò)的收斂速度；然后提出基于PLSR的精調(diào)新方法避開由于梯度帶來的問題，來提高網(wǎng)絡(luò)的精調(diào)精度，進而構(gòu)造PLSR-ADBN模型, 并通過構(gòu)造離散型李雅普諾夫函數(shù)證明了PLSR-ADBN的收斂性。最后，將PLSR-ADBN用于實際污水處理過程出水TP預(yù)測中，以證明所提方法的有效性。

1 深度信念網(wǎng)絡(luò)

1.1 DBN結(jié)構(gòu)

DBN是一種基于深度學(xué)習(xí)技術(shù)的生成模型，由Hinton等于2006年提出[16]。DBN的組成元素是受限玻耳茲曼機(restricted Boltzmann machine, RBM)，每一個RBM都可以單獨用作分類器。RBM只有兩層神經(jīng)元，一層為可視層，由顯性神經(jīng)元組成，用于輸入訓(xùn)練數(shù)據(jù); 另一層為隱含層，由隱性神經(jīng)元組成，用于提取訓(xùn)練數(shù)據(jù)的特征。RBM的結(jié)構(gòu)如圖1所示，其中可視層有個節(jié)點，隱含層有個節(jié)點，R1是連接權(quán)值。

若干個RBM順序堆疊構(gòu)成DBN，上一個RBM的輸出作為下一個RBM的訓(xùn)練輸入。作為一種生成模型，DBN的學(xué)習(xí)過程可以分為兩個階段，即先對所有的RBM進行逐層無監(jiān)督預(yù)訓(xùn)練，再用有監(jiān)督算法進行精調(diào)，DBN的結(jié)構(gòu)如圖2所示。

圖2中，是隱含層數(shù)，是網(wǎng)絡(luò)的期望輸出。=(out,,-1,…,2,in)是網(wǎng)絡(luò)的連接權(quán)值，可通過對由無監(jiān)督學(xué)習(xí)所確定的初始權(quán)值R=(R,R-1,…,R1)進行有監(jiān)督精調(diào)而得到。

1.2 無監(jiān)督學(xué)習(xí)

DBN無監(jiān)督預(yù)訓(xùn)練的目的是通過逐層訓(xùn)練每一個RBM來確定整個網(wǎng)絡(luò)的初始權(quán)值。研究表明，利用這種無監(jiān)督的算法來初始化DBN的權(quán)值通常會得到比隨機初始化權(quán)值更好的訓(xùn)練結(jié)果[26]。RBM的訓(xùn)練方法通常采用CD算法。一個RBM中，表示可視層狀態(tài)向量，表示隱含層狀態(tài)向量。給定模型參數(shù)={R,,}，那么可視層和隱含層的聯(lián)合概率分布(,;)用能量函數(shù)(,;)定義為

(2)

對于一個伯努利(可視層)分布-伯努利(隱含層)分布的RBM，能量函數(shù)定義為

式中，R是RBM的連接權(quán)值，a和b分別表示可視層節(jié)點和隱含層節(jié)點的偏置。那么條件概率分布可表示為

(4)

式中，(·)是一個Sigmoid函數(shù)。

由于可視層和隱含層是伯努利的二值狀態(tài)，所以判斷它們二值概率取值的標(biāo)準(zhǔn)常通過設(shè)定一個閾值來實現(xiàn)[27]，以隱含層為例可表示為

式中，為一個0.5～1之間的常數(shù)。

通過計算對數(shù)似然函數(shù)lg(;)的梯度，可以得到RBM權(quán)值更新公式為

(8)

式中，表示學(xué)習(xí)率，data(vh) 是訓(xùn)練集中觀測數(shù)據(jù)的期望，model(vh)是在模型所確定的分布上的期望。通常情況下，model(vh)可由吉布斯采樣而近似得到[28]。

1.3 有監(jiān)督學(xué)習(xí)

有監(jiān)督學(xué)習(xí)的目的就是對由無監(jiān)督學(xué)習(xí)得到的權(quán)值R進行精調(diào)。以圖2中輸出層和最后一個隱含層為例，假設(shè)和′分別是期望輸出和DBN實際輸出，那么定義輸出層對應(yīng)的代價函數(shù)為

式中，和分別為迭代次數(shù)和觀測樣本個數(shù)。對應(yīng)的權(quán)值變化量為

(10)

權(quán)值更新公式可表示為

式中，為學(xué)習(xí)率。

至此，經(jīng)過精調(diào)后可得到輸出層和最后一個隱含層之間的更新權(quán)值out。利用這種方法從頂層輸出層到底層輸入層依次精調(diào)可以得到整個DBN網(wǎng)絡(luò)的權(quán)值=(out,,-1,…,2,in)。

2 PLSR-ADBN學(xué)習(xí)算法

2.1 自適應(yīng)學(xué)習(xí)率CD算法

從1.2節(jié)不難看出，CD算法的核心是吉布斯采樣，吉布斯采樣是一種馬爾科夫鏈蒙特卡洛(MCMC)算法。在直接采樣困難的情況下，可以用來生成一個吉布斯鏈[16, 29]，用來近似一個給定多變量分布的樣本。吉布斯采樣的過程如圖3所示，其主要包括以下兩步。

（1）利用觀測樣本的數(shù)據(jù)初始化吉布斯鏈，得到可視層的原始輸入向量(0)。

（2）根據(jù)式(4)～式(6)，通過迭代依次從((t)/(t);)中采樣(t)，從((t+1)/(t);)中采樣(t+1)。其中，是采樣步數(shù)，+1越大越好。

((1),(1)) 是從模型中采樣得到的，是對model(vh)的一個粗略估計，用((1),(1))來估計model(vh)便可以得到CD-1算法[28]。在CD-1算法中，由于每個RBM均需要多次迭代，且每次迭代后的參數(shù)更新方向不盡相同，所以固定的學(xué)習(xí)率會導(dǎo)致算法出現(xiàn)“早熟”現(xiàn)象或難以收斂，因此如何做到使算法根據(jù)參數(shù)更新方向來自適應(yīng)控制學(xué)習(xí)速度成為關(guān)鍵。本節(jié)給出根據(jù)RBM訓(xùn)練過程連續(xù)兩次迭代后的參數(shù)更新方向的異同[18]設(shè)計自適應(yīng)學(xué)習(xí)率的方法，學(xué)習(xí)率自適應(yīng)更新機制為

(13)

(14)

其中，和分別表示學(xué)習(xí)率增大系數(shù)和減小系數(shù)，0<<1<。學(xué)習(xí)率自適應(yīng)變化的原理是，當(dāng)連續(xù)兩次迭代后的參數(shù)更新方向(變化量的正負(fù))相同時，學(xué)習(xí)率會加大，相反則減小。

2.2 基于PLSR的有監(jiān)督精調(diào)

PLSR是一種多對多的回歸建模方法，由于其同時考慮了自變量和因變量的信息，所以PLSR也是一種有監(jiān)督的學(xué)習(xí)模型。特別當(dāng)兩組變量的個數(shù)很多且都存在多重相關(guān)性，而觀測數(shù)據(jù)的數(shù)量（樣本量）又較少時，用PLSR建立的模型具有傳統(tǒng)的經(jīng)典回歸分析等方法所沒有的優(yōu)點?；赑LSR的DBN有監(jiān)督精調(diào)是從頂層輸出層(標(biāo)簽數(shù)據(jù)層)開始，每兩層建立一個PLSR回歸模型，直到第1個隱含層和最底層輸入層為止?；赑LSR精調(diào)方法的PLSR-ADBN結(jié)構(gòu)如圖4所示。

以頂層輸出層和最后一個隱含層為例，具體步驟如下。

（1）首先提取最后一個隱含層的狀態(tài)作為自變量，將標(biāo)簽輸出作為因變量。假設(shè)標(biāo)簽輸出矩陣是維的，最后一個隱含層狀態(tài)矩陣是維的，它們的次樣本觀測矩陣分別為

(16)

其中，是最后一個隱含層的狀態(tài)數(shù)據(jù)觀測矩陣，通過對最后一個RBM的隱含層中提取得到。

（2）假設(shè)從兩個觀測樣本矩陣中分別提取第1對成分1和1。1是因變量集(y1,y2,…,y)T的線性組合，1是自變量集(h1,h2,…,h)T的線性組合，可表示為

(18)

(20)

（3）求取使得1和1相關(guān)程度最大時的1和1，通過計算其得分向量的內(nèi)積來得到條件極值問題

即可得到最優(yōu)1和1所對應(yīng)的得分向量和。

（4）建立y1,y2,…,y對1的回歸模型以及h1,h2,…,h對1的回歸模型為

其中，1和1分別是和的殘差陣。

（5）利用殘差陣1和1分別代替和重復(fù)以上步驟。

（6）假設(shè)最后一個隱含層狀態(tài)的觀測矩陣的秩為，則存在個成分1,2,…, v，使得

把v=1h1+…+h(=1,2,…,)代入

(24)

可得期望輸出和最后一個隱含層之間的PLSR方程式為

通過式(25)便可得到輸出層和最后一個隱含層之間的權(quán)值out。

需要指出的是，提取成分的個數(shù)(≤) 是影響基于PLSR的精調(diào)精度的關(guān)鍵。通常來講，可以通過交叉有效性驗證方法來確定。具體來說，每次舍去DBN最后一個隱含層第個狀態(tài)(=1, 2,…,)，用余下的-1狀態(tài)按照PLSR方法進行建模，并記錄提取個成分得到的回歸方程。然后再把舍去的第個狀態(tài)代入所擬合的回歸方程y(=1,2,…,)中，得到第個狀態(tài)對應(yīng)的輸出量。對=1, 2,…,,重復(fù)以上驗證，即可得到提取個成分時第個預(yù)測輸出量y(=1,2,…,)的預(yù)測輸出誤差平方和為

(27)

另外，再利用DBN最后一個隱含層的所有狀態(tài)擬合個成分的回歸方程。此時記第個狀態(tài)對應(yīng)的預(yù)測輸出為，可得到輸出誤差平方和為

則=(1,…,y)T的預(yù)測輸出誤差平方和為

(29)

根據(jù)PLSR理論，通常情況下有

定義一個限定值如

(31)

且越小時必定越大。因此，可通過選擇合適的來確定。

至此，已完成輸出層和最后一個隱含層之間基于PLSR的精調(diào)過程。然后提取由無監(jiān)督學(xué)習(xí)得到的各隱含層狀態(tài)，利用同樣的方法從上到下依次對剩余的各層進行PLSR精調(diào)便可得到=(out,,-1,…,2,in)。

總之，首先利用基于自適應(yīng)學(xué)習(xí)率的無監(jiān)督訓(xùn)練方法從下往上逐層訓(xùn)練每一個RBM，無監(jiān)督訓(xùn)練完成后固定所學(xué)習(xí)到的權(quán)值(初始化權(quán)值)，在此過程中，自適應(yīng)學(xué)習(xí)率能夠加速訓(xùn)練過程。其次，利用期望輸出從頂層到底層每兩層建立PLSR回歸模型，逐層地精調(diào)初始化權(quán)值，在建立PLSR回歸模型的過程中自變量是來自于無監(jiān)督訓(xùn)練完成后RBM的狀態(tài)變量。為了更清楚地將算法流程展現(xiàn)出來，圖5給出了PLSR-ADBN算法的實現(xiàn)的流程。

3 算法性能與收斂性分析

通過第2節(jié)的分析可得到PLSR-ADBN模型。針對PLSR-ADBN的學(xué)習(xí)過程，本節(jié)給出自適應(yīng)學(xué)習(xí)率在加速收斂層面上的顯著性分析以及PLSR-ADBN的收斂性證明。證明過程主要分為無監(jiān)督預(yù)訓(xùn)練階段和有監(jiān)督精調(diào)階段。

3.1 自適應(yīng)學(xué)習(xí)率CD算法的顯著性分析

收斂速度在很大程度上是指RBM無監(jiān)督學(xué)習(xí)速度，即RBM在經(jīng)過反復(fù)的吉布斯采樣學(xué)習(xí)后達到預(yù)設(shè)重構(gòu)誤差要求時所需要的時間，時間越短說明收斂速度越快，反之亦然。RBM無監(jiān)督學(xué)習(xí)是指從可視層接收的原始數(shù)據(jù)到隱含層所表示的抽象數(shù)據(jù)的過程，這一過程被稱為encoder，自適應(yīng)學(xué)習(xí)率以變步長的方式自動調(diào)節(jié)學(xué)習(xí)因子，通過比較每兩次可視層和隱含層的采樣狀態(tài)的差值走向(正負(fù)狀態(tài))提高了吉布斯采樣的效率，從而加速了CD算法的收斂。

另一方面，Hinton教授[15]指出，分層降維能夠達到高維數(shù)據(jù)維數(shù)呈現(xiàn)指數(shù)下降的效果。同理，由于DBN在功能上也是由多個RBM進行的分層表述，所以在單個RBM運用自適應(yīng)學(xué)習(xí)率加速收斂的情況下，多個RBM分層表述能夠產(chǎn)生收斂速度指數(shù)提高的效果。

同時，自適應(yīng)學(xué)習(xí)率提高算法收斂速度方面都是通過實驗法來驗證效果，目前尚沒有通過數(shù)學(xué)證明的方式來說明的。究其原因，主要在于自適應(yīng)學(xué)習(xí)率實質(zhì)上是以變步長的方式有規(guī)律地增大或者減小算法對數(shù)據(jù)內(nèi)在關(guān)聯(lián)的學(xué)習(xí)力度，以期望在最短的時間內(nèi)達到預(yù)設(shè)的效果(滿足網(wǎng)絡(luò)精度要求)，即收斂。

3.2 無監(jiān)督訓(xùn)練階段

PLSR-ADBN在無監(jiān)督預(yù)訓(xùn)練階段利用變學(xué)習(xí)率對網(wǎng)絡(luò)中的每一個RBM進行訓(xùn)練，目的是盡可能多地快速獲取輸入數(shù)據(jù)的準(zhǔn)確特征信息。不失一般性，將式(4)和式(5)中Sigmoid函數(shù)的上下漸近線設(shè)為L和H，那么對于一個RBM來說，0和f分別表示可視層的輸入信息和經(jīng)過次采樣得到的重構(gòu)狀態(tài)，0和f分別表示由0得到的隱含層狀態(tài)和對模型經(jīng)過次采樣得到的隱含層狀態(tài)。那么經(jīng)過次采樣后有

0∈[L,H] (32)

(34)

(35)

由式(32)～式(35)可以看出，在每個RBM的吉布斯采樣過程中，網(wǎng)絡(luò)輸出與采樣過程的中間狀態(tài)有關(guān)。同時，學(xué)習(xí)率變化系數(shù)和過大或過小都會影響到算法的收斂速度，甚至使網(wǎng)絡(luò)不穩(wěn)定。故通過以上論述，得到定理1。

定理1 假設(shè)0，和分別是RBM的輸入狀態(tài)、中間狀態(tài)和輸出狀態(tài)，那么PLSR-ADBN預(yù)訓(xùn)練階段網(wǎng)絡(luò)穩(wěn)定的充分必要條件是：所有狀態(tài)滿足0，，∈[L,H]。

證明

由于組成PLSR-ADBN的RBM是順序疊加的，所以當(dāng)0，f∈[L,H]時，根據(jù)式(32)～式(35)可知，最后一個RBM的隱含層在經(jīng)過次吉布斯采樣后狀態(tài)范圍必定為[L,H]，即f∈[L,H]。所以滿足整個PLSR-ADBN在預(yù)訓(xùn)練階段的輸入輸出有界性，網(wǎng)絡(luò)穩(wěn)定。充分性得以證明。

若網(wǎng)絡(luò)穩(wěn)定，則每個RBM的可視層和隱含層狀態(tài)均滿足輸入輸出有界性。由于Sigmoid函數(shù)具有單調(diào)遞增性，且隨著二值神經(jīng)元中取1的神經(jīng)元個數(shù)不斷增加，可得以下不等式

>(36)

>0(37)

即中間狀態(tài)滿足

0，，∈[L,H] (38)

必要性得以證明。定理1證畢。

同時，由式(6)可知，當(dāng)增大時二值狀態(tài)取1的概率會減小，那么連續(xù)兩次吉布斯采樣之后權(quán)值更新方向一致的概率會增大[30]，即

根據(jù)式(8)和式(12)可得

(40)

由CD算法可知，在一個吉布斯采樣周期中權(quán)值更新一次，而中間狀態(tài)的二值采樣要進行兩次且每次更新的權(quán)值與狀態(tài)采樣呈正比。故得到與和的近似關(guān)系式為

是對二值神經(jīng)元取值進行判斷的概率閾值，取值范圍是[0.5, 1]，一般取值為0.7。由式(41)可得和的取值范圍分別是[1, 2]和[0.5, 1]，一般取值分別為1.4和0.7。

3.3 有監(jiān)督訓(xùn)練階段

假設(shè)PLSR-ADBN精調(diào)的狀態(tài)轉(zhuǎn)換方程為

(+1)=() (42)

式中，()和(+1)分別是PLSR-ADBN的輸入向量和狀態(tài)轉(zhuǎn)換向量，是狀態(tài)轉(zhuǎn)換矩陣，且(0)=0。根據(jù)控制理論，取正定二次型函數(shù)為

(()) =T()T() (43)

其中，為正定矩陣。以D(())代替(())，得

稱T-=-為離散李雅普諾夫代數(shù)方程，為單位矩陣。假設(shè)

(45)

根據(jù)式(45)，PLSR-ADBN的輸出誤差可表示為

取李雅普諾夫函數(shù)為

(47)

對李雅普諾夫函數(shù)求導(dǎo)可得

T-=-(49)

可得=2，即有唯一的一個對稱正定矩陣使得式(49)成立。根據(jù)李雅普諾夫穩(wěn)定性定理可知

即能滿足

(51)

由式(51)可知，PLSR-ADBN的精調(diào)能夠達到穩(wěn)定收斂。

4 實驗研究

污水處理過程出水TP預(yù)測是基于軟測量思想的一種智能檢測技術(shù)。出水TP預(yù)測的關(guān)鍵是獲取可測變量的數(shù)據(jù)以及如何選取可測變量的個數(shù)。

從北京市朝陽區(qū)某污水處理廠獲取2015年5月到9月共656組數(shù)據(jù)(采樣周期是1 h)。首先利用PLSR對所得數(shù)據(jù)進行分析，得到10個可測變量對出水TP濃度的貢獻度(回歸系數(shù))如圖6所示。根據(jù)圖6所示的可測變量對出水TP的回歸系數(shù)的大小，選擇ORP2、、ITP、DO1、pH和NO3-N這6個變量作為PLSR-ADBN的輸入。

本文采用3個隱含層，并用實驗法來選取PLSR-ADBN的隱含層神經(jīng)元個數(shù)。圖7是隱含層神經(jīng)元個數(shù)與網(wǎng)絡(luò)輸出誤差以及網(wǎng)絡(luò)運行時間之間的關(guān)系曲線。由圖7可知，通過實驗確定的最優(yōu)隱含層神經(jīng)元個數(shù)是20，此時對應(yīng)的網(wǎng)絡(luò)誤差和運行時間是最優(yōu)的，分別是MSE=0.0071，APE=0.0066，=32.49 s。其中MSE是均方誤差，APE為絕對百分比誤差，分別表示為

(53)

通過上述實驗法分析可以確定，PLSR-ADBN最優(yōu)結(jié)構(gòu)為6-20-20-20-1。為了更為客觀地展現(xiàn)PLSR-ADBN的預(yù)測性能，現(xiàn)對656組數(shù)據(jù)進行如下分組：隨機選取164組數(shù)據(jù)作為測試樣本，剩下的492組數(shù)據(jù)作為訓(xùn)練樣本，即訓(xùn)練樣本和測試樣本分別為492組和164組。無監(jiān)督預(yù)訓(xùn)練階段每個RBM迭代200次，學(xué)習(xí)率控制系數(shù)和分別取1.4和0.7。為了提高基于PLSR的精調(diào)精度，需要首先確定對每層自變量提取成分的個數(shù)={4,3,2,1}。圖8給出了提取成分個數(shù)與限定值之間的關(guān)系曲線，由圖8可知PLSR-ADBN從頂層到底層依次對自變量狀態(tài)提取成分個數(shù)的最優(yōu)值是{4=10,3=9,2=11,1=4}，此時對應(yīng)的限定值達到最小=0.01，即精調(diào)精度最高。無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督精調(diào)完成后，為了從另一方面說明PLSR-ADBN的預(yù)測效果，現(xiàn)利用決定系數(shù)(coefficient of determination)2作為衡量TP濃度預(yù)測值對期望值擬合程度的指標(biāo)。同時，將PLSR-ADBN與D-FNN[31]、MPCA+NN[32]、GD-FNN[33]、SCNN[12]以及DBN的一些其他變種模型進行對比，驗證PLSR-ADBN設(shè)計初期對精度和速度兩方面的要求是否達到令人滿意的結(jié)果。其中，DBN是傳統(tǒng)的沒有做任何改進的原始標(biāo)準(zhǔn)深度信念網(wǎng)絡(luò)模型。ALRDBN是針對無監(jiān)督學(xué)習(xí)階段訓(xùn)練耗時的問題而引入自適應(yīng)學(xué)習(xí)率的DBN模型，其目的是提高網(wǎng)絡(luò)的學(xué)習(xí)速度。PLSR-DBN是指在有監(jiān)督學(xué)習(xí)階段引入PLSR建模方法的DBN模型，其目的是提高網(wǎng)絡(luò)的建模精度。CDBN是指將傳遞函數(shù)設(shè)計為能夠處理連續(xù)型數(shù)據(jù)的DBN模型[34]，目的是提高學(xué)習(xí)連續(xù)型數(shù)據(jù)的預(yù)測精度。

利用同樣的數(shù)據(jù)進行50次獨立的實驗以獲取對比數(shù)據(jù)，對比指標(biāo)包括網(wǎng)絡(luò)結(jié)構(gòu)、平均時間、測試MSE的均值和方差。其中，決定系數(shù)2定義如下

圖9 出水TP濃度預(yù)測結(jié)果

Fig.9 Result of effluent TP prediction

表1 不同方法的實驗結(jié)果對比

① Convergence rate is measured by average time, s.

②Variants of DBN, the corresponding results are simulated and calculated by authors of this paper.

Note: The winners are shown in boldface.

— means the results are not listed in original paper or non-significant.

5 結(jié) 論

DBN是基于深度學(xué)習(xí)思想建立起來的一種具有分層特征表述能力的模型，其具有較強的數(shù)據(jù)分析、學(xué)習(xí)和預(yù)測能力。本文從速度和精度兩個方面對DBN現(xiàn)有訓(xùn)練框架下的無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)進行了改進。在速度方面，將自適應(yīng)學(xué)習(xí)率思想引入到RBM的訓(xùn)練過程，通過變學(xué)習(xí)率來加速學(xué)習(xí)過程；在精度方面，利用PLSR代替基于梯度的誤差反傳方法，對由無監(jiān)督自適應(yīng)預(yù)訓(xùn)練得到的初始權(quán)值進行精調(diào)，即利用基于PLSR方法從頂層輸出層到底層輸入層逐層精調(diào)。通過以上改進，得到PLSR-ADBN模型，然后將改進后的新模型應(yīng)用到實際污水處理過程總磷濃度預(yù)測中。實驗結(jié)果表明，PLSR-ADBN不僅速度快而且預(yù)測精度高，對實際污水處理過程總磷濃度高精度預(yù)測以及對水體富營養(yǎng)化現(xiàn)象的防治均具有現(xiàn)實指導(dǎo)意義，同時還具有熱點理論創(chuàng)新性應(yīng)用意義。

在DBN的結(jié)構(gòu)方面，目前都是通過經(jīng)驗法或?qū)嶒灧▉磉x取隱含層層數(shù)以及每個隱含層的神經(jīng)元個數(shù)。這樣無形中增大了工作量，并且可能會因為網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜或者簡單而影響速度或者精度。因此，根據(jù)處理的數(shù)據(jù)樣本大小以及特征來設(shè)計一種結(jié)構(gòu)自組織的DBN將會進一步提升速度和精度兩方面的性能，這也必將成為下一步研究工作的重點方向。

符 號 說 明

DO1——好氧前端溶解氧濃度，mg·L-1 DO2——好氧末端溶解氧濃度，mg·L-1 ITP——入水總磷濃度，mg·L-1 NH4-N——出水銨態(tài)氮濃度，mg·L-1 NO3-N——出水硝態(tài)氮濃度，mg·L-1 ORP1——厭氧池氧化還原電位，mV ORP2——出水端氧化還原電位，mV pH——酸堿度 T——水溫，℃ TSS——好氧末端總固體懸浮物濃度，g·L-1

References

[1] SHAO M, HAN X, XIE Z,. Comparative study on macroinvertebrate communities along a reservoir cascade in Xiangxi River Basin[J]. Acta Ecologica Sinica, 2007, 27(12): 4963-4971.

[2] LIU L, LIU D, JOHNSON D M,. Effects of vertical mixing on phytoplankton blooms in Xiangxi Bay of Three Gorges Reservoir: implications for management[J]. Water Research, 2012, 46(7): 2121-2130.

[3] JIANG L, LIANG B, XUE Q,. Characterization of phosphorus leaching from phosphate waste rock in the Xiangxi River watershed, Three Gorges Reservoir, China[J]. Chemosphere, 2016, 150: 130-138.

[4] DUPAS R, DELMAS M, DORIOZ J M,. Assessing the impact of agricultural pressures on N and P loads and eutrophication risk[J]. EcologicalIndicators, 2015, 48: 396-407.

[5] SUNOHARA M D, GOTTSCHALL N, CRAIOVAN E,. Controlling tile drainage during the growing season in Eastern Canada to reduce nitrogen, phosphorus, and bacteria loading to surface water[J]. AgriculturalWaterManagement, 2016, 178: 159-170.

[6] JIN L, ZHANG G, TIAN H. Current state of sewage treatment in China[J]. WaterResearch, 2014, 66: 85-98.

[7] QIAO J F, LI W, HAN H G. Soft computing of biochemical oxygen demand using an improved T–S fuzzy neural network[J]. ChineseJournalof ChemicalEngineering, 2014, 22(11): 1254-1259.

[8] SHAO W, TIAN X, WANG P. Local partial least squares based online soft sensing method for multi-output processes with adaptive process states division[J]. ChineseJournalofChemicalEngineering, 2014, 22(7): 828-836.

[9] 許少鵬, 韓紅桂, 喬俊飛. 基于模糊遞歸神經(jīng)網(wǎng)絡(luò)的污泥容積指數(shù)預(yù)測模型[J]. 化工學(xué)報, 2013, 64 (12): 4550-4556. XU S P, HAN H G, QIAO J F. Prediction of activated sludge bulking based on recurrent fuzzy neural network[J]. CIESCJournal, 2013, 64(12): 4550-4556.

[10] QIAO J F, HAN G, HAN H G. Neural network on-line modeling and controlling method for multi-variable control of wastewater treatment processes[J]. AsianJournal of Control, 2014, 16(4): 1213-1223.

[11] AKRATOS C S, PAPASPYROS J N E, TSIHRINTZIS V A. Artificial neural network use in ortho-phosphate and total phosphorus removal prediction in horizontal subsurface flow constructed wetlands[J]. Biosystems Engineering, 2009, 102(2): 190-201.

[12] LI F J, QIAO J, HAN H G,. A self-organizing cascade neural network with random weights for nonlinear system modeling[J]. AppliedSoftComputing, 2016, 42: 184-193.

[13] CYBENKO G. Approximation by superpositions of a sigmoidal function[J]. Mathematics of Control, Signals and Systems, 1989, 2(4): 303-314.

[14] TAMURA S, TATEISHI M. Capabilities of a four-layered feedforward neural network: four layersthree[J]. IEEE Transactions on Neural Networks, 1997, 8(2): 251-255.

[15] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J].Science, 2006, 313(5786): 504-507.

[16] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. NeuralComputation, 2006, 18(7): 1527-1554.

[17] ROSA E D L, YU W. Randomized algorithms for nonlinear system identification with deep learning modification[J]. InformationSciences, 2016, 364: 197-212.

[18] LOPES N, RIBEIRO B. Towards adaptive learning with improved convergence of deep belief networks on graphics processing units[J]. PatternRecognition, 2014, 47(1): 114-127.

[19] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[20] ROWINSKI P M, PIOTROWSKI A. Estimation of parameters of the transient storage model by means of multi-layer perceptron neural networks/estimation des paramètres du modèle de transport TSM au moyen de réseaux de neurones perceptrons multi-couches[J]. HydrologicalSciencesJournal, 2008, 53(1): 165-178.

[21] PIOTROWSKI A P, NAPIORKOESKI J J. Optimizing neural networks for river flow forecasting-evolutionary computation methodsthe Levenberg-Marquardt approach[J]. JournalofHydrology, 2011, 407(1): 12-27.

[22] ZUR R M, JIANG Y, PESCE L L,. Noise injection for training artificial neural networks: a comparison with weight decay and early stopping[J]. MedicalPhysics, 2009, 36(10): 4810-4818.

[23] JAGANNATHAN S, LEWIS F L. Identification of nonlinear dynamical systems using multilayered neural networks[J]. Automatica, 1996, 32(12): 1707-1712.

[24] HE Y L, GENG Z Q, XU Y,. A robust hybrid model integrating enhanced inputs based extreme learning machine with PLSR (PLSR-EIELM) and its application to intelligent measurement[J]. ISATransactions, 2015, 58: 533-542.

[25] JANIK L J, FORRESTER S T, RAWSON A. The prediction of soil chemical and physical properties from mid-infrared spectroscopy and combined partial least-squares regression and neural networks (PLS-NN) analysis[J]. ChemometricsandIntelligentLaboratorySystems, 2009, 97(2): 179-188.

[26] MOHAMED A, DAHL G E, HINTON G E. Acoustic modeling using deep belief networks[J]. IEEETransactions on Audio, Speech, and Language Processing, 2012, 20(1): 14-22.

[27] HINTON G E. Training products of experts by minimizing contrastive divergence[J]. NeuralComputation, 2002, 14(8): 1771-1800.

[28] LEROUX N, BENGIO Y. Representational power of restricted boltzmann machines and deep belief networks[J]. NeuralComputation, 2008, 20(6): 1631-1649.

[29] BENGIO Y, DELALLEAU O. Justifying and generalizing contrastive divergence[J]. NeuralComputation, 2009, 21(6): 1601-1621.

[30] JI N N, ZHANG J S, ZHANG C X. A sparse-response deep belief network based on rate distortion theory[J]. PatternRecognition, 2014, 47(9): 3179-3191.

[31] MENG J E, WU S Q. A fast learning algorithm for parsimonious fuzzy neural systems[J]. Fuzzy Sets and Systems, 2002, 126(3): 337-351.

[32] KIM M H, KIM Y S, PRABU A A,. A systematic approach to data-driven modeling and soft sensing in a full-scale plant[J]. WaterScienceandTechnology, 2009, 60(2): 363-370.

[33] WU S, ER M J, GAO Y. A fast approach for automatic generation of fuzzy rules by generalized dynamic fuzzy neural networks[J].IEEETransactionsonFuzzySystems, 2001, 9(4): 578-594.

[34] 喬俊飛, 潘廣源, 韓紅桂.一種連續(xù)型深度信念網(wǎng)的設(shè)計與應(yīng)用[J]. 自動化學(xué)報, 2015, 41(12): 2138-2146. QIAO J F, PAN G Y, HAN H G. Design and application of continuous deep belief network[J]. ActaAutomaticaSinica, 2015, 41(12): 2138-2146.

Prediction of effluent total phosphorus using PLSR-based adaptive deep belief network

WANG Gongming1, 2, LI Wenjing1, 2, QIAO Junfei1, 2

(1Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China;2Beijing Key Laboratory of Computational Intelligence and Intelligent System, Beijing 100124, China)

Considered high nonlinearity and large transient variation, a PLSR-adaptive deep belief network (PLSR-ADBN) was proposed for prediction of total phosphorus (TP) in effluent of wastewater treatment process (WWTP). The PLSR-ADBN was an improved DBN, a deep learning model. First, an adaptive learning rate was introduced into the unsupervised pre-training stage of DBN so as to accelerate convergence rate. Secondly, PLSR was used to replace gradient fine-tuning method in conventional DBN for improving prediction accuracy. Meanwhile, a Lyapunov function was constructed to prove convergence of the PLSR-ADBN learning process. Finally, the proposed PLSR-ADBN was applied to an actual TP prediction in WWTP. The experimental results show that the method has a fast convergence rate and a high prediction accuracy, which can meet the demands for TP detection accuracy and WWTP operating efficiency.

total phosphorus in effluent; PLSR; adaptive learning rate; deep learning; deep belief network

10.11949/j.issn.0438-1157.20161826

TP 183

A

0438—1157（2017）05—1987—11

王功明（1987—），男，博士研究生。

國家杰出青年科學(xué)基金項目(61225016)；國家自然科學(xué)基金項目(61533002, 61603009)；中國博士后科學(xué)基金項目(2015M570910)；朝陽區(qū)博士后科研基金項目(2015ZZ-6)；北京工業(yè)大學(xué)基礎(chǔ)研究基金項目(002000514315501)。

2016-12-29收到初稿，2017-02-14收到修改稿。

2016-12-29.

WANG Gongming, xiaowangqsd@163.com

supported by the National Science Foundation for Distinguished Young Scholars of China (61225016), the National Natural Science Foundation of China (61533002, 61603009), the China Postdoctoral Science Foundation (2015M570910), the Chaoyang District Postdoctoral Research Foundation (2015ZZ-6), the Basic Research Foundation Project of Beijing University of Technology (002000514315501).