譚承誠(chéng)，于廣平，邱志成

(1.華南理工大學(xué) 機(jī)械與汽車工程學(xué)院，廣州 510640；2.中國(guó)科學(xué)院 沈陽(yáng)自動(dòng)化研究所廣州分所，廣州 511458)

0 引言

污水處理是一個(gè)典型的流程行業(yè)過程，具有數(shù)據(jù)量大、強(qiáng)耦合性、工業(yè)噪聲和過程干擾多、動(dòng)態(tài)性強(qiáng)等特點(diǎn)[1]，對(duì)其過程的實(shí)時(shí)監(jiān)控，在避免環(huán)境污染、降低經(jīng)濟(jì)損失、保障生產(chǎn)安全等方面具有重大意義。污水處理既有復(fù)雜機(jī)械電氣系統(tǒng)的參與，又包含眾多的生化反應(yīng)過程，對(duì)其系統(tǒng)內(nèi)在的運(yùn)行原理進(jìn)行研究，成本過高，然而污水處理過程會(huì)產(chǎn)生海量隱藏著工藝變動(dòng)和設(shè)備運(yùn)轉(zhuǎn)的數(shù)據(jù)，于是如何利用好這些數(shù)據(jù)來提高污水處理過程的效率與安全，降低二次污染成為了一個(gè)急需解決的問題。因此基于數(shù)據(jù)驅(qū)動(dòng)的污水處理過程故障診斷方法得到了廣泛的研究。文獻(xiàn)[2]利用BP神經(jīng)網(wǎng)絡(luò)對(duì)污水廠進(jìn)行了實(shí)際污水處理過程運(yùn)行狀態(tài)的監(jiān)控，顯示了良好的效果和穩(wěn)定性，文獻(xiàn)[3]提出了一種基于支持向量機(jī)的污水處理過程故障診斷模型，文獻(xiàn)[4]根據(jù)污水處理廠的實(shí)際情況，提出了一種改進(jìn)的支持向量機(jī)故障診斷方法，結(jié)果表明該方法可以較好的滿足污水廠對(duì)安全生產(chǎn)的要求。上述故障診斷模型都取得了一定了成果，但神經(jīng)網(wǎng)絡(luò)具有在學(xué)習(xí)過程易陷入局部極小值、過擬合、訓(xùn)練時(shí)間長(zhǎng)等缺點(diǎn)[5]，支持向量機(jī)隨著樣本量的增多，訓(xùn)練時(shí)間會(huì)變長(zhǎng)，支持向量增多，模型的稀疏性漸失[6]。與此同時(shí)，污水處理過程的運(yùn)行狀態(tài)具有較強(qiáng)的不平衡分布，即正常運(yùn)行狀態(tài)所占比例遠(yuǎn)高于故障狀態(tài)的所占比例，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)故障診斷模型對(duì)少數(shù)類(故障類)的識(shí)別率極不理想。

根據(jù)現(xiàn)有成果與存在的問題，本文提出一種基于極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)和AdaBoost.M2相結(jié)合的污水處理過程在線故障診斷模型。ELM在學(xué)習(xí)過程中隨機(jī)產(chǎn)生輸入層與隱含層之間的連接權(quán)值和隱含層神經(jīng)元的閾值，無需調(diào)整參數(shù)，僅需設(shè)置隱含層神經(jīng)元的個(gè)數(shù)，便可將傳統(tǒng)單隱層前置神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練問題轉(zhuǎn)化為求解線性方程組[7]，最終得到全局最優(yōu)解。考慮到故障診斷是多分類問題，利用AdaBoost.M2算法的集成提升作用可將基于ELM的弱分類器構(gòu)造為強(qiáng)分類器。通過分層組合，使迭代權(quán)重的重點(diǎn)聚焦于少數(shù)類或極少數(shù)類的困難數(shù)據(jù)上，提高了分類器的準(zhǔn)確性和泛化性能，亦滿足在線污水處理過程故障診斷對(duì)于實(shí)時(shí)性的要求，并通過仿真實(shí)驗(yàn)得到了驗(yàn)證。

1 基于ELM-AdaBoost.M2的污水處理在線故障診斷模型

1.1 極限學(xué)習(xí)機(jī)ELM

(1)

其中:xi表示數(shù)據(jù)集中的第i組樣本數(shù)據(jù)，βi表示第i個(gè)隱含層神經(jīng)元到輸出層的連接權(quán)值，g(x)表示隱含層神經(jīng)元的激活函數(shù)，wi表示輸入層到第i個(gè)隱含層神經(jīng)元到輸入層的連接權(quán)值，bi表示第i個(gè)隱含層神經(jīng)元的偏置。

(2)

式(2)可以表示為:

Hβ=T

(3)

其中:

H=H(w1,…,wK,b1,…,bK,x1,…,xN)=

其中:H為隱含層輸出矩陣，β為輸出權(quán)值矩陣，T為輸出層輸出矩陣。

(4)

其中:H+為隱含層輸出矩陣H的Moore-Penrose廣義逆。

具體地，ELM算法有以下幾個(gè)步驟[9]：

1)確定隱含層神經(jīng)元個(gè)數(shù)，隨機(jī)設(shè)定輸入層與隱含層的連接權(quán)值w和偏置b；

2)選擇一個(gè)無限可微的激活函數(shù)，計(jì)算隱含層輸出矩陣H；

1.2 AdaBoost.M2算法

AdaBoost算法在解決二類分類問題時(shí)，只需弱分類器對(duì)任意樣本分類準(zhǔn)確率比0.5略高，然而，若直接將AdaBoost應(yīng)用于多分類問題，這一條件過強(qiáng)，同時(shí)，要求弱分類器比隨機(jī)猜測(cè)準(zhǔn)確率略高的條件又過弱，因此會(huì)導(dǎo)致集成的強(qiáng)分類器準(zhǔn)確率較低[10]。針對(duì)多分類問題，可以選擇AdaBoost的擴(kuò)展算法AdaBoost.M2。

AdaBoost算法的錯(cuò)分概率為:

(5)

(6)

從而可得AdaBoost.M2算法的偽誤差:

(7)

式中，ht(xi,y)表示弱分類器ht將xi分為y的置信度；qt(i,y)為標(biāo)簽加權(quán)函數(shù)，表示將樣本xi錯(cuò)誤分為類別y的概率，值越大表示樣本被錯(cuò)分的概率越大，則該樣本在下一次迭代的時(shí)候會(huì)得到重點(diǎn)學(xué)習(xí)。qt(i,y)在多次的循環(huán)迭代過程中不斷的改變樣本的權(quán)重，對(duì)易錯(cuò)分樣本進(jìn)行重點(diǎn)學(xué)習(xí)，繼而提高了弱分類器的泛化能力和學(xué)習(xí)能力，提高了分類的準(zhǔn)確率和穩(wěn)定性[11]。

1.3 ELM-AdaBoost.M2算法流程

針對(duì)污水處理過程運(yùn)行狀態(tài)分布不平衡，其本質(zhì)是一個(gè)多分類的問題，ELM-AdaBoost.M2算法將多個(gè)ELM弱分類器集成為強(qiáng)分類器，在集成為強(qiáng)分類器的過程中對(duì)被錯(cuò)分樣本賦予更大權(quán)值，使錯(cuò)誤分類的樣本在下一次迭代中被重點(diǎn)學(xué)習(xí)，最終可以提高模型的分類準(zhǔn)確率和泛化能力。ELM-AdaBoost.M2算法的實(shí)現(xiàn)流程如下所示。

對(duì)于污水處理過程原始數(shù)據(jù)進(jìn)行歸一化處理，得到個(gè)樣本的訓(xùn)練集：(xi,yi)，xi∈Rm，yi∈(1,2,…,k)，其中為類別數(shù)。定義D為樣本上的分布，T為弱分類器的個(gè)數(shù)，即循環(huán)迭代的次數(shù)。

2)fori=1:T

(2)根據(jù)樣本分布Dt(i)選擇新樣本訓(xùn)練極限學(xué)習(xí)機(jī)ELM，得到弱分類器ht:X*Y→[0,1]；

(3)根據(jù)式(7)計(jì)算偽誤差εt，若εt≥0.5:轉(zhuǎn)到步驟3)；

(4)令βt=εt/(1-εt)，更新權(quán)值向量:

(8)

其中：bt=(1/2)(1-h(xi,yi)+h(xi,y))；

end

3)結(jié)束循環(huán)，輸出強(qiáng)分類器H：

(9)

2 實(shí)驗(yàn)仿真與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文所用污水處理過程數(shù)據(jù)來源于加州大學(xué)歐文分校機(jī)器學(xué)習(xí)數(shù)據(jù)庫(kù)，該數(shù)據(jù)集共包含527個(gè)樣本，每個(gè)樣本具有38個(gè)屬性，其中無缺失值的樣本380個(gè)，具有13種運(yùn)行狀態(tài)，為簡(jiǎn)化分類難度，污水處理過程的運(yùn)行狀態(tài)分為4類，其中類別1為正常運(yùn)行狀態(tài)，類別2為運(yùn)行性能為高于均值的正常狀態(tài)，類別3為進(jìn)水量較少的正常運(yùn)行狀態(tài)，類別4表示運(yùn)行故障狀態(tài)。4中運(yùn)行狀態(tài)的比率為23.7∶8.29∶4.64∶1，屬于典型的不平衡分布數(shù)據(jù)集。

2.2 性能評(píng)價(jià)指標(biāo)

(10)

其中:N表示樣本總數(shù)，k表示類別數(shù)。

表1 多分類問題的混淆矩陣

2.3 在線仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)中，僅提取出數(shù)據(jù)集中具有完整屬性的380個(gè)樣本，按2：1的比例隨機(jī)分層抽樣，得到訓(xùn)練集Xtr和測(cè)試集Xte。對(duì)訓(xùn)練集Xtr進(jìn)行歸一化處理，將處理后的數(shù)據(jù)分別輸入BP神經(jīng)網(wǎng)絡(luò)模型，支持向量機(jī)(SVM)模型，相關(guān)向量機(jī)(RVM)模型，極限學(xué)習(xí)機(jī)(ELM)模型以及本文提出的基于ELM-AdaBoost.M2的故障診斷模型中進(jìn)行離線建模和故障診斷測(cè)試。其中BP神經(jīng)網(wǎng)絡(luò)為三層結(jié)構(gòu)，隱含層節(jié)點(diǎn)數(shù)由5折交叉驗(yàn)證法在一定的范圍內(nèi)搜索，最終確定BP神經(jīng)網(wǎng)絡(luò)采用38-10-4結(jié)構(gòu)；SVM模型采用徑向基(RBF)核函數(shù)，利用遺傳算法來搜索懲罰參數(shù)c和徑向基函數(shù)參數(shù)g，采用一對(duì)一(one-versus-one)的分類方法實(shí)現(xiàn)。ELM模型和ELM-AdaBoost.M2模型選用sigmoid函數(shù)為激活函數(shù)，隱含層節(jié)點(diǎn)個(gè)數(shù)使用5折交叉驗(yàn)證法在[10,200]內(nèi)擇優(yōu)選取。ELM-AdaBoost.M2模型迭代次數(shù)T初始化為10。

選擇不同的隱含層節(jié)點(diǎn)個(gè)數(shù)對(duì)ELM模型和ELM-AdaBoost.M2模型的交叉驗(yàn)證準(zhǔn)確率均有影響，如圖1和圖2所示。從圖1可以看出，ELM模型的節(jié)點(diǎn)在45個(gè)時(shí)，交叉驗(yàn)證的準(zhǔn)確率最高，隨著節(jié)點(diǎn)個(gè)數(shù)的增加，交叉驗(yàn)證準(zhǔn)確率整體呈下降趨勢(shì)，可見對(duì)于ELM模型，隱含層節(jié)點(diǎn)的個(gè)數(shù)不是越多越好，過多的隱含層節(jié)點(diǎn)會(huì)造成過擬合現(xiàn)象。從圖2可以看出，ELM-AdaBoost.M2相對(duì)于ELM模型，模型整體的交叉驗(yàn)證準(zhǔn)確率有明顯的提升，同時(shí)該模型驗(yàn)證準(zhǔn)確率最高是在25個(gè)節(jié)點(diǎn)左右，45個(gè)節(jié)點(diǎn)左右的驗(yàn)證準(zhǔn)確率在模型中并不突出，該模型對(duì)于交叉驗(yàn)證準(zhǔn)確率較低的弱分類器提升效果明顯，較強(qiáng)的弱分類器提升效果一般，由此可見不同的弱分類器對(duì)于模型最終準(zhǔn)確率的提升效果不同。

圖1 ELM模型不同隱含層節(jié)點(diǎn)個(gè)數(shù)的驗(yàn)證準(zhǔn)確率

圖2 ELM-AdaBoost.M2模型不同隱含層節(jié)點(diǎn)個(gè)數(shù)的驗(yàn)證準(zhǔn)確率

圖3 基分類器驗(yàn)證準(zhǔn)確率

圖3所示為弱分類器迭代10次的交叉驗(yàn)證準(zhǔn)確率趨勢(shì)圖，可以看出，較強(qiáng)的弱分類器隨著迭代次數(shù)的增加，不僅最終交叉驗(yàn)證準(zhǔn)確率提升遠(yuǎn)低于較弱的弱分類器，同時(shí)魯棒性也低于較弱的弱分類器，而較弱的弱分類器的交叉驗(yàn)證準(zhǔn)確率穩(wěn)中有升，最終迭代組成的強(qiáng)分類器的交叉驗(yàn)證準(zhǔn)確率提升明顯。綜合對(duì)圖1～圖3的分析可知，對(duì)于ELM-AdaBoost.M2模型而言，隱含層的節(jié)點(diǎn)數(shù)與弱分類器的個(gè)數(shù)對(duì)模型的性能均有較大的影響。所以利用GA算法對(duì)隱含層節(jié)點(diǎn)個(gè)數(shù)與迭代次數(shù)進(jìn)行尋優(yōu)，隱含層節(jié)點(diǎn)的搜索范圍為[10,200]和迭代次數(shù)的搜索范圍為[5,20]。得到結(jié)果，當(dāng)ELM-AdaBoost.M2模型在節(jié)點(diǎn)數(shù)為23和迭代次數(shù)為15次數(shù)時(shí)，交叉驗(yàn)證的準(zhǔn)確率達(dá)到最佳。

模型進(jìn)行在線故障診斷后，得到的每一組新樣本都需加入模型進(jìn)行更新。歷史數(shù)據(jù)集通常采用限定記憶法來保持其容量，即當(dāng)加入一組新數(shù)據(jù)時(shí)，便刪除最早的一組樣本數(shù)據(jù)，從而保證模型始終包含新數(shù)據(jù)的信息。本文中各模型的在線仿真實(shí)驗(yàn)均進(jìn)行10次，得到的數(shù)據(jù)為10次試驗(yàn)的算術(shù)平均值，各模型的在線診斷結(jié)果如表2所示。

表2 4種模型的在線診斷結(jié)果Model

從表2中可以看出，BP神經(jīng)網(wǎng)絡(luò)模型的模型訓(xùn)練時(shí)間尚可，但準(zhǔn)確率acc和F1-score皆為最低，原因在于BP神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中陷入了局部最小點(diǎn)未達(dá)到全局最優(yōu)，其中對(duì)少數(shù)類的識(shí)別率過低是造成其F1-score最低的主要原因；相對(duì)于BP神經(jīng)網(wǎng)絡(luò)模型，SVM模型的acc僅提高0.54%，但F1-score卻提高了9.82%，原因在于SVM基于核函數(shù)將原始數(shù)據(jù)映射到高維特征空間后降低了原始數(shù)據(jù)的強(qiáng)非線性，對(duì)于少數(shù)類的識(shí)別率有所提升，但數(shù)據(jù)維數(shù)的增加也大幅的增加了模型的訓(xùn)練時(shí)間，所耗時(shí)間遠(yuǎn)大于文中其他模型；ELM模型將傳統(tǒng)的SLFN參數(shù)的訓(xùn)練轉(zhuǎn)換成對(duì)線性方程組的求解問題，大大地減少了模型訓(xùn)練時(shí)間，相比于BP神經(jīng)網(wǎng)絡(luò)模型降低了12倍，另外acc提高了1.07%，F(xiàn)1-score提高了6.17%，原因是ELM模型對(duì)于少數(shù)類的識(shí)別率高于BP模型；ELM-AdaBoost.M2模型消耗的訓(xùn)練時(shí)間多于ELM模型是因?yàn)榻M合弱分類器的過程造成，集成的ELM-AdaBoost.M2強(qiáng)分類器模型，相比于基于BP、SVM和ELM的故障診斷模型，acc分別提高了4.53%、3.99%和3.46%，F(xiàn)1-score分別提高了21.67%、11.85%和15.5%，不僅提升了模型的準(zhǔn)確率，也大幅提升了F1-score，可以看出該模型對(duì)于少數(shù)類的識(shí)別率較為理想，較好地克服了具有不平衡分布數(shù)據(jù)集對(duì)傳統(tǒng)分類算法帶來的影響，該模型一次更新和測(cè)試的總時(shí)間平均為0.77s，可以滿足污水處理過程故障診斷對(duì)于實(shí)時(shí)性的要求。

結(jié)合以上分析，基于ELM-AdaBoost.M2的污水處理故障診斷模型綜合性能優(yōu)于其他模型，滿足實(shí)際污水處理中對(duì)于

實(shí)時(shí)性和準(zhǔn)確性的要求。

3 結(jié)論

污水處理是一個(gè)復(fù)雜的生化反應(yīng)過程，具有強(qiáng)非線性特征，對(duì)其運(yùn)行過程進(jìn)行在線故障診斷是減少污染和保障安全生產(chǎn)的重要方法之一。針對(duì)污水處理過程運(yùn)行狀態(tài)的不平衡分布造成故障診斷準(zhǔn)確率下降的問題，本文提出一種基于ELM-AdaBoost.M2的污水處理過程在線故障診斷模型。該模型以ELM為弱分類器，利用AdaBoost.M2算法對(duì)弱分類器的集成提升作用，組成強(qiáng)分類器，建立了污水處理過程的在線故障診斷模型。仿真實(shí)驗(yàn)結(jié)果表明，相對(duì)傳統(tǒng)模型，該模型兼具學(xué)習(xí)速度快、分類準(zhǔn)確率高和泛化能力強(qiáng)等優(yōu)點(diǎn)，克服了污水處理過程狀態(tài)不平衡分布帶來的不良影響，較好地實(shí)現(xiàn)對(duì)污水處理過程的在線故障診斷。

[1] 張瑞成，王 宇，李 沖. 基于NW型小世界人工神經(jīng)網(wǎng)絡(luò)的污水出水水質(zhì)預(yù)測(cè)[J]. 計(jì)算機(jī)測(cè)量與控制, 2016, 24(1): 61-63.

[2]FuenteMJ,VegaP.Neuralnetworksappliedtofaultdetectionofabiotechnologicalprocess[J].EngineeringApplicationofArtificialIntelligence, 1999, 12(5): 569-584.

[3] 王華忠,張雪申,俞金壽.基于支持向量機(jī)的故障診斷方法[J]. 華東理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2004, 30(2): 179-182.

[4] 李曉東, 曾光明, 蔣 茹, 等. 改進(jìn)支持向量機(jī)對(duì)污水處理廠運(yùn)行狀況的故障診斷[J]. 湖南大學(xué)學(xué)報(bào): 自然科學(xué)版, 2007, 34(12): 68-71.

[5]TianY,QiaoJF.NeuralnetworksoftmeasurementofBODbasedongeneticalgorithm[J].ComputerTechnologyandDevelopment, 2009, 19(3): 127-133.

[6]TippingME.SparseBayesianlearningandtherelevancevectormachine[J].JournalofMachineLearningResearch, 2001, 1(3): 211-244.

[7]HuangGB,ZhuQY,SIEWCK.Extremelearningmachine:anewlearningschemeoffeedforwardneuralnetworks[A].Proceedingsof2004IEEEInternationalJointConferenceonNeuralNetworks[C]. 2004: 985-990.

[8]HuangGB,ZhuQY,SIEWCK.Extremelearningmachine:theoryandapplication[J].Neuro-computing, 2006, 70(1): 489-501.

[9] 許有才,萬(wàn) 舟,湯 超.基于IFD與DE-ELM的軸承故障診斷[J]. 計(jì)算機(jī)測(cè)量與控制, 2015, 23(12): 3990-3994.

[10] 曹 瑩, 苗啟廣, 劉家辰, 等AdaBoost算法研究進(jìn)展與展望[J]. 自動(dòng)化學(xué)報(bào), 2013, 39(6): 745-758.

[11]ZhuJ,ZouH,RossetS,etal.Multi-classAdaBoost[J].StatisticandItsInterface, 2009, 2(1): 349-360.