韓紅桂， 魯樹武， 伍小龍， 喬俊飛

(1.北京工業(yè)大學(xué)信息學(xué)部， 北京 100124； 2.北京工業(yè)大學(xué)計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100124)

城市污水處理是減少水環(huán)境污染、實(shí)現(xiàn)城市污水資源化的一種有效途徑[1-3]. 城市污水處理過程主要包括格柵、初沉池、生化反應(yīng)池、二沉池等過程[4-5]. 為了實(shí)現(xiàn)出水水質(zhì)達(dá)標(biāo)，城市污水處理過程需要根據(jù)實(shí)時(shí)狀態(tài)數(shù)據(jù)、出水水質(zhì)數(shù)據(jù)以及工況環(huán)境數(shù)據(jù)等信息，調(diào)節(jié)過程可操作變量，保持污水處理過程穩(wěn)定達(dá)標(biāo)運(yùn)行[6-7]. 因此，城市污水處理過程數(shù)據(jù)的準(zhǔn)確、實(shí)時(shí)采集和傳輸不僅是城市污水處理系統(tǒng)的重要環(huán)節(jié)，也是運(yùn)行過程精確建模與閉環(huán)控制的重要保障[8]. 然而，由于城市污水處理運(yùn)行過程存在運(yùn)行環(huán)境復(fù)雜、過程干擾大等特點(diǎn)，導(dǎo)致運(yùn)行過程易產(chǎn)生噪聲數(shù)據(jù)和缺失數(shù)據(jù)等現(xiàn)象[9-11]. 例如，城市污水處理過程年記錄數(shù)據(jù)包含了1%～2%的異常數(shù)據(jù)；在惡劣天氣情況下，嚴(yán)重偏離真實(shí)值的數(shù)據(jù)甚至達(dá)到數(shù)據(jù)總量的10%～20%. 這些異常數(shù)據(jù)難以為城市污水處理過程狀態(tài)估計(jì)和性能分析提供可靠的信息依據(jù)[12-16].

城市污水處理運(yùn)行過程最常見的數(shù)據(jù)異?，F(xiàn)象有2類，分別是數(shù)據(jù)噪聲和數(shù)據(jù)缺失. 為了減少數(shù)據(jù)噪聲的影響，劉鵬宇等[17]提出一種基于中值濾波的降噪方法，該方法通過對數(shù)據(jù)進(jìn)行快速排序來獲取數(shù)據(jù)中值，并對超過閾值數(shù)據(jù)進(jìn)行濾波處理來達(dá)到去除噪聲的效果. 然而，由于大量數(shù)據(jù)進(jìn)行比較排序?qū)е聰?shù)據(jù)去噪時(shí)間較長. 馮波等[18]提出一種基于卡爾曼濾波的數(shù)據(jù)噪聲抑制方法，該方法通過設(shè)計(jì)一組并行卡爾曼濾波器，采用最小均方根誤差和最大后驗(yàn)估計(jì)的方法來估計(jì)和復(fù)原原始數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的快速去噪. 但由于卡爾曼濾波方法難以根據(jù)工況變化準(zhǔn)確復(fù)原數(shù)據(jù)，導(dǎo)致該方法易出現(xiàn)剔除正常數(shù)據(jù)現(xiàn)象. 為了準(zhǔn)確剔除噪聲數(shù)據(jù)，一些學(xué)者提出了基于距離計(jì)算的降噪方法. 例如，劉松華等[19]提出一種基于K最近鄰(K-nearest neighbor, KNN)的數(shù)據(jù)降噪方法，該方法通過計(jì)算待測數(shù)據(jù)與K個(gè)近鄰的距離來確定數(shù)據(jù)是否離群并清除離群數(shù)據(jù)，污水處理過程數(shù)據(jù)去噪結(jié)果顯示該方法能夠有效剔除數(shù)據(jù)噪聲. Yang等[20]提出了一種基于模糊C均值聚類的噪聲數(shù)據(jù)檢測方法，通過計(jì)算數(shù)據(jù)到聚類中心的距離分離出噪聲數(shù)據(jù)，仿真實(shí)驗(yàn)結(jié)果表明該方法的去噪精度得到了顯著提升. 雖然基于距離的方法能夠展現(xiàn)較好的去噪效果，但該方法剔除噪聲數(shù)據(jù)后造成了數(shù)據(jù)空缺，結(jié)合部分檢測儀表故障，數(shù)據(jù)無法及時(shí)獲取，導(dǎo)致數(shù)據(jù)缺失現(xiàn)象嚴(yán)重.

為了解決數(shù)據(jù)缺失的問題，國內(nèi)外學(xué)者提出數(shù)據(jù)插值的方法來補(bǔ)償缺失數(shù)據(jù). 例如，Lowe等[21]提出相似度學(xué)習(xí)的最近鄰插值方法來填充缺失數(shù)據(jù)，該方法通過對缺失數(shù)據(jù)周圍的樣本點(diǎn)進(jìn)行搜索，尋找到最近的樣本點(diǎn)，并將該樣本點(diǎn)作為插入數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)償. 實(shí)驗(yàn)結(jié)果表明，該方法具有結(jié)構(gòu)簡單、計(jì)算量小、處理速度快的優(yōu)點(diǎn). 但污水處理過程數(shù)據(jù)具有動態(tài)時(shí)變性，缺失數(shù)據(jù)的真實(shí)值與其臨近數(shù)據(jù)存在顯著差異. 為此，Pan等[22]設(shè)計(jì)出一種基于線性插值的數(shù)據(jù)補(bǔ)償方法，克服了最近鄰插值方法數(shù)據(jù)出現(xiàn)直接替代的情況. 但是該方法依賴于數(shù)據(jù)節(jié)點(diǎn)的數(shù)目和多項(xiàng)式的迭代計(jì)算次數(shù)，當(dāng)多個(gè)節(jié)點(diǎn)數(shù)據(jù)缺失時(shí)，插值精度較差，并且在使用節(jié)點(diǎn)過多時(shí)，插值區(qū)域兩端點(diǎn)處發(fā)生劇烈波動，造成數(shù)據(jù)插值誤差. 為了進(jìn)一步提高數(shù)據(jù)插值精度，陸志芳等[23]引入一種基于前饋神經(jīng)網(wǎng)絡(luò)預(yù)測梯度的非線性插值方法，該方法首先對缺失數(shù)據(jù)特征進(jìn)行預(yù)測，然后運(yùn)用一維有向插值對缺失數(shù)據(jù)進(jìn)行補(bǔ)償；同時(shí)，Wang等[24]提出一種基于反向傳播(back propagation，BP)神經(jīng)網(wǎng)絡(luò)的非線性插值方法，將其應(yīng)用于污水處理過程缺失數(shù)據(jù)的補(bǔ)償中，結(jié)果表明，這類方法性能穩(wěn)定，具有很強(qiáng)的自適應(yīng)能力，能夠?qū)崿F(xiàn)對缺失數(shù)據(jù)的補(bǔ)償. 然而，由于這類方法的神經(jīng)網(wǎng)絡(luò)權(quán)值采用梯度下降更新方法，導(dǎo)致其收斂速度慢，容易過早陷入局部極小值，難以快速獲取最優(yōu)補(bǔ)償值. 近年來，基于支持向量機(jī)(support vector machine, SVM)的方法因具有強(qiáng)非線性映射能力和快速收斂性等優(yōu)勢，在城市污水處理過程噪聲和缺失數(shù)據(jù)清洗中獲得了廣泛應(yīng)用[25-26]. Chen等[27]提出一種基于SVM的缺失數(shù)據(jù)補(bǔ)償方法，將該方法應(yīng)用于城市污水?dāng)?shù)據(jù)處理中，通過分析缺失數(shù)據(jù)的相關(guān)變量和訓(xùn)練SVM模型實(shí)現(xiàn)對缺失數(shù)據(jù)的預(yù)測補(bǔ)償. 然而，該方法運(yùn)用靜態(tài)SVM模型對缺失數(shù)據(jù)進(jìn)行補(bǔ)償，無法實(shí)現(xiàn)模型參數(shù)跟隨城市污水處理過程時(shí)變工況動態(tài)調(diào)整，導(dǎo)致在工況數(shù)據(jù)發(fā)生劇烈變化時(shí)補(bǔ)償值與實(shí)測值之間存在較大誤差.

為了解決上述問題，本文提出一種基于改進(jìn)型支持向量機(jī)(improved support vector machine, ISVM)的城市污水處理過程數(shù)據(jù)清洗方法. 首先，對污水處理數(shù)據(jù)進(jìn)行噪聲和缺失值分析，設(shè)計(jì)一種基于密度估計(jì)的方法對噪聲數(shù)據(jù)進(jìn)行檢測和剔除，獲得產(chǎn)生異常數(shù)據(jù)的時(shí)刻值；其次，建立了一種基于ISVM的缺失數(shù)據(jù)補(bǔ)償模型，預(yù)測缺失數(shù)據(jù)的真實(shí)值，實(shí)現(xiàn)對缺失數(shù)據(jù)的有效補(bǔ)償；最后，運(yùn)用粒子群優(yōu)化(particle swarm optimization，PSO)算法動態(tài)更新ISVM模型參數(shù)，獲得最優(yōu)的ISVM參數(shù)組合，提高了缺失數(shù)據(jù)的補(bǔ)償精度. 實(shí)際污水處理過程的應(yīng)用效果表明，基于ISVM的城市污水處理過程異常數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)對噪聲數(shù)據(jù)的剔除和缺失數(shù)據(jù)的補(bǔ)償，提高了數(shù)據(jù)的質(zhì)量.

1 數(shù)據(jù)采集與去噪

1.1 城市污水處理過程數(shù)據(jù)采集

城市污水處理過程數(shù)據(jù)的采集主要基于運(yùn)行過程的傳感器，將實(shí)時(shí)數(shù)據(jù)傳送到采集儀表，如溫度儀表、pH檢測儀表和氨氮濃度分析儀表等；數(shù)據(jù)采集儀再通過局域網(wǎng)絡(luò)將實(shí)時(shí)數(shù)據(jù)發(fā)送到控制柜和中央控制室的上位機(jī)中；最后運(yùn)用上位機(jī)組態(tài)軟件將實(shí)時(shí)數(shù)據(jù)進(jìn)行畫面顯示和遠(yuǎn)程傳輸，為城市污水處理過程狀態(tài)估計(jì)和性能分析提供可靠的信息依據(jù). 城市污水?dāng)?shù)據(jù)的主要采集位置包括厭氧區(qū)、缺氧區(qū)、好氧區(qū)和沉淀池4個(gè)生化反應(yīng)區(qū). 數(shù)據(jù)采集時(shí)，各個(gè)變量設(shè)有不同的采集位置，部分變量設(shè)置多個(gè)采集點(diǎn)，例如：氧化還原電位(oxidation-reduction potential, ORP)設(shè)有厭氧末端和缺氧前端以及二沉池前端3個(gè)采集位置；酸堿度pH設(shè)有二沉池前端和二沉池末端2個(gè)采集位置.

具體可采集的變量位置和污水變量如下. 進(jìn)水端：總磷(total phosphorus, TP)、總氮(total nitrogen, TN)、懸浮物(suspended solids, SS)、化學(xué)需氧量(chemical oxygen demand, COD)；厭氧末端：ORP；缺氧前端：ORP；好氧區(qū)：溶解氧(dissolved oxygen, DO)、總可溶性固體(total dissolved solids, TSS)；二沉池前端：ORP、pH、溫度T；二沉池末端：TP、TN、pH.

然而，在城市污水處理過程中由于污泥質(zhì)量分?jǐn)?shù)一般處于較高水平，以及進(jìn)水量波動、水質(zhì)波動、溫度變化、酸堿液腐蝕等因素會使傳感器探頭受污染和損壞，導(dǎo)致檢測數(shù)據(jù)偏離真實(shí)值嚴(yán)重. 此外，現(xiàn)場數(shù)據(jù)傳輸局域網(wǎng)系統(tǒng)也易受電磁干擾，使得污水?dāng)?shù)據(jù)獲取過程中會出現(xiàn)部分噪聲和數(shù)據(jù)缺失的情況，進(jìn)而影響城市污水處理過程狀態(tài)估計(jì)和運(yùn)行系統(tǒng)性能分析的準(zhǔn)確性，因此，需要對城市污水異常數(shù)據(jù)進(jìn)行降噪和補(bǔ)償，提高采集污水?dāng)?shù)據(jù)的質(zhì)量.

1.2 數(shù)據(jù)去噪

數(shù)據(jù)采集過程中出現(xiàn)的數(shù)據(jù)噪聲會導(dǎo)致模型預(yù)測控制精度下降，進(jìn)而增加加藥能耗，降低出水水質(zhì). 因此，首先要對噪聲數(shù)據(jù)進(jìn)行檢測，獲得產(chǎn)生噪聲數(shù)據(jù)的時(shí)刻值，然后對相應(yīng)的噪聲數(shù)據(jù)進(jìn)行剔除.

基于密度估計(jì)的噪聲數(shù)據(jù)檢測方法，首先根據(jù)采集的城市污水?dāng)?shù)據(jù)樣本，計(jì)算每一組數(shù)據(jù)的密度，然后依據(jù)密度閾值，將小于閾值的數(shù)據(jù)點(diǎn)判斷為數(shù)據(jù)噪聲，具體檢測過程如下.

對于整個(gè)污水處理過程中的樣本數(shù)據(jù)，設(shè)置q維空間中的p個(gè)數(shù)據(jù)點(diǎn)為X1,X2, …,Xp，每個(gè)數(shù)據(jù)點(diǎn)為Xi=[xi1,xi2, …,xiq]，其中i=1, 2, …,p，數(shù)據(jù)點(diǎn)Xi的密度函數(shù)定義為

(1)

式中：Θi為樣本點(diǎn)密度大??；αk(k=1, 2, …,q)為k維空間的密度半徑且為正數(shù)，其值越大則該點(diǎn)影響范圍越大，致使密度點(diǎn)越多，其值越小致使密度點(diǎn)越少，文中根據(jù)實(shí)際污水?dāng)?shù)據(jù)的空間分布情況確定其大??；α=[α1,α2, …,αq]定義了檢測數(shù)據(jù)點(diǎn)的一個(gè)鄰域.

按照式(1)計(jì)算所有城市污水?dāng)?shù)據(jù)點(diǎn)的密度大小，并將小于密度閾值Θ′的數(shù)據(jù)判斷為噪聲數(shù)據(jù)并進(jìn)行剔除，密度閾值Θ′定義為

Θ′=ηΘmax

(2)

式中η為密度系數(shù)，密度系數(shù)值越小，則噪聲點(diǎn)的數(shù)據(jù)周圍樣本分布越少，反之?dāng)?shù)據(jù)樣本分布越多.

2 ISVM數(shù)據(jù)補(bǔ)償模型

2.1 數(shù)據(jù)歸一化

由于采集的原始數(shù)據(jù)具有不同的量綱，需要對城市污水?dāng)?shù)據(jù)進(jìn)行歸一化處理，文中采用0均值歸一化方法，對數(shù)據(jù)進(jìn)行壓縮和中心化處理，具體表達(dá)式為

(3)

2.2 特征變量選取

為了去除與待補(bǔ)償數(shù)據(jù)無關(guān)的變量，降低ISVM數(shù)據(jù)補(bǔ)償模型的計(jì)算復(fù)雜度，設(shè)計(jì)一種基于主成分分析(principal component analysis, PCA)的篩選方法，篩選得到影響待補(bǔ)償數(shù)據(jù)精度的關(guān)鍵變量，具體步驟為：

1) 根據(jù)式(3)獲得歸一化處理后的標(biāo)準(zhǔn)污水?dāng)?shù)據(jù)，求得標(biāo)準(zhǔn)化矩陣Z，Z=(zij)p×q，以及與Z對應(yīng)的協(xié)方差矩陣V，V=(vjd)q×q，d=1, 2,…,q，vjd為待補(bǔ)償污水?dāng)?shù)據(jù)和相關(guān)變量之間的相關(guān)系數(shù)，vjd表示為

(4)

2) 特征方程為|λI-V|=0，通過求解特征方程得到各特征值為λδ(δ=1, 2, …,q)，并按由大到小的順序?qū)Ω魈卣髦颠M(jìn)行排序.其中，I為與協(xié)方差矩陣V相對應(yīng)的單位矩陣.

3) 求出與各特征值λδ相對應(yīng)的特征向量eδ(δ=1, 2, …,q).

4) 計(jì)算各個(gè)相關(guān)變量與待補(bǔ)償污水?dāng)?shù)據(jù)的相關(guān)性大小μj和累計(jì)貢獻(xiàn)率G(l)，分別為

(5)

(6)

圖1 城市污水?dāng)?shù)據(jù)采集與清洗架構(gòu)Fig.1 Data collection and cleaning schematic of municipal wastewater

然后，選取累計(jì)貢獻(xiàn)率G(l)較大的前l(fā)個(gè)變量作為待補(bǔ)償數(shù)據(jù)的關(guān)鍵特征變量.

使用式(3)～(6)分別對城市污水處理過程中的14種變量進(jìn)行相關(guān)性分析，獲得與待補(bǔ)償數(shù)據(jù)具有強(qiáng)相關(guān)性的關(guān)鍵特征變量.

2.3 ISVM污水?dāng)?shù)據(jù)補(bǔ)償模型設(shè)計(jì)

為了實(shí)現(xiàn)對城市污水缺失數(shù)據(jù)的補(bǔ)償，設(shè)計(jì)一種基于ISVM的缺失數(shù)據(jù)補(bǔ)償模型.模型架構(gòu)圖如圖1所示.設(shè)定訓(xùn)練集為Ω={(Xi,yi)|i=1, 2, 3, …,n}，Xi∈Rn，yi∈R，其中，xi為n維的樣本輸入數(shù)據(jù)，yi為相應(yīng)的補(bǔ)償輸出數(shù)據(jù).然后，將輸入的城市污水向量X經(jīng)過非線性變換φ：X→φ(X)，Rn→O，映射到高維空間O，再在高維特征空間通過線性函數(shù)yi=w′·Xi+b進(jìn)行回歸，獲得缺失數(shù)據(jù)的補(bǔ)償值.其中b為閾值，w′為權(quán)值向量.

為了避免ISVM數(shù)據(jù)補(bǔ)償模型出現(xiàn)過擬合，提高模型泛化能力，降低經(jīng)驗(yàn)誤差，設(shè)計(jì)模型優(yōu)化目標(biāo)為

(7)

約束條件為

(8)

式(7)的目標(biāo)優(yōu)化過程為凸二次規(guī)劃問題，因此，采用Lagrange函數(shù)求解，即

(9)

(10)

為了避免維數(shù)過高帶來的計(jì)算復(fù)雜度，文中采用徑向基核函數(shù)

K(Xi,yi)=exp [-γ‖(Xi-yi)‖2]

(11)

(12)

得到ISVM的回歸函數(shù)為

(13)

2.4 粒子群算法優(yōu)化ISVM參數(shù)

為了提高數(shù)據(jù)補(bǔ)償?shù)木?，文中采用粒子群?yōu)化算法在H維空間中搜索最優(yōu)的SVM參數(shù)對g、C，并通過適應(yīng)度函數(shù)對解的性能進(jìn)行評價(jià).具體數(shù)學(xué)描述如下.

粒子群優(yōu)化ISVM模型參數(shù)的過程中，每個(gè)粒子代表H維解空間的一個(gè)點(diǎn)，設(shè)置某個(gè)粒子的當(dāng)前位置為mi=(mi1,mi2, …,mih)、當(dāng)前飛行速度為vi=(vi1,vi2,…,vih)和當(dāng)前尋找到的最優(yōu)位置為pg=(pg1,pg2, …,pgh)，并將mi、vi、pg分別表示為向量形式.每個(gè)粒子都具有經(jīng)過目標(biāo)函數(shù)評價(jià)計(jì)算得到的個(gè)體適應(yīng)度值，通過個(gè)體最優(yōu)值和群體最優(yōu)值來調(diào)整粒子飛行速度，進(jìn)而調(diào)整自身位置向最優(yōu)點(diǎn)靠攏.粒子調(diào)整自身速度和位置的公式分別為

(14)

(15)

為了提高算法的收斂速度，設(shè)置w隨迭代次數(shù)增加而減小，w更新公式為

w=wmin+(Dmax-D)×(wmax-wmin)/Dmax

(16)

式中：wmin為PSO中的最小權(quán)值；wmax為最大權(quán)值；Dmax為最大迭代次數(shù)；D為當(dāng)前迭代次數(shù).

由于r1和r2為分布在[0, 1]的隨機(jī)數(shù)，不具有遍歷特性，所以通過

ri(k+1)=4.0ri(k)[1-ri(k)]

(17)

對粒子群優(yōu)化算法中r1和r2的值進(jìn)行選擇以提高PSO的全局收斂性.式中ri(k)∈(0, 1),i=1, 2.

在粒子群優(yōu)化算法中，種群大小的選擇對搜索空間解的性能具有重要影響.當(dāng)種群數(shù)量過大時(shí)，會使算法求解時(shí)間較長，難以滿足城市污水處理過程對實(shí)時(shí)性的要求；當(dāng)種群數(shù)量選取過小時(shí)，雖然運(yùn)算速度較快，但會導(dǎo)致算法過早收斂，多樣性較差，難以滿足數(shù)據(jù)補(bǔ)償精度的要求.為此將粒子種群數(shù)量設(shè)置為20進(jìn)行迭代計(jì)算，即自身維數(shù)的5倍.同時(shí)設(shè)置迭代次數(shù)為200次，即適應(yīng)度值達(dá)到基本穩(wěn)定.

判斷粒子性能的適應(yīng)度函數(shù)設(shè)為

(18)

PSO算法優(yōu)化ISVM模型參數(shù)g、C的過程中，每個(gè)粒子的位置和速度由二維參數(shù)g、C決定，適應(yīng)度函數(shù)設(shè)置為能夠直接反映ISVM回歸性能好壞的均方根誤差(root mean squared error，RMSE).PSO優(yōu)化ISVM參數(shù)g、C的流程如圖2所示，具體步驟如下.

圖2 ISVM污水?dāng)?shù)據(jù)補(bǔ)償算法Fig.2 ISVM sewage data compensation algorithm

步驟1首先，初始化粒子群優(yōu)化算法中的所有參數(shù)，設(shè)置種群數(shù)量a=20，最大權(quán)重wmax=0.8和最小權(quán)重wmin=0.1，算法最大迭代次數(shù)Dmax=200，加速因子c1為1.5，c2為1.7.同時(shí)，由于同時(shí)優(yōu)化的g、C兩個(gè)參數(shù)的量綱差別較大，所以在初始化粒子速度時(shí)乘以相應(yīng)系數(shù)使數(shù)據(jù)大小一致.

步驟2將每個(gè)粒子的個(gè)體極值Pbest設(shè)置為粒子的當(dāng)前位置，然后利用適用度函數(shù)(18)計(jì)算當(dāng)前所有粒子的適應(yīng)度值，并將全局最優(yōu)值Gbest設(shè)置為適應(yīng)度值最小的粒子對應(yīng)的個(gè)體極值.

步驟3按照式(14)～(16) 更新粒子的位置、速度，生成新的種群.

步驟4運(yùn)用適應(yīng)度函數(shù)(18)計(jì)算所有粒子的適應(yīng)值，適應(yīng)度值越小，則位置越優(yōu).

步驟5對粒子的當(dāng)前極值和個(gè)體極值進(jìn)行比較，保留適應(yīng)度值較小的粒子作為個(gè)體極值，更新Pbest.

步驟6刪除適應(yīng)度值最小的粒子，并根據(jù)式(15)產(chǎn)生新的粒子.

步驟7比較每個(gè)粒子的個(gè)體極值Pbest和全局極值Gbest，當(dāng)個(gè)體極值優(yōu)于全局極值，則更新Gbest，否則保存原來的Gbest.

步驟8判斷終止條件，當(dāng)達(dá)到最大迭代次數(shù)或者所得解不再變化時(shí)終止，否則返回步驟3繼續(xù)更新粒子.

3 仿真實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了驗(yàn)證文中基于ISVM的城市污水處理過程異常數(shù)據(jù)清洗方法的有效性，采用2019年北京市某污水處理廠真實(shí)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并對實(shí)驗(yàn)結(jié)果進(jìn)行分析. 同時(shí)，為了證明該方法的精確性，將該方法與基于BP神經(jīng)網(wǎng)絡(luò)方法、線性插值方法、最近鄰插值方法和卡爾曼濾波方法的數(shù)據(jù)清洗效果進(jìn)行了實(shí)驗(yàn)對比.

本次實(shí)驗(yàn)共有570組污水樣本數(shù)據(jù)，首先對污水處理過程中關(guān)鍵9種數(shù)據(jù)進(jìn)行異常和缺失值分析. 通過分析對異常和缺失值變化較大的DO質(zhì)量濃度數(shù)據(jù)進(jìn)行預(yù)測補(bǔ)償. 將370組正常數(shù)據(jù)樣本分為兩部分，隨機(jī)選取220組數(shù)據(jù)作為模型訓(xùn)練樣本，150組數(shù)據(jù)作為測試樣本. 模型輸入為PCA法篩選得到的關(guān)鍵特征變量：缺氧前端ORP、進(jìn)水SS、進(jìn)水COD、進(jìn)水TP. 模型輸出為DO質(zhì)量濃度. 其中ISVM模型參數(shù)C、g通過PSO算法進(jìn)行參數(shù)調(diào)優(yōu). 將基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)清洗模型的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)定為9-10-1，采用非線性的Sigmoid函數(shù)作為傳輸函數(shù)，學(xué)習(xí)算法為最小二乘法，設(shè)定學(xué)習(xí)率為0.1，訓(xùn)練步數(shù)是1 000步.

根據(jù)仿真結(jié)果分析模型精度，比較二者的數(shù)據(jù)清洗結(jié)果. 然后，隨機(jī)選擇50組污水樣本，分別采用基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)清洗方法、最近鄰插值方法、線性插值方法和卡爾曼濾波方法對污水?dāng)?shù)據(jù)清洗效果進(jìn)行實(shí)驗(yàn)，并與基于ISVM的數(shù)據(jù)清洗方法進(jìn)行比較，通過RMSE對清洗效果進(jìn)行對比，計(jì)算公式為

(19)

3.2 實(shí)驗(yàn)結(jié)果與分析

圖3、4為污水處理廠2019年真實(shí)污水?dāng)?shù)據(jù)的曲線圖，共采集、分析9種污水?dāng)?shù)據(jù)，包括好氧前端DO、好氧末端TSS、進(jìn)水TP、出水pH、溫度T、進(jìn)水SS、進(jìn)水COD、進(jìn)水氨氮和缺氧前端ORP. 通過分析，污水?dāng)?shù)據(jù)DO質(zhì)量濃度存在較大的數(shù)據(jù)噪聲和缺失.

圖3 污水多個(gè)參數(shù)曲線1Fig.3 Multiple parameter curve 1 of sewage

圖4 污水多個(gè)參數(shù)曲線2Fig.4 Multiple parameter curve 2 of sewage

圖5、6分別為基于密度聚類算法和基于K-means聚類算法的城市污水?dāng)?shù)據(jù)異常情況分析圖. 從圖5可以看出，pH數(shù)據(jù)集中分布在7.98～8.07，符合數(shù)據(jù)正常區(qū)間；DO質(zhì)量濃度數(shù)據(jù)分布在0～1.6 mg/L，數(shù)據(jù)波動較大，存在離群點(diǎn)和噪聲點(diǎn)數(shù)據(jù)，并且部分?jǐn)?shù)據(jù)缺失或采樣點(diǎn)為“0”值，采用密度聚類算法可以精確地識別噪聲點(diǎn)和離群點(diǎn). 從圖6中可以看出，采集數(shù)據(jù)的分布情況、存在缺失值和“0”值的異常點(diǎn)，但識別噪聲點(diǎn)和小聚類簇結(jié)果較差.

圖5 基于密度的數(shù)據(jù)異常分析Fig.5 Density-based abnormal data analysis

圖6 基于K-means的數(shù)據(jù)異常分析Fig.6 Abnormal data analysis based on K-means

圖7為城市污水?dāng)?shù)據(jù)的相關(guān)性分析結(jié)果，圖像顏色為0～1的相關(guān)性大小. 從圖中可以看出，部分城市污水變量具有較大相關(guān)性，如好氧末端TSS與溫度T、進(jìn)水TP、進(jìn)水COD，好氧前端DO與進(jìn)水SS、缺氧前端ORP、進(jìn)水COD具有較大相關(guān)性. 基于ISVM的污水?dāng)?shù)據(jù)清洗方法對于城市污水處理過程中采樣數(shù)據(jù)存在噪聲和數(shù)據(jù)缺失的情況能夠根據(jù)城市污水?dāng)?shù)據(jù)相關(guān)性的特點(diǎn)進(jìn)行噪聲數(shù)據(jù)的剔除和缺失數(shù)據(jù)補(bǔ)償.

圖7 城市污水?dāng)?shù)據(jù)相關(guān)性分析結(jié)果Fig.7 Correlation analysis results of municipal sewage data

圖8、9分別給出基于ISVM的污水?dāng)?shù)據(jù)清洗方法和基于BP神經(jīng)網(wǎng)絡(luò)的污水?dāng)?shù)據(jù)清洗方法的清洗效果對比和清洗誤差對比，圖7為PSO算法優(yōu)化ISVM模型參數(shù)后的數(shù)據(jù)清洗結(jié)果. 從圖8、9可以看出，相比于BP神經(jīng)網(wǎng)絡(luò)方法，基于ISVM的污水?dāng)?shù)據(jù)清洗方法得到的補(bǔ)償數(shù)據(jù)和實(shí)際值相差較小，預(yù)測曲線能夠較好地?cái)M合目標(biāo)曲線值. 結(jié)果表明，基于ISVM的城市污水?dāng)?shù)據(jù)清洗方法能夠通過非線性映射在高維空間進(jìn)行回歸，得到待補(bǔ)償污水?dāng)?shù)據(jù)(如DO的質(zhì)量濃度)與采集特征變量之間的關(guān)系，比基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)清洗方法具有更好的缺失數(shù)據(jù)補(bǔ)償精度，可以獲得更加精準(zhǔn)的數(shù)據(jù)清洗效果. 同時(shí)運(yùn)用PSO算法優(yōu)化ISVM模型參數(shù)，從圖10可以看出，經(jīng)過參數(shù)調(diào)優(yōu)后的模型具有更精確的數(shù)據(jù)清洗能力，誤差穩(wěn)定在可接受范圍內(nèi).

圖8 污水異常數(shù)據(jù)清洗的清洗效果Fig.8 Cleaning effect of sewage abnormal data cleaning

圖9 污水異常數(shù)據(jù)清洗的誤差對比Fig.9 Error comparison of sewage abnormal data cleaning

圖10 PSO算法優(yōu)化ISVM后適應(yīng)度曲線Fig.10 ISVM fitness curve optimized by PSO

表1給出了支持向量機(jī)模型參數(shù)C、g調(diào)優(yōu)前后的數(shù)據(jù)清洗結(jié)果比較，可以看出，以PSO優(yōu)化后的C、g作為ISVM數(shù)據(jù)清洗模型參數(shù)可以獲得更高的數(shù)據(jù)補(bǔ)償精度，提高數(shù)據(jù)質(zhì)量，能夠滿足污水處理系統(tǒng)建模與閉環(huán)控制過程中對數(shù)據(jù)可靠性和精確性的要求.

表1 ISVM參數(shù)優(yōu)化前后的清洗性能比較

表2給出了基于ISVM的污水?dāng)?shù)據(jù)清洗方法與基于BP神經(jīng)網(wǎng)絡(luò)的污水?dāng)?shù)據(jù)清洗方法、最鄰近插值方法、線性插值方法和卡爾曼濾波方法的均方根誤差對比.

表2 不同數(shù)據(jù)清洗方法的時(shí)間和誤差對比

從表2可以看出，在數(shù)據(jù)清洗過程中，相比于BP神經(jīng)網(wǎng)絡(luò)方法、最近鄰插值方法、線性插值方法、卡爾曼濾波方法的清洗結(jié)果，基于ISVM的方法具有更小的均方根誤差. 其結(jié)果表明，文中基于ISVM的城市污水處理過程異常數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)對缺失數(shù)據(jù)的補(bǔ)償，滿足系統(tǒng)對數(shù)據(jù)可靠性和實(shí)時(shí)性的要求.

通過與不同的數(shù)據(jù)清洗方法的對比，基于ISVM的城市污水異常數(shù)據(jù)清洗方法的準(zhǔn)確性和實(shí)時(shí)性得到了驗(yàn)證. 綜合以上分析，基于ISVM的城市污水異常數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)對污水噪聲數(shù)據(jù)的剔除和缺失數(shù)據(jù)的補(bǔ)償，提高數(shù)據(jù)的質(zhì)量.

4 結(jié)論

1) 采用基于密度估計(jì)的方法檢測出污水處理過程中的噪聲數(shù)據(jù)，實(shí)現(xiàn)了對污水噪聲數(shù)據(jù)的剔除.

2) 與BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)清洗方法、最近鄰插值方法、線性插值方法和卡爾曼濾波方法相比，基于ISVM的城市污水異常數(shù)據(jù)清洗方法具有更高的補(bǔ)償精度，提高了數(shù)據(jù)質(zhì)量.

3) 利用PSO算法對ISVM數(shù)據(jù)清洗模型參數(shù)進(jìn)行優(yōu)化，提高了模型對缺失數(shù)據(jù)補(bǔ)償?shù)木?，在城市污水處理過程中能夠滿足數(shù)據(jù)實(shí)際應(yīng)用的需要.