王 涌陸 衛(wèi)左楚涵鮑明月

(1.浙江工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310014；2.浙江工業(yè)大學(xué)奉化智慧經(jīng)濟(jì)研究院，浙江 寧波 315500)

BOD(Biochemical oxygen demand，生化需氧量)是水體中微生物分解所需消耗溶解氧的含量，它能夠直接體現(xiàn)水質(zhì)的污染程度[1]，是水質(zhì)監(jiān)測等行業(yè)關(guān)注的重要污染指標(biāo)。對于傳統(tǒng)BOD測量方法，主要存在設(shè)備昂貴易損壞難維修、需要離線采樣分析測量、測量耗時(shí)五天、需要專業(yè)人員操作等問題，這給污水監(jiān)測行業(yè)帶來困擾。為了解決以上問題，現(xiàn)今已有一種軟測量方法能夠測量BOD。軟測量方法[2-4]指通過數(shù)學(xué)理論分析處理數(shù)據(jù)，建立數(shù)據(jù)集中簡單易測的輔助變量與復(fù)雜難測的目標(biāo)BOD之間的機(jī)器學(xué)習(xí)模型，將包含輔助變量與BOD的數(shù)據(jù)集用來校正模型，最后可以通過將輔助變量數(shù)據(jù)輸入模型來預(yù)測BOD值[5]。

近年來，由于機(jī)器學(xué)習(xí)的迅猛發(fā)展，BOD軟測量模型的精度已經(jīng)能夠媲美BOD傳統(tǒng)測量法的精度，同時(shí)相比傳統(tǒng)BOD測量方法有效減少耗時(shí)，為監(jiān)測行業(yè)提供了更優(yōu)秀的選擇。Zhang[6]等人通過SOM網(wǎng)絡(luò)來預(yù)測BOD的濃度，通過分析選擇了氨氮、SRP、SS、COD作為模型的輔助變量，最終模型在樣本有大量缺失值仍有不錯(cuò)的精度，且測量時(shí)間可以縮短到幾小時(shí)，但是仍不適合實(shí)時(shí)BOD的預(yù)測。Raheli[7]等人通過螢火蟲FFA算法來優(yōu)化多層感知機(jī)MLP，通過實(shí)驗(yàn)有效表明了MLP-FFA能夠預(yù)測BOD值，但是由于模型的d因子導(dǎo)致模型不穩(wěn)定，從而造成模型精度不佳。許玉格[8]等人提出了一種Fast-SVM模型，有效提高了BOD模型的預(yù)測速度，但相較于基礎(chǔ)SVM模型，精度有所下降，同時(shí)文中將所有的輔助變量作為模型輸入，導(dǎo)致模型計(jì)算量過大。喬俊飛[9]等人通過PSO算法改進(jìn)ESN神經(jīng)網(wǎng)絡(luò)，且通過對水質(zhì)BOD機(jī)理分析，選擇了pH、SS、DO、COD作為ESN的輔助變量，實(shí)驗(yàn)證明了PSO算法能夠更有效找到ESN網(wǎng)絡(luò)的權(quán)重，使得ESN網(wǎng)絡(luò)的預(yù)測精度提高，但由于網(wǎng)絡(luò)的復(fù)雜性，仍不能滿足本文的實(shí)時(shí)BOD預(yù)測場景。以上對于BOD軟測量模型的研究，仍存在兩個(gè)問題:①對于大數(shù)據(jù)時(shí)代的今天，數(shù)據(jù)應(yīng)保證精度同時(shí)也應(yīng)保證時(shí)效性。因此模型預(yù)測速度也是重要的性能評判指標(biāo)。上述研究中通過研究不斷加大模型復(fù)雜度來提高精度，而導(dǎo)致模型預(yù)測速度大幅下降，這顯然是不合理的。②輔助變量的選擇都是根據(jù)經(jīng)驗(yàn)選擇，沒有確切的選擇依據(jù)。

根據(jù)這兩個(gè)問題，本文通過對隨機(jī)森林(Random Forest)模型的研究[10-11]，提出了一種快速且精度高的改進(jìn)隨機(jī)森林模型來預(yù)測BOD值，本文的主要研究如下:

①提出了一種基于特征重要性排序算法和LDA(Linear Discriminant Analysis，線性判別分析)的隨機(jī)森林模型來快速預(yù)測BOD值。隨機(jī)森林模型由于其隨機(jī)性是一種強(qiáng)大的回歸模型，非常適合BOD預(yù)測。特征排序能夠篩去對模型影響較小的輔助變量，LDA能夠?qū)o助變量降維，減少噪聲和冗余數(shù)據(jù)對模型精度的影響。改進(jìn)后的模型在精度和預(yù)測速度上有明顯提升。

②將改進(jìn)隨機(jī)森林模型與當(dāng)前主流的BOD預(yù)測模型，支持向量機(jī)模型和全連接神經(jīng)網(wǎng)絡(luò)模型進(jìn)行橫、縱向?qū)Ρ葘?shí)驗(yàn)。通過縱向?qū)嶒?yàn)，找到每個(gè)模型的最佳參數(shù)。通過橫向?qū)嶒?yàn)對比三個(gè)模型性能，實(shí)驗(yàn)結(jié)果有效表明了本文提出的改進(jìn)模型在快速BOD預(yù)測場景下的優(yōu)勢。

1 特征重要性排序算法

1.1 決策樹

決策樹主要用于表達(dá)選擇。決策樹分為三個(gè)部分，分別是根、內(nèi)部、葉子節(jié)點(diǎn)[12]。根和內(nèi)部結(jié)點(diǎn)都表示一種特征，葉子節(jié)點(diǎn)表示結(jié)果。決策樹從根結(jié)點(diǎn)開始，通過內(nèi)部結(jié)點(diǎn)到葉子結(jié)束。因此根結(jié)點(diǎn)是較好的特征，需要有較好的分類能力。因此決策樹模型首先要選擇一個(gè)最好的特征作為根結(jié)點(diǎn)。選擇最好的特征時(shí)要以不同特征的信息增益作為準(zhǔn)則，信息增益大的特征有更好的分類能力。

1.2 信息增益

熵用來表達(dá)隨機(jī)變量的不穩(wěn)定性，表示數(shù)據(jù)內(nèi)部的混亂程度。在一組數(shù)據(jù)中隨機(jī)變量X為離散值時(shí)，即X的取值為x i，此時(shí)隨機(jī)變量X的概率分布為:

式中:n為樣本量，則隨機(jī)變量X的熵為:

熵值越大，系統(tǒng)越混亂，不確定性也就越大。當(dāng)概率為0或1時(shí)都是確定的量，不會(huì)有不確定性，因此概率為0或1時(shí)不會(huì)影響熵值。

條件熵表示為H(Y｜X)為在隨機(jī)變量X條件下隨機(jī)變量Y的不確定性。

信息增益能夠確定決策樹中的各個(gè)特征，哪一個(gè)特征對于模型學(xué)習(xí)最有用，即信息增益可以描述特征對各個(gè)子集分類效果的好壞。

式中:g(D，A)表示特征A對數(shù)據(jù)集D的信息增益，用經(jīng)驗(yàn)熵H(D)與給定特征A條件下的數(shù)據(jù)集D的條件熵做差得到。信息增益不適用于特征類別較多的情況，因?yàn)榇藭r(shí)會(huì)發(fā)生過擬合問題[13]。

若根據(jù)特征A的取值可以將數(shù)據(jù)集D劃分為n個(gè)子集D1，D2，…，D n，其中n是特征A可能取值的種數(shù)，則數(shù)據(jù)集D關(guān)于特征A的值的熵H A(D)為:

此時(shí)信息增益比g R(D，A)為:

1.3 特征重要性排序算法

在決策樹生成時(shí)有兩種算法，ID3與C4.5，分別對應(yīng)以上介紹的信息增益和信息增益比為基礎(chǔ)的兩種算法[14]。表1將ID3和C4.5算法生成的預(yù)剪枝決策樹過程表示出來。

表1 預(yù)剪枝決策樹生成算法

生成預(yù)剪枝決策樹后，這樣特征重要性就可以通過隨機(jī)森林中每一個(gè)決策樹的基尼指數(shù)得到。將基尼指數(shù)記為G，如果數(shù)據(jù)集D分類問題中有K個(gè)類，某個(gè)子集屬于第k類的概率為p k，則基尼指數(shù)為:

在決策樹中某個(gè)內(nèi)部結(jié)點(diǎn)剪枝前后基尼指數(shù)變化量記為V，設(shè)剪枝后出現(xiàn)兩個(gè)新的結(jié)點(diǎn)，記兩個(gè)新的結(jié)點(diǎn)的基尼指數(shù)為G p，G q，則有下式:

設(shè)特征A在決策樹T i中出現(xiàn)的結(jié)點(diǎn)集合記為M，那么特征A在決策樹T i中的重要性記為:

若隨機(jī)森林中有N棵決策樹，那么特征A在隨機(jī)森林算法中的基尼指數(shù)評分為:

最后對不同的特征求得的基尼指數(shù)做歸一化之后進(jìn)行排序得到的就是不同特征的重要性排序。在隨機(jī)森林模型中，通過重要性排序?qū)⑵渲兄匾孕∮?.2的特征篩除。

2 LDA算法

LDA是一種監(jiān)督學(xué)習(xí)的降維算法，LDA算法的目的是通過將數(shù)據(jù)投影到新的坐標(biāo)系中，令新的數(shù)據(jù)滿足同一類別的數(shù)據(jù)中方差最小，不同類別的數(shù)據(jù)方差最大。

設(shè)數(shù)據(jù)集為D，數(shù)據(jù)集總共分為k類，則將數(shù)據(jù)集D分為D1，D2，…，D k，其中每一類數(shù)據(jù)集中數(shù)據(jù)的個(gè)數(shù)為N1，N2，…，N k，即:

若假設(shè)uTu＝a，則在D k中樣本方差為:

將D1，D2，…，D k不同數(shù)據(jù)集之間的樣本方差求和得到:

不同類別D i與D j之間的方差為:

不同類別D之間的方差和為:

因此最后要求解的問題為:

LDA的目的是令uTS b u最大，同時(shí)令分子uTS w u最小，即求解優(yōu)化問題maxJ(u)。為了令問題簡化，由于uTu＝a，因此可以通過改變a的值令uTS w u＝1，那么優(yōu)化問題就變成了maxuTS b u。通過拉格朗日乘數(shù)法，將優(yōu)化問題轉(zhuǎn)化為拉格朗日函數(shù):

通過求解偏導(dǎo)得到:

通過S b u＝λS w u得到S-1w S b u＝λu，即求解特征向量。因此對S-1w S b進(jìn)行奇異值分解，得到特征值λi對應(yīng)的特征向量為u i，取前三個(gè)最大的特征值對應(yīng)的特征向量組成投影矩陣W。通過求出數(shù)據(jù)在這三個(gè)特征向量上的投影，將輸入輔助變量數(shù)據(jù)降到3維。

3 基于特征重要性排序和LDA降維改進(jìn)的隨機(jī)森林模型

3.1 隨機(jī)森林算法

隨機(jī)森林算法采用CART決策樹[15-16]進(jìn)行回歸，以最小二乘法作為CART決策樹的基準(zhǔn)。隨機(jī)森林算法首先從原始數(shù)據(jù)集中有放回的選取m個(gè)數(shù)據(jù)，重復(fù)n次，這樣就得到了n個(gè)新的數(shù)據(jù)集，這些數(shù)據(jù)集作為基學(xué)習(xí)器的訓(xùn)練集得到了n個(gè)決策樹。

每個(gè)數(shù)據(jù)集總特征中隨機(jī)選擇k個(gè)特征，并用這k個(gè)特征作為CART決策樹生成中所用的特征。在回歸問題中隨機(jī)森林通過對全部基學(xué)習(xí)器得到的預(yù)測值采用簡單平均法得到最終的預(yù)測值:

3.2 基學(xué)習(xí)器的個(gè)數(shù)

隨機(jī)森林的基學(xué)習(xí)器個(gè)數(shù)對模型有顯著的影響，因此確定基學(xué)習(xí)器的個(gè)數(shù)至關(guān)重要，當(dāng)個(gè)數(shù)過少時(shí)會(huì)導(dǎo)致模型精度不夠，當(dāng)個(gè)數(shù)過多時(shí)會(huì)造成過擬合。

為了解決個(gè)數(shù)確定問題，本文采用了一種十折交叉驗(yàn)證法來確定最優(yōu)子樹(基學(xué)習(xí)器)數(shù)目，以保證隨機(jī)森林算法模型在水質(zhì)BOD預(yù)測時(shí)效果最好。

首先設(shè)置基學(xué)習(xí)器個(gè)數(shù)為10，對于固定的基學(xué)習(xí)器個(gè)數(shù)，對訓(xùn)練數(shù)據(jù)隨機(jī)劃分為10份，記為K1，K2，…，K10，選擇其中9份數(shù)據(jù)作為訓(xùn)練集，剩下的一份作為測試集，通過訓(xùn)練數(shù)據(jù)來記錄測試集的R2_score(決定系數(shù))。遍歷每一份數(shù)據(jù)，并記錄每一次得到的R2_score值，最后通過對得到的10個(gè)R2_score求平均值作為該基學(xué)習(xí)器數(shù)目下的平均R2_score。隨后增加基學(xué)習(xí)器的數(shù)目，基學(xué)習(xí)器數(shù)目450作為上限，在這個(gè)過程中選擇平均R2_score最大時(shí)的基學(xué)習(xí)器個(gè)數(shù)為最優(yōu)的基學(xué)習(xí)器個(gè)數(shù)。

3.3 隨機(jī)森林算法模型的改進(jìn)

本文采用特征重要性排序和LDA算法對隨機(jī)森林模型的輸入模塊進(jìn)行改進(jìn)，其中特征重要性排序是由隨機(jī)森林算法得到的，因此基于特征篩選和PCA降維的隨機(jī)森林模型的效果將會(huì)明顯優(yōu)于其他傳統(tǒng)的機(jī)器學(xué)習(xí)模型。隨機(jī)森林能夠處理較為復(fù)雜的問題，模型的隨機(jī)性會(huì)降低錯(cuò)誤數(shù)據(jù)在整體數(shù)據(jù)中的比重，而CART決策樹的生成方法也會(huì)進(jìn)一步避免一些無效特征對隨機(jī)劃分得到的數(shù)據(jù)的影響，這樣的隨機(jī)性會(huì)讓隨機(jī)森林模型更好的適應(yīng)本文水質(zhì)BOD的快速預(yù)測問題?；谔卣骱Y選和PCA降維的隨機(jī)森林模型框架如圖1所示。

圖1 基于特征篩選和LDA降維改進(jìn)后的隨機(jī)森林模型

4 基于改進(jìn)隨機(jī)森林的水質(zhì)BOD快速預(yù)測模型的應(yīng)用

4.1 數(shù)據(jù)分析處理與實(shí)驗(yàn)方案

本文數(shù)據(jù)來源于某水質(zhì)監(jiān)測廠提供的300組數(shù)據(jù)，數(shù)據(jù)包含的變量有:溫度Temp、pH、溶解氧DO、大腸桿菌E.coil、懸浮固體SS、濁度Turb、氧化還原電位ORP、電導(dǎo)率EC、硝酸鹽、化學(xué)需氧量COD、凱式氮、氨氮AN以及本文需要預(yù)測的生化需氧量BOD。

由于數(shù)據(jù)樣本中存在較多空缺值，本文采用平均值插補(bǔ)法進(jìn)行填補(bǔ)。填補(bǔ)之后，通過特征重要性排序算法篩除對模型影響較小的變量，本文以重要性為0.2為基準(zhǔn)，其中重要性小于0.2的輔助變量為pH、電導(dǎo)率EC、濁度Turb和大腸桿菌E.coil，這些輔助變量需被篩除，因此通過特征篩選后剩下8維輔助變量。

隨后對溫度Temp等8維輔助變量數(shù)據(jù)進(jìn)行LDA算法降維，LDA根據(jù)數(shù)據(jù)類別降維，最后選擇了奇異值分解后模最大的三個(gè)特征向量作為向量u1，u2，u3，數(shù)據(jù)在這三個(gè)向量方向上的投影作為降維后的數(shù)據(jù)。

為了保證實(shí)驗(yàn)嚴(yán)謹(jǐn)性，本文對樣本數(shù)據(jù)按8∶2的比例隨機(jī)劃分訓(xùn)練集和測試集，進(jìn)行5次重復(fù)實(shí)驗(yàn)得到五組訓(xùn)練集和測試集并分別對未改進(jìn)的隨機(jī)森林算法和改進(jìn)后的隨機(jī)森林算法分別進(jìn)行對比實(shí)驗(yàn)。其中用于訓(xùn)練的數(shù)據(jù)數(shù)目為240，用來訓(xùn)練隨機(jī)森林模型以及校正隨機(jī)森林的參數(shù)，驗(yàn)證集的數(shù)據(jù)數(shù)目為60，用來測試評估隨機(jī)森林模型的性能，最后通過將驗(yàn)證集數(shù)據(jù)中的輔助變量數(shù)據(jù)輸入隨機(jī)森林模型，模型輸出的預(yù)測結(jié)果將與驗(yàn)證集中BOD的實(shí)際值進(jìn)行比較，通過誤差評價(jià)指標(biāo)和繪圖的方式來展示模型的優(yōu)劣。

4.2 模型性能評估指標(biāo)

本文使用的模型性能評估指標(biāo)如下:

①反映模型精度的指標(biāo):MSE、MAE。

式中:y i為實(shí)際值，為預(yù)測值，n為測試集樣本數(shù)。

②反映模型擬合程度的指標(biāo):R2_score。

式中:R2(y，)為R2_score，為BOD測試樣本數(shù)據(jù)的平均值。

③反應(yīng)模型預(yù)測速度的指標(biāo):預(yù)測時(shí)間。

4.3 對比實(shí)驗(yàn)與分析

對比實(shí)驗(yàn)部分首先需要確定改進(jìn)前后的隨機(jī)森林模型的最優(yōu)子樹(基學(xué)習(xí)器)個(gè)數(shù)。通過對訓(xùn)練數(shù)據(jù)交叉驗(yàn)證，從最優(yōu)子樹為1至450分別測得模型的R2_score值，其中最大的R2_score值就是最優(yōu)實(shí)驗(yàn)結(jié)果。

通過實(shí)驗(yàn)得到?jīng)]有經(jīng)過改進(jìn)的隨機(jī)森林模型在其最優(yōu)子樹為83時(shí)R2_score最高，改進(jìn)后的隨機(jī)森林模型在其最優(yōu)子樹為161時(shí)R2_score最高。

確定兩個(gè)模型的最佳參數(shù)后，分別對其在最佳參數(shù)下進(jìn)行五組隨機(jī)數(shù)據(jù)劃分實(shí)驗(yàn)，隨機(jī)森林模型的預(yù)測如圖2，改進(jìn)后的隨機(jī)森林模型的預(yù)測如圖3。

圖2 原隨機(jī)森林模型在其最優(yōu)子樹為83時(shí)的五組隨機(jī)實(shí)驗(yàn)預(yù)測圖

圖3 改進(jìn)后隨機(jī)森林模型在其最優(yōu)子樹為161時(shí)的五組隨機(jī)實(shí)驗(yàn)預(yù)測圖

通過兩圖也可發(fā)現(xiàn)改進(jìn)后的隨機(jī)森林模型能夠更精準(zhǔn)的預(yù)測BOD值，且改進(jìn)后的五組預(yù)測值更為貼近實(shí)際值，且五組實(shí)驗(yàn)結(jié)果重合度較高，表明了改進(jìn)模型的穩(wěn)定性較好。

根據(jù)兩個(gè)模型的五組隨機(jī)實(shí)驗(yàn)可以計(jì)算得到表2的性能表。

表2中可以得到兩種模型的具體性能指標(biāo)。MSE、MAE反映了模型精度，改進(jìn)后的隨機(jī)森林模型在平均MSE上降低了81.15%，在平均MAE上降低了66.86%。R2_score反映了模型擬合程度，改進(jìn)后的隨機(jī)森林模型在平均R2_score上提升了18.36%。預(yù)測時(shí)間反映了模型的速度，改進(jìn)后的隨機(jī)森林模型在平均預(yù)測時(shí)間上縮短了70.85%。

表2 改進(jìn)前后隨機(jī)森林模型的五組實(shí)驗(yàn)性能指標(biāo)

對于改進(jìn)前后的隨機(jī)森林模型，選取各自最佳的一組實(shí)驗(yàn)進(jìn)行對比，即原隨機(jī)森林模型的第二組實(shí)驗(yàn)與改進(jìn)后的隨機(jī)森林模型的第一組實(shí)驗(yàn)，兩組預(yù)測如圖4。預(yù)測結(jié)果也體現(xiàn)了基于特征重要性排序算法和LDA降維算法改進(jìn)后的隨機(jī)森林模型能夠有效降低噪聲以及誤差，減少預(yù)測時(shí)間，更適合快速水質(zhì)BOD的預(yù)測。這是由于未經(jīng)改進(jìn)的輸入模塊包含很多噪聲，冗余的特征存在多重共線性，模型會(huì)學(xué)習(xí)到無效的信息，這對模型的精度會(huì)有很大影響，采用LDA降維后的數(shù)據(jù)包含了原數(shù)據(jù)的主要信息，篩去了不必要的噪聲和冗余信息，這使得模型能夠?qū)W習(xí)得更快更準(zhǔn)確，因此改進(jìn)后的隨機(jī)森林模型對于快速BOD預(yù)測能夠達(dá)到理想的預(yù)測結(jié)果。

圖4 改進(jìn)前后的隨機(jī)森林模型最佳實(shí)驗(yàn)對比

5 結(jié)語

本文針對BOD傳統(tǒng)測量存在的問題，提出了一種基于特征重要性排序算法和LDA降維算法改進(jìn)的隨機(jī)森林模型用于BOD的快速在線軟測量，有效解決了傳統(tǒng)測量的離線采樣分析耗時(shí)長、實(shí)驗(yàn)操作復(fù)雜問題。對于隨機(jī)森林模型，經(jīng)過本文的改進(jìn)算法后，在MSE上降低了81.15%，在MAE上降低了66.86%，在R2_score上提升了18.36%，在預(yù)測時(shí)間上縮短了70.85%。改進(jìn)后的模型不僅提升了預(yù)測精度，同時(shí)能夠在秒級完成預(yù)測任務(wù)，在BOD的在線快速測量中有著很大的優(yōu)勢。