閻 鳳

(上海城投水務（集團）有限公司自來水業(yè)務受理分公司，上海 200040)

0 引言

水質預測是水環(huán)境治理的一項基礎工作，是資源環(huán)境承載能力監(jiān)測預警的重要組成部分，建立準確的水質預測模型可以為管理部門水資源保護科學決策提供重要支持。水質預測模型通常利用流域屬性數(shù)據(jù)或者各類時序數(shù)據(jù)，建立非線性關系模型或時序特征模型。傳統(tǒng)的水質預測模型主要包括時間序列模型、灰色系統(tǒng)理論模型、回歸分析模型以及神經(jīng)網(wǎng)絡模型等。雷勇等[1]采用線性回歸模型實現(xiàn)在線水質監(jiān)測系統(tǒng)的設計與實現(xiàn)。于慧等[2]采用灰色GM(1,1)模型對海河三岔口斷面的溶解氧等多項指標年度變化趨勢進行預測。周添一等[3]采用優(yōu)化的非線性有源自回歸模型（Nonlinear autoregressive with exogenous inputs,NARX）對時間序列溶解氧進行預測。時間序列模型過于強調時間因素在預測中的作用，忽視了其他水質影響因素和水質項之間的關系。Wang 等[4]利用長短期記憶網(wǎng)絡（Long short-term memory networks,LSTM）模型預測城市污水的化學需氧量。王昱文等[5]采用復合神經(jīng)網(wǎng)絡對四項水質指標進行預測。石翠翠等[6]基于水質參數(shù)與溶解氧的復雜非線性關系，采用支持向量機方法研究水質預測模型。

支持向量機（Support Vector Machine,SVM）是一種基于統(tǒng)計學習理論的機器學習算法，以解決小樣本量和非線性問題而著稱，是研究人工智能、數(shù)據(jù)分析、人臉識別等領域的一個重要方法。SVM 雖然有許多優(yōu)點，但是在處理大樣本容量等分類問題時存在不足。當訓練樣本數(shù)為N時，SVM 的時間復雜度接近N2[7]。另外，SVM 對參數(shù)的選取具有高度依賴性，核函數(shù)和懲罰因子等參數(shù)的選取將直接影響SVM 的泛化性能與分類精度，因此，SVM 參數(shù)優(yōu)化方法的研究對其發(fā)展和應用起著非常重要的意義[8]。

現(xiàn)有的SVM 參數(shù)優(yōu)化方法主要有果蠅算法、遺傳算法和粒子群優(yōu)化算法等。宋娟等[9]提出了一種集成果蠅優(yōu)化算法（Fruit Fly Optimization Algorithm,FOA）和SVM 的混合優(yōu)化策略FOA-SVM 來提高天然氣短期負荷預測的準確度。趙新等[10]提出了基于改進果蠅算法優(yōu)化SVM的模擬電路故障診斷方法。Huang等[11]利用遺傳算法（Genetic Algorithm,GA）對SVM 中的損失參數(shù)，核函數(shù)參數(shù)和損失函數(shù)epsilon 的值進行優(yōu)化，提出了GA-SVM 模型來分析氣候變化和人類活動對植被覆蓋變化的定量貢獻。Chen 等[12]提出了一種基于GA-SVM 的拉曼光譜技術，可以快速有效地篩選人乳頭瘤病毒，并通過使用遺傳算法優(yōu)化SVM 模型中的懲罰因子和核函數(shù)參數(shù)來提高模型的準確性。粒子群優(yōu)化（Particle Swarm Optimization,PSO）算法作為一種基于群體智能的隨機搜索算法，其主要特點是收斂速度快、易于實現(xiàn)?？佃◇业萚13]提出了一種基于粒子群優(yōu)化支持向量機(PSO-SVM)的局部放電模式識別方法。Liu 等[14]利用PSO-SVM 模型來預測每日PM2.5 水平，通過算法對比表明了PSO-SVM 具有最高的準確性和效率。馬鋼等[15]提出一種基于PSOSVM 模型的油氣管道內(nèi)腐蝕速率預測方法。粒子群優(yōu)化算法雖然原理簡單、易于實現(xiàn)，但是它所設置的參數(shù)過多（例如慣性因子，學習因子等）以及缺少隨機性，極易陷入局部最優(yōu)，而量子粒子群優(yōu)化（Quantum Particle Swarm Optimization,QPSO）算法取消了粒子的移動屬性，粒子位置的更新跟該粒子之前的運動沒有任何關系，所以它具有全局隨機性，搜索速度快，計算精度高的特點[16]。本文提出一種基于量子粒子群優(yōu)化的支持向量機（QPSO-SVM）算法，用于水質預測研究。

1 方法描述

1.1 支持向量機

支持向量機首先由Cortes 和Vapnik 在1995 年提出。它是一類按監(jiān)督學習方式對數(shù)據(jù)進行二分類的算法。其基本思想是在樣本空間中構造一個超平面作為決策線，將兩類不同的樣本彼此劃分開。以下是SVM算法的推導過程。

首先，在一個二分類問題過程中，給定一個N個訓練樣本構成的集合S，S={(xi,yi),i=1,2,…,N}其分類超平面的表達式為：

其中，w為超平面的法向量；b為超平面的平移距離。

SVM 欲找到具有“最大間隔”的劃分超平面，其目標函數(shù)表示為：

如果所有的訓練樣本都滿足約束條件，則說明集合S是線性可分的。

為了增加SVM 分類器對誤差的容錯性，需要在目標函數(shù)中添加松弛變量ξi和懲罰因子C，此時目標函數(shù)表示為：

當面對非線性分類問題時，SVM 算法將輸入數(shù)據(jù)映射到更高維的特征空間中來解決非線性分類問題。為了避免維數(shù)過高的問題，引入核函數(shù)k(xi,xj)，本文選用的是高斯徑向基核函數(shù)：

其中，參數(shù)б影響著從樣本空間到特征空間的映射。將目標函數(shù)引進廣義拉格朗日乘子，此時，優(yōu)化問題可以重新表示為：

其中，αi為拉格朗日系數(shù)，則最終優(yōu)化的超平面表示為：

1.2 主成分分析

主成分分析是分析多個特征間相關性的一種多元統(tǒng)計方法。它的基本思想是通過少數(shù)幾個主成分來揭示多個特征間的內(nèi)部結構，即從原始數(shù)據(jù)多個特征中降維到少數(shù)幾個特征，使它們盡可能的保留原始數(shù)據(jù)特征間的關系，且彼此間互不相關。主成分分析在人工智能、數(shù)據(jù)挖掘和圖像識別等領域發(fā)揮了重要的作用。下面是主成分分析算法的簡單推導過程。

假設樣本點xi在新空間中超平面上的投影是WTxi，若所有樣本點的投影能盡可能分開，則應該是投影后樣本點的方差最大化。投影后樣本點的協(xié)方差矩陣是，于是優(yōu)化目標可寫為：

其中，W=(w1,w2,...,wd)。

對公式⑺使用拉格朗日乘子法可得：

于是，只需對協(xié)方差矩陣XXT進行特征值分解，將求得的特征值排序：λ1≥λ2≥...≥λd，再取前d’個特征值對應的特征向量構成W*=(w1,w2,...,wd’)。

PCA算法的步驟如下。

步驟1設定初始數(shù)據(jù)集D={x1,x2,…,xm}和低維空間維數(shù)d’。

步驟2對所有樣本進行中心化處理：xi←xi-

步驟3計算樣本的協(xié)方差矩陣XXT，并對協(xié)方差矩陣XXT做特征值分解。

步驟4取最大的d’個特征值所對應的特征向量w1,w2,...,wd’。

1.3 量子粒子群優(yōu)化（QPSO）算法

1.3.1 PSO算法

PSO 算法由Kennedy 和Eberhart 在1995 年提出，它是通過模擬鳥群覓食行為而發(fā)展起來的一種基于群智能的隨機搜索算法。它的基本思想是通過群體中個體之間的協(xié)作和信息共享來尋找最優(yōu)解。

粒子群優(yōu)化算法的數(shù)學描述為：在一個n維搜索空間中，設粒子群規(guī)模為m，則第i個粒子當前的最優(yōu)位置為：

整個粒子群當前的最優(yōu)位置為：

粒子群中每個粒子的速度更新公式為：

其中，c1，c2為學習因子；w為慣性因子；rand1和rand2是均勻分布在[0,1]區(qū)間的隨機數(shù)；vi(t)為第i個粒子的速度，xi(t)為第i個粒子的位置；t代表迭代次數(shù)。

粒子群中每個粒子的位置更新公式為：

1.3.2 QPSO算法

由于PSO 算法需要設定的參數(shù)(慣性因子w，學習因子c1，c2)太多，不利于找到待優(yōu)化模型的最優(yōu)參數(shù)，而且粒子位置變化缺少隨機性，容易陷入局部最優(yōu)。針對這些問題，本文提出一種性能更高的優(yōu)化算法—量子粒子群優(yōu)化算法。QPSO 算法取消了粒子的移動方向屬性，增加了粒子變化位置的隨機性。以下是QPSO算法的計算過程。

QPSO 算法引入的新名詞mbest，它表示pbest 的平均值，即平均粒子歷史最優(yōu)位置，公式為：

其中，M為粒子群的大小。

粒子i當前的最優(yōu)位置更新公式為：

其中，Φ為(0,1)間的均勻分布數(shù)值。

每個粒子位置更新公式為：

其中，μ為(0,1)間的均勻分布數(shù)值;α為創(chuàng)新參數(shù)，一般其值不大于1。取+和-的概率為0.5。

2 基于PCA和QPSO優(yōu)化SVM參數(shù)

當一個數(shù)據(jù)集的特征屬性過多時，會影響SVM 模型預測的準確度及計算速度，因此首先對數(shù)據(jù)集進行降維處理，利用PCA 算法將數(shù)據(jù)集降到低維再進行數(shù)據(jù)分析。其次，SVM 的分類效果對RBF 核函數(shù)б和懲罰因子C的選取有著極高的依賴性，因此本文通過QPSO 算法優(yōu)化SVM 模型中的懲罰因子C和RBF 核函數(shù)б。最后將最優(yōu)參數(shù)帶入到SVM模型中進行分類預測。PCA 和QPSO 優(yōu)化SVM 參數(shù)過程如圖1 所示，具體步驟如下。

圖1 PCA和QPSO優(yōu)化SVM參數(shù)

步驟1給定初始數(shù)據(jù)集Q，確定QPSO 初始參數(shù)，如粒子群的數(shù)量，參數(shù)的取值范圍，α值等。

步驟2利用PCA 算法將數(shù)據(jù)集Q 進行降維處理得到數(shù)據(jù)集Q’，如果數(shù)據(jù)集的數(shù)量級相差較大，需進行標準化處理。

步驟3設定適應度函數(shù)。本文設置的適應度函數(shù)為粒子在5-fold 交叉驗證（Cross Validation,CV）下的分類精度。將數(shù)據(jù)集Q’作為QPSO 算法的輸入，通過當前例子的位置向量，訓練SVM 模型，并計算適應度值，更新每個粒子的最優(yōu)值pbest 和全局最優(yōu)值gbest。

步驟4計算粒子群中值最優(yōu)位置mbest，更新每個粒子的新位置。

步驟5判斷結束條件。當尋優(yōu)達到最大迭代次數(shù)時，則尋優(yōu)結束；否則轉至步驟3，繼續(xù)尋優(yōu)。

步驟6將得到的粒子最優(yōu)位置，即最優(yōu)參數(shù)(C，б)賦給SVM，并進行分類預測。

3 仿真結果與分析

3.1 數(shù)據(jù)的收集和編碼

本研究數(shù)據(jù)來源國家地表水水質自動監(jiān)測實時數(shù)據(jù)發(fā)布系統(tǒng)，上海各區(qū)斷面水質數(shù)據(jù)。分類的目標是預測未來斷面水質類別。數(shù)據(jù)集包括九個屬性。每一個屬性都是國控水站水質評價指標。這些屬性包括水溫、pH、溶解氧、電導率、濁度、高錳酸鉀鹽指數(shù)、氨氮、總磷、總氮共九項檢測指標。為便于表示，用A1～A9 代替，原始數(shù)據(jù)集如表1 所示。通過對數(shù)據(jù)集九個特征屬性分析，利用PCA 算法對數(shù)據(jù)集降維，將降維后的數(shù)據(jù)集帶入到QPSO-SVM 模型中進行預測。以上的所有編程環(huán)境均在Pycharm2019 中實現(xiàn)。為了更加直觀地看出每個特征的分布情況，我們通過直方圖進行展示，如圖2所示。

表1 原始數(shù)據(jù)集

圖2 數(shù)據(jù)集特征直方圖

從圖2 中可以看出，特征A1 至A9 的分布都比較分散，說明該九個特征對于模型的分類效果都有影響，分類效果明顯。

3.2 PCA算法的數(shù)據(jù)降維

接下來，利用PCA 算法對表2 的數(shù)據(jù)進行降維處理。由于數(shù)據(jù)樣本的屬性值范圍差距較大，首先需要對數(shù)據(jù)集進行StandardScaler 處理。在PCA 算法中，本文設置的參數(shù)為n_components=2。通過運算，得出PCA 降維后的數(shù)據(jù)如表2 所示，其中，X1，X2為主成分分析降維后的二個主成分元素。

表2 PCA降維后數(shù)據(jù)

為了能夠更加清楚、直觀地觀察數(shù)據(jù)經(jīng)過PCA降維后的分布情況，下面對17組數(shù)據(jù)樣本進行可視化處理。以X1為x 軸，X2為y 軸，建立二維直角坐標系，建立后的直角坐標系如圖3 所示。（選取了17 個樣本，從九維特征降維至二維特征可視化如：）

圖3 PCA降維后的數(shù)據(jù)集分布情況

為了能夠數(shù)據(jù)的可視化，通過PCA 算法將原始的九個屬性特征降維至二個屬性特征，從而減少了七個屬性特征。為了驗證該二維特征與原始九維特征的替代情況，通過關系熱度圖直觀地顯示出原始特征與PCA主成分之間的關系，如圖4所示。

圖4 主成分與各特征值之間的關系熱度圖

在圖4 中，顏色由深至淺代表一個從-0.4～1.0 的數(shù)值，如果某個特征對應的數(shù)值是正值時，說明它和主成分之間是正相關的，如果為負值則相反。從圖4中可以看出，X1對應的A2，A3 的相關系數(shù)極低，X2對應的A1，A5 的相關系數(shù)極低。這說明，經(jīng)過PCA 算法降維后得到的X1，X2替代效果是較好的。

3.3 多分類QPSO-SVM模型的構建及參數(shù)設定

首先，將PCA 算法得到的二維數(shù)據(jù)集作為多分類SVM 模型的數(shù)據(jù)集，高斯RBF函數(shù)作為內(nèi)核函數(shù)。然后，結合QPSO 算法并進行3-fold CV 的參數(shù)尋優(yōu)，找出最優(yōu)參數(shù)對（C，б）來運行多分類SVM 模型。在QPSO算法中，通過每一次迭代得出一個參數(shù)對（C，б），反復迭代到最大的迭代次數(shù)輸出最優(yōu)的參數(shù)對（C，б）。QPSO算法的具體參數(shù)設置如表3所示。

表3 QPSO算法參數(shù)設定

通過QPSO 算法參數(shù)值的設定計算出最優(yōu)的參數(shù)對（C,б），然后將其作為多分類SVM 模型的參數(shù)設定值進行預測分析。

3.4 QPSO-SVM模型的求解

為了評估訓練模型的性能，使用分類精度作為度量。QPSO-SVM 通過迭代得出的5-fold CV 下的分類精度過程如圖5所示。

圖5 QPSO-SVM參數(shù)尋優(yōu)

通過QPSO-SVM 算法得出，當?shù)螖?shù)到第2 次的時候，分類精度（即85.09%）達到最高，此時得出最優(yōu)參數(shù)值C=3.91619，б=0.0001。將最優(yōu)的參數(shù)帶入多分類SVM 模型中，并用697 個測試集樣本驗證該模型的分類精度，得出預測精度為87.37%。

為了對比所提方法的優(yōu)越性，本文將QPSO-SVM模型與PSO-SVM 和SVM模型進行對比，如表4所示。

表4 模型的精度對比

從表4 可看出，QPSO-SVM 的訓練識別率和測試識別率都高于PSO-SVM 和SVM 模型，QPSO-SVM模型訓練樣本的識別率達到了85.09%，測試樣本的識別率達到了87.37%，均方誤差也低于其他算法。綜上可看出QPSO-SVM 模型有更好的分類精度，也說明了該模型的優(yōu)越性。

4 結束語

本文研究基于支持向量機的水質預測模型。SVM 對于內(nèi)部參數(shù)具有高度依賴性，針對SVM 參數(shù)尋優(yōu)問題，本文提出了PCA-QPSO 算法優(yōu)化SVM 參數(shù)對（核函數(shù)б、懲罰因子C）。首先通過PCA 算法對原始數(shù)據(jù)集進行降維處理，然后利用QPSO 算法優(yōu)化SVM 中的懲罰因子C和核函數(shù)б，將得到的最優(yōu)參數(shù)對帶入到多分類SVM 模型中，用測試集來對模型進行測試。最后，本文以上海各區(qū)斷面水質數(shù)據(jù)預測進行驗證。結果表明，PCA-QPSO-SVM 模型的訓練精度和測試精度均高于PSO-SVM 和SVM模型。