周希杰，田博文，鄭宏飛，張 昱

（1.阜陽師范大學(xué)，安徽 阜陽 236041；2.徽商銀行股份有限公司亳州分行，安徽 亳州 236800；3.安徽職業(yè)技術(shù)學(xué)院，安徽 合肥 230011）

1 數(shù)據(jù)預(yù)處理

模型的成功率取決于數(shù)據(jù)質(zhì)量和數(shù)量，由于受到可靠性和人為因素的影響，采樣人員采集的數(shù)據(jù)會存在異常等情況，如果直接用這些數(shù)據(jù)來預(yù)測會導(dǎo)致模型的成功率下降，而且輸入變量眾多且相互影響，所以必須對樣本數(shù)據(jù)進(jìn)行預(yù)處理，對原始數(shù)據(jù)做異常值剔除、歸一化和缺失值處理等［1］。

1.1 異常值處理

如果直接波動較大的數(shù)據(jù)進(jìn)行預(yù)測，將會導(dǎo)致預(yù)測成功率的下降，甚至預(yù)測結(jié)果完全偏離實(shí)際值，所以要剔除異常值，剔除方法采用的是拉依達(dá)準(zhǔn)則，即3σ準(zhǔn)則：當(dāng)偏差大于3σ的時(shí)候，該數(shù)據(jù)為異常值，需要被及時(shí)剔除，σ的計(jì)算公式為：

當(dāng)偏差大于3σ時(shí)，該數(shù)據(jù)為異常值，異常值的判斷準(zhǔn)則如下：

因此，正常數(shù)據(jù)的范圍為xi＞3σ+x和xi＜x-3σ，剔除完剩下的即為正常值。

1.2 缺失值處理

為了滿足數(shù)據(jù)的完整性，技術(shù)人員需填補(bǔ)缺失數(shù)據(jù)。常用的缺失值填充方法有隨機(jī)填補(bǔ)、均值法、中位數(shù)法、眾數(shù)法等數(shù)據(jù)填充，也有K-最近鄰法、回歸預(yù)測法、期望值最大法等建模數(shù)據(jù)填充方法。我們對數(shù)據(jù)進(jìn)行了初步統(tǒng)計(jì)，部分特征變量的數(shù)據(jù)存在較多缺失值，數(shù)據(jù)缺失和在上述異常數(shù)據(jù)處理時(shí)剔除掉一些數(shù)據(jù)。數(shù)據(jù)缺失值的處理如下：ptc_15d：具有30 000個以上的缺失值，對缺失值樣本數(shù)據(jù)進(jìn)行剔除；detect_prop_15d：具有18 000個以上的缺失值，對缺失值樣本數(shù)據(jù)進(jìn)行剔除。

1.3 歸一化處理

數(shù)據(jù)存在不同的量綱單位，因此數(shù)據(jù)大小差別非常大，數(shù)據(jù)范圍也不相同。差異較大會增大某些變量對預(yù)測結(jié)果的影響，同時(shí)會減弱某些變量對預(yù)報(bào)模型的影響，所以需要對剔除異常值后的數(shù)據(jù)進(jìn)行歸一化。將所有數(shù)據(jù)都轉(zhuǎn)化為［0,1］之間的數(shù)，可以消除因數(shù)據(jù)大小不一而造成的偏差，最后對模型計(jì)算結(jié)果進(jìn)行反歸一化還原。數(shù)據(jù)的歸一化有很多方法，本文采用最大最小法進(jìn)行歸一化處理，對數(shù)據(jù)進(jìn)行歸一化處理的公式如下：

2 模型的建立

2.1 基于強(qiáng)化學(xué)習(xí)的特征選擇模型（RLFS）

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個領(lǐng)域，其基本思想是從環(huán)境中得到反饋而學(xué)習(xí)，即所謂的試錯學(xué)習(xí)方法。在學(xué)習(xí)過程中，智能體Agent不斷地嘗試進(jìn)行選擇，并根據(jù)環(huán)境的反饋調(diào)整動作的評價(jià)值。研究發(fā)現(xiàn)傳統(tǒng)特征選擇算法存在著不足，或是選擇的特征子集在進(jìn)行分類任務(wù)時(shí)準(zhǔn)確率較低，或是選擇的特征子集規(guī)模較大。因此本文結(jié)合強(qiáng)化學(xué)習(xí)的決策能力和Wrapper特征選擇方法，提出了一種基于強(qiáng)化學(xué)習(xí)的特征選擇方法（Reinforcement Learning for Feature Selection,RLFS），將強(qiáng)化學(xué)習(xí)的學(xué)習(xí)和決策能力應(yīng)用于特征選擇過程中，通過訓(xùn)練學(xué)習(xí)得到特征子集，最后通過仿真實(shí)驗(yàn)證明了RLFS方法具有良好的降維能力，并有較高的預(yù)測準(zhǔn)確率，實(shí)現(xiàn)思路見圖1。

圖1 RLFS算法示意圖

步驟A到E所代表的處理過程如下：A）數(shù)據(jù)預(yù)處理，包括對原始數(shù)據(jù)集進(jìn)行歸一化和離散化處理，得到訓(xùn)練數(shù)據(jù)。B）計(jì)算每個特征的信息嫡和信息嫡均值，并將特征信息嫡高于信息嫡均值的特征記錄在信息嫡表中。C）計(jì)算每兩個特征Pearson相關(guān)系數(shù)以及Pearson相關(guān)系數(shù)的均值，將高于Pearson相關(guān)系數(shù)均值的特征對記錄在Pearson 表中。Pearson相關(guān)系數(shù)反映了兩個變量間的線性相關(guān)程度，是一種線性相關(guān)系數(shù)。假設(shè)，X,Y為隨機(jī)變量，兩個隨機(jī)變量的Pearson相關(guān)系數(shù)定義如下:

其中，，分別為X，Y的均值，px，y的取值在［-1,1］之間，該值反映了兩個變量線性相關(guān)性的強(qiáng)弱程度，其絕對值越大說明相關(guān)性越強(qiáng)。當(dāng)其取值-1或1時(shí)，表示兩個變量完全相關(guān)，取值為0時(shí)，表明兩個變量不是線性相關(guān)，但可能存在其他方式的相關(guān)性。當(dāng)兩個特征的Pearson相關(guān)系數(shù)絕對值較大時(shí)，兩特征中有冗余特征的可能性也較大。在特征選擇過程中計(jì)算特征間的Pearson相關(guān)系數(shù)，剔除特征空間中相關(guān)系數(shù)較大的一對特征中的一個特征，盡量減少冗余特征。D）此步驟為Q學(xué)習(xí)算法中Agent進(jìn)行迭代訓(xùn)練學(xué)習(xí)并逐步進(jìn)行決策的核心過程。將訓(xùn)練數(shù)據(jù)和Pearson表以及信息嫡表代入Agent,Agent根據(jù)添加和刪除特征的動作所帶來的不同收益作出決策。E）當(dāng)Agent訓(xùn)練學(xué)習(xí)完成后輸出Q表，通過對Q表的分析得到經(jīng)過RLFS算法選擇后的特征子集。經(jīng)過Python編程計(jì)算可以得出指標(biāo)的評分如圖2所示。

圖2 重要特征得分

由圖2可得出，影響國內(nèi)污水監(jiān)測采樣點(diǎn)分布（得分大于1 000）的特征wwtp_id和population_served 2個特征，其中wwtp_id和population_served得分較高，是最重要的特征，其對各地區(qū)采樣點(diǎn)總數(shù)影響較大。由于wwtp_id和各地區(qū)采樣點(diǎn)總數(shù)基本類似，我們使用population_served進(jìn)行分析。

2.2 污水監(jiān)測采樣點(diǎn)綜合評價(jià)模型

為增加10個污水監(jiān)測采樣點(diǎn)，需要選擇最合理的位置設(shè)置污水監(jiān)測采樣點(diǎn)，并通過對已有采樣點(diǎn)進(jìn)行評價(jià)，構(gòu)建污水監(jiān)測采樣點(diǎn)綜合評價(jià)模型，評分越高，說明該地區(qū)污水監(jiān)測采樣點(diǎn)對污水的監(jiān)控不足，更需要增加，評價(jià)公式為：

其中Q代表缺陷程度得分，Sum代表wwtp_id計(jì)數(shù)值，Average代表population_served平均值。

3 模型的求解

3.1 正態(tài)性檢驗(yàn)

通過繪制平均的population_served數(shù)據(jù)的QQ圖，鑒別樣本數(shù)據(jù)是否接近于正態(tài)分布。

圖3 Q-Q圖

觀察Q-Q圖發(fā)現(xiàn)大部分樣本點(diǎn)近似地分布在一條直線附近，因此可以判斷樣本數(shù)據(jù)近似于正態(tài)分布。

3.2 Pearson相關(guān)系數(shù)計(jì)算

wwtp_id升序排列，部分計(jì)算數(shù)據(jù)見表1。

表1 Pearson相關(guān)系數(shù)數(shù)據(jù)

我們通過Matlab進(jìn)行編程，得出wwtp_id與population_served 的相關(guān)系數(shù)為0.742，說明污水監(jiān)測采樣點(diǎn)分布的合理性不高。

3.3 污水監(jiān)測采樣點(diǎn)綜合評價(jià)模型

通過計(jì)算得出污水監(jiān)測采樣點(diǎn)綜合評價(jià)得分，wwtp_id升序排列，部分?jǐn)?shù)據(jù)見表2。

表2 缺陷評價(jià)得分

然后對評價(jià)得分進(jìn)行降序排列，結(jié)果如圖4所示。

圖4 污水監(jiān)測采樣點(diǎn)綜合評價(jià)得分（得分降序排列）

挑選得分排名前十的作為污水監(jiān)測需要增加的十個采樣點(diǎn)，詳見表3。

表3 增加的十個采樣點(diǎn)

4 結(jié)果結(jié)論

（1）首先對數(shù)據(jù)進(jìn)行缺陷值、異常值以及歸一化等數(shù)據(jù)預(yù)處理，其次通過基于強(qiáng)化學(xué)習(xí)的特征選擇模型（RLFS），對特征進(jìn)行篩選，最后通過計(jì)算特征與污水監(jiān)測采樣點(diǎn)的Pearson相關(guān)系數(shù)，得出wwtp_id與population_served的相關(guān)系數(shù)為 0.742，說明污水監(jiān)測采樣點(diǎn)的分布合理性不高。

（2）通過污水監(jiān)測采樣點(diǎn)綜合評價(jià)對污水監(jiān)測采樣點(diǎn)進(jìn)行評價(jià)，篩選出wwtp_id分別為 783、486、848、784、836、640、509、781、549和811的重要區(qū)域增加10個采樣點(diǎn)。