孫夢(mèng)覺，田 園，湯 呂，李 珗

（1.云南電網(wǎng)有限責(zé)任公司信息中心，昆明 650000；2.昆明云電同方有限責(zé)任公司，昆明 650000）

電網(wǎng)智能化處理用戶數(shù)據(jù)的相關(guān)應(yīng)用正在國內(nèi)快速發(fā)展，基于電網(wǎng)數(shù)據(jù)的回歸分析和分類模型的相關(guān)研究已趨于成熟化。但常用的電網(wǎng)數(shù)據(jù)分類算法是基于經(jīng)典統(tǒng)計(jì)學(xué)算法，導(dǎo)致分類模型中，模型結(jié)果更多的是偏向電網(wǎng)用戶中的數(shù)據(jù)離群樣本，因此影響了整體預(yù)測(cè)分析的精確度。同時(shí)，常見的統(tǒng)計(jì)學(xué)算法在面對(duì)不止含有單一維度數(shù)據(jù)的多維數(shù)據(jù)時(shí)，不能有效提取并處理多維數(shù)據(jù)集的樣本特征，因此，為了解決上述此類問題，國內(nèi)外的研究者們提出了許多基于機(jī)器學(xué)習(xí)的回歸和分類算法[1]。例如，Xiao 等[2]提出了非均衡數(shù)據(jù)集分類算法，通過評(píng)估參數(shù)篩選出數(shù)據(jù)集中少數(shù)類樣本的特征屬性，從而實(shí)現(xiàn)優(yōu)化分類器精確度的目的。而張明等[3]提出了采用混合采樣的分類算法，通過對(duì)少數(shù)類在稀疏域使用過采樣方法，多數(shù)類在密集域使用欠采樣方法，然后對(duì)二者平衡后的數(shù)據(jù)集使用由決策樹組成的分類器進(jìn)行分類，從而得出更加精確的分類結(jié)果。陶新民等[4]則是將逐級(jí)優(yōu)化遞減欠采樣和邊界人工少數(shù)類過采樣算法進(jìn)行有效結(jié)合。首先，對(duì)樣本類進(jìn)行降采樣，然后選擇邊界樣本進(jìn)行升采樣，該步驟的目的在于去除噪聲的干擾，從而保留有效的數(shù)據(jù)。Moayedikia 等[5]則提出了高維數(shù)據(jù)特征選擇分類算法，在高維非均衡數(shù)據(jù)集中衡量分類標(biāo)簽相關(guān)特征下，通過選取相關(guān)度最高的一組使分類效果達(dá)到最佳。接著，Ando 等[6]提出一種深度過采樣框架下非均衡數(shù)據(jù)分類算法，通過深度特征模型對(duì)少數(shù)類進(jìn)行重采樣，從而有效地改善數(shù)據(jù)類別之間的不平衡性。但是，分類模型并不適應(yīng)于一些極端不平衡的數(shù)據(jù)樣本，因此，如何對(duì)數(shù)據(jù)集中最具有特征的樣本進(jìn)行挖掘，成為了特征工程中一個(gè)代表性問題，對(duì)此研究者們提出了一些更優(yōu)異的算法。例如，Chung 等[7]將代價(jià)敏感策略引入深度學(xué)習(xí)的分類算法中，通過在深度學(xué)習(xí)模型的損失函數(shù)中加入代價(jià)因子，從而減少了對(duì)樣本的錯(cuò)誤分類。Ng 等[8]則提出了雙重自動(dòng)編碼器的非均衡數(shù)據(jù)分類算法，由2 種激活函數(shù)分別計(jì)算得到對(duì)應(yīng)的自編碼網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)集中多數(shù)類和少數(shù)類樣本的學(xué)習(xí)訓(xùn)練，提取分類特征。隨后，Khan 等[9]提出了基于數(shù)據(jù)特征學(xué)習(xí)的分類算法，通過優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型中的特征學(xué)習(xí)過程，使數(shù)據(jù)特征對(duì)數(shù)據(jù)集分類具有了更高的判別性。Douzas 等[10]提出了基于生成對(duì)抗網(wǎng)絡(luò)的非均衡數(shù)據(jù)分類算法，生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練出少數(shù)類樣本，通過這樣的少數(shù)類樣本讓深度學(xué)習(xí)分類器模型得到分類的特征表達(dá)，從而去改善數(shù)據(jù)集中少數(shù)類樣本的識(shí)別率。張文東等[11]提出了基于改進(jìn)反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)的非均衡分類算法，通過在模型隱含層之間加入一種特征損失層，即可去除冗余的數(shù)據(jù)特征，降低數(shù)據(jù)集的非均衡性。

上述列舉的研究成果對(duì)于電網(wǎng)小樣本數(shù)據(jù)集的分類結(jié)果有明顯改善，但對(duì)于大數(shù)樣本則效果一般。文獻(xiàn)[12]中指出，在數(shù)據(jù)分類處理過程中多維數(shù)據(jù)特征選擇存在信息丟失，類別之間錯(cuò)分代價(jià)不同，導(dǎo)致分類結(jié)果魯棒性較差。而文獻(xiàn)[13]研究說明神經(jīng)網(wǎng)絡(luò)能夠不斷地訓(xùn)練特征響應(yīng)，從而得到表達(dá)能力強(qiáng)的抽象特征，在抽象特征中提取數(shù)據(jù)特征后保留有效信息，上述二者研究證明了神經(jīng)網(wǎng)絡(luò)相關(guān)方法在多維數(shù)據(jù)特征工程領(lǐng)域的優(yōu)越性。

而本文對(duì)多維度樣本數(shù)據(jù)集回歸分析是結(jié)合文獻(xiàn)[14]中提出的分類和回歸相融合的方法，首先將數(shù)據(jù)集樣本采用K-means 分類器算法進(jìn)行特征維度抽象并聚類，得到數(shù)據(jù)特征集合，在數(shù)據(jù)集合中，遴選聚類中心進(jìn)行迭代劃分，之后按照劃分結(jié)果計(jì)算RNN 神經(jīng)網(wǎng)絡(luò)模型中隱含層的權(quán)重系數(shù)，根據(jù)訓(xùn)練好的分類器通過樣本數(shù)據(jù)輸出相應(yīng)分區(qū)的聚類結(jié)果，從而獲取分區(qū)后的樣本特征點(diǎn)。通過K-means 方法將多維數(shù)據(jù)降維到二維數(shù)據(jù)并求取其聚類超參數(shù)，從而構(gòu)建RNN 神經(jīng)網(wǎng)絡(luò)迭代特征學(xué)習(xí)模型。本文在一定程度上平滑多維數(shù)據(jù)樣本中少數(shù)樣本離群點(diǎn)對(duì)整體模型精確度的影響，提高整體回歸分析模型的準(zhǔn)確性，以求改善大數(shù)據(jù)集的分類結(jié)果。

1 RNN 神經(jīng)網(wǎng)絡(luò)算法

RNN 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練由網(wǎng)絡(luò)輸入層和前向輸入層序列數(shù)據(jù)的記憶網(wǎng)絡(luò)共同組成[15-16]。首先在輸入層中，假設(shè)在N個(gè)數(shù)據(jù)樣本的集合中，數(shù)據(jù)集合序列{（xi，yi）|x∈Rm，y∈Rn，i=1，2，…，N} 為離散時(shí)間序列，Rm表示輸入層有m個(gè)神經(jīng)元，Rn表示輸出層有n個(gè)神經(jīng)元。RNN 神經(jīng)網(wǎng)絡(luò)完成了訓(xùn)練樣本從輸入到輸出的高維非線性映射f：Rm→Rn，再由檢測(cè)樣本來檢驗(yàn)網(wǎng)絡(luò)的泛化能力。該過程的映射關(guān)系表示為

式中：wij表示記憶網(wǎng)絡(luò)的權(quán)重系數(shù)；ηj表示在輸入層中，此刻輸入層網(wǎng)絡(luò)神經(jīng)元的權(quán)重?cái)?shù)據(jù)；zjt表示在隱含層中，隱含層網(wǎng)絡(luò)的權(quán)重系數(shù)；rt表示在隱含層中，加入的偏置參量；xi（t-1）表示t-1 時(shí)刻的網(wǎng)絡(luò)數(shù)據(jù)；xi（t）表示t時(shí)刻的網(wǎng)絡(luò)數(shù)據(jù)。在第t=1 個(gè)時(shí)刻會(huì)進(jìn)行網(wǎng)絡(luò)的初始化。其中f[*]和xi（t）中包含了激活函數(shù)，文章中f[*]激活函數(shù)采用了sigmoid 函數(shù)，xi（t）則采用了softmax函數(shù)。

鑒于網(wǎng)絡(luò)在一次迭代過程中，無法得到準(zhǔn)確的輸出結(jié)果。因此，需要依靠時(shí)間反向傳播（Back-propagation Through Time，BPTT）的過程，將誤差信號(hào)從輸出層流入各中間層，逐層不斷修改隱含層的神經(jīng)元權(quán)重值。在網(wǎng)絡(luò)的迭代過程中，網(wǎng)絡(luò)本身的全局誤差會(huì)不斷向最優(yōu)值趨近，以此優(yōu)化算法分類的有效性。其中隱含層權(quán)值的變化為

通過累計(jì)誤差方法去不斷調(diào)整RNN 算法網(wǎng)絡(luò)中記憶網(wǎng)絡(luò)的權(quán)值wij，使全局誤差E進(jìn)一步優(yōu)化，即

式中：λ 為網(wǎng)絡(luò)的學(xué)習(xí)率，對(duì)于p個(gè)輸入的數(shù)據(jù)樣本，采用x1，x2，…，xp來表示，第p個(gè)樣本輸入到RNN 神經(jīng)網(wǎng)絡(luò)后得到輸出ypk，通過平方型誤差函數(shù)或者交叉熵?fù)p失函數(shù)得到第p個(gè)樣本的誤差Ep

式中：tpk為p數(shù)據(jù)樣本在第k個(gè)輸出層的期望輸出。神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)圖如圖1 所示。

圖1 神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)圖

2 K-means 的RNN 神經(jīng)網(wǎng)絡(luò)趨勢(shì)預(yù)測(cè)模型

當(dāng)前，常見的回歸算法是通過特征選擇、降維[17-18]等數(shù)據(jù)預(yù)處理過程減少迭代過程中產(chǎn)生的經(jīng)驗(yàn)誤差，但該過程降低了數(shù)據(jù)內(nèi)部的有效特征信息量，影響了后續(xù)組合模型的性能。

本文算法首先根據(jù)訓(xùn)練樣本建立RNN 多層神經(jīng)網(wǎng)絡(luò)初始化模型，再使用K-means 方法管理RNN 神經(jīng)網(wǎng)絡(luò)的輸入層，計(jì)算多個(gè)輸入層數(shù)據(jù)的維度屬性價(jià)值量用來調(diào)整權(quán)重參數(shù)，使輸出層得到隱含層中迭代加權(quán)后的最佳響應(yīng)值。然后，以最佳響應(yīng)值對(duì)應(yīng)的樣本聚類特征點(diǎn)計(jì)算同類樣本中最大信息維度，在輸出層神經(jīng)元構(gòu)建含有數(shù)據(jù)特征信息的預(yù)測(cè)模型。最后，在組合模型的輸出層調(diào)整樣本集遍歷后的數(shù)據(jù)測(cè)試結(jié)果，對(duì)照測(cè)試集并通過MSE和MAE函數(shù)來驗(yàn)證準(zhǔn)確率。

2.1 K-means 聚類模型的構(gòu)建

本文首先通過聚類方法對(duì)輸入層的多維數(shù)據(jù)進(jìn)行權(quán)重融合，在數(shù)據(jù)維度信息價(jià)值分布不平衡時(shí)，有效地處理多維度數(shù)據(jù)。從而避免了類間信息價(jià)值差異大的部分樣本出現(xiàn)影響預(yù)測(cè)結(jié)果的問題。然后，使用K-means聚類方法中平滑更新的方式來保持模型可靠性。由于神經(jīng)網(wǎng)絡(luò)共享了多個(gè)隱含層中的所有參數(shù)，因此節(jié)省了存儲(chǔ)空間并避免了網(wǎng)絡(luò)冗余。最后通過判斷最大響應(yīng)值來對(duì)少數(shù)類樣本分類，避免了數(shù)據(jù)的過擬合[19-20]。

根據(jù)K-means 分類器方法把二維數(shù)據(jù)的結(jié)構(gòu)抽象為T={V，S}，T集合中S和V 參數(shù)表示維度特征，νi，Sk之間的距離表示2 個(gè)特征之間的關(guān)系，則T集合中的特征關(guān)系通過歐拉公式的長度定義為

式中：T集合中用來訓(xùn)練數(shù)據(jù)點(diǎn)樣本集合，k表示數(shù)據(jù)集合中的聚類個(gè)數(shù)，分類的特征結(jié)果由模型分類器輸入，φu（*）表示特征數(shù)據(jù)在二維空間上的分布，根據(jù)數(shù)據(jù)中的不同聚類中心劃分聚類邊界，計(jì)算聚類模型的分布函數(shù)H（νi，sk）

式中：zjt為特征數(shù)據(jù)在第t次迭代上的權(quán)重系數(shù)，本文通過少數(shù)類的可靠度自適應(yīng)函數(shù)得到權(quán)重值，公式（2）修改為

式中：ανt表示數(shù)據(jù)點(diǎn)中隱含層分?jǐn)?shù)的最大值，但忽略了可靠性問題，如果分類區(qū)間劃分不佳，則會(huì)對(duì)后續(xù)預(yù)測(cè)結(jié)果造成很大的影響，所以需要沿著迭代過程更新超參數(shù)，計(jì)算各聚類結(jié)果的可靠度，其中每次迭代的可靠度用βν表示，公式如下

2.2 改進(jìn)的RNN 神經(jīng)網(wǎng)絡(luò)模型

本文改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法將2.1 節(jié)得到訓(xùn)練樣本集合中的最大響應(yīng)值對(duì)應(yīng)的數(shù)據(jù)點(diǎn)，作為代表性較強(qiáng)的樣本特征點(diǎn)，然后在輸出層構(gòu)建回歸預(yù)測(cè)模型。本文提取序列特征再進(jìn)行K-means 聚類計(jì)算，得到了數(shù)據(jù)樣本特征集合。該過程是算法中區(qū)分特征顯著性的關(guān)鍵步驟[21-23]。

假設(shè)訓(xùn)練樣本響應(yīng)后集合為：Φ={（xi，yi），1≤i≤c}，其中c為訓(xùn)練后數(shù)據(jù)樣本的類別數(shù)，xi為第i類的訓(xùn)練樣本特征點(diǎn)，yi為其輸出的參數(shù)，τi為第i類樣本的特征點(diǎn)總數(shù)。

其中正數(shù)ri為樣本特征點(diǎn)xi到異類樣本的歐式距離，然后定義一個(gè)以xi為中心ri為半徑的區(qū)域，顯然在半徑以外的數(shù)據(jù)點(diǎn)對(duì)RNN 網(wǎng)絡(luò)迭代幾乎沒有影響，而半徑內(nèi)有較多相同類別的樣本特征點(diǎn)。此外依照數(shù)據(jù)樣本中特征最顯著的樣本，以此構(gòu)建網(wǎng)絡(luò)中神經(jīng)元的數(shù)量，如式（9）

式中：Φ（x1，x2，…，xn）為輸入的數(shù)據(jù)集合，θ 為網(wǎng)絡(luò)中用于數(shù)據(jù)平滑的閾值，f（*）為神經(jīng)元中的激勵(lì)函數(shù)，通過RNN網(wǎng)絡(luò)中神經(jīng)元的運(yùn)算規(guī)則可以得到對(duì)應(yīng)的低維數(shù)據(jù)超平面方程

式中：wi為輸出層神經(jīng)元的權(quán)值，而表示為數(shù)據(jù)樣本集中第i個(gè)數(shù)據(jù)點(diǎn)離超平面的距離，當(dāng)該點(diǎn)位于此超平面內(nèi)，則數(shù)據(jù)輸出為0，否則為1。因此，對(duì)于高維數(shù)據(jù)的處理神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型可以表示為

該神經(jīng)元相當(dāng)于在樣本集中以核心W=（w1，w2，…，wn）為球心，以θ 為半徑作一個(gè)超球面，當(dāng)數(shù)據(jù)點(diǎn)在此球面內(nèi)則輸出為0，否則為1。

根據(jù)最優(yōu)化K-means 聚類值構(gòu)建的RNN 網(wǎng)絡(luò)的數(shù)據(jù)回歸分析模型，避免了模型向少數(shù)特異類樣本的傾斜。然而RNN 神經(jīng)網(wǎng)絡(luò)輸出層的分析結(jié)果，是經(jīng)過相對(duì)多數(shù)遴選生成，沒有考慮樣本上的泛化誤差。因此本文對(duì)RNN網(wǎng)絡(luò)輸出層進(jìn)行必要的調(diào)整，來提高整體模型的性能。

數(shù)據(jù)分類任務(wù)是利用N個(gè)神經(jīng)網(wǎng)絡(luò)組成的集合，對(duì)參數(shù)f：Rm→Rn進(jìn)行近似，其中參數(shù)Rn為網(wǎng)絡(luò)輸出，假設(shè)N個(gè)樣本的期望輸出為D＝[d1，d2，…，dN]，其中dj為第j個(gè)樣本的期望輸出，第i個(gè)神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出為fi=[fi1，fi2，…，fiN]，其中fiN表示第i個(gè)神經(jīng)網(wǎng)絡(luò)在第N個(gè)樣本上的實(shí)際輸出。于是通過D和fi可知，第i個(gè)神經(jīng)網(wǎng)絡(luò)在這N個(gè)樣本上泛化誤差為

式中，對(duì)于誤差公式定義為

若集成在第j個(gè)樣本上的實(shí)際輸出為，則集成在N個(gè)樣本上的泛化誤差為

根據(jù)泛化誤差調(diào)整輸出層的預(yù)測(cè)結(jié)果，能有效提高預(yù)測(cè)模型的準(zhǔn)確性。

2.3 算法流程

Step1：根據(jù)公式（5）構(gòu)建K-means 聚類的輸入層邊界。

Step2：計(jì)算數(shù)據(jù)樣本的迭代模式，自適應(yīng)各次迭代的權(quán)重值，建立訓(xùn)練迭代后的聚類應(yīng)的特征點(diǎn)xi，確定其分類，得到最優(yōu)化聚類的輸出結(jié)果。

Step4：直到對(duì)剩余數(shù)據(jù)點(diǎn)尋找到同類的聚類區(qū)間，最后聚類結(jié)果的聚類中心對(duì)應(yīng)于本文算法分類器中輸入層的神經(jīng)元權(quán)重結(jié)果。

Step5：對(duì)輸出層計(jì)算樣本的泛化誤差，調(diào)整回歸分析結(jié)果輸出。算法流程圖如圖2 所示。

圖2 算法流程圖

3 實(shí)驗(yàn)結(jié)果

3.1 評(píng)價(jià)指標(biāo)

損失函數(shù)定義為評(píng)價(jià)預(yù)測(cè)結(jié)果與測(cè)量值的誤差指標(biāo)，本文指標(biāo)依照文獻(xiàn)[24-25]，取MSE和MAE為模型預(yù)測(cè)和測(cè)量值偏差的指標(biāo)，準(zhǔn)確率評(píng)價(jià)指標(biāo)MSE和MAE表示為

式中：MSE當(dāng)測(cè)試集和比較集的預(yù)測(cè)準(zhǔn)確率都很高時(shí)，MSE的評(píng)價(jià)值較小。MAE的值較低時(shí)表示回歸預(yù)測(cè)模型的精確值比較高，算法的可靠性較好。

3.2 UCI 回歸分析數(shù)據(jù)集

表1 列舉了本文在UCI 數(shù)據(jù)集上選取的3 個(gè)摩洛哥得土安市（Tetuan，Morocco）耗電量部分?jǐn)?shù)據(jù)集，將數(shù)據(jù)劃分為80%訓(xùn)練集和20%測(cè)試集，本文算法以神經(jīng)網(wǎng)絡(luò)模型作為組合模型，根據(jù)MSE值與MAE值2 種不同的Loss 函數(shù)評(píng)價(jià)指標(biāo)進(jìn)行比較，實(shí)驗(yàn)表明本文算法對(duì)電網(wǎng)用戶數(shù)據(jù)集進(jìn)行短期預(yù)測(cè)具有良好的可靠性。本文設(shè)置的實(shí)驗(yàn)配置處理器為IntelRi7-6700 2.60 GHz，內(nèi)存為16 GB。采用TensorFlow2.1 框架實(shí)現(xiàn)。接下來通過實(shí)驗(yàn)結(jié)果對(duì)4 種不同的算法進(jìn)行實(shí)驗(yàn)分析。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.3 實(shí)驗(yàn)分析

本文提出的基于聚類方法改進(jìn)的神經(jīng)網(wǎng)絡(luò)回歸算法與SVM 算法、基于統(tǒng)計(jì)學(xué)算法的AR 算法、基于BP改進(jìn)的RNN 算法、基于時(shí)間序列的LSTM 和GRU 算法進(jìn)行歸一化實(shí)驗(yàn)對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，本文提出的模型回歸分析預(yù)測(cè)結(jié)果表現(xiàn)最佳，表2 和表3 為各算法的MSE值和MAE值對(duì)比結(jié)果，此外在圖3 和圖4 中展現(xiàn)了本文提出算法與真值的預(yù)測(cè)對(duì)比圖。

表2 不同算法的MSE 值對(duì)比結(jié)果

表3 不同算法的MAE 值對(duì)比結(jié)果

圖3 部分預(yù)測(cè)結(jié)果圖

從表2 和表3 的摩洛哥得土安電網(wǎng)（Tetuan，Morocco）數(shù)據(jù)集對(duì)比中，可以看出本文算法的MSE和MAE值相比其他算法得到明顯優(yōu)化，主要是因?yàn)槠渌惴ǎ诙嗑S數(shù)據(jù)計(jì)算中因離群類的混雜過擬合，導(dǎo)致查準(zhǔn)率較低，而本文通過K-means 方法改進(jìn)的RNN神經(jīng)網(wǎng)絡(luò)模型輸出，由聚類特征來對(duì)樣本分類進(jìn)行訓(xùn)練歸并后得出更合理的預(yù)測(cè)結(jié)果，避免了數(shù)據(jù)的過擬合，提高了預(yù)測(cè)的準(zhǔn)確率。多維數(shù)據(jù)中存在的稀疏樣本數(shù)據(jù)點(diǎn)會(huì)影響整體模型的預(yù)測(cè)性能，導(dǎo)致其他算法預(yù)測(cè)結(jié)果較差，而本文是針對(duì)樣本維度特征點(diǎn)去計(jì)算同類樣本中的聚類區(qū)間，并依照各自聚類區(qū)間訓(xùn)練，構(gòu)建出合理的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。從不同區(qū)域的樣本數(shù)據(jù)集上，可以得出本文提出的改進(jìn)算法在不同數(shù)據(jù)集中的數(shù)據(jù)分析效果同樣較優(yōu)的結(jié)論。

4 結(jié)束語

由于傳統(tǒng)回歸模型對(duì)非單一維度數(shù)據(jù)集進(jìn)行回歸分析時(shí)，少數(shù)奇異樣本具有較高的影響代價(jià)，導(dǎo)致回歸分析預(yù)測(cè)的準(zhǔn)確率較低，因此，本文提出了一種基于K-means 的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的回歸預(yù)測(cè)算法，即通過K-means 聚類算法結(jié)構(gòu)優(yōu)化RNN 神經(jīng)網(wǎng)絡(luò)的輸入層，依照該聚類模型對(duì)應(yīng)的樣本特征點(diǎn)計(jì)算出同類樣本中的最優(yōu)化響應(yīng)后，構(gòu)建含有數(shù)據(jù)特征信息的聚類邊界，再對(duì)高維數(shù)據(jù)類別進(jìn)行劃分從而平滑多維數(shù)據(jù)類別間因奇異值誤差造成的擬合代價(jià)，提高數(shù)據(jù)集樣本的預(yù)測(cè)可靠性。最后通過對(duì)比驗(yàn)證結(jié)果表明，在回歸分析數(shù)據(jù)集中本文算法性能更優(yōu)秀，超過了常見的回歸預(yù)測(cè)算法，具有一定的現(xiàn)實(shí)意義和實(shí)操性。但本文算法并沒有考慮到動(dòng)態(tài)環(huán)境下，數(shù)據(jù)集中少數(shù)類樣本的分布變化，下一步的研究方向是在半監(jiān)督學(xué)習(xí)框架下學(xué)習(xí)訓(xùn)練有價(jià)值的標(biāo)簽數(shù)據(jù)，提高聚類算法的魯棒性。