亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于高維特征聚類優(yōu)化的隨機森林算法研究7

        2022-08-31 09:24:52莊暨軍羅小臣
        關鍵詞:特征優(yōu)化

        *王 博,莊暨軍,熊 軍,羅小臣

        (1. 井岡山大學電子與信息工程學院,江西,吉安 343009;2. 井岡山大學學報編輯部,江西,吉安 343009;3. 井岡山大學計財處,江西,吉安 343009;4. 井岡山大學圖書館,江西,吉安 343009)

        0 引言

        隨機森林算法(RF)算法是集成學習(Ensemble Learning)算法中的典型代表之一。算法基于統(tǒng)計學習理論,采用自助重采樣技術(Bootstrap Sampling)

        從訓練樣本中抽取多個樣本集,利用抽取的樣本集分別構建決策樹模型,然后將若干個決策樹聚集在一起,通過多數投票或取平均得到最終結果。決策樹算法與集成學習思想是構建RF 算法的基石。

        隨機森林算法具有能容忍高數據噪音,同時也具有高預測精度,而被眾多學者廣泛運用到社會中各個領域。比如文獻[1]中,Chai.Z 將隨機森林算法運用到工業(yè)故障分類,提高了故障檢測精度;文獻[2]中,Cheng.Li 在交通運輸領域中運用隨機森林算法,極大提升了運輸效率和承載率;ZAFARI.A 在文獻[3]中的評估管理領域運用隨機森林算法,得到了更加準確的評估預測結果。但即便如此,隨機森林算法仍然存在自身的缺陷:在對高維度特征進行篩選和選取的有效率比較低、對動態(tài)數據聚類的泛化誤差估值較大。針對這些缺陷,國內外學者對隨機森林算法做了許多改進優(yōu)化的研究。在文獻[4]中,王德軍等將基于時間序列數據對隨機森林分類算法優(yōu)化,結果提高了10%的分類精度;文獻[5]中,劉曙光等提出的多時相遙感數據結合隨機森林特征變量優(yōu)化方法,將總體分類精度提高了近9%;王磊等在文獻[6]中采用聚類欠采樣加權隨機森林算法,提高了預測精度。以上的算法優(yōu)化對提高隨機森林算法的預測精度和分類精度都取得了很大進展,但是在對高維數據劃分特征度量時如何提高聚類性能,目前研究比較欠缺。

        特征選擇是從原始特征集中抽取部分特征,使其能達到降低特征維度提高算法性能的效果。算法在構建決策樹時,會隨機的抽取部分特征,利用特征評估方法選出其中分類效果最好,即最重要的特征作為分裂特征,這為隨機森林進行特征選擇奠定了理論基礎。但由于隨機森林算法在構建過程中引入了特征隨機選擇策略,所以單純的根據特征在決策樹節(jié)點被選為分裂特征的次數來判斷特征是否重要的方法是不可取的。Breiman 在對隨機森林進行系統(tǒng)的分析后,提出使用袋外數據內部估計方法監(jiān)測隨機森林的誤差,并將其作為隨機森林度量特征重要性的依據。

        現嘗試用一種高維聚類優(yōu)化算法,針對高維特征數據集,采用K 均值聚類和模糊C 均值聚類相結合的方法,對數據集的高維特征聚類,傳統(tǒng)隨機森林算法進行優(yōu)化,通過計算DBI、根據相關性閾值排序,篩選出高維特征簇群,以達到提高高維特征數據集聚類效果的目的。實驗結果證明,該方法是切實有效的。

        1 傳統(tǒng)隨機森林算法

        傳統(tǒng)隨機森林算法中,對高維數據特征度量時運用的方法主要是隨機置換法。即在首先對高維數據的所有相關特征進行隨機置換,置換后再進行迭代測試,根據測試結果的誤差變化越大,則代表該特征的相關程度越高。

        從以上步驟可以看出,隨著訓練數據集的不斷增加,高維數據特征需要的訓練時間、空間性能呈指數級增加,最終將造成訓練速度緩慢、訓練效果降低的后果。本文將采取高維聚類的方法,對傳統(tǒng)算法加以優(yōu)化,以提高傳統(tǒng)隨機森林算法在高維數據訓練方面的性能。

        2 基于高維聚類優(yōu)化的隨機森林算法

        2.1 聚類方法介紹

        本文采用KM 聚類(K 均值聚類)、FCM 聚類(模糊C-均值)兩種聚類方法相結合,根據樣本相似度劃分族群,對高維數據集特征進行聚類。根據這兩種聚類算法得到的DBI(聚類有效性)值,取DBI 最小值為最佳類數。

        2.1.1 KM 聚類

        根據文獻[9]的研究,當DBI 的值與聚類效果成正比,所以,當DBI 值最小時,表示此時的聚類類數為最佳值。

        2.2 HDFC-RF 算法

        2.2.1 HDFC-RF 特征評估算法

        2.2.2 HDFC-RF 算法流程圖

        根據上述的介紹,將HDFC-RF 算法流程歸納如下:

        圖1 HDFC-RF 算法流程圖Fig.1 HDFC-RF algorithm flow chart

        將文獻[10]和文獻[11]中的高維數據集Colon Tumor 作為輸入數據集。Colon Tumor 屬于生物數據集,在同等樣本規(guī)模下,具有更高維的數據特征,符合本文HDFC-RF 算法對高維數據特征聚類的訓練數據集要求。

        表1 實驗數據集Table 1 Experimental data set

        3 實驗分析

        3.1 實驗準備

        3.2 實驗結果

        將本文的HDFC-RF 算法與傳統(tǒng)的RF 算法、文獻[6]中的FSRF 算法進行比較,為了得到更穩(wěn)定的結果,將三種算法運行30 次的均值作為最終結果。實驗結果對比如圖2、圖3 所示:

        圖2 HDFC-RF、FSRF、RF 聚類效果對比Fig.2 Training effect comparison of HDFC-RF&FSRF&RF

        圖.3 HDFC-RF、FSRF、RF 訓練時間對比Fig.3 Training Time comparison of HDFC-RF&FSRF&RF

        根據以上兩圖可以得到如下結論:

        1)圖2 表明,在數據集訓練中,HDFC-RF 算法在重要特征集的前10 個特征就達到了最佳的分類效果,而傳統(tǒng)的RF 算法和FSRF 算法則分別需要近40 和60 個特征??梢娡葮颖緮档那闆r下,HDFC-RF 能達到更好的聚類效果。

        2)圖3 表明,在數據集訓練的時間上,HDFC-RF 訓練時間為8 s,而FSRF 和RF 算法分別為15 s 和40 s,顯然HDFC-RF 訓練所需的時間比FSRF、RF 都要明顯縮短,速度得到了提高,說明HDFC-RF 算法具有更加高效的訓練效率。

        4 結論

        針對傳統(tǒng)的隨機森林算法在對高維特征數據集計算速度慢、聚類效果不佳的缺陷,提出了一種基于高維特征聚類的隨機森林算法(HDFC-RF),即在提取高維特征數據集聚類時,采用K 均值聚類和模糊C-均值結合的算法,通過計算DBI 指標和對高維特征簇排序后,與相關性閾值δ比較,得到最終的高維特征序列。實驗結果表明,經過本文HDFC-RF 優(yōu)化后的隨機森林算法,具有更好的聚類效果、訓練速度也更快,具備良好的可行性。

        猜你喜歡
        特征優(yōu)化
        抓住特征巧觀察
        超限高層建筑結構設計與優(yōu)化思考
        房地產導刊(2022年5期)2022-06-01 06:20:14
        民用建筑防煙排煙設計優(yōu)化探討
        關于優(yōu)化消防安全告知承諾的一些思考
        一道優(yōu)化題的幾何解法
        由“形”啟“數”優(yōu)化運算——以2021年解析幾何高考題為例
        新型冠狀病毒及其流行病學特征認識
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        抓住特征巧觀察
        国产成人精品日本亚洲| 久久夜色国产精品噜噜亚洲av| 亚洲中文字幕无码爆乳app| 欧美精品中文字幕亚洲专区| 狠狠色婷婷久久一区二区三区| 暖暖免费 高清 日本社区在线观看| 天堂av无码大芭蕉伊人av孕妇黑人| 毛片成人18毛片免费看| 国产成人亚洲综合| 成人小说亚洲一区二区三区| 久久亚洲午夜牛牛影视| 国产愉拍91九色国产愉拍| 夜夜爽日日澡人人添| 中文亚洲av片在线观看不卡| h动漫尤物视频| 青青草激情视频在线播放| 亚洲色成人网站www永久| 国产精品原创巨作AV女教师 | 我要看免费久久99片黄色| 久久久久无码精品国产app| 亚洲欧美日韩国产色另类| 91麻豆精品一区二区三区| 国产乱人伦偷精品视频免观看| 精产国品一二三产品蜜桃| 美女一级毛片免费观看97| 在线亚洲妇色中文色综合| 久久精品国产av麻豆五月丁| wwww亚洲熟妇久久久久| 国产a级网站| 18禁黄无遮挡免费网站| 成人av综合资源在线| 性无码免费一区二区三区在线| 黄色毛片视频免费| 亚洲国产av精品一区二| 亚洲av一二三区成人影片| 精品国产v无码大片在线观看| 国产精品白浆免费观看| 国产亚洲精品国产精品| 久久久无码中文字幕久...| 无码国产精品色午夜| 在线观看国产白浆一区三区|