亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于大數(shù)據(jù)不平衡樣本集的重采樣方法及應(yīng)用

        2018-08-22 01:23:28汪海濤余永奎段春雨
        現(xiàn)代計算機 2018年22期
        關(guān)鍵詞:分類模型

        汪海濤,余永奎,段春雨

        (廣東電網(wǎng)有限責任公司中山供電局,中山 528400)

        0 引言

        在電力生產(chǎn)及運行維護的安全監(jiān)督管理中,將電力事故事件分為設(shè)備事故和人身傷亡事故兩大類。近年來,隨著電力設(shè)備可靠性的不斷提高,人的不安全行為(違章)成為電力事故事件的主要風險源。揭示人的不安全行為與電力事故事件的內(nèi)在關(guān)系及規(guī)律,進而開發(fā)出電力事故事件的預控模型,對電力事故事件防范于未然及提高電力企業(yè)安全生產(chǎn)具有重大的意義。

        電力生產(chǎn)及運行維護中人的不安全行為俗稱為違章,而導致違章的因素很多,諸如人員本身因素、自然環(huán)境因素、作業(yè)復雜程度因素、作業(yè)工器具因素以及安全管理因素等。要從這種數(shù)據(jù)規(guī)模體量巨大以及種類繁多的浩瀚違章大數(shù)據(jù)中去發(fā)現(xiàn)人的不安全行為與電力事故事件的內(nèi)在關(guān)系及規(guī)律,并非一件容易的事。可以說,靠傳統(tǒng)的統(tǒng)計分析方法和技術(shù)完成此類工作顯然是力不從心的。因此,探討應(yīng)用大數(shù)據(jù)分析中的數(shù)據(jù)挖掘技術(shù)以及機器學習方法求解這類問題便成為目前的主要研究途徑,其研究價值和意義是顯而易見的。

        機器學習方法中具有代表性的方法是聚類和分類,如果提供給機器學習的大數(shù)據(jù)樣本集是不平衡的類樣本,即正類和負類的比例差距懸殊,則用機器學習算法開發(fā)出來分類模型便會出現(xiàn)偏差和不可用,原因是機器學習算法往往是通過減少誤差來提高準確率的,而忽視了樣本類別的分布比例及類別平衡。例如,假設(shè)提供給機器學習的大數(shù)據(jù)樣本集規(guī)模為1萬個樣本,正類樣本9900個,而負類樣本只有100個,則機器學習算法在保證99%的分類準確率下會對少量的100個負類樣本視而不見(誤為噪聲),這種在不平衡樣本集下機器學習得到的分類模型是沒有實際應(yīng)用價值的。

        本文以筆者承擔的國內(nèi)某電網(wǎng)公司的“電力事故事件與違章大數(shù)據(jù)分析及預控模型研究和應(yīng)用”科技項目為例,對從多個渠道收集到的違章大數(shù)據(jù)不平衡的樣本集,提出一個從不平衡樣本集創(chuàng)建一個平衡的類分布樣本集的方法,解決電力違章事故事件機器學習分類算法模型中訓練樣本集的不平衡問題。本文研究的內(nèi)容及成果,對解決其他行業(yè)開發(fā)機器學習分類算法模型中碰到的類似問題具有普遍的參考價值和意義。

        1 基于增減法的樣本數(shù)據(jù)集重采樣[1]

        增減法通過增加少數(shù)類的樣本數(shù)量或減少多數(shù)類的樣本數(shù)量實現(xiàn)數(shù)據(jù)集類別的平衡,平衡分類獲得大致相同數(shù)量的類實例規(guī)模。表1是幾種基于增減法的重采樣方法比較,表2是電力違章事故事件大數(shù)據(jù)樣本集重采樣的實例。

        1.1 基于增減法的樣本數(shù)據(jù)集重采樣方法比較

        表1 幾種基于增減法的重采樣方法比較

        1.2 電力違章大數(shù)據(jù)樣本集重采樣實例

        用于“電力事故事件與違章大數(shù)據(jù)分析及預控模型研究和應(yīng)用”的電力違章大數(shù)據(jù)樣本集共有10300個樣本,其中事故事件違章樣本=300個,非事故事件違章樣本=10000個,事故事件發(fā)生率=300/10300=2.9%。

        2 機器學習算法分類模型的評價方法

        評價機器學習算法分類模型性能的評價方法一般使用如下的混淆矩陣工具:

        表3

        混淆矩陣中各元素的定義是:

        真_正類(True Positive,TP)是指屬于類別 C 的樣本實例而被分類成類別C;

        漏報(False Negative,F(xiàn)N)是指屬于類別C的樣本實例而被分類成非類別C;

        誤報(False Positive,F(xiàn)P)是指非類別C的樣本實例被分類成為類別C;

        真_負類(True Negative,TN)是指不屬于類別C的樣本實例而被分類成不屬于類別C。

        評價機器學習算法分類模型性能通常使用下述三個指標:

        分類模型的準確率=(TP+TN)/(TP+FN+FP+TN);

        分類模型的精度=TP/(TP+FP);

        分類模型的召回率=TP/(TP+FN)。

        對于不平衡樣本集的數(shù)據(jù)挖掘,如果不做平衡處理,則使用準確率指標評價分類器模型的性能是不恰當?shù)?。例如,決策樹和回歸等分類器模型分類性能會偏向于樣本數(shù)量多的類別,而忽略樣本數(shù)量占少數(shù)的類別,這就會使分類器模型對少數(shù)類的誤判率會較高。當樣本集少數(shù)類與多數(shù)類的比例嚴重不平衡時,例如2%比98%的情形,分類器模型把所有樣本分為多數(shù)類,其準確率也達到98%,占2%的少數(shù)類樣本被視為噪聲而忽視。因此,評價分類器模型的性能應(yīng)該綜合考慮準確率、精度和召回率多個指標。

        3 結(jié)語

        在大數(shù)據(jù)分析研究領(lǐng)域,選擇性能好的機器學習算法設(shè)計分類模型,往往是建立在多個機器學習算法預測性能的比較分析的基礎(chǔ)上的。對大數(shù)據(jù)不平衡樣本集進行平衡處理后,用作多個機器學習算法的訓練樣本,使這些機器學習算法的預測性能可以進行比較,從而為選擇機器學習算法設(shè)計分類模型提供輔助決策信息。

        我們在“電力事故事件與違章大數(shù)據(jù)分析及預控模型研究和應(yīng)用”科技項目中,分別應(yīng)用本文討論的5種重采樣方法,對電力事故事件大數(shù)據(jù)不平衡樣本集進行平衡處理,并應(yīng)用到目前流行的多個機器學習算法的訓練學習中,為項目設(shè)計電力事故事件預控模型提供了有價值的輔助決策信息。本文闡述的研究方法,對大數(shù)據(jù)分析及機器學習算法分類模型的研究及應(yīng)用具有普遍的參考價值和意義。

        猜你喜歡
        分類模型
        一半模型
        分類算一算
        垃圾分類的困惑你有嗎
        大眾健康(2021年6期)2021-06-08 19:30:06
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
        分類討論求坐標
        數(shù)據(jù)分析中的分類討論
        教你一招:數(shù)的分類
        3D打印中的模型分割與打包
        FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
        久久久伊人影院| 内射人妻无套中出无码| 国产女主播白浆在线观看| 日韩精品人妻系列无码专区免费| 国产精品久久中文字幕第一页 | 国产一在线精品一区在线观看| 国产精品亚洲综合色区韩国| 国产在线观看一区二区三区av | 久久国产精品亚洲我射av大全| 国产a级毛片久久久精品毛片| 成人免费看吃奶视频网站| 人妻丰满av无码中文字幕| 内射中出后入内射极品女神视频| 久久伊人这里都是精品| 无码福利写真片视频在线播放| av中文字幕不卡无码| 丝袜美腿亚洲综合玉足| 中文字幕人成人乱码亚洲av| 国产探花在线精品一区二区| av超碰在线免费观看| 午夜亚洲精品一区二区| 成人午夜高潮a∨猛片| 无套内射蜜桃小视频| 国产日本在线视频| 国产一区二区熟女精品免费| 人妻洗澡被强公日日澡电影| 国产人碰人摸人爱视频| 久久精品日本美女视频| 少妇一区二区三区久久| 国产无套内射久久久国产| 中文人妻无码一区二区三区信息 | 久久精品丝袜高跟鞋| 国产成人久久精品77777综合| 人妻少妇精品无码系列| av天堂免费在线播放| 天堂新版在线资源| 亚洲色大成网站www在线观看| 精品国产一区二区av麻豆不卡| 欧美性生交活xxxxxdddd | 国产激情一区二区三区在线蜜臀 | 毛片在线播放a|