亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于集成學(xué)習(xí)算法的工業(yè)產(chǎn)品質(zhì)量預(yù)測(cè)

        2019-06-07 15:08:13江琨丁學(xué)明
        軟件導(dǎo)刊 2019年1期
        關(guān)鍵詞:集成學(xué)習(xí)隨機(jī)森林數(shù)據(jù)挖掘

        江琨 丁學(xué)明

        摘 要:現(xiàn)代數(shù)字化工業(yè)生產(chǎn)中,制造、組裝和測(cè)試過(guò)程會(huì)產(chǎn)生大量數(shù)據(jù),這些數(shù)據(jù)中隱藏著決定產(chǎn)品質(zhì)量的信息和知識(shí)。使用傳統(tǒng)抽檢手段發(fā)現(xiàn)質(zhì)量問(wèn)題后再加以修改往往為時(shí)已晚。數(shù)據(jù)挖掘中用生產(chǎn)參數(shù)預(yù)測(cè)產(chǎn)品質(zhì)量,可以預(yù)先獲取產(chǎn)品質(zhì)量信息,據(jù)此進(jìn)行調(diào)整以提高產(chǎn)品質(zhì)量。采用CRISP-DM流程,使用集成學(xué)習(xí)算法(隨機(jī)森林、XGBoost),利用回歸與分類(lèi)模型進(jìn)行數(shù)據(jù)挖掘,經(jīng)參數(shù)調(diào)節(jié)獲得精確的優(yōu)化模型,在生產(chǎn)中運(yùn)用該模型有助于提升產(chǎn)品質(zhì)量。

        關(guān)鍵詞:數(shù)據(jù)挖掘;CRISP-DM;質(zhì)量預(yù)測(cè);集成學(xué)習(xí);隨機(jī)森林;XGboost

        DOI:10. 11907/rjdk. 181535

        中圖分類(lèi)號(hào):TP319文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1672-7800(2019)001-0124-04

        Abstract: Huge amounts of data in manufacturing, assembly and testing are generated and stored in modern digitalized industrial production. The process data contains inherent knowledge and information, which determines the final quality that needs to be extracted by data mining. In the process of detecting product quality, it is usually late to fix after finding products with poor quality. In data mining, by using process data we can predict product quality in advance and make modifications. In this paper, by using CRISP-DM methodology and ensemble methods (Random Forests and XGBoost), we made a precise quality regression and classification prediction. Accurate optimized models are gained after parameter tuning. These models would be beneficial for improving product quality in practice.

        Key Words:data mining; CRISP-DM; quality prediction; ensemble learning; random forests; XGBoost

        0 引言

        國(guó)務(wù)院提出的《中國(guó)制造2025》計(jì)劃中,明確要求加快發(fā)展智能裝備和產(chǎn)品,推動(dòng)制造過(guò)程智能化,重點(diǎn)建設(shè)數(shù)字化工廠[1]。數(shù)據(jù)挖掘已廣泛應(yīng)用于數(shù)字化工廠的產(chǎn)品質(zhì)量評(píng)估中[2]。Rostami等[3]將數(shù)據(jù)挖掘用于質(zhì)量描述、質(zhì)量分類(lèi)、質(zhì)量預(yù)測(cè)和參數(shù)優(yōu)化,使用支持向量機(jī)進(jìn)行質(zhì)量評(píng)估。Chien等[4]使用k-平均聚類(lèi)和決策樹(shù)預(yù)測(cè)提高半導(dǎo)體的生產(chǎn)合格率。Sim等[5]使用貝葉斯網(wǎng)絡(luò)分析PCB板制造中不合格產(chǎn)品的質(zhì)量缺陷緣由。Liu等[6]使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行電力能源消耗的時(shí)序分析。Tsai等[7] 使用決策樹(shù)和隨機(jī)森林幫助提升顯示材料合格率。蔣晉文等[8]使用XGBoost算法進(jìn)行制造業(yè)質(zhì)量預(yù)測(cè),并與其它集成學(xué)習(xí)算法進(jìn)行比較。

        跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程[9](Cross Industry Standard Process for Data Mining,CRISP-DM)是實(shí)際應(yīng)用中最常使用的一種數(shù)據(jù)挖掘流程模型。CRISP-DM將數(shù)據(jù)挖掘流程分為商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、模型評(píng)估、部署6個(gè)步驟。 CRISP-DM流程如圖1所示,各步驟間的順序并非一成不變,根據(jù)情況經(jīng)常有循環(huán)往復(fù)出現(xiàn)。

        1 算法描述

        1.1 集成學(xué)習(xí)

        集成學(xué)習(xí)(ensemble learning)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器完成學(xué)習(xí)任務(wù)。如果各學(xué)習(xí)器類(lèi)型相同,則稱(chēng)為基學(xué)習(xí)器(base learner),基學(xué)習(xí)器常用的學(xué)習(xí)算法有決策樹(shù)算法、BP神經(jīng)網(wǎng)絡(luò)算法等[10]。分類(lèi)問(wèn)題通常使用投票法,回歸問(wèn)題通常使用加權(quán)平均法,將它們集合作為集成學(xué)習(xí)器輸出[11]。

        (2)個(gè)體學(xué)習(xí)器串行,如Boosting算法[13]。如圖3所示,其中第[n]個(gè)學(xué)習(xí)器[fn]的權(quán)重Wn由之前一個(gè)學(xué)習(xí)器[fn-1]的表現(xiàn)所決定,使之前學(xué)習(xí)器中做錯(cuò)的訓(xùn)練樣本在后續(xù)學(xué)習(xí)器中受到更多關(guān)注,以減小模型偏差[14]。

        1.2 隨機(jī)森林

        隨機(jī)森林[15]是一種改進(jìn)Bagging算法,在隨機(jī)采樣基礎(chǔ)上進(jìn)一步隨機(jī)選取屬性,從而提高基學(xué)習(xí)器的多樣性,提升集成學(xué)習(xí)器的泛化能力。在構(gòu)建基學(xué)習(xí)器決策樹(shù)時(shí),隨機(jī)森林隨機(jī)選取特征集合中的一個(gè)子集,隨后從這個(gè)子集中選取最佳特征進(jìn)行劃分。假設(shè)數(shù)據(jù)集一共有[d]個(gè)特征,每個(gè)基學(xué)習(xí)器包含[k]個(gè)特征。如果[k=d],則基學(xué)習(xí)器等同于傳統(tǒng)決策樹(shù),通常情況下推薦[k=log2d]。

        1.3 XGBoost

        XGBoost(eXtreme Gradient Boosting)[16]是一種基于梯度提升(Gradient Boosting)[17]的改進(jìn)集成算法。Gradient Boosting使用損失函數(shù)的負(fù)梯度[-?(L(yi,f(xi)))?f(xi)]作為殘差的近似值,擬合一個(gè)回歸樹(shù)。XGBoost進(jìn)一步對(duì)損失函數(shù)作二階泰勒展開(kāi),并在目標(biāo)函數(shù)中添加正則項(xiàng),控制模型的復(fù)雜度,防止過(guò)擬合。此外,XGBoost和隨機(jī)森林一樣對(duì)特征集合進(jìn)行抽樣,增加樣本多樣性,降低過(guò)擬合。雖然XGBoost中基學(xué)習(xí)器仍然是串行產(chǎn)生,但是在基學(xué)習(xí)器,即決策樹(shù)內(nèi)部實(shí)現(xiàn)并行,從而大大縮短模型訓(xùn)練時(shí)間。

        [5] SIM H, CHOI D, KIM C O. A data mining approach to the causal analysis of product faults in multi-stage PCB manufacturing[J]. International Journal of Precision Engineering and Manufacturing, 2014, 15(8):1563-1573.

        [6] LIU H,YAO Z,EKLUND T,et al. Electricity consumption time series profiling: a data mining application in energy industry: advances in data Mining. applications and theoretical aspects[C]. Springer Berlin Heidelberg, 2012.

        [7] TSAI T L,LEE C Y. Data mining for yield improvement of photo spacer process in color filter manufacturing[J]. Procedia Manufacturing, 2017(11):1958-1965.

        [8] 蔣晉,劉偉. XGBoost算法在制造業(yè)質(zhì)量預(yù)測(cè)中的應(yīng)用[J]. 智能計(jì)算機(jī)與應(yīng)用, 2017(6):58-60.

        [9] SHEARER C. The CRISP-DM model: the new blueprint for data mining[J]. The Journal of Data Warehousing, 2000, 5(4):13-22.

        [10] 周志華. 機(jī)器學(xué)習(xí)[M]. 北京:清華大學(xué)出版社, 2016:171-173.

        [11] ZHOU Z H. Ensemble learning[J]. Encyclopedia of biometrics, 2015(2):411-416.

        [12] BREIMAN L. Bagging predictors[J]. Machine Learning,1996,24(2):123-140.

        [13] ZHOU Z. Ensemble methods: foundations and algorithms[M]. Boca Raton: CRC Press, 2012.

        [14] DIETTERICH T G. Ensemble methods in machine learning: multiple classifier systems[C]. Springer Berlin Heidelberg, 2000.

        [15] BREIMAN L. Random forests[J]. Machine Learning, 2001(45):5-32.

        [16] CHEN T, GUESTRIN C. XGBoost: a scalable tree boosting system[C]. Proceedings of the 22Nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, NY, USA: ACM, 2016: 785-794.

        [17] FRIEDMAN J. Greedy function approximation: a gradient boosting machine[J]. The Annals of Statistics, 2000(29):49-55.

        [18] NIELSEN D. Tree boosting with XGBoost why does XGBoost win“ Every” machine learning competition[C]. NTNU, 2016.

        [19] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of Artificial Intelligence Research, 2002(5):321-357.

        [20] GUO H, LI Y, SHANG J, et al. Learning from class-imbalanced data: review of methods and applications[J]. Expert Systems with Applications, 2017(73):220-239.

        [21] GóMEZ-RíOS A,LUENGO J,HERRERA F. A study on the noise label influence in boosting algorithms: AdaBoost, GBM and XGBoost[C]. Hybrid Artificial Intelligent Systems. Cham: Springer International Publishing, 2017: 268-280.

        (責(zé)任編輯:杜能鋼)

        猜你喜歡
        集成學(xué)習(xí)隨機(jī)森林數(shù)據(jù)挖掘
        探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢(shì)
        基于并行計(jì)算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
        電力與能源(2017年6期)2017-05-14 06:19:37
        基于稀疏編碼器與集成學(xué)習(xí)的文本分類(lèi)
        基于屬性權(quán)重的Bagging回歸算法研究
        隨機(jī)森林在棉蚜蟲(chóng)害等級(jí)預(yù)測(cè)中的應(yīng)用
        基于二次隨機(jī)森林的不平衡數(shù)據(jù)分類(lèi)算法
        軟件(2016年7期)2017-02-07 15:54:01
        拱壩變形監(jiān)測(cè)預(yù)報(bào)的隨機(jī)森林模型及應(yīng)用
        基于隨機(jī)森林算法的飛機(jī)發(fā)動(dòng)機(jī)故障診斷方法的研究
        一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
        基于改進(jìn)的LogitBoost算法的垃圾網(wǎng)頁(yè)檢測(cè)研究
        科技視界(2015年27期)2015-10-08 11:01:28
        精品综合久久久久久8888| 大学生高潮无套内谢视频| 人妻激情另类乱人伦人妻| 91spa国产无码| 亚洲午夜无码久久久久软件| 青青草视频在线观看绿色| 18国产精品白浆在线观看免费| 性一交一乱一伦一色一情孩交| 一本久到久久亚洲综合| 一二区视频免费在线观看| 变态另类人妖一区二区三区| 边喂奶边中出的人妻| 97se在线观看| 手机av男人天堂免费网址| av网站大全免费在线观看| 成年女人黄小视频| 人人看人人做人人爱精品| 元码人妻精品一区二区三区9| 很黄很色的女同视频一区二区| 国产精品视频免费播放| 国产天堂在线观看| 亚洲妇女av一区二区| 上海熟女av黑人在线播放| 孕妇特级毛片ww无码内射| 国产成人精品自在线无码 | 日韩精品一区二区在线视 | 青青草在线公开免费视频| 色窝窝无码一区二区三区| 日本大片在线看黄a∨免费| 日韩国产有码在线观看视频| 中文字幕一区二区人妻性色av| 美女露内裤扒开腿让男人桶无遮挡| 国产精品久久久久久久久鸭| 国产日韩一区二区精品| 国产精品高清视亚洲乱码| 区二区三区玖玖玖| 麻豆五月婷婷| 久久久精品国产老熟女| 国产精品无码一区二区三区电影| 亚洲乱妇老熟女爽到高潮的片| 日韩美女av二区三区四区|