亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于集成學(xué)習(xí)算法的工業(yè)產(chǎn)品質(zhì)量預(yù)測(cè)

        2019-06-07 15:08:13江琨丁學(xué)明
        軟件導(dǎo)刊 2019年1期
        關(guān)鍵詞:集成學(xué)習(xí)隨機(jī)森林數(shù)據(jù)挖掘

        江琨 丁學(xué)明

        摘 要:現(xiàn)代數(shù)字化工業(yè)生產(chǎn)中,制造、組裝和測(cè)試過(guò)程會(huì)產(chǎn)生大量數(shù)據(jù),這些數(shù)據(jù)中隱藏著決定產(chǎn)品質(zhì)量的信息和知識(shí)。使用傳統(tǒng)抽檢手段發(fā)現(xiàn)質(zhì)量問(wèn)題后再加以修改往往為時(shí)已晚。數(shù)據(jù)挖掘中用生產(chǎn)參數(shù)預(yù)測(cè)產(chǎn)品質(zhì)量,可以預(yù)先獲取產(chǎn)品質(zhì)量信息,據(jù)此進(jìn)行調(diào)整以提高產(chǎn)品質(zhì)量。采用CRISP-DM流程,使用集成學(xué)習(xí)算法(隨機(jī)森林、XGBoost),利用回歸與分類(lèi)模型進(jìn)行數(shù)據(jù)挖掘,經(jīng)參數(shù)調(diào)節(jié)獲得精確的優(yōu)化模型,在生產(chǎn)中運(yùn)用該模型有助于提升產(chǎn)品質(zhì)量。

        關(guān)鍵詞:數(shù)據(jù)挖掘;CRISP-DM;質(zhì)量預(yù)測(cè);集成學(xué)習(xí);隨機(jī)森林;XGboost

        DOI:10. 11907/rjdk. 181535

        中圖分類(lèi)號(hào):TP319文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1672-7800(2019)001-0124-04

        Abstract: Huge amounts of data in manufacturing, assembly and testing are generated and stored in modern digitalized industrial production. The process data contains inherent knowledge and information, which determines the final quality that needs to be extracted by data mining. In the process of detecting product quality, it is usually late to fix after finding products with poor quality. In data mining, by using process data we can predict product quality in advance and make modifications. In this paper, by using CRISP-DM methodology and ensemble methods (Random Forests and XGBoost), we made a precise quality regression and classification prediction. Accurate optimized models are gained after parameter tuning. These models would be beneficial for improving product quality in practice.

        Key Words:data mining; CRISP-DM; quality prediction; ensemble learning; random forests; XGBoost

        0 引言

        國(guó)務(wù)院提出的《中國(guó)制造2025》計(jì)劃中,明確要求加快發(fā)展智能裝備和產(chǎn)品,推動(dòng)制造過(guò)程智能化,重點(diǎn)建設(shè)數(shù)字化工廠[1]。數(shù)據(jù)挖掘已廣泛應(yīng)用于數(shù)字化工廠的產(chǎn)品質(zhì)量評(píng)估中[2]。Rostami等[3]將數(shù)據(jù)挖掘用于質(zhì)量描述、質(zhì)量分類(lèi)、質(zhì)量預(yù)測(cè)和參數(shù)優(yōu)化,使用支持向量機(jī)進(jìn)行質(zhì)量評(píng)估。Chien等[4]使用k-平均聚類(lèi)和決策樹(shù)預(yù)測(cè)提高半導(dǎo)體的生產(chǎn)合格率。Sim等[5]使用貝葉斯網(wǎng)絡(luò)分析PCB板制造中不合格產(chǎn)品的質(zhì)量缺陷緣由。Liu等[6]使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行電力能源消耗的時(shí)序分析。Tsai等[7] 使用決策樹(shù)和隨機(jī)森林幫助提升顯示材料合格率。蔣晉文等[8]使用XGBoost算法進(jìn)行制造業(yè)質(zhì)量預(yù)測(cè),并與其它集成學(xué)習(xí)算法進(jìn)行比較。

        跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程[9](Cross Industry Standard Process for Data Mining,CRISP-DM)是實(shí)際應(yīng)用中最常使用的一種數(shù)據(jù)挖掘流程模型。CRISP-DM將數(shù)據(jù)挖掘流程分為商業(yè)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、模型評(píng)估、部署6個(gè)步驟。 CRISP-DM流程如圖1所示,各步驟間的順序并非一成不變,根據(jù)情況經(jīng)常有循環(huán)往復(fù)出現(xiàn)。

        1 算法描述

        1.1 集成學(xué)習(xí)

        集成學(xué)習(xí)(ensemble learning)通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器完成學(xué)習(xí)任務(wù)。如果各學(xué)習(xí)器類(lèi)型相同,則稱(chēng)為基學(xué)習(xí)器(base learner),基學(xué)習(xí)器常用的學(xué)習(xí)算法有決策樹(shù)算法、BP神經(jīng)網(wǎng)絡(luò)算法等[10]。分類(lèi)問(wèn)題通常使用投票法,回歸問(wèn)題通常使用加權(quán)平均法,將它們集合作為集成學(xué)習(xí)器輸出[11]。

        (2)個(gè)體學(xué)習(xí)器串行,如Boosting算法[13]。如圖3所示,其中第[n]個(gè)學(xué)習(xí)器[fn]的權(quán)重Wn由之前一個(gè)學(xué)習(xí)器[fn-1]的表現(xiàn)所決定,使之前學(xué)習(xí)器中做錯(cuò)的訓(xùn)練樣本在后續(xù)學(xué)習(xí)器中受到更多關(guān)注,以減小模型偏差[14]。

        1.2 隨機(jī)森林

        隨機(jī)森林[15]是一種改進(jìn)Bagging算法,在隨機(jī)采樣基礎(chǔ)上進(jìn)一步隨機(jī)選取屬性,從而提高基學(xué)習(xí)器的多樣性,提升集成學(xué)習(xí)器的泛化能力。在構(gòu)建基學(xué)習(xí)器決策樹(shù)時(shí),隨機(jī)森林隨機(jī)選取特征集合中的一個(gè)子集,隨后從這個(gè)子集中選取最佳特征進(jìn)行劃分。假設(shè)數(shù)據(jù)集一共有[d]個(gè)特征,每個(gè)基學(xué)習(xí)器包含[k]個(gè)特征。如果[k=d],則基學(xué)習(xí)器等同于傳統(tǒng)決策樹(shù),通常情況下推薦[k=log2d]。

        1.3 XGBoost

        XGBoost(eXtreme Gradient Boosting)[16]是一種基于梯度提升(Gradient Boosting)[17]的改進(jìn)集成算法。Gradient Boosting使用損失函數(shù)的負(fù)梯度[-?(L(yi,f(xi)))?f(xi)]作為殘差的近似值,擬合一個(gè)回歸樹(shù)。XGBoost進(jìn)一步對(duì)損失函數(shù)作二階泰勒展開(kāi),并在目標(biāo)函數(shù)中添加正則項(xiàng),控制模型的復(fù)雜度,防止過(guò)擬合。此外,XGBoost和隨機(jī)森林一樣對(duì)特征集合進(jìn)行抽樣,增加樣本多樣性,降低過(guò)擬合。雖然XGBoost中基學(xué)習(xí)器仍然是串行產(chǎn)生,但是在基學(xué)習(xí)器,即決策樹(shù)內(nèi)部實(shí)現(xiàn)并行,從而大大縮短模型訓(xùn)練時(shí)間。

        [5] SIM H, CHOI D, KIM C O. A data mining approach to the causal analysis of product faults in multi-stage PCB manufacturing[J]. International Journal of Precision Engineering and Manufacturing, 2014, 15(8):1563-1573.

        [6] LIU H,YAO Z,EKLUND T,et al. Electricity consumption time series profiling: a data mining application in energy industry: advances in data Mining. applications and theoretical aspects[C]. Springer Berlin Heidelberg, 2012.

        [7] TSAI T L,LEE C Y. Data mining for yield improvement of photo spacer process in color filter manufacturing[J]. Procedia Manufacturing, 2017(11):1958-1965.

        [8] 蔣晉,劉偉. XGBoost算法在制造業(yè)質(zhì)量預(yù)測(cè)中的應(yīng)用[J]. 智能計(jì)算機(jī)與應(yīng)用, 2017(6):58-60.

        [9] SHEARER C. The CRISP-DM model: the new blueprint for data mining[J]. The Journal of Data Warehousing, 2000, 5(4):13-22.

        [10] 周志華. 機(jī)器學(xué)習(xí)[M]. 北京:清華大學(xué)出版社, 2016:171-173.

        [11] ZHOU Z H. Ensemble learning[J]. Encyclopedia of biometrics, 2015(2):411-416.

        [12] BREIMAN L. Bagging predictors[J]. Machine Learning,1996,24(2):123-140.

        [13] ZHOU Z. Ensemble methods: foundations and algorithms[M]. Boca Raton: CRC Press, 2012.

        [14] DIETTERICH T G. Ensemble methods in machine learning: multiple classifier systems[C]. Springer Berlin Heidelberg, 2000.

        [15] BREIMAN L. Random forests[J]. Machine Learning, 2001(45):5-32.

        [16] CHEN T, GUESTRIN C. XGBoost: a scalable tree boosting system[C]. Proceedings of the 22Nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, NY, USA: ACM, 2016: 785-794.

        [17] FRIEDMAN J. Greedy function approximation: a gradient boosting machine[J]. The Annals of Statistics, 2000(29):49-55.

        [18] NIELSEN D. Tree boosting with XGBoost why does XGBoost win“ Every” machine learning competition[C]. NTNU, 2016.

        [19] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of Artificial Intelligence Research, 2002(5):321-357.

        [20] GUO H, LI Y, SHANG J, et al. Learning from class-imbalanced data: review of methods and applications[J]. Expert Systems with Applications, 2017(73):220-239.

        [21] GóMEZ-RíOS A,LUENGO J,HERRERA F. A study on the noise label influence in boosting algorithms: AdaBoost, GBM and XGBoost[C]. Hybrid Artificial Intelligent Systems. Cham: Springer International Publishing, 2017: 268-280.

        (責(zé)任編輯:杜能鋼)

        猜你喜歡
        集成學(xué)習(xí)隨機(jī)森林數(shù)據(jù)挖掘
        探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢(shì)
        基于并行計(jì)算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
        電力與能源(2017年6期)2017-05-14 06:19:37
        基于稀疏編碼器與集成學(xué)習(xí)的文本分類(lèi)
        基于屬性權(quán)重的Bagging回歸算法研究
        隨機(jī)森林在棉蚜蟲(chóng)害等級(jí)預(yù)測(cè)中的應(yīng)用
        基于二次隨機(jī)森林的不平衡數(shù)據(jù)分類(lèi)算法
        軟件(2016年7期)2017-02-07 15:54:01
        拱壩變形監(jiān)測(cè)預(yù)報(bào)的隨機(jī)森林模型及應(yīng)用
        基于隨機(jī)森林算法的飛機(jī)發(fā)動(dòng)機(jī)故障診斷方法的研究
        一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
        基于改進(jìn)的LogitBoost算法的垃圾網(wǎng)頁(yè)檢測(cè)研究
        科技視界(2015年27期)2015-10-08 11:01:28
        日韩有码中文字幕在线视频 | 亚洲欧美国产国产综合一区| 成人爽a毛片在线播放| 人妻无码中文专区久久AV| 欧美疯狂性xxxxxbbbbb| 波多野结衣av一区二区全免费观看| 国产亚洲激情av一区二区| 免费在线亚洲视频| 亚洲午夜精品a片久久www慈禧| 一区二区三区国产精品乱码| 国产自产自现在线视频地址| 国产99re在线观看只有精品| 亚洲av无码xxx麻豆艾秋| 爽爽影院免费观看| 国产一区二区亚洲一区| 亚洲中文字幕日产喷水| 久草视频国产| 日本不卡一区二区三区在线 | 久久精品国产一区二区蜜芽 | 国产人妻黑人一区二区三区| 国产午夜福利不卡在线观看| 久久精品一区午夜视频| 国产亚洲av一线观看| 中文字幕亚洲人妻系列| 18级成人毛片免费观看| 亚洲欧美国产国产综合一区| 狠狠躁日日躁夜夜躁2022麻豆| 国产精品国产三级国产an不卡| 成年女人片免费视频播放A | 国产变态av一区二区三区调教| 久久亚洲宅男天堂网址 | 午夜成人无码福利免费视频| 99久久久无码国产精品秋霞网| 国产av天堂亚洲av刚刚碰| 国产精品女同二区五区九区| 精品999无码在线观看| 亚洲国产成人AV人片久久网站 | 国产手机在线αⅴ片无码| 国产特级毛片aaaaaa高清| 寂寞少妇做spa按摩无码| 成熟人妻换xxxx|