亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于特征選擇和貝葉斯優(yōu)化LightGBM的注塑制品尺寸預(yù)測

        2021-08-23 05:20:02宋建陳廣森陳敬福徐百平
        工程塑料應(yīng)用 2021年8期
        關(guān)鍵詞:注塑機貝葉斯預(yù)測

        宋建,陳廣森,陳敬福,徐百平

        (1.華南理工大學廣東省高分子先進制造技術(shù)及裝備重點實驗室,廣州 510640; 2.華南理工大學聚合物加工工程教育部重點實驗室,廣州 510640;3.五邑大學智能制造學部,廣東江門 529020; 4.廣東輕工職業(yè)技術(shù)學院廣東省高分子先進加工工程技術(shù)研究中心,廣州 510300)

        聚合物加工是現(xiàn)代新型工業(yè)中的重要行業(yè),注塑作為一種常見的聚合物成型工藝,其成型制品被廣泛使用于實際生活中。作為制造業(yè)中非常重要和代表性的工藝,注塑已有一套相當成熟的工藝流程,但是在注塑過程中,還沒有一個可靠的方案實現(xiàn)注塑制品的質(zhì)量實時監(jiān)控,目前僅通過產(chǎn)后抽檢再調(diào)機優(yōu)化的辦法具有一定的延時性,會導(dǎo)致廢品率始終居高不下。因此,如何利用注塑過程的工藝參數(shù)和物理量去實時精確地預(yù)測注塑制品的質(zhì)量成為亟需解決的問題。

        人工智能的發(fā)展為充分利用注塑過程產(chǎn)生的工業(yè)數(shù)據(jù)帶來新的思路,已有一部分學者開始研究如何將機器學習技術(shù)應(yīng)用到優(yōu)化注塑工藝中。鄭生榮等[1]使用雙層BP神經(jīng)網(wǎng)絡(luò)建立注塑參數(shù)預(yù)測模型,證明了利用注塑參數(shù)數(shù)據(jù)進行建模預(yù)測的可行性。王博等[2]使用BP神經(jīng)網(wǎng)絡(luò)、灰色理論和遺傳算法的組合算法,建立模型實現(xiàn)注塑制品的翹曲變形預(yù)測。季寧等[3]將注塑過程中的一些重要物理量考慮進來,提出了一種徑向基函數(shù)(RBF)網(wǎng)絡(luò)和多島遺傳算法對注塑質(zhì)量進行預(yù)測,且預(yù)測結(jié)果具有一定可靠性。盡管上述實驗結(jié)論具備一定說服力,但實驗的數(shù)據(jù)大多來源于CAE軟件模擬,而非真實生產(chǎn)環(huán)境,且樣本較小,所用的算法模型難以應(yīng)用到包含大量工藝數(shù)據(jù)的真實注塑環(huán)境中。筆者基于注塑過程中采集的每一模次的注塑機狀態(tài)數(shù)據(jù)和高頻采樣數(shù)據(jù),提出一種基于特征選擇和貝葉斯優(yōu)化的LightGBM算法對注塑制品的尺寸進行回歸預(yù)測,所提出算法能夠適應(yīng)數(shù)據(jù)特征較多以及數(shù)據(jù)樣本量較大的情況,并且預(yù)測模型具備較高的魯棒性和精度。

        1 特征工程

        機器學習中數(shù)據(jù)集的構(gòu)建至關(guān)重要,數(shù)據(jù)的數(shù)量和質(zhì)量,以及用于建模的輸入特征決定了預(yù)測模型的質(zhì)量[4],因為每個數(shù)據(jù)集蘊含的有用信息有限,而使用不同的算法模型只是盡可能地去逼近這個極限。因此,在使用機器學習算法構(gòu)建模型前,必須先進行特征工程,將盡可能多的有價值信息涵括其中。

        1.1 數(shù)據(jù)來源

        筆者所用的注塑數(shù)據(jù)來自于富士康科技集團的真實加工場域,數(shù)據(jù)集主要包括注塑機的狀態(tài)數(shù)據(jù)和注塑過程中的高頻采樣數(shù)據(jù),因為在注塑過程中,影響注塑工藝制品質(zhì)量的因素除了注塑機的狀態(tài)數(shù)據(jù)外,注塑機在成型過程中的實時物理量變化也是不可忽略的因素[5]。圖1是數(shù)據(jù)采集系統(tǒng)主要傳感器的位置布置圖。

        圖1 數(shù)據(jù)采集系統(tǒng)主要測量點位置布置圖

        注塑機的狀態(tài)數(shù)據(jù)為表征成型過程狀態(tài)的數(shù)據(jù),每一模次對應(yīng)一組數(shù)據(jù),包含注塑加工的周期時間、鎖模壓力、溫度均值、熔膠背壓、最大注塑壓力等特征。表1為注塑機狀態(tài)數(shù)據(jù)的部分特征字段名及其對應(yīng)的含義。

        表1 注塑機的狀態(tài)數(shù)據(jù)部分特征變量

        注塑過程的高頻采樣數(shù)據(jù)主要有來自模具中的傳感器信號以及模溫機、注塑單元的相關(guān)數(shù)據(jù),在加工過程中分階段按不同的采集頻率采集,采樣頻率根據(jù)不同注塑階段有20 Hz和50 Hz兩種,采集物理量包括模內(nèi)壓力、模內(nèi)溫度、模溫機水流流量計實際流量、噴嘴頭的射出壓力、實際螺桿位置、動模溫度、定模溫度等物理量。表2列舉了注塑機的高頻采樣數(shù)據(jù)的部分特征字段名及其對應(yīng)的含義。

        表2 注塑過程高頻采樣數(shù)據(jù)部分特征變量

        1.2 數(shù)據(jù)清洗與特征提取

        在注塑機的狀態(tài)數(shù)據(jù)集中,共包含86維特征,其中存在48個特征為空值或恒定值特征,這些特征對于模型訓練效果不產(chǎn)生作用,且會造成計算資源的浪費,因此采取剔除法去除。對于保留38個特征中存在的離群點,采取均值插補法處理,使用該特征所有數(shù)據(jù)的均值進行替換。

        注塑過程的高頻采樣數(shù)據(jù)包括的數(shù)據(jù)量龐大,必須從中提取出有價值的信息,構(gòu)建新的特征。對重要的高頻特征,包括模內(nèi)壓力、模內(nèi)溫度、噴嘴頭的射出壓力等8個物理量,求其平均值、最大值、最小值,構(gòu)建出一個包含24維特征的數(shù)據(jù)子集,與注塑機的狀態(tài)數(shù)據(jù)集組合為一個新的數(shù)據(jù)集,最終數(shù)據(jù)集共包含62維特征。

        1.3 特征選擇

        經(jīng)數(shù)據(jù)預(yù)處理后注塑數(shù)據(jù)集包含的特征數(shù)較大,容易引起“維度災(zāi)難”[6]。為降低預(yù)測模型的復(fù)雜度,選擇Pearson相關(guān)系數(shù)從原始特征集中提取特征子集[7],去除冗余特征和無關(guān)特征,降低特征維數(shù),只保留與預(yù)測值最相關(guān)的特征。Pearson相關(guān)系數(shù)[8]用于度量數(shù)據(jù)特征和預(yù)測變量之間的相關(guān)程度,通過計算預(yù)測樣本真實值序列和對應(yīng)的模型預(yù)測值序列之間的相關(guān)性,能夠在一定程序上反映數(shù)據(jù)特征對于預(yù)測變量的重要性。Pearson相關(guān)系數(shù)的取值區(qū)間為[–1,1],其中1表示完全正相關(guān),0表示沒有線性關(guān)系,–1表示完全負相關(guān)。Pearson相關(guān)系數(shù)越大,則說明該特征對于預(yù)測變量而言越重要。因此可通過算出每個特征向量與預(yù)測值向量之間的Pearson相關(guān)系數(shù),選擇相關(guān)系數(shù)最大的K個特征。Pearson相關(guān)系數(shù)的計算公式如式(1)所示。

        式中:r——Pearson相關(guān)系數(shù);

        X,Y—— 一對的連續(xù)變量;

        σX和σY——變量X和Y的標準差;

        cov(X,Y)——X與Y的協(xié)方差。

        1.4 數(shù)據(jù)預(yù)處理流程

        圖2是對注塑數(shù)據(jù)集進行特征工程的流程圖。首先對注塑數(shù)據(jù)集中的注塑機的狀態(tài)數(shù)據(jù)和高頻采樣數(shù)據(jù)分別做數(shù)據(jù)清洗和特征提取,將兩部分數(shù)據(jù)合并為一個總的數(shù)據(jù)集,然后使用Pearson相關(guān)系數(shù)法選出相關(guān)性最大的n個特征,構(gòu)建新的數(shù)據(jù)集。

        圖2 注塑數(shù)據(jù)集的特征工程流程圖

        2 基于貝葉斯優(yōu)化的LightGBM算法的注塑制品 尺寸預(yù)測模型

        2.1 LightGBM算法

        LightGBM算法[9]是由微軟研究院提出的一種基于梯度提升框架的集成算法,相對于傳統(tǒng)的梯度提升決策樹(GBDT)算法,其精度更高,模型訓練速度更快。

        LightGBM算法使用一種帶深度限制的Leafwise的葉子生長策略,每次從當前所有葉子中找到具有最大分裂增益的葉子節(jié)點進行迭代分裂。相比傳統(tǒng)的GBDT算法采用的Level-wise生長策略,在同樣的分裂次數(shù)下,Leaf-wise的誤差更低、效率更高。但由于Leaf-wise可能會生長出深度較大的決策樹,產(chǎn)生過擬合,因此LightGBM在Leaf-wise之上增加了一個最大深度限制,在保證高效率的同時也能避免過擬合。按Leaf-wise策略的節(jié)點生長過程如圖3所示。

        圖3 Leaf-wise生長策略

        除此之外,LightGBM算法采用直方圖算法替換了傳統(tǒng)的Pre-Sorted算法,將連續(xù)特征離散化為k個特征數(shù),同時構(gòu)造一個寬度為k的直方圖。遍歷數(shù)據(jù)時,根據(jù)離散化后的值作為索引進行累計統(tǒng)計,然后遍歷尋找最優(yōu)點,從而加速訓練流程并減少內(nèi)存使用。直方圖算法的原理如圖4所示。

        圖4 直方圖原理示意圖

        2.2 貝葉斯優(yōu)化調(diào)參

        機器學習中,不同的超參數(shù)組合會導(dǎo)致模型在預(yù)測性能上存在很大的差別。由于LightGBM模型具有的超參數(shù)較多,因此必須對模型進行調(diào)參,搜索出能使模型性能更佳的超參數(shù)。LightGBM算法主要超參數(shù)如表3所示。

        表3 LightGBM算法主要超參數(shù)

        常用的超參數(shù)尋優(yōu)方法包括人工搜索法、網(wǎng)格搜索法、隨機搜索法[10]以及貝葉斯優(yōu)化[11]。網(wǎng)格搜索法和隨機搜索法在測試一個新的點時,會忽略前一個點的信息,導(dǎo)致搜索效率極低。而貝葉斯優(yōu)化是一種基于超參數(shù)先驗知識的智能優(yōu)化算法,能夠有效避免不必要的采樣。同時,貝葉斯優(yōu)化利用代理模型的后驗概率分布構(gòu)造采集函數(shù),通過該采集函數(shù)主動選擇可能更好的超參數(shù),從而減少不必要的目標函數(shù)評估,快速搜索超參數(shù)的最優(yōu)解。

        貝葉斯優(yōu)化主要包含代理模型和采集函數(shù)兩個核心部分:代理模型一般有高斯過程(GP)和樹形Parzen估計器(TPE);采集函數(shù)一般有最大概率提升(PI)和最大期望提升(EI)。TPE代理模型[12]相較于GP代理模型,其將超參數(shù)的搜索空間從圖結(jié)構(gòu)轉(zhuǎn)換為樹形結(jié)構(gòu),并且使用非參數(shù)估計取代參數(shù)估計,在效率和精度上都獲得更好的收益。采集函數(shù)EI相較于PI,不僅整合了提升的概率,也體現(xiàn)出不同的提升量,平衡了深度與寬度的關(guān)系。為此,選取TPE代理模型和EI采集函數(shù)構(gòu)造貝葉斯優(yōu)化算法。

        首先,根據(jù)超參數(shù)的先驗概率分布p(x|y),使用TPE代理模型估計對應(yīng)的目標函數(shù)風險值分布p(y),其中{x(1),x(2),x(3),…,x(k)}表示超參數(shù),y表示風險值。根據(jù)EI采集函數(shù)選取下一個超參數(shù)。重復(fù)上述過程,不斷利用代理模型的后驗分布選擇超參數(shù),直到得到最優(yōu)解。TPE算法的概率分布定義如式(2)所示。

        式中:e(x)——觀測值{x(i)}形成的密度,其對應(yīng)的 風險損失y=f(x(i))小于y*;

        g(x)——使用除{x(i)}外剩余的觀測值形成的 密度。

        TPE算法選擇y*作為當前觀測風險值y的某個分位數(shù)γ,滿足p(y

        接下來通過最大期望提升進一步優(yōu)化,最大期望提升EI的定義如式(3)所示。

        根據(jù)貝葉斯定理,上式可改寫為:

        根據(jù)p(y

        最終得到:

        從式(6)可看出,為了能獲得最大期望提升,超參數(shù)x在e(x)的概率要盡可能大,而在g(x)的概率要盡可能小。通過g(x)/e(x)評估每一個超參數(shù)x,在每次迭代中,算法將返回具有最大EI的超參數(shù)值。

        2.3 K折交叉驗證訓練模型

        在訓練注塑制品尺寸預(yù)測模型的過程中,需要從訓練集中劃分一部分數(shù)據(jù)作為驗證集,用以確定模型迭代的最優(yōu)次數(shù),為充分利用訓練集中所有數(shù)據(jù),使用K折交叉驗證作為模型訓練過程中訓練集和驗證集劃分的策略。K折交叉驗證[13]是一種評估泛化性能的統(tǒng)計學方法,它比單次劃分訓練集和測試集的方法更加穩(wěn)定、全面。在K折交叉驗證中,首先將數(shù)據(jù)平等劃分為K個部分,每一個部分為一折,在訓練過程中,每次使用K–1折數(shù)據(jù)作為訓練集進行訓練,使用剩余的1折作為驗證集對模型進行校驗。使用K折交叉驗證能夠充分地利用所有的注塑數(shù)據(jù),并能避免由于不同批次的注塑數(shù)據(jù)差異而導(dǎo)致訓練集和驗證集分布不均勻的極端情況出現(xiàn)。

        2.4 基于貝葉斯優(yōu)化的LightGBM算法建模流程

        圖5為基于貝葉斯優(yōu)化的LightGBM算法預(yù)測模型的建模流程圖,將完成特征工程預(yù)處理后的注塑數(shù)據(jù)集劃分為訓練集和測試集?;谟柧毤?,使用貝葉斯優(yōu)化算法尋找出LightGBM模型的最優(yōu)超參數(shù),通過K折交叉驗證訓練預(yù)測模型,使用測試集去評估模型的預(yù)測性能。

        圖5 預(yù)測模型建模流程圖

        3 預(yù)測模型驗證

        3.1 數(shù)據(jù)準備

        采取1.2節(jié)所述的方法進行注塑數(shù)據(jù)的預(yù)處理,獲得一個包含62個連續(xù)數(shù)值變量特征的數(shù)據(jù)集。使用Pearson相關(guān)系數(shù)法從中選擇相關(guān)系數(shù)最大的40維特征,最終的訓練集共計14612×40組數(shù)據(jù),測試集共計2289×40組數(shù)據(jù)。

        3.2 模型訓練

        使用第2節(jié)所述的貝葉斯優(yōu)化LightGBM算法,通過迭代計算獲取LightGBM模型的最優(yōu)超參數(shù),如表4所示。

        表4 基于貝葉斯優(yōu)化LightGBM模型的最優(yōu)超參數(shù)

        為防止模型在訓練過程欠擬合或過擬合,使用5折交叉驗證迭代訓練模型,根據(jù)驗證集在模型訓練過程的表現(xiàn)確定最優(yōu)的迭代次數(shù),模型學習曲線如圖6所示,從圖6可直觀看出預(yù)測模型在接近400次迭代訓練后均方根誤差(RMSE)已接近最小值。

        圖6 預(yù)測模型學習曲線圖

        預(yù)測模型完成訓練后,可計算出各特征對于預(yù)測模型的重要性,表5展示了預(yù)測模型前10重要的特征,從表5可看出,模內(nèi)溫度平均值(Sensor5_mean)、噴嘴頭的射出壓力平均值(IJ_mean)、鎖模壓力(EL_CLAMP_PRESS)、模溫機水流流量計實際流量平均值(Sensor8_mean)、模內(nèi)壓力平均值(Sensor2_mean)等特征變量對于注塑制品尺寸預(yù)測具有較為重要的作用,即這些特征在注塑加工過程中對注塑制品成型尺寸的影響較為顯著,這與現(xiàn)有的理論研究一致[14]。

        表5 預(yù)測模型特征重要性排名

        3.3 模型評價指標

        回歸預(yù)測模型的預(yù)測準確性和性能主要根據(jù)預(yù)測值和實際值之間的誤差進行評估。目前比較常用的指標主要有平均絕對誤差(MAE)、均方誤差(MSE)和RMSE及決定系數(shù)(R2)。

        MAE是所有個體樣本差異的平均加權(quán),反映了回歸模型預(yù)測的真實殘差的聚集。MSE與待預(yù)測樣本真實值的量綱相同,具有較好的解釋性。RMSE對于特大或特小的誤差都非常敏感,能夠反映出測量的精密度,因此在模型訓練過程中使用RMSE作為訓練評價指標。R2通過數(shù)值量化回歸模型的擬合程度,其值為負無窮到1,當R2越接近1,表示預(yù)測模型越具有更好的擬合優(yōu)度,其預(yù)測精度越高。它們的計算公式如式(7)~式(10)所示。

        式(7)~式(10)中,yi為待預(yù)測樣本真實值,為模型預(yù)測值,為待預(yù)測樣本真實值的均值。

        3.4 試驗結(jié)果

        將訓練完畢后的LightGBM預(yù)測模型對測試集進行注塑制品尺寸預(yù)測,同時采用傳統(tǒng)的支持向量機算法(SVM)[15]、隨機森林算法[16]、人工神經(jīng)網(wǎng)絡(luò)(ANN)[17],使用上述的特征工程與貝葉斯優(yōu)化調(diào)參,分別構(gòu)建注塑制品的尺寸預(yù)測模型,根據(jù)3.3節(jié)所述評價指標,可得到四種算法的預(yù)測性能結(jié)果對比。

        圖7給出了四種模型對注塑制品尺寸的預(yù)測值和真實值的擬合對比,圖中黑色空心三角形代表真實值,灰色空心圓形代表預(yù)測值,分別對應(yīng)每一模次注塑制品的真實尺寸值和預(yù)測尺寸值。從圖7可直觀看出,經(jīng)貝葉斯優(yōu)化后的LightGBM模型的擬合效果最優(yōu),能夠準確預(yù)估注塑制品在連續(xù)生產(chǎn)過程中的尺寸變化趨勢,隨機森林模型的擬合效果稍差于LightGBM模型,ANN模型的擬合效果最差,其預(yù)測值遠遠超出了尺寸公差范圍。

        圖7 四種模型的注塑制品尺寸預(yù)測對比

        表6列出上述四種模型的預(yù)測精度對比,其中,經(jīng)貝葉斯優(yōu)化后的LightGBM模型的R2高達0.8642,在預(yù)測精度上優(yōu)于其它三種機器學習算法。

        表6 四種預(yù)測模型的預(yù)測精度對比

        4 結(jié)論

        使用注塑加工過程產(chǎn)生的大數(shù)據(jù),經(jīng)過數(shù)據(jù)預(yù)處理和Pearson相關(guān)系數(shù)提取特征,建立貝葉斯優(yōu)化的LightGBM算法進行訓練和測試,實現(xiàn)對注塑制品尺寸的智能預(yù)測。并通過與隨機森林、支持向量機以及人工神經(jīng)網(wǎng)絡(luò)進行對比驗證,結(jié)果表明經(jīng)貝葉斯優(yōu)化后的LightGBM模型在平均絕對誤差、均方誤差以及決定系數(shù)等評價指標上的分數(shù)均為最優(yōu),能夠準確地預(yù)測注塑制品的尺寸,并能準確反映注塑制品尺寸的變化趨勢。

        猜你喜歡
        注塑機貝葉斯預(yù)測
        無可預(yù)測
        黃河之聲(2022年10期)2022-09-27 13:59:46
        選修2-2期中考試預(yù)測卷(A卷)
        選修2-2期中考試預(yù)測卷(B卷)
        注塑機料筒溫度控制系統(tǒng)的設(shè)計與實現(xiàn)
        基于TRIZ與知識庫的創(chuàng)新模型構(gòu)建及在注塑機設(shè)計中的應(yīng)用
        貝葉斯公式及其應(yīng)用
        不必預(yù)測未來,只需把握現(xiàn)在
        基于貝葉斯估計的軌道占用識別方法
        一種基于貝葉斯壓縮感知的說話人識別方法
        電子器件(2015年5期)2015-12-29 08:43:15
        基于單神經(jīng)元自適應(yīng)PID控制的注塑機合模機構(gòu)
        中國塑料(2015年11期)2015-10-14 01:14:23
        日韩字幕无线乱码免费| 小sao货水好多真紧h视频| 色诱久久av| 亚洲午夜久久久精品国产| 国产一区二区三区青青草| 97人人模人人爽人人喊网| 亚洲av无码片在线观看| 久9热免费精品视频在线观看| 国产成人久久精品二区三区| 国产内射一级一片内射视频| 天天综合网天天综合色| 美女裸体无遮挡免费视频的网站| 久久久国产精品五月天伊人| 亚洲悠悠色综合中文字幕| 国产女厕偷窥系列在线视频| 伊人网在线视频观看| 中文字幕久区久久中文字幕| 亚洲精品中文字幕免费专区| 欧洲精品免费一区二区三区| 调教在线播放黄| 美女福利视频在线观看网址| 免费国产线观看免费观看 | 亚洲国产无套无码av电影| av狼人婷婷久久亚洲综合| 美国黄色av一区二区| 亚洲国产一二三精品无码 | 欧美视频九九一区二区| 蜜桃激情视频一区二区| 国产高清在线精品一区app| 国产69精品久久久久9999| 精品一区二区三区在线观看l| av免费网站免费久久网| 日日碰狠狠添天天爽五月婷| 高清在线亚洲中文精品视频| 国产精品成人久久a级片| 国产人妻鲁鲁一区二区| 亚洲av无码专区国产乱码不卡 | 亚洲一区二区三区1区2区| 99久久无色码中文字幕人妻蜜柚 | 国产精品亚洲专区无码不卡| 国产亚洲一区二区手机在线观看|