亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        改進(jìn)深度神經(jīng)網(wǎng)絡(luò)的產(chǎn)品制造周期預(yù)測(cè)

        2022-03-07 06:57:46董寶力陳依玲
        軟件導(dǎo)刊 2022年2期
        關(guān)鍵詞:車間神經(jīng)網(wǎng)絡(luò)樣本

        楊 丁,董寶力,陳依玲

        (浙江理工大學(xué)機(jī)械與自動(dòng)控制學(xué)院,浙江杭州 310018)

        0 引言

        車間生產(chǎn)制造受缺料、故障、插單等不確定因素的影響,產(chǎn)品加工周期存在較大波動(dòng)。生產(chǎn)車間能按時(shí)交貨是企業(yè)穩(wěn)健發(fā)展的基石,也是影響企業(yè)競(jìng)爭(zhēng)力和聲譽(yù)的重要因素,因此生產(chǎn)車間應(yīng)盡可能制定合理的計(jì)劃保障產(chǎn)品按時(shí)交付。隨著工業(yè)互聯(lián)網(wǎng)的快速發(fā)展,制造業(yè)車間的海量數(shù)據(jù)得以準(zhǔn)確采集,龐大的數(shù)據(jù)量和復(fù)雜的數(shù)據(jù)關(guān)系為產(chǎn)品制造周期的預(yù)測(cè)奠定了基礎(chǔ)。

        產(chǎn)品制造周期預(yù)測(cè)方法包括統(tǒng)計(jì)分析法、仿真建模法和神經(jīng)網(wǎng)絡(luò)法等。在神經(jīng)網(wǎng)絡(luò)方面,Chang 等提出基于淺層神經(jīng)網(wǎng)絡(luò)的生產(chǎn)周期預(yù)測(cè)方法,其與線性回歸算法相比準(zhǔn)確度更高;Chen 等使用BP 神經(jīng)網(wǎng)絡(luò)對(duì)晶圓生產(chǎn)加工周期進(jìn)行了預(yù)測(cè),采用先聚類后預(yù)測(cè)的方法提高了預(yù)測(cè)精度;陳佳珍等分別采用BP 神經(jīng)網(wǎng)絡(luò)和多元線性回歸對(duì)縫口強(qiáng)力進(jìn)行預(yù)測(cè),由MATLAB 編程建立預(yù)測(cè)模型,實(shí)驗(yàn)結(jié)果表明BP 神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力優(yōu)于多元線性回歸。深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)在產(chǎn)品制造周期方面也有一定應(yīng)用,例如Wang 等使用傳感器采集車間生產(chǎn)過(guò)程的數(shù)據(jù),并以訂單信息作為數(shù)據(jù)樣本集,采用DNN 進(jìn)行生產(chǎn)制造周期預(yù)測(cè);劉道元等收集影響制造車間訂單完工期的特征信息作為數(shù)據(jù)樣本集,構(gòu)建DNN 進(jìn)行訂單完工期預(yù)測(cè)。

        以上3 種方法中仿真建模法難以精準(zhǔn)描述生產(chǎn)車間制造過(guò)程,模型復(fù)雜且難以維護(hù)。統(tǒng)計(jì)分析法在處理數(shù)據(jù)量少、應(yīng)用場(chǎng)景簡(jiǎn)單、數(shù)據(jù)特征集復(fù)雜度低的情況下精度較高,在加工工序多、生產(chǎn)規(guī)模較大的場(chǎng)景下預(yù)測(cè)準(zhǔn)確度難以提升。特征選擇和特征提取作為神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練過(guò)程,可提取特征間有價(jià)值的信息,但可能會(huì)造成非線性信息損失。神經(jīng)網(wǎng)絡(luò)法在產(chǎn)品制造場(chǎng)景簡(jiǎn)單、工序少的情況下能取得較好預(yù)測(cè)效果,在加工不確定因素多、數(shù)據(jù)維度大的情況下不能較好地表達(dá)特征維度,預(yù)測(cè)精度低?;诖?,本文提出一種改進(jìn)DNN 的產(chǎn)品制造周期預(yù)測(cè)方法。該方法采用棧式自編碼器(Stacked Auto Encoder,SAE)提取特征中的重要信息,獲得網(wǎng)絡(luò)輸入等于輸出的重要特征關(guān)系,代替?zhèn)鹘y(tǒng)特征提取或選擇過(guò)程,使用SAE 網(wǎng)絡(luò)預(yù)訓(xùn)練參數(shù)初始化DNN 進(jìn)行預(yù)測(cè)。為避免模型發(fā)生過(guò)擬合,在訓(xùn)練過(guò)程中加入L2 正則化和dropout,并通過(guò)某產(chǎn)品生產(chǎn)制造車間實(shí)例對(duì)該預(yù)測(cè)模型的性能進(jìn)行驗(yàn)證。

        1 問(wèn)題描述與模型建立

        1.1 問(wèn)題描述

        以制造業(yè)生產(chǎn)車間為背景,研究產(chǎn)品加工周期的預(yù)測(cè)問(wèn)題。在生產(chǎn)加工過(guò)程中,產(chǎn)品類型、加工數(shù)量以及各工序加工時(shí)間的共同影響導(dǎo)致產(chǎn)品制造周期的預(yù)測(cè)難度較大,而預(yù)測(cè)產(chǎn)品生產(chǎn)周期有利于企業(yè)合理安排作業(yè)為此提出一種改進(jìn)DNN 的方法進(jìn)行產(chǎn)品制造周期預(yù)測(cè)。

        1.2 產(chǎn)品制造周期預(yù)測(cè)模型建立

        基于棧式自編碼器—深度神經(jīng)網(wǎng)絡(luò)(SAE-DNN)的產(chǎn)品制造周期預(yù)測(cè)模型如圖1 所示。對(duì)于制造車間,生產(chǎn)不確定性因素主要包括物料供應(yīng)、人員狀態(tài)、設(shè)備工況、故障異常、加工任務(wù)變更等。

        Fig.1 Manufacturing cycle prediction model based on SAE-DNN圖1 基于SAE-DNN 的產(chǎn)品生產(chǎn)制造周期預(yù)測(cè)模型

        產(chǎn)品制造過(guò)程中的數(shù)據(jù)包括加工路線、設(shè)備狀況、人員狀態(tài)以及物料清單表等。為保證各特征值在量綱上的一致性,使其能夠擺脫單位束縛進(jìn)行比較與加權(quán),統(tǒng)一對(duì)所有特征值進(jìn)行歸一化處理。各特征歸一化結(jié)果落在(0,1)之間,歸一化定義表示為:

        式中,x和x為特征數(shù)據(jù)集的最大值和最小值。

        2 SAE-DNN 預(yù)測(cè)網(wǎng)絡(luò)算法

        2.1 SAE 預(yù)訓(xùn)練

        SAE 經(jīng)過(guò)堆疊單層編碼器增加層數(shù)使模型獲得更多參數(shù)空間,為預(yù)測(cè)模型提取更有價(jià)值的特征信息。影響產(chǎn)品生產(chǎn)制造周期的數(shù)據(jù)組成一個(gè)數(shù)據(jù)樣本集

        X

        ={

        x

        ,

        x

        ,…,

        x

        ,…,

        x

        },其中

        x

        ={

        x

        ,

        x

        ,…,

        x

        },

        n

        為數(shù)據(jù)樣本集中包含的樣本個(gè)數(shù),

        x

        表示第

        k

        個(gè)樣本中的特征變量集。神經(jīng)元的各節(jié)點(diǎn)與

        x

        內(nèi)各特征變量一一對(duì)應(yīng)。在編碼過(guò)程中,將

        x

        中的特征變量作為輸入傳至隱藏層神經(jīng)元,通過(guò)式(2)進(jìn)行編碼,完成特征提取,然后使用式(3)對(duì)隱藏層的特征進(jìn)行復(fù)現(xiàn),得到解碼結(jié)果

        y

        x

        )。

        式中,{

        w

        ,b

        }和{

        w

        ,

        b

        }分別表示編碼和解碼過(guò)程中連接的權(quán)值矩陣和偏置矩陣。由于傳統(tǒng)激活函數(shù)在進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)容易造成特征信息丟失,故在SAE 預(yù)訓(xùn)練過(guò)程中采用ReLU 激活函數(shù)。此外,ReLU 函數(shù)可使部分輸出為0,能夠緩解過(guò)擬合現(xiàn)象。單層自編碼器采用反向傳播算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,重構(gòu)后得到輸入值,使用最小化代價(jià)函數(shù),得到使輸入等于輸出的參數(shù)

        w

        b

        值。自編碼過(guò)程的誤差代價(jià)函數(shù)C表達(dá)式為:

        式中,c 為輸入神經(jīng)元的節(jié)點(diǎn)個(gè)數(shù);

        β

        為傳播過(guò)程中權(quán)重的衰減參數(shù);n 為隱藏層神經(jīng)元個(gè)數(shù);γ 為稀疏項(xiàng)權(quán)重參數(shù);ρ 值設(shè)定為0.05,表示稀疏項(xiàng)懲罰因子

        KL

        ρ||ρ

        )。使用逐層貪婪訓(xùn)練法對(duì)網(wǎng)絡(luò)的第一層進(jìn)行訓(xùn)練,得到初始參數(shù)

        w

        b

        ;在神經(jīng)網(wǎng)絡(luò)的初始層將特征數(shù)據(jù)集作為輸入項(xiàng),對(duì)其進(jìn)行訓(xùn)練并解碼隱藏層神經(jīng)元,將解碼后的向量作為下一層輸入,訓(xùn)練第二層的參數(shù)

        w

        b

        。同樣利用該方法對(duì)神經(jīng)網(wǎng)絡(luò)的其他層數(shù)進(jìn)行訓(xùn)練,每次更新權(quán)值的算法表示為:

        式中,

        l

        ={1,2,…,

        n

        },

        k

        表示迭代次數(shù),

        α

        表示學(xué)習(xí)率。

        2.2 DNN 網(wǎng)絡(luò)算法

        SAE 預(yù)訓(xùn)練不斷訓(xùn)練樣本中的數(shù)據(jù)特征集,用以提取深層特征信息,將訓(xùn)練合理的

        w

        b

        賦值給DNN 第一層。在對(duì)DNN 最后一層進(jìn)行訓(xùn)練時(shí),隨機(jī)生成網(wǎng)絡(luò)參數(shù),主要由之前神經(jīng)網(wǎng)絡(luò)層提取的特征信息進(jìn)行產(chǎn)品制造周期預(yù)測(cè)。

        由于DNN 層數(shù)和網(wǎng)絡(luò)節(jié)點(diǎn)較多,訓(xùn)練模型容易出現(xiàn)過(guò)擬合現(xiàn)象。為得到預(yù)測(cè)能力更強(qiáng)的模型,加入L正則化和dropout步驟。

        (1)L正則化是在原有損失函數(shù)中增加L正則項(xiàng),即增加了所有層所有參數(shù)的平方和,定義為:

        (2)在DNN 訓(xùn)練過(guò)程中加入dropout,使特征信息在神經(jīng)元中傳輸?shù)倪^(guò)程中,神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)按照一定的概率消失,以改善DNN 的過(guò)擬合現(xiàn)象,其定義為:

        式中,Bernoulli 為隨機(jī)生成0、1 向量的概率生成函數(shù)。

        3 實(shí)例分析

        以某制造業(yè)生產(chǎn)車間的加工數(shù)據(jù)為研究對(duì)象,驗(yàn)證SAE-DNN 模型對(duì)產(chǎn)品制造周期預(yù)測(cè)的合理性和準(zhǔn)確性。該生產(chǎn)線共有11個(gè)加工工序,產(chǎn)品制造流程如圖2 所示。

        Fig.2 Processing flow of some manufacturing workshop圖2 某制造業(yè)車間加工流程

        根據(jù)排產(chǎn)工單的不同,依次對(duì)制造執(zhí)行系統(tǒng)(MES)中的數(shù)據(jù)進(jìn)行采集,形成影響產(chǎn)品制造周期的數(shù)據(jù)樣本集。該數(shù)據(jù)集包含某季度車間的實(shí)時(shí)加工數(shù)據(jù),利用該數(shù)據(jù)對(duì)產(chǎn)品制造周期預(yù)測(cè)模型進(jìn)行訓(xùn)練。對(duì)于數(shù)據(jù)樣本中的空值、異常值、缺失值,使用Pandas 計(jì)算該數(shù)據(jù)列的特征均值并完成替換,經(jīng)篩選共獲得5 000個(gè)工單數(shù)據(jù)樣本,將工單樣本數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集,其中訓(xùn)練集占80%。

        在Python3.7.2 上調(diào)用Tensorflow2.3.0、Sklearn、Matplotlib,構(gòu)建SAE-DNN 模型并完成預(yù)測(cè),經(jīng)分析處理后獲得872個(gè)特征,部分樣本特征集示例如表1 所示。

        Table 1 Example of characteristic variable set of production manufacturing cycle表1 產(chǎn)品生產(chǎn)制造周期部分特征變量集示例

        SAE 層數(shù)為7,網(wǎng)絡(luò)結(jié)構(gòu)為872→500→200→75→200→500→872,學(xué)習(xí)率為0.001;DNN 采用6 層深度神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)為872→500→200→75→20→1。dropout 各層神經(jīng)元保存概率為0.85,學(xué)習(xí)率為0.001,學(xué)習(xí)周期為500。均方根誤差(RMSE)能很好地反映預(yù)測(cè)模型的精度,作為評(píng)價(jià)本文模型性能的指標(biāo),定義為:

        SAE-DNN 的優(yōu)化過(guò)程如圖3 所示,虛線代表測(cè)試集,實(shí)線代表訓(xùn)練集。SAE-DNN 在測(cè)試集上的RMSE 為29.91,訓(xùn)練集上的RMSE 為24.84,誤差相對(duì)較小,收斂速度較快。

        使用訓(xùn)練數(shù)據(jù)集對(duì)制造周期預(yù)測(cè)模型進(jìn)行訓(xùn)練,模型訓(xùn)練結(jié)束后,采用測(cè)試數(shù)據(jù)集對(duì)預(yù)測(cè)模型的準(zhǔn)確度進(jìn)行驗(yàn)證,結(jié)果如圖4 所示。隨機(jī)從測(cè)試數(shù)據(jù)集中選取150 條數(shù)據(jù),實(shí)際值采用實(shí)線表示,SAE-DNN 模型的預(yù)測(cè)值采用虛線表示??梢钥闯?,SAE-DNN 模型的預(yù)測(cè)值與實(shí)際值之間誤差較小,實(shí)際值與預(yù)測(cè)值的變化方向與幅度基本一致。

        Fig.3 SAE-DNN model optimization process圖3 SAE-DNN 模型優(yōu)化過(guò)程

        Fig.4 SAE-DNN model prediction results圖4 SAE-DNN 模型預(yù)測(cè)結(jié)果

        為驗(yàn)證SAE-DNN 模型在加工制造周期過(guò)程中的預(yù)測(cè)精度,選擇以下3 種模型作為對(duì)照:①PCA-BPNN(PCA 降維到300個(gè)特征),BP 網(wǎng)絡(luò)結(jié)構(gòu)為300→50→1;②R-SAEDNN(無(wú)dropout 和正則化L2),神經(jīng)元結(jié)構(gòu)與SAE-DNN 一致;③無(wú)預(yù)訓(xùn)練的深層神經(jīng)網(wǎng)絡(luò)N-DNN,神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)為872→500→200→75→20→1。分別對(duì)以上算法建立模型并進(jìn)行產(chǎn)品制造周期預(yù)測(cè),預(yù)測(cè)結(jié)果分別如圖5、圖6、圖7 所示。與這3 種預(yù)測(cè)模型相比,SAE-DNN 模型在測(cè)試樣本集上的實(shí)際值與預(yù)測(cè)值之間誤差較小,產(chǎn)品制造周期預(yù)測(cè)準(zhǔn)確度更高。N-DNN 模型在測(cè)試樣本集上的預(yù)測(cè)值與實(shí)際值之間誤差較大,預(yù)測(cè)準(zhǔn)確度最低。PCA-DNN、RSAE-DNN、N-DNN 中僅有部分樣本的預(yù)測(cè)值與實(shí)際值相差較小,而SAE-DNN 中所有樣本值均擬合較好。

        Fig.5 PCA-BPNN prediction results圖5 PCA-BPNN 預(yù)測(cè)結(jié)果

        Fig.6 R-SAE-DNN prediction results圖6 R-SAE-DNN 預(yù)測(cè)結(jié)果

        Fig.7 N-DNN prediction results圖7 N-DNN 預(yù)測(cè)結(jié)果

        采用均方根誤差RMSE、均方誤差MSE、平均絕對(duì)誤差MAE、R(R-Squared 擬合度)4個(gè)指標(biāo)對(duì)以上4 種預(yù)測(cè)模型進(jìn)行評(píng)價(jià),實(shí)驗(yàn)結(jié)果如表2 所示。結(jié)果表明,SAEDNN 除R外,各項(xiàng)評(píng)價(jià)指標(biāo)值均最小,即預(yù)測(cè)精度最高;PCA-BPNN 的預(yù)測(cè)精度低于SAE-DNN,R-SAE-DNN 的預(yù)測(cè)精度低于PCA-BPNN,N-DNN 的預(yù)測(cè)精度最低。

        Table 2 Comparison results of each prediction model表2 各預(yù)測(cè)模型結(jié)果比較

        由以上實(shí)驗(yàn)數(shù)據(jù)可知:①與PCA-BPNN 相比,SAEDNN 在特征提取中非線性信息損失更小,擬合效果更好;②與R-SAE-DNN 相比,dropout 和正則化L2 減少了SAEDNN 的過(guò)擬合問(wèn)題;③SAE 確定的DNN 初始化參數(shù)優(yōu)于N-DNN 模型隨機(jī)產(chǎn)生的參數(shù),預(yù)測(cè)精確度更高。綜上可知,SAE-DNN 可靠性與預(yù)測(cè)精確度高于其他模型,更易于擬合制造車間復(fù)雜、多變的數(shù)據(jù)。

        4 結(jié)語(yǔ)

        本文在考慮產(chǎn)品制造影響因素多、樣本量大的情況下,利用SAE 訓(xùn)練模型參數(shù)并完成特征提取過(guò)程,同時(shí)采用訓(xùn)練參數(shù)初始化DNN 參數(shù),減少了傳統(tǒng)特征提取過(guò)程中非線性信息的損失。通過(guò)生產(chǎn)車間實(shí)例驗(yàn)證,并與其他3種模型進(jìn)行比較,證實(shí)本文模型有更好的預(yù)測(cè)效果。

        產(chǎn)品制造周期的合理預(yù)測(cè)能使車間排產(chǎn)更完善,生產(chǎn)效率更高。后續(xù)將采用機(jī)器學(xué)習(xí)方法,根據(jù)車間制造數(shù)據(jù)對(duì)預(yù)測(cè)模型進(jìn)行修正,使其在車間信息不斷變化的情況下預(yù)測(cè)精度保持不變或更高。

        猜你喜歡
        車間神經(jīng)網(wǎng)絡(luò)樣本
        100MW光伏車間自動(dòng)化改造方案設(shè)計(jì)
        智能制造(2021年4期)2021-11-04 08:54:28
        用樣本估計(jì)總體復(fù)習(xí)點(diǎn)撥
        神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
        電子制作(2019年19期)2019-11-23 08:42:00
        招工啦
        推動(dòng)醫(yī)改的“直銷樣本”
        “扶貧車間”拔窮根
        隨機(jī)微分方程的樣本Lyapunov二次型估計(jì)
        把農(nóng)業(yè)搬進(jìn)車間
        基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
        村企共贏的樣本
        亚洲精品久久区二区三区蜜桃臀| 欧美国产亚洲精品成人a v | 国产精品女同久久久久久| 丰满少妇av一区二区三区 | AV在线毛片| 亚洲熟女少妇一区二区三区青久久| 国产成人精品日本亚洲专区61| 亚洲精品无码乱码成人| 精品中文字幕制服中文| 在线亚洲精品免费视频| 欧美熟妇另类久久久久久多毛| 97在线观看| 毛片无码高潮喷白浆视频| 国产精品黑丝美女av| 无码精品国产一区二区三区免费 | 国产成人综合在线视频| 国产成人综合久久精品推荐免费 | 久九九久视频精品网站| 中文国产乱码在线人妻一区二区 | 日本色偷偷| 成人爽a毛片在线播放| 激情综合网缴情五月天| 国产毛片一区二区日韩| 户外精品一区二区三区| 亚洲av不卡一区二区三区| 精品人无码一区二区三区| 精品亚洲乱码一区二区三区| 精品亚洲一区二区三区在线播放 | 手机看片福利一区二区三区| 国内精品人妻无码久久久影院94| 亚洲区精选网址| 国产精品久久av色婷婷网站| 国产精久久一区二区三区| 国产亚洲精品aaaa片app| 极品美女销魂一区二区三| 欲女在线一区二区三区| a级毛片免费观看网站| 在线毛片一区二区不卡视频| 丝袜美腿制服诱惑一区二区| 亚洲a∨无码男人的天堂| 日韩在线不卡免费视频|