張 淦,袁堂曉,2,汪惠芬+,柳林燕

(1. 南京理工大學(xué) 機(jī)械工程學(xué)院,江蘇 南京 210000;2. 洛林大學(xué) LCOMS,梅斯 法國(guó) 57000)

0 引言

近年來(lái)世界上各工業(yè)大國(guó)為加快制造業(yè)轉(zhuǎn)型先后提出符合自己國(guó)情的升級(jí)轉(zhuǎn)型計(jì)劃,引領(lǐng)制造業(yè)向數(shù)字化和智能化發(fā)展。美國(guó)和德國(guó)分別提出了“工業(yè)互聯(lián)網(wǎng)”和“工業(yè)4.0”戰(zhàn)略,推動(dòng)了全球制造業(yè)的變革。中國(guó)隨后提出了“智能制造2025”戰(zhàn)略,明確數(shù)字化和智能化也必將成為我國(guó)制造業(yè)的歸宿[1]。

隨著我國(guó)智能制造轉(zhuǎn)型計(jì)劃的推進(jìn),為了指導(dǎo)企業(yè)更好地進(jìn)行智能制造改革,幫助他們了解自身情況和明確改進(jìn)方向,工信部在2020年底發(fā)布了智能制造能力成熟度模型[2],該模型結(jié)合了“中國(guó)制造2025”戰(zhàn)略計(jì)劃和國(guó)內(nèi)實(shí)際情況。然而,在申請(qǐng)智能制造成熟度等級(jí)認(rèn)證時(shí),盡管企業(yè)對(duì)自身能力有一定的認(rèn)識(shí),但由于智能制造成熟度標(biāo)準(zhǔn)的復(fù)雜性,企業(yè)缺乏對(duì)其行業(yè)水平的全面了解。如果企業(yè)盲目申請(qǐng)認(rèn)證,一方面可能會(huì)浪費(fèi)自身時(shí)間,另一方面授權(quán)機(jī)構(gòu)面臨著大量的企業(yè)申請(qǐng),而評(píng)估專(zhuān)家資源有限,無(wú)法在短時(shí)間內(nèi)對(duì)所有企業(yè)進(jìn)行評(píng)估。因此,有必要在企業(yè)申請(qǐng)智能制造成熟度等級(jí)認(rèn)證之前引入預(yù)處理機(jī)制,幫助企業(yè)了解當(dāng)前的能力水平,從而緩解當(dāng)下的矛盾。

與此同時(shí),現(xiàn)行的智能制造成熟度評(píng)估方法在實(shí)際應(yīng)用中也面臨一些挑戰(zhàn)。首先,企業(yè)需要對(duì)評(píng)估標(biāo)準(zhǔn)十分熟悉;其次,評(píng)估人員需要充分了解被評(píng)估企業(yè)的特點(diǎn), 這使得評(píng)估工作對(duì)評(píng)估專(zhuān)家依賴(lài)較大;最后,采用專(zhuān)家打分的方法需要對(duì)數(shù)百條成熟度標(biāo)準(zhǔn)逐一進(jìn)行打分評(píng)估,工作量巨大。這些問(wèn)題導(dǎo)致現(xiàn)行評(píng)估方法不太適用于企業(yè)自評(píng)估,主要原因體現(xiàn)在以下3方面:①企業(yè)缺少專(zhuān)業(yè)評(píng)估人員;②工作量巨大導(dǎo)致評(píng)估周期過(guò)長(zhǎng);③評(píng)估結(jié)果受主觀影響過(guò)大。

企業(yè)的智能制造成熟度評(píng)估主要依據(jù)生產(chǎn)經(jīng)營(yíng)現(xiàn)狀描述,因此本文選用自然語(yǔ)言處理方法構(gòu)建智能評(píng)估算法,與傳統(tǒng)成熟度評(píng)估方法相比,其具備更貼合企業(yè)生產(chǎn)現(xiàn)狀以及受主觀影響小的特點(diǎn)與優(yōu)勢(shì)。為解決企業(yè)在進(jìn)行智能制造成熟度評(píng)估過(guò)程面臨的幾方面問(wèn)題,本文將重新構(gòu)建智能制造評(píng)估過(guò)程,引入智能評(píng)估方法代替?zhèn)鹘y(tǒng)的人工評(píng)估。這種方法不僅可以改善現(xiàn)行評(píng)估方法中存在的問(wèn)題,還可以幫助企業(yè)更快速地了解自身的能力水平,實(shí)現(xiàn)自評(píng)估。

1 智能制造成熟度評(píng)估現(xiàn)狀分析

1.1 智能制造能力成熟度框架

本文采用我國(guó)工業(yè)和信息化部于2020年底發(fā)布的《智能制造能力成熟度模型》(GB/T 39116—2020)。該模型由成熟度等級(jí)、能力要素和成熟度要求構(gòu)成,具體描述如圖1所示。成熟度等級(jí)反映了企業(yè)在不同階段應(yīng)達(dá)到的智能制造能力水平,能力要素則突出了成熟度模型對(duì)企業(yè)關(guān)鍵方向的考察,同時(shí)也是企業(yè)在提升自身智能制造能力時(shí)需要改進(jìn)的重要方面。成熟度要求則指明了在不同成熟度等級(jí)下,各個(gè)能力要素甚至能力子域需要滿足的條件。

圖1 智能制造成熟度模型構(gòu)成

該成熟度模型由5個(gè)等級(jí)組成:第一級(jí)是規(guī)劃級(jí),第二級(jí)是規(guī)范級(jí),第三級(jí)是集成級(jí),第四級(jí)是優(yōu)化級(jí),第五級(jí)是引領(lǐng)級(jí)。高等級(jí)成熟度的要求包含低等級(jí)成熟度的所有要求。智能制造的能力要素包括制造、人員、技術(shù)和資源4個(gè)方面。這些能力要素反映了通過(guò)人員的應(yīng)用、資源的調(diào)配以及技術(shù)的運(yùn)用來(lái)提升智能制造能力的過(guò)程。該智能制造能力成熟度模型涵蓋了12個(gè)能力域,并進(jìn)一步細(xì)分為20個(gè)能力子域。

1.2 評(píng)估過(guò)程與評(píng)估難點(diǎn)

當(dāng)前,電子技術(shù)標(biāo)準(zhǔn)化研究院采用的評(píng)估方法,無(wú)論是企業(yè)自評(píng)估還是專(zhuān)家評(píng)估,均使用專(zhuān)家打分法。評(píng)估過(guò)程涉及8張表和229條標(biāo)準(zhǔn),并根據(jù)一定的權(quán)重進(jìn)行加權(quán)求和,通過(guò)得分來(lái)判斷企業(yè)是否符合當(dāng)前的成熟度等級(jí),然后對(duì)企業(yè)進(jìn)行逐級(jí)判斷從而得到企業(yè)最終智能制造成熟度等級(jí)。本文稱(chēng)上述評(píng)估流程為傳統(tǒng)紙質(zhì)評(píng)估流程,具體評(píng)估流程如圖2所示。

圖2 智能制造成熟度評(píng)估流程

以無(wú)錫某公司的評(píng)估過(guò)程為例,整個(gè)評(píng)估過(guò)程耗時(shí)6天,提前3天預(yù)約評(píng)估專(zhuān)家,在所有評(píng)估人員到齊后,還需花費(fèi)3天時(shí)間完成企業(yè)評(píng)估。首先,需花費(fèi)1天時(shí)間與企業(yè)溝通挑選合適的時(shí)間,到達(dá)約定的日期時(shí),評(píng)估人員進(jìn)入企業(yè)進(jìn)行評(píng)估內(nèi)容和評(píng)估流程介紹。此后,請(qǐng)企業(yè)人員針對(duì)企業(yè)現(xiàn)狀進(jìn)行能力域裁剪,該企業(yè)目前不包含設(shè)計(jì)、物流、限售和服務(wù)能力域。

隨后,評(píng)估工作進(jìn)入企業(yè)現(xiàn)場(chǎng)調(diào)研階段。因?yàn)樵u(píng)估標(biāo)準(zhǔn)按照能力子域劃分且數(shù)量眾多,所以對(duì)企業(yè)現(xiàn)場(chǎng)調(diào)研需要按照能力子域分別進(jìn)行,每部分的調(diào)研完成后,評(píng)估人員會(huì)結(jié)合調(diào)研情況和企業(yè)方的回答為評(píng)估標(biāo)準(zhǔn)逐條打出1、0.8、0.5或者0分,完成所有的打分工作需耗時(shí)1.5天的時(shí)間。

最后,根據(jù)重新調(diào)整的權(quán)重進(jìn)行加權(quán)求和得到該企業(yè)的智能制造成熟度最終得分為0.57,根據(jù)分?jǐn)?shù)與等級(jí)的對(duì)應(yīng)關(guān)系,該公司的成熟度等級(jí)未達(dá)到規(guī)劃級(jí)。

通過(guò)上述事例和圖2可以看出現(xiàn)行評(píng)估方法中評(píng)估專(zhuān)家是評(píng)估資源中的關(guān)鍵,但是對(duì)于評(píng)估機(jī)構(gòu),有限的評(píng)估資源無(wú)法滿足大量的企業(yè)的評(píng)估需求,若企業(yè)未明確自身能力水平即貿(mào)然申請(qǐng)成熟度等級(jí)判定,會(huì)造成達(dá)不到要求的企業(yè)占用資源,能夠達(dá)到要求的企業(yè)無(wú)法及時(shí)得到評(píng)估資源。

與此同時(shí)不難發(fā)現(xiàn)傳統(tǒng)紙質(zhì)評(píng)估流程存在3個(gè)挑戰(zhàn)導(dǎo)致現(xiàn)行的評(píng)估方法不適用于企業(yè)進(jìn)行自評(píng)估:①企業(yè)缺少專(zhuān)業(yè)評(píng)估人員:企業(yè)內(nèi)部缺少專(zhuān)業(yè)評(píng)估人員,難以理解評(píng)估標(biāo)準(zhǔn)和靈活運(yùn)用評(píng)估方法,致使評(píng)估工作難度增加。②評(píng)估周期方面:由于需要結(jié)合企業(yè)調(diào)研現(xiàn)狀對(duì)企業(yè)眾多能力子域的評(píng)估標(biāo)準(zhǔn)進(jìn)行評(píng)估打分,且對(duì)每個(gè)成熟度等級(jí)進(jìn)行逐級(jí)評(píng)估,導(dǎo)致評(píng)估工作量大、評(píng)估周期過(guò)長(zhǎng)。③評(píng)估的主觀性方面:評(píng)估過(guò)程中盡管評(píng)估人員和企業(yè)方共同參與對(duì)評(píng)估標(biāo)準(zhǔn)進(jìn)行評(píng)估打分,但評(píng)估人員的主觀性評(píng)價(jià)無(wú)法避免,影響了評(píng)估結(jié)果的客觀性。

對(duì)于制造行業(yè)而言,這些問(wèn)題嚴(yán)重影響了企業(yè)智能制造成熟度評(píng)估的工作進(jìn)展,本文將對(duì)評(píng)估過(guò)程進(jìn)行改進(jìn),引入智能評(píng)估算法幫助企業(yè)進(jìn)行自評(píng)估。這種方法既能夠保證評(píng)估結(jié)果公正準(zhǔn)確同時(shí)又可以讓企業(yè)快速了解自身能力水平。

1.3 相關(guān)研究現(xiàn)狀

智能制造能力成熟水平的評(píng)估可以分為兩個(gè)層次。首先,需要構(gòu)建一個(gè)合適的成熟度評(píng)價(jià)指標(biāo)體系,目的是對(duì)評(píng)估對(duì)象的能力要素進(jìn)行綜合評(píng)估。其次,選用科學(xué)合理的成熟度指標(biāo)量化評(píng)估方法,根據(jù)已建立的成熟度評(píng)價(jià)指標(biāo)體系,實(shí)現(xiàn)對(duì)企業(yè)智能制造能力水平的評(píng)估。這兩個(gè)層次相互關(guān)聯(lián),通過(guò)評(píng)價(jià)指標(biāo)體系和評(píng)估方法的結(jié)合,能夠全面準(zhǔn)確地評(píng)估企業(yè)的智能制造能力成熟水平。

GB/T 39116—2020智能制造能力成熟度模型是一項(xiàng)通過(guò)文本描述即自然語(yǔ)言來(lái)評(píng)估企業(yè)的智能制造成熟度的方法。本研究采用自然語(yǔ)言處理領(lǐng)域中的文本分類(lèi)技術(shù),以改進(jìn)成熟度評(píng)估過(guò)程。

預(yù)訓(xùn)練語(yǔ)言模型(Bidirectional Encoder Representations from Transformers,BERT)[3]模型是由谷歌提出的一種無(wú)監(jiān)督預(yù)訓(xùn)練語(yǔ)言模型,專(zhuān)注于自然語(yǔ)言處理領(lǐng)域。該模型通過(guò)采用“預(yù)訓(xùn)練+微調(diào)”的方法,在多個(gè)自然語(yǔ)言處理任務(wù)中取得了顯著的成果。

在制造業(yè)領(lǐng)域,徐美嬌等[4]為了提高復(fù)雜產(chǎn)品裝配制造成熟度等級(jí)評(píng)估的效率以及客觀性,利用成熟度等級(jí)評(píng)價(jià)實(shí)例數(shù)據(jù),提出基于反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation neural networks,BP)和適應(yīng)增強(qiáng)算法(Adaptive Boosting,Adaboost)的制造成熟度等級(jí)評(píng)估方法,并通過(guò)實(shí)驗(yàn)結(jié)果表明基于BP-Adaboost算法的復(fù)雜產(chǎn)品裝配制造成熟度等級(jí)評(píng)估方法具有較好的可靠性與準(zhǔn)確度。陰艷超等[5]針對(duì)流程生產(chǎn)由于變量間耦合復(fù)雜、時(shí)序特征顯著而導(dǎo)致工藝質(zhì)量精準(zhǔn)預(yù)測(cè)困難問(wèn)題,提出一種融合卷積神經(jīng)網(wǎng)絡(luò)與雙向門(mén)控循環(huán)單元(Convolutional Neural Networks - Bidirectional Recurrent Neural Network,CNN-BiGRU)的多工序工藝質(zhì)量預(yù)測(cè)方法,并通過(guò)實(shí)驗(yàn)驗(yàn)證其有效提高了預(yù)測(cè)精度,為流程生產(chǎn)多工序質(zhì)量精準(zhǔn)預(yù)測(cè)提供實(shí)現(xiàn)方法和途徑。為解決人工評(píng)估復(fù)雜工藝表格的相似性用于工藝重用設(shè)計(jì)存在效率低、精度差等問(wèn)題,花豹等[6]提出一種圖神經(jīng)網(wǎng)絡(luò)組合算法,來(lái)有效提取工藝表格的結(jié)構(gòu)、文字等特征以度量語(yǔ)義相似性,經(jīng)實(shí)驗(yàn)分析表明了所提方法的有效性,并以工藝重用實(shí)例驗(yàn)證了方法的可行性。何彥等[7]針對(duì)汽車(chē)組合儀表組裝過(guò)程質(zhì)檢時(shí)間長(zhǎng)、效率低的現(xiàn)狀,提出卷積神經(jīng)網(wǎng)絡(luò)與支持向量回歸相結(jié)合的汽車(chē)組合儀表組裝質(zhì)量預(yù)測(cè)方法,并使用車(chē)間生產(chǎn)數(shù)據(jù)進(jìn)行實(shí)驗(yàn),證明了所提方法能夠準(zhǔn)確有效地預(yù)測(cè)汽車(chē)組合儀表的組裝質(zhì)量。

在其他領(lǐng)域,CHEN等[8]使用改進(jìn)BERT實(shí)現(xiàn)對(duì)長(zhǎng)期臨床文本的表示,降低時(shí)間復(fù)雜度和內(nèi)存消耗,使用CNN對(duì)肺癌實(shí)現(xiàn)更高水平的可解釋性預(yù)測(cè)。LI等[9]使用BERT進(jìn)行了醫(yī)學(xué)過(guò)程實(shí)體歸一化任務(wù)的實(shí)驗(yàn)和分析,WEN等[10]討論了在酒店在線評(píng)論中使用BERT進(jìn)行客戶情感分析。這都證明了BERT在服務(wù)行業(yè)提高客戶理解、推薦和服務(wù)智能性方面的有效性。

在深度學(xué)習(xí)算法的短文本分類(lèi)研究中,淦亞婷等[11]全面分析了CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、CNN-RNN、圖卷積神經(jīng)網(wǎng)絡(luò) (Graph Convolutional Network,GCN)等不同深度學(xué)習(xí)方法,并對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行了比較。這有助于研究者更好地選擇適合自己研究的算法。BAO等[12]提出一種短文本分類(lèi)模型,LIU等[13]提出了基于BERT-CNN的多標(biāo)簽文本分類(lèi)方法,JOLOUDARI等[14]提出了將預(yù)訓(xùn)練語(yǔ)言模型與深度卷積神經(jīng)網(wǎng)絡(luò)(BERT-Deep Convolutional Neural Networks,BERT-DeepCNN)相結(jié)合用于新冠推文情感分析。這些研究表明,在不同領(lǐng)域中,深度學(xué)習(xí)方法都具有廣泛的應(yīng)用前景。

綜上所述,各領(lǐng)域的學(xué)者積極應(yīng)用自然語(yǔ)言處理技術(shù),尤其是基于BERT的深度學(xué)習(xí)方法,為解決各自領(lǐng)域的問(wèn)題提供了新的思路和方法。在智能制造成熟度評(píng)估領(lǐng)域,采用智能評(píng)估模型能夠解決傳統(tǒng)評(píng)估過(guò)程中的一系列問(wèn)題,包括評(píng)估人員預(yù)約、評(píng)估周期長(zhǎng)和主觀性等問(wèn)題。與此同時(shí),TextCNN模型在短文本分類(lèi)方面具有獨(dú)特的優(yōu)勢(shì),包括并行計(jì)算和局部特征提取等特點(diǎn)。而B(niǎo)ERT+TextCNN模型則充分結(jié)合了BERT的語(yǔ)義表示和TextCNN的特征提取,有效提升了模型性能。最后,智能評(píng)估模型的建立不僅有助于更好地利用有限的評(píng)估標(biāo)準(zhǔn)數(shù)據(jù),還提高了成熟度評(píng)估的客觀性和可靠性。

2 智能模型驅(qū)動(dòng)的評(píng)估過(guò)程設(shè)計(jì)

2.1 成熟度評(píng)估過(guò)程重構(gòu)

為克服上述評(píng)估過(guò)程中所面臨的難點(diǎn)與挑戰(zhàn),本文將智能制造成熟度評(píng)估過(guò)程進(jìn)行重構(gòu)。通過(guò)深入研究現(xiàn)有評(píng)估流程,并根據(jù)企業(yè)實(shí)踐過(guò)程中的經(jīng)驗(yàn)和教訓(xùn),開(kāi)展有針對(duì)性的改進(jìn),旨在優(yōu)化、升級(jí)和提升目前的成熟度評(píng)估過(guò)程。

在企業(yè)的自評(píng)估過(guò)程中,因?yàn)槿鄙兕?lèi)似于評(píng)估專(zhuān)家的專(zhuān)業(yè)評(píng)估人員,所以評(píng)估過(guò)程不能過(guò)分地依賴(lài)評(píng)估專(zhuān)家。為了解決這一問(wèn)題,本文計(jì)劃采用泛化且全面覆蓋的智能評(píng)估模型。這一舉措可以有效減少對(duì)相關(guān)經(jīng)驗(yàn)的評(píng)估人員的依賴(lài),幫助企業(yè)順利完成企業(yè)自評(píng)估,快速了解當(dāng)前的能力水平。

評(píng)估周期過(guò)長(zhǎng)主要原因是逐級(jí)評(píng)估和評(píng)估打分的方法。經(jīng)過(guò)重構(gòu)的評(píng)估過(guò)程放棄傳統(tǒng)的專(zhuān)家打分法,采用智能評(píng)估模型,通過(guò)對(duì)企業(yè)現(xiàn)狀的描述來(lái)確定成熟度等級(jí)。這一改進(jìn)可以顯著縮短評(píng)估周期,以完成對(duì)更多企業(yè)的成熟度評(píng)估。

此外,傳統(tǒng)的評(píng)估打分法容易受到評(píng)估人員主觀因素的影響。一些學(xué)者采用集體決策、決策試驗(yàn)和評(píng)價(jià)實(shí)驗(yàn)法(Decision making trial and evaluation laboratory,DEMATEL)[15]等理論降低影響,但模型構(gòu)建本身復(fù)雜,不適用于本場(chǎng)景。本文則通過(guò)采用智能評(píng)估的方法由智能評(píng)估模型確定最終的成熟度等級(jí),可以有效地減輕主觀因素對(duì)評(píng)估結(jié)果的影響問(wèn)題,確保評(píng)估結(jié)果更加客觀和可靠。重構(gòu)前后的具體評(píng)估流程對(duì)比如圖3所示。

在現(xiàn)行評(píng)估流程中,評(píng)估人員的選擇需要滿足兩個(gè)關(guān)鍵要點(diǎn):①必須具備被評(píng)估企業(yè)特點(diǎn)和所屬行業(yè)的相關(guān)經(jīng)驗(yàn);②時(shí)間安排必須與企業(yè)確定的進(jìn)場(chǎng)時(shí)間相匹配。步驟5～步驟9中逐條對(duì)評(píng)估標(biāo)準(zhǔn)進(jìn)行打分,按照權(quán)重進(jìn)行加權(quán)求和,并逐級(jí)進(jìn)行評(píng)估,過(guò)程持續(xù)時(shí)間太長(zhǎng);步驟4中采用的專(zhuān)家打分法,雖做到了權(quán)威但受主觀影響較大。

重構(gòu)后,因?yàn)榻⒘朔夯某墒於仍u(píng)估模型,一方面不過(guò)分依賴(lài)于評(píng)估專(zhuān)家來(lái)進(jìn)行工作;另一方面企業(yè)在申請(qǐng)成熟度等級(jí)認(rèn)證前可以充分地了解自身能力水平。智能評(píng)估模型不采用打分加權(quán)求和的方式確定成熟度等級(jí)。通過(guò)對(duì)企業(yè)現(xiàn)狀的描述便可得到最終的成熟度等級(jí),極大地縮短了評(píng)估周期。同時(shí)采用智能評(píng)估模型對(duì)企業(yè)進(jìn)行智能評(píng)估,可以改善評(píng)估結(jié)果受主觀影響大的問(wèn)題。

2.2 文本數(shù)據(jù)集構(gòu)建

本文使用GB/T 39116—2020智能制造能力成熟度模型文件作為訓(xùn)練數(shù)據(jù)集的來(lái)源。該文件包含了達(dá)到不同成熟度級(jí)別所需滿足的標(biāo)準(zhǔn),在進(jìn)行訓(xùn)練數(shù)據(jù)集的預(yù)處理過(guò)程中,對(duì)評(píng)估標(biāo)準(zhǔn)中的每個(gè)句子進(jìn)行加工和轉(zhuǎn)換,將其轉(zhuǎn)換為陳述句的形式,同時(shí)去除了空格、無(wú)效符號(hào)和無(wú)效字段,得到了經(jīng)過(guò)處理的文本數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集中按照成熟度等級(jí)分為不足規(guī)劃級(jí)、規(guī)劃級(jí)、規(guī)范級(jí)、集成級(jí)、優(yōu)化級(jí)、引領(lǐng)級(jí)6個(gè)類(lèi)別,分別使用0～5表示,訓(xùn)練數(shù)據(jù)集示例如表1所示。驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集是以106家企業(yè)的智能制造成熟度評(píng)定結(jié)果為基礎(chǔ),將每家企業(yè)的評(píng)定情況按照能力子域進(jìn)行劃分并相互打亂順序,然后將細(xì)化和打亂后的企業(yè)評(píng)定情況以5:5的比例進(jìn)行劃分。模型建立過(guò)程中,使用訓(xùn)練數(shù)據(jù)集建立評(píng)估模型,驗(yàn)證數(shù)據(jù)集調(diào)試評(píng)估模型,測(cè)試數(shù)據(jù)集驗(yàn)證評(píng)估模型效果,數(shù)據(jù)集構(gòu)成如表2所示。

表1 訓(xùn)練數(shù)據(jù)集示例

表2 數(shù)據(jù)集構(gòu)成

訓(xùn)練、驗(yàn)證和測(cè)試數(shù)據(jù)集中的每條文本長(zhǎng)度均控制在256字以內(nèi)。訓(xùn)練數(shù)據(jù)集中包括整理后的每條成熟度評(píng)定標(biāo)準(zhǔn)以及相應(yīng)的成熟度等級(jí)。而驗(yàn)證和測(cè)試數(shù)據(jù)集則涵蓋了真實(shí)企業(yè)智能制造成熟度評(píng)估現(xiàn)狀及對(duì)應(yīng)的成熟度等級(jí)。在整理這些數(shù)據(jù)集的過(guò)程中,得到了本領(lǐng)域?qū)＜液蛯W(xué)者的積極協(xié)助。這些專(zhuān)家和學(xué)者擁有多年從事智能制造相關(guān)工作的經(jīng)驗(yàn),他們?yōu)檎麄€(gè)過(guò)程提供了寶貴的意見(jiàn)和見(jiàn)解。他們的參與和見(jiàn)證是本研究工作不可或缺的重要組成部分。具體參與人員的詳細(xì)信息可參見(jiàn)表3。

表3 數(shù)據(jù)集的整理人員

2.3 智能制造成熟度智能評(píng)估算法設(shè)計(jì)

2.3.1 BERT預(yù)訓(xùn)練模型

BERT是基于Transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言模型,并將多頭注意力機(jī)制應(yīng)用于其編碼器部分,多頭注意力機(jī)制的引入賦予了BERT強(qiáng)大的語(yǔ)義理解能力,使其能夠捕捉不同層次和不同角度的語(yǔ)義信息。每個(gè)注意力頭可以關(guān)注不同的語(yǔ)義特征,從而提供了更全面的表示能力。BERT通過(guò)預(yù)訓(xùn)練過(guò)程中的掩碼任務(wù)(Masked Language Model,MLM)和下一句預(yù)測(cè)任務(wù)(Next Sentence Prediction,NSP)來(lái)學(xué)習(xí)詞匯和句子之間的關(guān)系。這種結(jié)合了MLM和NSP任務(wù)的BERT模型在處理詞義歧義問(wèn)題時(shí)表現(xiàn)卓越,能夠根據(jù)上下文準(zhǔn)確理解詞匯的含義,并將輸入的文本轉(zhuǎn)化為帶有特征信息的字向量矩陣。具體的模型示意圖如圖4所示。

圖4 BERT預(yù)訓(xùn)練模型

2.3.2 TextCNN文本神經(jīng)網(wǎng)絡(luò)

TextCNN作為卷積神經(jīng)網(wǎng)絡(luò)的一種,通過(guò)多種尺度的卷積核對(duì)文本進(jìn)行滑動(dòng)窗口取樣,從而獲取不同大小的局部特征,并能捕捉到文本中不同層次的語(yǔ)義信息。每個(gè)卷積核都擁有單獨(dú)的滑動(dòng)窗口尺寸和數(shù)量,使得模型能夠在不同尺度上提取特征。此外,TextCNN中的卷積核可以在整個(gè)輸入上共享,從而降低了參數(shù)的數(shù)量,簡(jiǎn)化了模型復(fù)雜度,提高了模型的泛化性能。模型中的卷積層可以并行處理不同位置的輸入,極大地加快了計(jì)算速度。正因如此,TextCNN模型既展現(xiàn)出較高的計(jì)算效率,又能夠有效捕捉文本數(shù)據(jù)中不同尺度和層次的語(yǔ)義特征。使其非常適合處理大規(guī)模的文本數(shù)據(jù)和長(zhǎng)文本數(shù)據(jù)。具體模型結(jié)構(gòu)圖如圖5所示。

圖5 TextCNN模型

2.3.3 基于預(yù)訓(xùn)練模型和文本神經(jīng)網(wǎng)絡(luò)的成熟度評(píng)估模型設(shè)計(jì)

因此,本研究采用基于中文預(yù)訓(xùn)練模型和文本神經(jīng)網(wǎng)絡(luò)的BERT+TextCNN成熟度評(píng)估模型代替原有的評(píng)估方法幫助企業(yè)進(jìn)行智能制造成熟度評(píng)估,該模型總體分為3個(gè)階段:第一階段,通過(guò)Tokenizer將輸入的中文文本轉(zhuǎn)化中文預(yù)訓(xùn)練模型bert-base-chinese模型可接受的輸入格式。Tokenizer負(fù)責(zé)將句子分割成單詞或者子詞,并為每個(gè)單詞或子詞分配唯一的編號(hào)。第二階段,將Tokenizer的輸出作為bert-base-chinese模型的輸入,經(jīng)過(guò)bert-base-chinese模型中多層Transformer Encoder的編碼。每一層都包含多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò),使得模型逐漸提取抽象的特征表示,并逐步實(shí)現(xiàn)文本的深層次理解,最終將輸入模型的單詞序列轉(zhuǎn)換成等長(zhǎng)的詞向量矩陣,其中包括了單詞的語(yǔ)義信息和位置信息。第三階段,采用TextCNN模型對(duì)BERT模型的輸出進(jìn)行分類(lèi),得出具體的成熟度評(píng)估結(jié)果。TextCNN模型作為一種文本卷積神經(jīng)網(wǎng)絡(luò),能夠有效地學(xué)習(xí)文本數(shù)據(jù)的特征表達(dá),從而對(duì)不同的文本進(jìn)行分類(lèi)。在此,TextCNN模型的主要任務(wù)是提取和分類(lèi)BERT模型輸出的文本特征,最終生成相應(yīng)的成熟度評(píng)估結(jié)果。具體的模型結(jié)構(gòu)如圖6所示。

圖6 BERT+TextCNN成熟度評(píng)估模型

對(duì)于整體的智能評(píng)估流程,輸入模型的文本描述會(huì)經(jīng)過(guò)由詞嵌入層、卷積層、池化層和全連接層最終得到成熟度判定等級(jí)。當(dāng)評(píng)估人員使用時(shí)可直接以成熟度能力子域?yàn)閱挝灰云髽I(yè)現(xiàn)狀的文本描述作為評(píng)估模型的輸入,經(jīng)過(guò)Tokenizer的分詞處理轉(zhuǎn)換為input_ids和attention_mask輸入進(jìn)BERT模型。然后,BERT模型對(duì)輸入進(jìn)行嵌入得到bert_embedding。接下來(lái),bert_embedding作為T(mén)extCNN的輸入,經(jīng)過(guò)一系列卷積、激活函數(shù)、池化和全連接層操作后得到輸出層的cnn_output,最終由cnn_output轉(zhuǎn)變?yōu)槌墒於鹊燃?jí)?；贐ERT+TextCNN成熟度評(píng)估算法如下:

算法1BERT+TextCNN成熟度評(píng)估算法。

Input:input_text#評(píng)估文本

Output:Lable#等級(jí)

1.input_text = input_tensor()#輸入文本

2.tokenized_input = tokenizer.tokenize(input_text)#使用Tokenizer對(duì)進(jìn)行分詞

3.input_ids,attention_mask = tokenizer.convert_tokens_to_ids(tokenized_input)#將分詞結(jié)果轉(zhuǎn)換為BERT模型可接受的輸入格式

4.bert_embedding = bert_embedding_layer(input_ids, attention_mask)#使用BERT模型進(jìn)行嵌入

5.cnn_input = bert_embedding#將BERT的嵌入結(jié)果作為T(mén)extCNN的輸入

6.for filter_size in filter_sizes:#遍歷不同尺寸的卷積核

7. conv_output = convolution(cnn_input, filter_size)#卷積操作

8. activation_output = activation(conv_output)#激活函數(shù)

9. maxpool_output = max_pooling(activation_output)#最大池化

10. cnn_outputs.append(maxpool_output)#保存每個(gè)卷積核的輸出

11.concat_output = concatenate(cnn_outputs)#將所有卷積核的輸出連接起來(lái)

12.dropout_output = dropout(concat_output)#Dropout操作

13.fully_connected_output = fully_connected_layers(dropout_output)#全連接層

14.cnn_output = output_projection(fully_connected_output)#輸出層

15.cnn_output→Lable#轉(zhuǎn)化為等級(jí)

16.end

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境配置與評(píng)價(jià)指標(biāo)選取

本實(shí)驗(yàn)所采用的計(jì)算機(jī)處理器為Intel(R) Xeon(R) Platinum 8375C CPU,顯卡為NVIDIA GTX4090(24 GB),基于Python 3.8進(jìn)行實(shí)驗(yàn),主要使用的深度學(xué)習(xí)框架是PyTorch 1.10.0版本,運(yùn)行內(nèi)存為80 GB。本次實(shí)驗(yàn)選擇的是中文版本的BERT(bert-base-Chinese),將經(jīng)過(guò)預(yù)處理的文本數(shù)據(jù)輸入到經(jīng)過(guò)參數(shù)微調(diào)的BERT模型中,以提升BERT在下游任務(wù)中的效果。

在訓(xùn)練、測(cè)試和驗(yàn)證模型的過(guò)程中,模型會(huì)記錄損失函數(shù)的值。若在一段時(shí)間內(nèi)損失值沒(méi)有發(fā)生變化,則可以提前結(jié)束訓(xùn)練過(guò)程。為了比較不同模型之間的性能,本文選擇精確率Precision、召回率Recall以及調(diào)和平均值F1Score作為評(píng)估指標(biāo)。這些指標(biāo)的計(jì)算公式如下所示:

(1)精確率(Precision):即正確預(yù)測(cè)為正例的樣本數(shù)占所有預(yù)測(cè)為正例的樣本數(shù)的比例:

(1)

(2)召回率(Recall):即正確預(yù)測(cè)為正例的樣本數(shù)占所有正例樣本數(shù)的比例:

(2)

(3)調(diào)和平均值(F1Score):是精確率和召回率的調(diào)和平均數(shù):

(3)

真正類(lèi)(True Positive,TP)指的是實(shí)際為正例且被模型正確預(yù)測(cè)為正例的樣本數(shù);假正類(lèi)(False Positive,FP)指的是實(shí)際為負(fù)例但被模型錯(cuò)誤地預(yù)測(cè)為正例的樣本數(shù);假負(fù)類(lèi)(False Negative,FN)則表示實(shí)際為正例但被模型錯(cuò)誤地預(yù)測(cè)為負(fù)例的樣本數(shù)。通過(guò)計(jì)算這些評(píng)估指標(biāo),可以更好地比較不同模型之間的性能,并找到最優(yōu)的模型。同時(shí),這些指標(biāo)也有助于了解模型的性能特點(diǎn),并做出相應(yīng)的改進(jìn)。

3.2 評(píng)估模型參數(shù)分析

在參數(shù)設(shè)置過(guò)程中,本文嘗試了不同的卷積核大小、迭代次數(shù)和學(xué)習(xí)率等參數(shù),以評(píng)估其對(duì)結(jié)果的影響,通過(guò)系統(tǒng)地調(diào)整不同的參數(shù)組合,可以進(jìn)一步優(yōu)化評(píng)估模型的性能。

首先,卷積核的大小對(duì)卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面的效果具有影響。一般而言,較小的卷積核能夠捕捉更細(xì)微的特征細(xì)節(jié),但也容易導(dǎo)致過(guò)擬合問(wèn)題。相反,較大的卷積核能夠捕捉到更高層次的特征,但隨著卷積核寬度的增加,計(jì)算成本也隨之增加。因此,需要通過(guò)比較不同大小的卷積核來(lái)確定最合適的尺寸。根據(jù)表4的結(jié)果可以看出,當(dāng)卷積核的大小設(shè)置為[2,3,4]時(shí),模型評(píng)估效果最佳;而隨著卷積核的增大,評(píng)估效果卻逐漸下降。基于此,本文將卷積核的大小設(shè)定為[2,3,4]。

表4 卷積核大小對(duì)評(píng)估結(jié)果的影響

其次,迭代次數(shù)也是影響模型性能的一個(gè)重要參數(shù)。通常情況下,增加迭代次數(shù)可以幫助模型更好地學(xué)習(xí)數(shù)據(jù)中的特征,從而提高模型的性能。然而,過(guò)多的迭代次數(shù)可能會(huì)導(dǎo)致過(guò)擬合問(wèn)題,并且增加了訓(xùn)練時(shí)間的消耗。因此,需要通過(guò)比較不同的迭代次數(shù)來(lái)確定最佳取值。根據(jù)表5的結(jié)果可以看出,隨著迭代次數(shù)的增加,評(píng)估模型的效果也逐漸提升。在迭代次數(shù)達(dá)到6次時(shí),評(píng)估模型的效果達(dá)到最佳,而超過(guò)6次后,評(píng)估效果開(kāi)始下降?；诖?本文中將迭代次數(shù)設(shè)定為6次。

表5 迭代次數(shù)對(duì)評(píng)估結(jié)果的影響

最后,學(xué)習(xí)率作為控制模型在訓(xùn)練過(guò)程中權(quán)重更新速度的重要參數(shù),決定了每次參數(shù)更新的步長(zhǎng)。較小的學(xué)習(xí)率有助于維持模型的穩(wěn)定性,而較大的學(xué)習(xí)率則能夠加速模型的收斂速度。因此,需要通過(guò)比較不同學(xué)習(xí)率的效果,以找到最佳的學(xué)習(xí)率值。如表6所示,當(dāng)學(xué)習(xí)率設(shè)置為1e-4時(shí),評(píng)估模型未能收斂;然而,當(dāng)將學(xué)習(xí)率調(diào)整為3e-5時(shí),訓(xùn)練時(shí)間未顯著增加,同時(shí)評(píng)估模型達(dá)到最佳效果?；谝陨戏治?本文中將學(xué)習(xí)率設(shè)定為3e-5。

表6 學(xué)習(xí)率對(duì)評(píng)估結(jié)果的影響

在參數(shù)設(shè)置過(guò)程中,關(guān)鍵是進(jìn)行系統(tǒng)化的實(shí)驗(yàn)和評(píng)估。通過(guò)嘗試不同的參數(shù)組合,并結(jié)合驗(yàn)證數(shù)據(jù)集的表現(xiàn)進(jìn)行評(píng)估,以獲取最佳性能的參數(shù)組合。通過(guò)采用這種方法,進(jìn)一步優(yōu)化BERT-TextCNN評(píng)估模型的性能。最終,當(dāng)卷積核大小設(shè)置為[2,3,4]、迭代次數(shù)為6次、學(xué)習(xí)率為3e-5時(shí),BERT-TextCNN評(píng)估模型展現(xiàn)出最優(yōu)的性能。

3.3 評(píng)估模型結(jié)果驗(yàn)證

為了研究不同模型在評(píng)估過(guò)程中的性能表現(xiàn),將BERT的輸出作為嵌入輸入到TextCNN、RNN、RCNN和DPCNN模型中。然后,對(duì)BERT、BERT+TextCNN、BERT+RNN、BERT+RCNN和BERT+DPCNN進(jìn)行了效果對(duì)比分析。通過(guò)參數(shù)調(diào)整和多輪試驗(yàn),獲取了各評(píng)估模型評(píng)價(jià)指標(biāo)的最優(yōu)值,并對(duì)它們進(jìn)行了對(duì)比。具體對(duì)比結(jié)果詳見(jiàn)表7。此外,還得到了各評(píng)估模型的混淆矩陣,并對(duì)各混淆矩陣也進(jìn)行了對(duì)比,更直觀地觀察模型的性能差異。具體信息見(jiàn)圖7,通過(guò)對(duì)比分析,從中選擇出最優(yōu)的評(píng)估模型。

表7 各評(píng)估模型實(shí)驗(yàn)對(duì)比表

圖7 評(píng)估模型混淆矩陣對(duì)比圖

根據(jù)以上實(shí)驗(yàn)對(duì)比表,可以明顯看出,當(dāng)僅利用BERT預(yù)訓(xùn)練模型進(jìn)行評(píng)估時(shí),3項(xiàng)評(píng)價(jià)指標(biāo)基本維持在83%～84%之間,取得了不錯(cuò)的效果。這表明BERT預(yù)訓(xùn)練模型在成熟度評(píng)估任務(wù)中具有出色的性能,為后續(xù)模型提供了強(qiáng)大的基礎(chǔ)。進(jìn)一步,在其后面接適合的變體神經(jīng)網(wǎng)絡(luò)后,效果會(huì)再次得到提升。在對(duì)比中可以看出循環(huán)神經(jīng)網(wǎng)絡(luò)的評(píng)估模型在評(píng)價(jià)指標(biāo)方面較低于其他模型,這表明循環(huán)神經(jīng)網(wǎng)絡(luò)的短時(shí)記憶優(yōu)勢(shì)在此未能充分發(fā)揮,導(dǎo)致其評(píng)估結(jié)果較為分散且評(píng)估效果不佳。BERT+TextCNN評(píng)估模型評(píng)估等級(jí)時(shí)達(dá)到了85.32%的準(zhǔn)確率,顯著高于其他評(píng)估模型。通過(guò)混淆矩陣的對(duì)比可以看出,BERT+TextNN模型的錯(cuò)誤評(píng)估結(jié)果通常維持在與正確等級(jí)相鄰的兩個(gè)等級(jí)之間,不存在所有等級(jí)都可能被預(yù)測(cè)到的現(xiàn)象,證明了該評(píng)估模型在智能制造評(píng)估方面的可行性。此外,就混淆矩陣而言,BERT+TextCNN評(píng)估模型在各個(gè)等級(jí)的評(píng)估中取得了較為均衡和良好的性能表現(xiàn),這證明了該評(píng)估模型在智能制造評(píng)估方面的穩(wěn)定性。因此,不論是從評(píng)價(jià)指標(biāo)還是從總體效果來(lái)看,BERT+TextCNN評(píng)估模型都表現(xiàn)出卓越的性能。

3.4 討論

本文為企業(yè)提供了一種新的智能制造成熟度自評(píng)估方法,以解決現(xiàn)行評(píng)估方法不適用于企業(yè)自評(píng)估的3個(gè)挑戰(zhàn):①企業(yè)缺少專(zhuān)業(yè)評(píng)估人員;②評(píng)估周期過(guò)長(zhǎng); ③評(píng)估結(jié)果受主觀影響大。 采用智能評(píng)估方法后,企業(yè)的智能制造成熟度自評(píng)估工作可以不過(guò)度依賴(lài)評(píng)估專(zhuān)家。以一家企業(yè)為例,無(wú)論從評(píng)估人員還是評(píng)估周期來(lái)講,相較于以往需要2名專(zhuān)家3名助理投入n+3天才可完成的任務(wù),n為預(yù)約評(píng)估專(zhuān)家時(shí)間一般約為2～7天。現(xiàn)在經(jīng)過(guò)培訓(xùn)后,可以做到3名企業(yè)人員的參與下,評(píng)估周期縮短至1天或1.5天即可完成,同企業(yè)同等級(jí)評(píng)估情況下完成評(píng)估所需時(shí)間與人員對(duì)比如圖8所示。在工作量方面,重構(gòu)前成熟度等級(jí)需要企業(yè)人員配合評(píng)估專(zhuān)家對(duì)每一等級(jí)進(jìn)行逐級(jí)評(píng)估,重構(gòu)后采用智能評(píng)估的方法可以直接得到企業(yè)的成熟度等級(jí),從而大幅減少了企業(yè)人員的工作量。重構(gòu)前的評(píng)估結(jié)果由專(zhuān)家打分得到,過(guò)程中極易受到評(píng)估人員的主觀影響,重構(gòu)后由智能評(píng)估模型得出評(píng)估結(jié)果,經(jīng)過(guò)對(duì)同一家企業(yè)的多次實(shí)驗(yàn),證明其結(jié)果準(zhǔn)確可靠,這就避免了評(píng)估結(jié)果受評(píng)估人員主觀影響的問(wèn)題。

圖8 同企業(yè)同等級(jí)評(píng)估情況下完成評(píng)估所需時(shí)間與人員對(duì)比

通過(guò)對(duì)建立的BERT+TextCNN評(píng)估模型的驗(yàn)證,目前其準(zhǔn)確率維持在85%以上。然而,該方法的運(yùn)用仍然面臨一些挑戰(zhàn)。一方面,當(dāng)前建立的評(píng)估模型仍處于初步階段,需要不斷優(yōu)化改進(jìn);另一方面,參與評(píng)估的企業(yè)人員經(jīng)驗(yàn)參差不齊,同時(shí)訓(xùn)練數(shù)據(jù)集中涉及的企業(yè)領(lǐng)域較多,特定行業(yè)的企業(yè)數(shù)據(jù)集樣本不足,導(dǎo)致評(píng)估模型的泛化能力尚待提升。因此,還需要從多個(gè)角度持續(xù)改進(jìn)和完善智能評(píng)估模型,以提高其準(zhǔn)確率和適用性。

4 結(jié)束語(yǔ)

為支持國(guó)內(nèi)眾多企業(yè)快速完成智能制造成熟度評(píng)估工作,解決評(píng)估資源有限以及評(píng)估過(guò)程中低效率、長(zhǎng)周期和評(píng)估結(jié)果受主觀因素影響較大等問(wèn)題。本文以智能制造能力成熟度模型文件中不同成熟度等級(jí)需要滿足的標(biāo)準(zhǔn)作為訓(xùn)練數(shù)據(jù)集,通過(guò)對(duì)成熟度等級(jí)評(píng)定標(biāo)準(zhǔn)的學(xué)習(xí),發(fā)現(xiàn)成熟度等級(jí)之間存在明顯的差異。基于這一發(fā)現(xiàn),本文提出一種基于預(yù)訓(xùn)練模型BERT和文本神經(jīng)網(wǎng)絡(luò)TextCNN的成熟度評(píng)估模型,在與各主流深度學(xué)習(xí)模型的比較中,各項(xiàng)評(píng)估指標(biāo)顯示BERT+TextCNN評(píng)估模型明顯優(yōu)于其他主流深度學(xué)習(xí)模型。此外,通過(guò)對(duì)各評(píng)估模型的混淆矩陣進(jìn)行分析,結(jié)果顯示深度學(xué)習(xí)模型在智能制造成熟度評(píng)估方面具備可行性。在眾多評(píng)估模型中,BERT+TextCNN評(píng)估模型在成熟度標(biāo)準(zhǔn)的特征提取和語(yǔ)義挖掘方面表現(xiàn)出卓越能力。本文提供的方法為企業(yè)進(jìn)行智能制造成熟度自評(píng)估提供了一種有效的途徑,并證實(shí)了深度學(xué)習(xí)模型在該領(lǐng)域的潛力和競(jìng)爭(zhēng)優(yōu)勢(shì)。這對(duì)于國(guó)內(nèi)企業(yè)快速、準(zhǔn)確地完成智能制造成熟度評(píng)估工作具有重要意義。

盡管本研究取得了一定的成果,但仍需要進(jìn)一步改進(jìn)。首先,需要解決數(shù)據(jù)集的限制性問(wèn)題。隨著更多企業(yè)進(jìn)行智能制造成熟度評(píng)估或更新自身的成熟度水平,將有更詳細(xì)的評(píng)估標(biāo)準(zhǔn)可用于進(jìn)一步完善評(píng)估模型。其次,隨著數(shù)據(jù)集的增加,可以對(duì)數(shù)據(jù)集進(jìn)行更精細(xì)的行業(yè)分析,以創(chuàng)建更精確的行業(yè)智能評(píng)估模型,從而提高評(píng)估的準(zhǔn)確性,以滿足企業(yè)和用戶更多的需求。這些改進(jìn)將有助于進(jìn)一步提高評(píng)估模型的效能和可用性。