周鋼亮， 秦 昊， 林卓勝， 張 昱

（1.五邑大學 智能制造學部， 廣東 江門 529020；2.廣東省科學院智能制造研究所， 廣東 廣州 510075）

0 引 言

在鋁型材擠壓模設(shè)計中，分流孔的設(shè)計是其重要組成部分及難點所在。根據(jù)型材面進行分流孔的設(shè)計較為困難，雖然有對應(yīng)的設(shè)計原則，能夠根據(jù)擠壓比、型材面特性、擠壓機壓力、擠壓產(chǎn)品數(shù)目及其排列位置綜合設(shè)計分流孔，但沒有特定的公式可以參考，更多的是憑借以往的設(shè)計經(jīng)驗[1-2]。理論上，一種型材面存在多種可行的分流孔設(shè)計方案，可從模具可擠壓性、經(jīng)濟性等綜合因素判斷較為合理的設(shè)計方案，模具設(shè)計師需花費大量時間調(diào)整設(shè)計分流孔，因此分流孔模具設(shè)計智能化具有重要的實際工程意義[3]，能夠提升模具設(shè)計效率，但這同時對模具設(shè)計知識固化提出了挑戰(zhàn)。

目前，J LLORCA-SCHENK 等對分流孔設(shè)計進行幾何數(shù)據(jù)的統(tǒng)計分析，擬合出2 套線性與非線性的模具設(shè)計公式，并采用有限元模擬證實其有效性[4]。章弦采用人工智能與數(shù)值模擬方法研究擠壓模分流橋結(jié)構(gòu)設(shè)計的優(yōu)化[5]。于利偉歸納平面模與分流組合模的結(jié)構(gòu)設(shè)計原則，將模具結(jié)構(gòu)和工藝參數(shù)化，利用MenuScript 腳本文件對UG 進行二次開發(fā)[6]。M KAZUYA 等提出通用鍛模設(shè)計方法GeneDie，結(jié)合專家系統(tǒng)改進了知識設(shè)計方法以實現(xiàn)模具智能設(shè)計[7]。以上學者結(jié)合不同方法研究模具設(shè)計，提供不同結(jié)構(gòu)的設(shè)計方案，但采用機器學習方法與分流孔結(jié)構(gòu)研究較少。

近年來，隨著計算機運算能力的不斷提升和機器學習與神經(jīng)網(wǎng)絡(luò)算法的快速發(fā)展，機器學習和深度學習在各行業(yè)得到應(yīng)用。薛陽等采用卷積神經(jīng)網(wǎng)絡(luò)對不同模態(tài)數(shù)據(jù)提取特征并融合，在有噪聲情況下可以較好判斷滾動軸承的狀況[8]。張勝文等構(gòu)建深度學習零件特征分類器以及將加工零件圖像特征化，能準確分類加工零件的結(jié)構(gòu)[9]。張文廣等提出基于殘差網(wǎng)絡(luò)構(gòu)建遲滯特性圖的檢測方法，判斷執(zhí)行器的磨損老化狀況，正確地對執(zhí)行器進行遲滯檢測[10]。C SUMAN 等采用3 種模型（ResNet、VGG、CNN）提取不同模態(tài)特征，應(yīng)用不同的注意力機制融合，輸入全連接層，通過sigmoid 函數(shù)最終輸出預(yù)測分類[11]。特征選擇算法的數(shù)值數(shù)據(jù)處理能力出眾，其中ReliefF 算法屬于過濾式特征選擇方法，具有易實現(xiàn)、易結(jié)合的特點。ZHANG B S 等基于ReliefF 算法提出隨機多子空間的特征選擇方法，在不同分類器下的試驗結(jié)果都高于其他特征選擇算法[12]；XUE Y 等提出了一種基于ReliefF 多目標算法的混合特征選擇算法，能夠充分利用過濾式與包裹式方法的優(yōu)點，在切割大量特征的同時保證了良好的分類性能[13]。

現(xiàn)針對當前機器學習在擠壓模設(shè)計領(lǐng)域的缺失，構(gòu)建分流孔模具設(shè)計數(shù)據(jù)庫，通過數(shù)據(jù)增強手段，如幾何變換、增加分流孔較少類別樣本、平衡每類樣本的數(shù)量。利用卷積神經(jīng)網(wǎng)絡(luò)模型（convolutional neural networks，CNN）對型材面提取圖像特征，使用ReliefF 算法篩選有效數(shù)值特征，以多模態(tài)融合的方式，構(gòu)建一個基于多模態(tài)信息融合的分流孔分類模型（classification model based on multimodal information fusion，CMMIF），展開分流孔分類方法研究。最后在模具設(shè)計數(shù)據(jù)集上與主流基線模型進行試驗對比，證實CMMIF 在分流孔分類上具有優(yōu)勢。

1 模型的構(gòu)建

基于多模態(tài)信息融合的分流孔分類模型（CMMIF）的整體架構(gòu)如圖1 所示，模型主要由3 個主體部分構(gòu)成，分別是基于卷積神經(jīng)網(wǎng)絡(luò)CNN 的簡單圖像型材截面特征提取、ReliefF 算法選擇分流孔設(shè)計相關(guān)數(shù)值特征和多模態(tài)融合與分類方法。

圖1 CMMIF整體架構(gòu)

1.1 圖片特征抽取

對于圖像模態(tài)部分，型材截面由黑色線條構(gòu)成，屬于簡單圖像，其中有效像素點占比較少，如果采用類似VGG、ResNet 等深度神經(jīng)網(wǎng)絡(luò)，可能會導致無效像素點在特征向量中占比較重，而忽視型材截面圖像。為了避免該問題，卷積神經(jīng)網(wǎng)絡(luò)作為提取特征的主要算法，設(shè)計了五層網(wǎng)絡(luò)結(jié)構(gòu)的CNN，如圖2 所示。CNN 的輸入是256×256×1 的單通道圖片，經(jīng)過3個以3×3為卷積核卷積層與3個采用最大池化方法的池化層進行卷積提取圖片特征，生成特征向量，以ReLU 為激活函數(shù)[14]，用于保留圖像的重要細節(jié)，同時能夠減少參數(shù)。CNN 的最后連接2 個全連接層，采用dropout 方法[15]從網(wǎng)絡(luò)中隨機刪除節(jié)點，減少網(wǎng)絡(luò)的過擬合。該CNN 結(jié)構(gòu)簡單，訓練效率高，用于抽取型材截面的特征。

圖2 神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

1.2 數(shù)值特征選擇

分流孔數(shù)值屬性多，維度較高，有非連續(xù)性數(shù)據(jù)，為了能夠更好挖掘分流孔數(shù)值屬性與分流孔的關(guān)系，采用ReliefF 算法對數(shù)值數(shù)據(jù)進行建模，選擇相關(guān)性較高的數(shù)值屬性。ReliefF 算法是對Relief 算法的一種改進[13]，能夠處理多分類的特征，該算法根據(jù)各個不同特征和類別的關(guān)聯(lián)性計算其權(quán)重。分流孔數(shù)據(jù)庫中提供8種特征值，分別是型材面名稱、模具編號、最小外接圓直徑、面積、周長、擠壓機壓力、型材材料和擠壓比。首先，隨機從分流孔數(shù)據(jù)庫中挑選一個訓練樣本R，并從樣本R的相同類型的數(shù)據(jù)中獲取k個近鄰樣本集合H（Near Hits）；其次，從樣本R的不同類型樣本的數(shù)據(jù)中找出k個最近鄰樣本M（Near Misses）；最后計算R與H和M中樣本的距離，如果類間距大于類內(nèi)距，增加該屬性特征的權(quán)重W，反之則減少權(quán)重[16]。不斷迭代更新n次后再將每個屬性的特征權(quán)重取均值，根據(jù)設(shè)定閾值a，篩選出大于閾值的特征[12]。算法流程如圖3所示。

圖3 ReliefF算法流程

1.3 多模態(tài)信息融合及分類

CNN 提取的圖片特征與ReliefF 算法選擇的數(shù)值特征，采用Concatenate 函數(shù)實現(xiàn)特征融合，組成全新的長向量，該方法不僅能提升多模態(tài)分類模型的性能，而且方式簡單有效[17]。提取的型材截面特征向量表示為v1，（v1∈R576）和v2，（v2∈R4），將2 個向量于同一階進行組合，得到多模態(tài)特征向量如公式（1）所示。

其中，⊕表示拼接操作；580表示融合后多模態(tài)特征向量的維度。對于多分類問題，神經(jīng)網(wǎng)絡(luò)輸出層的激活函數(shù)選擇SoftMax 函數(shù)。模型的損失函數(shù)選擇多分類交叉熵損失函數(shù)，如公式（2）所示。

其中，n表示分類個數(shù)；yi表示實際分類；ai表示模型分類預(yù)測值。損失函數(shù)用于衡量預(yù)測結(jié)果和實際標簽之間的差異，通過最小化loss 函數(shù)來優(yōu)化模型參數(shù)。

2 試 驗

試驗設(shè)計如下：構(gòu)建分流孔數(shù)據(jù)集與設(shè)計預(yù)處理方法；搭建試驗環(huán)境，確定使用CNN 與RelifF 算法，調(diào)整試驗參數(shù)；設(shè)置不同模態(tài)的對照試驗與不同模型的對照試驗，用精確率、召回率、F1值作為試驗的評價指標，分析試驗結(jié)果得出最后結(jié)論。

2.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

試驗數(shù)據(jù)集來自于企業(yè)模具設(shè)計部近3年擠壓模設(shè)計數(shù)據(jù)，其中包含模具型材面圖、平面設(shè)計圖、三維圖、仿真結(jié)果與仿真視頻等，主要使用的數(shù)據(jù)是型材圖與平面設(shè)計圖。型材圖中包含的數(shù)據(jù)由型材面圖片與型材的周長、最小外截面直徑、擬采用擠壓機壓力、材料等信息。模具平面設(shè)計圖記錄分流孔數(shù)目、位置、大小等相關(guān)信息，具體信息如圖4所示。

圖4 模具設(shè)計數(shù)據(jù)集屬性

數(shù)值數(shù)據(jù)中采用one-hot 將離散型數(shù)據(jù)處理成連續(xù)型，之后用Min-Max 歸一化方法將連續(xù)型數(shù)值映射到[0,1]區(qū)間，簡化計算。數(shù)據(jù)樣本中分流孔數(shù)目類別從一孔至八孔都涵蓋在內(nèi)，但每類分流孔數(shù)目數(shù)量分布不均衡，四孔數(shù)據(jù)居多，二孔、七孔與八孔數(shù)據(jù)較少，采用數(shù)據(jù)增強方法，增加較少的類別樣本數(shù)量，使每類樣本數(shù)量相差不大。增強后的數(shù)據(jù)集每類樣本數(shù)目如圖5 所示。訓練集、驗證集和測試集以數(shù)據(jù)集7∶2∶1隨機劃分。

2.2 仿真環(huán)境及模型參數(shù)設(shè)置

分流孔分類模型使用Python3.6編寫，在Pytorch搭建深度學習網(wǎng)絡(luò)；電腦運行環(huán)境：操作系統(tǒng)為Windows10，CPU 為Intel i5-7300HQ，內(nèi)存為32G，顯卡為NVIDIA RTX1050（2G 顯存）。利用OpenCV 讀取型材面圖片，將調(diào)整為256×256 的灰度圖像，使用transforms 函數(shù)歸一化處理，作為模型的輸入。隨機梯度下降（stochastic gradient descent，SGD）算法[18]作為權(quán)重更新優(yōu)化方法，初始學習率與動量分別設(shè)置為0.01 與0.9。試驗數(shù)據(jù)batch_size 與訓練輪數(shù)epoch 分別設(shè)置為20 與30。網(wǎng)絡(luò)中隱藏層采用了dropout 策略避免過度擬合，并設(shè)置為0.5。為保證結(jié)果的可靠性，減少特殊情況，采用10折交叉方法。即通過重復(fù)10 次試驗，將得到的指標結(jié)果進行平均，作為最終的結(jié)果。

2.3 評估指標

分析分流孔分類情況，選擇評價指標有3個：精確率（precision）、召回率（recall）、F1值[19]。每一類分流孔數(shù)目的評價指標具體計算方法如公式（3）～（5）所示。

其中，TP表示真陽的數(shù)量；FP表示假陽的數(shù)量；FN表示假陰的數(shù)量。

2.4 試驗結(jié)果及分析

2.4.1 CMMIF分類試驗

CMMIF 訓練目標為預(yù)測分流孔類別，因此對模型不同模態(tài)進行分類試驗對比，比較分流孔分類效果，分析單模態(tài)與多模態(tài)的分流孔分類情況，分類結(jié)果如表1所示。首先，從單模態(tài)角度進行對比，圖片特征的分類能力略強于數(shù)值特征，分類能力沒有較大的差距，評價指標平均準確率相差3.97%，召回率相差2.89%，F(xiàn)1相差5.71%。2 種單獨模態(tài)的分類結(jié)果準確率都不高，F(xiàn)1指標得分相對較低，表明單模態(tài)數(shù)據(jù)并不能較好表示分流孔數(shù)目的細節(jié)信息，仍有較大改進的空間。將單模態(tài)與多模態(tài)行進對比，結(jié)合圖片與數(shù)值，多模態(tài)分類性能均優(yōu)于各單模態(tài)的分類結(jié)果，有較大的提升，平均準確率提升30.39%，召回率提升30.11%，F(xiàn)1提升27.39%。這表明圖片特征與數(shù)值特征兩者能夠彌補各自特征的不足，多模態(tài)數(shù)據(jù)能夠更好表示分流孔的特征，幫助模型較為準確分類分流孔數(shù)目，同時驗證了卷積神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用到模具的智能化設(shè)計中。

表1 不同模態(tài)分流孔分類結(jié)果

CMMIF 不足：多模態(tài)的特征提取未必是最優(yōu)的方案，對模型中的參數(shù)需要進一步進行調(diào)整；收集數(shù)據(jù)時間成本高，難收集，導致數(shù)據(jù)樣本量不足；該研究僅考慮2 種模態(tài)數(shù)據(jù)，結(jié)合其他模態(tài)特征可能會更加準確描述分流孔。由于企業(yè)數(shù)據(jù)資源的限制，目前沒有公開的擠壓模設(shè)計數(shù)據(jù)集能夠進行驗證。

2.4.2 對比模型設(shè)計試驗

為了評估模型的分類表現(xiàn)，選擇多種模型進行對比試驗。

（1）VGG19 與ResNet18[11]。這2 種模型是深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的代表，在視覺任務(wù)上有較好的效果，具有驗證深層網(wǎng)絡(luò)提取簡單圖形后的分類能力。

（2）SIFT+SVM[20]。圖片特征采用傳統(tǒng)特征提取SIFT 方法，該算法使用廣泛，具有良好的表現(xiàn)，支持向量機作為分類器，驗證傳統(tǒng)圖片特征提取分類方法在簡單圖片上的表現(xiàn)。

（3）無ReliefF數(shù)值特征篩選。CMMIF數(shù)值數(shù)據(jù)不使用ReliefF 算法，將全部的數(shù)值特征融合圖片特征，驗證ReliefF算法在選擇數(shù)值特征時的有效性。

將多模態(tài)模型CMMIF 同其他基線模型進行對比，平均評估指標比較結(jié)果如表2 所示。從表2 可以看出，由淺層CNN 構(gòu)造的CMMIF 在各項指標中均值達到最優(yōu)效果，平均F1值為91.83%。而作為對比由深層CNN 構(gòu)造的VGG19 模型F1值最低僅為37.12%，說明深度CNN 網(wǎng)絡(luò)模型對簡單圖片的分類效果未必最佳；圖像特征采用SIFT 的多模態(tài)特征與SVM 分類器組合模型分類結(jié)果與單模態(tài)圖片類似，比使用SVM 的CMMIF 中F1值下降了13.67%，說明SIFT 提取的圖片特征與數(shù)值特征融合后表現(xiàn)分流孔特征能力較弱；對比不同的分類器對分類結(jié)果的影響，CMMIF 中全連接層后分別接入SoftMax 與SVM 分類器，SoftMax 分類器F1值比傳統(tǒng)SVM 分類器高13.01%，SoftMax 分類器對多模態(tài)數(shù)據(jù)分類效果更佳；不采用ReliefF 算法選擇數(shù)值特征模型比CMMIF 中F1值降低2.86%，表明ReliefF 算法能正確選擇與分流孔相關(guān)的數(shù)值特征，并提高模型的精度。

表2 CMMIF模型同各基線模型的對比結(jié)果

3 結(jié)束語

為了實現(xiàn)分流孔設(shè)計的智能化，針對當前擠壓模設(shè)計中分流孔數(shù)目研究不足的問題，提出基于多模態(tài)融合的分流孔數(shù)目分類模型CMMIF。該模型通過圖像識別、CNN 圖像特征提取、ReliefF 數(shù)值特征選擇與特征融合等技術(shù)的綜合運用，能夠準確地根據(jù)型材面預(yù)測最佳分流孔數(shù)目。該研究初步探索了神經(jīng)網(wǎng)絡(luò)在模具設(shè)計智能化的應(yīng)用，能為擠壓模行業(yè)設(shè)計師提供分流孔數(shù)目位置和大小的設(shè)計思路，為后續(xù)分流孔規(guī)格檢查，同時為實現(xiàn)分流孔設(shè)計的智能化提供支撐。

未來研究中，嘗試采集更多模態(tài)數(shù)據(jù)，優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提取更佳的數(shù)據(jù)特征，并能結(jié)合其他技術(shù)如知識圖譜實現(xiàn)智能化擠壓模設(shè)計。