衛(wèi)誠琨，周俊，張嘉

（201620 上海市 上海工程技術大學 機械與汽車工程學院）

0 引言

熱熔堆積（FDM）型3D 打印是目前最成熟、應用最廣的增材制造技術之一，其原理是熱塑性絲狀材料由供絲機構送至熱熔噴頭，并在噴頭中加熱和熔化成半液態(tài)，然后被擠壓出來，驅使打印機頭按照讀取的G-code 代碼路徑移動，打印材料隨路徑擠出后凝固聯(lián)結，經(jīng)層層堆積完成產(chǎn)品的制作[1]。

FDM 型3D 打印進程中，會因打印參數(shù)設置、打印設備調(diào)校、車間環(huán)境狀況等原因發(fā)生故障，如成型進程中的產(chǎn)品表面會產(chǎn)生無法消除的缺陷（如圖1 所示），甚至造成打印設備的損壞。因此需及時發(fā)現(xiàn)故障以避免繼續(xù)打印造成進一步的損失。

圖1 FDM 型3D 打印中的故障產(chǎn)品Fig.1 Faulty products in FDM type 3D printing

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）是目前廣泛使用的圖像識別方法，可通過計算圖像對于各指定類別的匹配概率對圖像進行分類[2-3]。FDM 型3D 打印發(fā)生故障時，其缺陷可通過監(jiān)測打印過程中產(chǎn)品的表面特征圖像，運用CNN 對圖像進行識別、分類等，及時判斷打印的故障并識別故障類型[4-6]。

1 FDM 型3D 打印的故障分類

FDM 型3D 打印進程中的缺陷主要表現(xiàn)在4個區(qū)域：（1）打印層，即零件已完成部分與正在成型部分的交界處；（2）打印件外壁，即打印件四周外殼；（3）打印件的起始層（4）打印件的頂層[7]。打印中進行故障診斷時，需對打印進程中可能出現(xiàn)的故障進行分類?，F(xiàn)將常見的打印故障歸納為表1 中的19 種類別。

表1 FDM 型3D 打印故障類別Tab.1 FDM type 3D printing failure categories

打印故障有多種，在每次打印進程中，復數(shù)項的打印故障可能同時發(fā)生。觀測打印進程是否發(fā)生故障，需對正在成型中的打印件上表面、側表面進行監(jiān)視。上表面的監(jiān)測需要俯視機位的攝像模塊。但是表面故障一旦產(chǎn)生，即會漫布于整個打印件外壁，不存在局部完好的情況，因此對被測表面添加一個側視機位的攝像模塊。產(chǎn)品的已成型部分不會在后續(xù)打印進程中發(fā)生改變，故側視機位攝像模塊只需監(jiān)測已成型與未成型交接部分，即觀察打印層的外壁狀況。

2 基于CNN 的打印故障診斷系統(tǒng)

CNN 是一種前饋神經(jīng)網(wǎng)絡，由一個或多個卷積層和池化層以及頂層的全連接層組成[8]。卷積層使神經(jīng)網(wǎng)絡能夠識別圖形中在不同區(qū)域反復出現(xiàn)且尺寸更小的圖樣，提升識別速度；池化層是對圖像進行二次采樣，在不影響識別性能的前提下減少數(shù)據(jù)運算量。因此，相比較其他深度、前饋神經(jīng)網(wǎng)絡，CNN 需要考量的參數(shù)更少，效率更高，從而廣泛地應用于圖像識別的領域中[9]。

本文基于CNN 對成型中零部件表面特征圖像進行分類，從而進行打印故障診斷。對每種故障均有一個專用CNN對其進行“發(fā)生”與“未發(fā)生”的二元分類，獨立進行判斷。與采用單CNN 多元分類相比，多CNN 二元分類對故障診斷系統(tǒng)按故障類型進行模塊化處理，可更便捷地進行后續(xù)故障識別能力的升級，每個CNN 在訓練時更容易獲得泛化性，不易陷入過擬合。需要的圖像數(shù)據(jù)量更低，可減小圖像數(shù)據(jù)的采集規(guī)模[10]。

2.1 CNN 模型的建立

CNN 由眾多被稱為層的計算模塊前后連接而成。第一層為輸入層，最后一層為輸出層，中間為隱藏層。數(shù)據(jù)由輸入層輸入，經(jīng)由隱藏層，層層傳遞計算，最后得到輸出層的結果。本系統(tǒng)中打印故障的診斷CNN，其輸入層為256×256×1的三維矩陣，其中256 為打印件圖像的長寬像素，1 為圖像通道數(shù)。輸出層為二維向量[o1,o2]。其中，o1為該打印件圖像，表示打印進程中已發(fā)生相應故障的概率；o2為打印進程正常的概率。

隱藏層除最后兩層外，每層又可分為3 個子層：卷積層、激活層、池化層，數(shù)據(jù)由三維矩陣的形式，經(jīng)過3 層計算后，輸出另一個三維矩陣，該輸出矩陣又將作為下一層中卷積層的輸入，如此傳遞，直至輸出層輸出結果。對于分類問題，隱藏層最后一層為Softmax 層，以對輸出數(shù)據(jù)進行正則化，使其輸出向量的每個元素值均在0 到1 之間，從而可以指代對應結果的概率。

卷積層由核和偏置的兩種三維矩陣組成。核與偏執(zhí)的通道數(shù)與輸入矩陣的通道數(shù)相同，輸入矩陣與核進行卷積運算后與偏執(zhí)進行和運算。經(jīng)由ReLU 激活函數(shù)，在池化層進行池化計算，以提升模型的魯棒性。卷積層中，核與偏執(zhí)均為需要學習的參數(shù)；池化層中所定義的池化計算是在CNN 模型建立時已經(jīng)確定的，無需要進行學習的參數(shù)。

2.2 故障診斷系統(tǒng)的構成

故障診斷系統(tǒng)如圖2 所示，由圖像采集的攝像系統(tǒng)、圖像信息傳遞和故障診斷信息收集的中控系統(tǒng)、圖像分析及判斷是否發(fā)生故障的CNN計算系統(tǒng)組成。

圖2 故障診斷系統(tǒng)的組成Fig.2 Composition of fault diagnosis system

2.2.1 攝像系統(tǒng)

攝像系統(tǒng)包含兩個CMOS 攝像模塊和光源系統(tǒng)。本文采用的圖像數(shù)據(jù)設置為256×256 像素的單通道灰度圖片。每筆圖片數(shù)據(jù)均為256 維方型矩陣，矩陣元素為對應像素的8 位灰度值，其區(qū)間為0 至28-1=255。故攝像模塊采用常見的30 W 像素、640×480 分辨率的CMOS 攝像模塊。

兩個攝像模塊分別設于俯視機位和側視機位。俯視機位的攝像模塊固定于打印機正上方，在不影響打印熱端走行機構的前提下，完整覆蓋打印范圍的俯視向圖像采集。側視機位的攝像模塊固定于打印機側面，其高度略高于打印平臺歸零時所處的高度，使該攝像模塊能在整個打印進程中始終捕捉打印層附近的外壁圖像，如圖3 所示。

圖3 俯視機位與側視機位Fig.3 Top view camera position and side view camera position

光源對圖像數(shù)據(jù)采集的效果至關重要，調(diào)整光源的亮度、色溫及位置，保證灰度圖像數(shù)據(jù)中打印件輪廓清晰，故障特征分明。

2.2.2 中控系統(tǒng)

中控系統(tǒng)由另一塊獨立的單板計算機構成。其功能如下：（1）根據(jù)事先設定的采樣間隔時間，控制攝像系統(tǒng)的采樣。產(chǎn)品在打印中因故障而產(chǎn)生的缺陷，在發(fā)生故障后的一小段時間內(nèi)對其整體結構及打印設備的影響有限，故在打印進程中無需進行實時拍攝，只需每隔一段時間對成型中產(chǎn)品圖像進行采樣；（2）接收攝像系統(tǒng)采樣的單通道圖像數(shù)據(jù)，并按照俯視組和測試組分別傳遞至CNN 計算系統(tǒng)中，作為相應CNN 的輸入；（3）接收CNN 計算系統(tǒng)反饋的故障識別結果，根據(jù)該結果將打印進程是否發(fā)生故障及故障類型的警報信息傳遞至遠端監(jiān)控設備。

2.2.3 CNN 計算系統(tǒng)

CNN 計算系統(tǒng)由性能相對強勁的單板計算機獨自或并聯(lián)構成，內(nèi)置19 個已經(jīng)訓練完畢，即結構與參數(shù)符合打印件故障識別的CNN。這19 個CNN 分為俯視組與測試組，依據(jù)其對應打印故障的識別方位進行分組。兩組分別接收由中控系統(tǒng)傳遞來的對應機位攝像模塊采集的圖像信息。各組內(nèi)，每筆圖像信息均需輸入組內(nèi)所有的CNN，每個收到圖像信息的CNN 均會執(zhí)行前向計算，從而各自進行對應故障診斷。

3 基于CNN 的故障識別訓練

為使CNN 達到上述故障識別能力，需對CNN 進行訓練。CNN 采用監(jiān)督式學習進行訓練。監(jiān)督式學習是指神經(jīng)網(wǎng)絡模型通過擬合大量含標簽樣本獲取最優(yōu)權重參數(shù)，從而獲取預測能力的訓練方式。打印故障識別的CNN 訓練流程（如圖4 所示）：（1）建立具備卷積層和池化層的結構相同、參數(shù)不同的神經(jīng)網(wǎng)絡函數(shù)集；（2）以交叉熵作為損失函數(shù)，以此定義不同參數(shù)下的CNN 識別故障類型的性能表現(xiàn)；（3）收集一定數(shù)量規(guī)模的打印進程故障數(shù)據(jù)，以[打印進程圖像 -故障類型]的方式進行標識，形成數(shù)據(jù)組，取其中70%的數(shù)據(jù)組作為訓練集，剩余30%的數(shù)據(jù)組作為測試集；（4）以CNN 的一組隨機參數(shù)作為初始值，評估其在訓練集上的識別性能，得到損失函數(shù)值，并以該值梯度下降法對參數(shù)進行更新；（5）評估新參數(shù)下的CNN 在訓練集上的識別性能并再次更新。如此反復，直至損失函數(shù)收斂，得到具有最佳故障識別性能的CNN；（6）評估此訓練完畢的CNN 在測試集上的故障識別性能。

圖4 基于CNN 的故障識別訓練流程Fig.4 CNN-based fault recognition training process

3.1 CNN 訓練

CNN 的訓練中分為超參數(shù)的設定和參數(shù)的訓練，其中超參數(shù)應在參數(shù)訓練前設定。在訓練集中隨機挑選20%的數(shù)據(jù)作為驗證集，在驗證集上進行快速訓練，評估并確定最佳的超參數(shù)。超參數(shù)設定完畢后，再用訓練集余下的80%數(shù)據(jù)進行參數(shù)的訓練。模型中，網(wǎng)絡層數(shù)、核卷積步幅、學習率為超參數(shù)，卷積層核與偏置為參數(shù)。

參數(shù)訓練通過監(jiān)督式學習的方法。訓練時，用Xavier 法設定卷積層和核與偏置的初始值。用交叉熵函數(shù)評估當前參數(shù)在訓練集上的識別性能。使用批訓練的方式，即利用計算機并行計算的特性，同時計算當前參數(shù)下多組輸入值的輸出值，并計算批中損失函數(shù)的均值：

式中：N——批中所包含的數(shù)據(jù)筆數(shù)；t——正確解標簽；y——在該組參數(shù)下得到的實際解。

得到損失函數(shù)值后，以該值為依據(jù)，采用梯度下降法對參數(shù)進行更新

式中：x——當前參數(shù)；x'——更新后參數(shù)；η——學習率。評估新參數(shù)下的CNN 在訓練集上的識別性能，并再次更新，如此反復，直至損失函數(shù)收斂，得到具有最佳故障識別性能的CNN。

3.2 數(shù)據(jù)采集與標識

進行訓練數(shù)據(jù)采集時，機位設置與故障診斷設置一致，即俯視機位和側視機位。根據(jù)故障發(fā)生的階段特性，在打印進程的1%階段、50%階段和90%階段拍攝3 次圖像，即一次打印采集6筆圖像數(shù)據(jù)。

對每種故障類型，采集發(fā)生故障與未發(fā)生故障圖像各500 張。為使打印件本身的形狀及尺寸不對CNN 的故障識別產(chǎn)生影響、CNN 專注于故障本身的圖像表征，每次打印時選擇形狀尺寸不同的打印模型。出于對操作性的考慮，打印模型如圖5 所示，選用方高柱、錐柱混合體、球體和一次成型桁架4 種。

圖5 訓練數(shù)據(jù)采集所用的模型Fig.5 Model used for training data collection

正常打印時，發(fā)生故障的打印次數(shù)很少，為了盡可能多地收集發(fā)生故障的圖像數(shù)據(jù)，可以對打印模型的Gcode 代碼做出調(diào)整，誘發(fā)各種故障以便加快采集進程[11-13]。

為獲取真實的實驗數(shù)據(jù)，增加算法的說服性，本文根據(jù)圖5 中的方高柱和球體模型，選取表面有棱角或凸起的粗糙面圖片進行實驗驗證，共有500 組數(shù)據(jù)集。其中，400 組數(shù)據(jù)集作為訓練集，剩余100 組數(shù)據(jù)集作為測試集。所有圖像的尺寸歸一化為2 000×1 000 像素。部分樣本圖像如圖6 所示。

圖6 部分樣本圖像Fig.6 Partial image of samples

3.3 識別結果

實驗平臺選擇Linux Ubuntu16.04 系統(tǒng)，Python 版本是3.6,PyTorch 版本是1.1.0，搭載了Intel Xeon E5-2643 CPU，96GB DRAM 和 Nvidia Quadro P2000 GPU。訓練模型是基于卷積神經(jīng)網(wǎng)絡進行改進得到一個能夠針對熱熔堆積型3D 打印故障識別的新卷積神經(jīng)網(wǎng)絡模型。

整個預測過程如下：輸入訓練數(shù)據(jù)集或者驗證數(shù)據(jù)集中的每張圖片到模型內(nèi)，經(jīng)過網(wǎng)絡層預測，在最后一層網(wǎng)絡層即Softmax 層輸出屬于該圖片的一維向量，由于訓練及預測之前需進行打標簽，將數(shù)據(jù)集圖片分為3 類，即無故障、有故障、具體故障，確定該向量中的每一位數(shù)值對應于數(shù)據(jù)集中的3 類，輸出值是一個包含3 個數(shù)值的一維向量，此一維向量中的3 個數(shù)值一一對應為上述的3 類，因此在這3 個數(shù)值中選取最大的，計算出屬于哪一類的概率，則此模型預測該圖片屬于此類。故CNN模型的輸出準確率即為本文3.1小節(jié)所介紹的，CNN 框架中最后一層Softmax 所輸出的值。

表2 為采用支持向量機（Support Vector Machine，SVM）和深度置信網(wǎng)絡（Deep neural network，DBN）兩種診斷方法與本文所建立的CNN 模型在學習速率為0.01 時的準確率對比。

表2 實驗效果數(shù)據(jù)Tab.2 Experimental data

通過對比測試可以發(fā)現(xiàn)，基于CNN 的故障診斷模型不論是訓練集的準確性還是測試集的準確性都具有非常好的識別率，相比于SVM 和DBN 兩種方法具有更好的分類性能。其中 DBN的分類模型實驗數(shù)據(jù)結果最差，訓練集準確率與測試集準確率僅為72.43%與73.35%。這表明CNN 在特征提取方面具有非常強大的優(yōu)勢。

4 結論

本文提出的基于CNN 圖像識別的3D 打印故障診斷系統(tǒng)，相對于SVM 以及DBN 模型具有更優(yōu)的分類性能，結合CNN 網(wǎng)絡的優(yōu)勢，可以直接從3D 打印件自適應提取特征信息，降低了人工故障特征提取的不確定性，實現(xiàn)了不同打印階段的故障分類。可廣泛地適用于FDM 型3D 打印設備。借助相對成熟的CNN 圖像識別技術，可實現(xiàn)診斷系統(tǒng)的快速部署，對提升FDM 型3D 打印的效率、減少相關資源浪費及能源損耗有一定助益。