張義清， 譚繼文， 孟慶文， 曾實(shí)現(xiàn)， 白曉瑞

(1. 聊城大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，山東 聊城 252000； 2.青島理工大學(xué) 機(jī)械與汽車(chē)工程學(xué)院，山東 青島 266520；3. 德州市環(huán)境衛(wèi)生服務(wù)中心，山東 德州 253017； 4.青島黃海學(xué)院 智能制造學(xué)院，山東 青島 266520；5.海軍工程大學(xué) 兵器工程學(xué)院，武漢 430032)

鋼絲繩是礦井提升、斜拉橋、電梯等工作場(chǎng)景中主要的承力構(gòu)件。由于工作環(huán)境惡劣，鋼絲繩在使用過(guò)程中難免會(huì)產(chǎn)生各類(lèi)損傷[1]。斷絲作為一種主要的損傷，直接關(guān)系到鋼絲繩的使用安全。許多機(jī)構(gòu)也根據(jù)一定長(zhǎng)度內(nèi)斷絲的數(shù)量來(lái)評(píng)價(jià)鋼絲繩是否需要替換[2]。因此，對(duì)鋼絲繩進(jìn)行斷絲定量檢測(cè)具有重要意義。

近年來(lái)，許多專(zhuān)家和學(xué)者利用時(shí)頻分析技術(shù)和人工神經(jīng)網(wǎng)絡(luò)對(duì)鋼絲繩斷絲定量識(shí)別進(jìn)行了大量的研究[3-6]。田志勇等提出了基于BP(back propagation)神經(jīng)網(wǎng)絡(luò)的斷絲定量識(shí)別方法，利用試驗(yàn)進(jìn)行了驗(yàn)證，識(shí)別準(zhǔn)確率達(dá)到了86.9%；劉志懷等提出了基于主成分分析和BP網(wǎng)絡(luò)結(jié)合的鋼絲繩斷絲定量識(shí)別方法，利用主成分分析保留斷絲有效特征，再輸入BP網(wǎng)絡(luò)進(jìn)行分類(lèi)，提高了網(wǎng)絡(luò)的訓(xùn)練速度和分類(lèi)準(zhǔn)確率。朱良等在總結(jié)傳統(tǒng)斷絲信號(hào)特征的基礎(chǔ)上利用小波分解提取了斷絲信號(hào)的奇異值熵，使用這種特征實(shí)現(xiàn)不同種類(lèi)斷絲的區(qū)分。

然而，目前的文獻(xiàn)主要針對(duì)鋼絲繩外部斷絲進(jìn)行識(shí)別，對(duì)內(nèi)部斷絲研究較少，而實(shí)際鋼絲繩可能同時(shí)存在外部斷絲和內(nèi)部斷絲。除此以外，大多定量識(shí)別方法需要人工進(jìn)行特征提取和挑選，然后輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和分類(lèi)。這種方法費(fèi)時(shí)費(fèi)力且需要足夠的先驗(yàn)知識(shí)，一旦這些人工選取的特征不能滿足任務(wù)的需要，模型的故障分類(lèi)性能就會(huì)明顯下降。

深度學(xué)習(xí)(deep learning，DL)自提出就受到了各個(gè)領(lǐng)域的關(guān)注，其中卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)已經(jīng)在故障診斷領(lǐng)域取得了很多成功的應(yīng)用[7-11]。Jing等利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)從行星齒輪箱的振動(dòng)信號(hào)中提取故障特征，實(shí)現(xiàn)了準(zhǔn)確的故障識(shí)別。Guo等提出了一種基于改進(jìn)算法的分層學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò)，并將其應(yīng)用到軸承故障診斷中，取得了較好的效果。深度學(xué)習(xí)強(qiáng)大的特征提取能力為鋼絲繩斷絲定量識(shí)別存在的問(wèn)題提供了有效的解決方法。隨著深度學(xué)習(xí)的發(fā)展，出現(xiàn)了許多更深層的卷積神經(jīng)網(wǎng)絡(luò)，如VGG16，GoogLeNet，ResNet50等[12-13]。這些模型通常具有更好的泛化能力和自適應(yīng)性。然而，隨著深度模型隱含層數(shù)量和大小的增加，自由參數(shù)也增多，調(diào)整這些參數(shù)通常需要耗費(fèi)大量的時(shí)間，且從零開(kāi)始訓(xùn)練大型網(wǎng)絡(luò)更是需要大量的標(biāo)記數(shù)據(jù)和計(jì)算資源。

遷移學(xué)習(xí)(transfer learning，TL)是將已訓(xùn)練好的網(wǎng)絡(luò)的低層結(jié)構(gòu)和參數(shù)遷移到新的分類(lèi)模型中，通過(guò)調(diào)整模型高層的參數(shù)來(lái)實(shí)現(xiàn)特定的分類(lèi)任務(wù)[14]。這種方式減少了需要調(diào)整的參數(shù)，改進(jìn)了網(wǎng)絡(luò)的訓(xùn)練進(jìn)程。Shao等[15]提出了一種基于預(yù)訓(xùn)練深度卷積網(wǎng)絡(luò)VGG-16的遷移學(xué)習(xí)方法，并將其應(yīng)用到了故障診斷中，通過(guò)異步電動(dòng)機(jī)、變速箱、和軸承的故障試驗(yàn)驗(yàn)證了該方法的有效性，實(shí)現(xiàn)了自然圖像到機(jī)械故障時(shí)頻圖像的遷移。

本文將遷移學(xué)習(xí)應(yīng)用到鋼絲繩斷絲定量識(shí)別中，基于連續(xù)小波變換和GoogLeNet遷移模型對(duì)內(nèi)外部斷絲進(jìn)行分類(lèi)。

1 理論基礎(chǔ)

1.1 時(shí)頻成像

時(shí)頻成像是將信號(hào)頻率、時(shí)間序列數(shù)據(jù)轉(zhuǎn)換成時(shí)頻圖的一種技術(shù)。通過(guò)時(shí)頻轉(zhuǎn)換可以洞察原始信號(hào)更深的特征，有利于進(jìn)行故障分類(lèi)。對(duì)信號(hào)進(jìn)行時(shí)頻轉(zhuǎn)換的方法很多，其中連續(xù)小波變換是一種有效的方法[16]。信號(hào)x(t)的連續(xù)小波變換(continuous wavelet transform,CWT)可以表示[13]為

(1)

式中:x(t)為要進(jìn)行轉(zhuǎn)換的信號(hào)；s為尺度因子；τ為平移因子；ψ(·)為母小波；ψ*(·)為函數(shù)ψ(·)的復(fù)共軛。通過(guò)式(1)，信號(hào)x(t)被變換并投影到二維時(shí)間和尺度，將一維時(shí)間序列轉(zhuǎn)換為時(shí)頻圖像。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于圖像分類(lèi)任務(wù)中。它可以自動(dòng)從輸入圖像中提取有用特征，經(jīng)過(guò)逐層處理在更高層形成抽象特征，從而完成準(zhǔn)確分類(lèi)。典型卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，如圖1所示。網(wǎng)絡(luò)的前幾個(gè)階段主要由卷積層和池化層組成，后幾層為全連接層和分類(lèi)層。

同一個(gè)卷積層中的神經(jīng)元共享它們的權(quán)重，這些權(quán)重形成一個(gè)卷積核。卷積層通常包含多個(gè)卷積核來(lái)同時(shí)提取不同的特征信息。卷積核對(duì)輸入圖像進(jìn)行卷積運(yùn)算，通過(guò)非線性激活函數(shù)形成最終輸出值。卷積核掃描整個(gè)輸入圖像上生成特征圖，其可以看作是一種特征抽取器，不同的卷積核表示不同的特征提取操作。非線性變換前的第k個(gè)特征圖的特征值Zk可以表示為

Zk=Wk?x+bk

(2)

式中:Wk為第k個(gè)卷積核；bk為偏移項(xiàng);x為此卷積層的輸入圖像；?為二維卷積。

池化層通常在卷積層之后，通過(guò)下采樣降低卷積得到的特征圖的維數(shù)。池化操作將特征圖分成多個(gè)小區(qū)域并生成新的特征值，可以表示為

yi,j,k=down(m,n)∈Ri,j(xm,n,k)

(3)

式中：down(·)為下采樣函數(shù)；yi,j,k為池化后第k個(gè)新特征圖；Ri,j為位置(i,j)附近的區(qū)域，即池化的感受野；xm,n,k為感受野內(nèi)的節(jié)點(diǎn)。

1.3 遷移學(xué)習(xí)和參數(shù)調(diào)整方法

遷移學(xué)習(xí)是深度學(xué)習(xí)的一個(gè)特定領(lǐng)域。簡(jiǎn)單來(lái)說(shuō)，給定一個(gè)源域Ds和目標(biāo)域Dt，遷移學(xué)習(xí)可以將從源域Ds中學(xué)習(xí)到的知識(shí)應(yīng)用到目標(biāo)域Dt中。遷移學(xué)習(xí)可以通過(guò)從預(yù)訓(xùn)練模型轉(zhuǎn)移來(lái)的參數(shù)初始化目標(biāo)模型來(lái)幫助訓(xùn)練目標(biāo)模型[17]。

從頭開(kāi)始訓(xùn)練深度模型需要大量的標(biāo)記數(shù)據(jù)且調(diào)整網(wǎng)絡(luò)參數(shù)通常耗費(fèi)大量的時(shí)間。遷移學(xué)習(xí)為這一問(wèn)題提供了一個(gè)有效的解決方法，其利用已經(jīng)由一個(gè)數(shù)據(jù)集訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)的遷移實(shí)現(xiàn)特定分類(lèi)任務(wù)。如前所述，卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中逐層提取特征，并且嵌入預(yù)訓(xùn)練模型權(quán)重中的知識(shí)可以轉(zhuǎn)移到新任務(wù)中。卷積網(wǎng)絡(luò)的低層提取邊緣和曲線等低層特征，適用于常見(jiàn)的圖像分類(lèi)任務(wù)，而高層可以學(xué)習(xí)更多特定于不同應(yīng)用領(lǐng)域的抽象特征。因此，可以將低層參數(shù)直接遷移，僅需要從新數(shù)據(jù)集中學(xué)習(xí)高層特征。調(diào)整高層權(quán)重的過(guò)程取決于源數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集之間的差異。對(duì)于類(lèi)似的數(shù)據(jù)集，只需要微調(diào)全連接層的參數(shù)即可，而對(duì)于差異較大的數(shù)據(jù)集，則需要調(diào)整一些卷積塊的參數(shù)。與完整訓(xùn)練一個(gè)網(wǎng)絡(luò)相比，這種方法可以在數(shù)據(jù)量較少的情況實(shí)現(xiàn)分類(lèi)，且減少了需要被訓(xùn)練的參數(shù)。

2 基于遷移學(xué)習(xí)的分類(lèi)模型

本文提出的基于遷移學(xué)習(xí)的鋼絲繩斷絲定量檢測(cè)方法的流程圖如圖2所示。鋼絲繩斷絲的漏磁信號(hào)由安裝在試驗(yàn)臺(tái)上的傳感器獲得。通過(guò)連續(xù)小波變換將斷絲原始漏磁信號(hào)從時(shí)域轉(zhuǎn)換到時(shí)頻域，形成一組時(shí)頻圖像，用作預(yù)訓(xùn)練模型的輸入。

圖2 整體流程圖Fig.2 Overall flow char of the proposed method

為了訓(xùn)練和微調(diào)預(yù)訓(xùn)練的深度架構(gòu)，需要特定大小的RGB圖像，因此需要對(duì)時(shí)頻圖像進(jìn)行處理。由于轉(zhuǎn)換后的分布是僅具有一個(gè)通道的灰度圖像，因此通過(guò)將灰度圖像復(fù)制為3個(gè)通道并為每個(gè)通道添加基礎(chǔ)，執(zhí)行通道增強(qiáng)以得到具有3個(gè)通道的二維圖像。然后，這些時(shí)頻圖被劃分為訓(xùn)練集和驗(yàn)證集，訓(xùn)練集用來(lái)訓(xùn)練預(yù)訓(xùn)練模型并調(diào)整參數(shù)，驗(yàn)證集用于驗(yàn)證目標(biāo)模型的性能。

其中，所使用的預(yù)訓(xùn)練模型為GoogLeNet[18]，該網(wǎng)絡(luò)具有22層深度網(wǎng)絡(luò)，已經(jīng)在ImageNet數(shù)據(jù)集上實(shí)現(xiàn)了準(zhǔn)確的分類(lèi)。GoogLeNet的inception模塊如圖3所示，利用這種模塊在增加網(wǎng)絡(luò)深度的同時(shí)加快了網(wǎng)絡(luò)訓(xùn)練的速度。

圖3 Inception模塊Fig.3 Inception module

在訓(xùn)練過(guò)程中，對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)GoogLeNet的低層參數(shù)直接進(jìn)行遷移，高層進(jìn)行調(diào)整。具體調(diào)整策略為：移除GoogLeNet最后的可學(xué)習(xí)層，即最后的全連接層，添加一個(gè)新的全連接層，設(shè)置全連接層的輸出為斷絲類(lèi)別數(shù)(6)，替換最后的分類(lèi)層。通過(guò)訓(xùn)練集不斷調(diào)整模型參數(shù)來(lái)減小預(yù)測(cè)標(biāo)簽和實(shí)際標(biāo)簽之間的誤差，經(jīng)過(guò)足夠的訓(xùn)練輪數(shù)，對(duì)設(shè)計(jì)的模型調(diào)整完畢，保存模型的結(jié)構(gòu)以及所有參數(shù)。

3 試驗(yàn)驗(yàn)證

3.1 試件制作

使用6×37+FC的鍍鋅鋼絲繩來(lái)進(jìn)行試驗(yàn)研究，其直徑為20 mm，絲徑為0.9 mm。在該繩上共制作6處斷絲損傷，前3處為1～3根外部斷絲，后3處為1～3根內(nèi)部斷絲。每處斷絲的斷口為12 mm。斷絲在鋼絲繩上的具體位置和實(shí)際損傷圖片如圖4所示，6處內(nèi)外部斷絲的標(biāo)簽如表1所示。

圖4 斷絲損傷Fig.4 The broken wires

表1 斷絲標(biāo)簽Tab.1 The label of broken wires

3.2 試驗(yàn)臺(tái)

鋼絲繩檢測(cè)試驗(yàn)臺(tái)如圖5所示。有損傷的鋼絲繩通過(guò)繩扣固定在試驗(yàn)臺(tái)的支架上并通過(guò)加載裝置拉緊。移動(dòng)托盤(pán)帶動(dòng)聚磁傳感器[19]沿鋼絲繩移動(dòng)實(shí)現(xiàn)損傷檢測(cè)。傳感器輸出的信號(hào)經(jīng)電路板預(yù)處理后傳遞給信號(hào)采集系統(tǒng)(圖6)。從圖6中可以看出，直流電源通過(guò)電纜給傳感器和電路板供電，這樣可以保證試驗(yàn)過(guò)程中電路的穩(wěn)定。經(jīng)預(yù)處理后的漏磁信號(hào)被NI PCI-4496采集卡采集，然后通過(guò)計(jì)算機(jī)中LabVIEW采集程序進(jìn)行實(shí)時(shí)顯示和數(shù)據(jù)儲(chǔ)存。

圖5 試驗(yàn)臺(tái)Fig.5 The test rig

圖6 信號(hào)采集系統(tǒng)Fig.6 Signal acquisition system

3.3 結(jié)果分析

試驗(yàn)中采集到的斷絲信號(hào)如圖7所示，可以看到圖7中有6處突變信號(hào)，信號(hào)的突變位置正好對(duì)應(yīng)鋼絲繩的損傷位置，說(shuō)明6處斷絲的漏磁信號(hào)均被檢測(cè)到。其中，信號(hào)的前3處突變?yōu)橥獠繑嘟z信號(hào)，后3處突變?yōu)閮?nèi)部斷絲信號(hào)。將每處斷絲信號(hào)分割為包含1 024個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)塊，再將每個(gè)數(shù)據(jù)塊轉(zhuǎn)換為大小為224×224的時(shí)頻圖像，以適用于預(yù)訓(xùn)練GoogLeNet網(wǎng)絡(luò)。通過(guò)復(fù)制原始圖像，將灰度時(shí)頻圖像擴(kuò)展為3個(gè)圖像通道，這些處理后的圖像的格式為224×224×3。6種斷絲漏磁信號(hào)的轉(zhuǎn)換結(jié)果如圖8所示。

圖7 損傷信號(hào)Fig.7 The damage signal

圖8 漏磁信號(hào)頻譜圖Fig.8 The spectrums of the Magnetic flux leakage signals

試驗(yàn)中共獲取600組內(nèi)外部斷絲的漏磁信號(hào)，轉(zhuǎn)換成600張時(shí)頻圖。將這些時(shí)頻圖作為目標(biāo)模型的輸入進(jìn)行訓(xùn)練，其中70%的數(shù)據(jù)集用于訓(xùn)練網(wǎng)絡(luò)，30%用于驗(yàn)證，訓(xùn)練過(guò)程如圖9所示。圖9(a)為訓(xùn)練曲線，圖9(b)為損失。圖9中的橫坐標(biāo)為訓(xùn)練輪數(shù)，縱坐標(biāo)分別代表準(zhǔn)確率和損失大小。可以看出，隨著訓(xùn)練輪數(shù)的增加，訓(xùn)練準(zhǔn)確率越來(lái)越高，訓(xùn)練損失越來(lái)越小。經(jīng)過(guò)12輪的訓(xùn)練最終達(dá)到了比較穩(wěn)定的效果，損失也降為最小，最終的準(zhǔn)確率為97.2%。

圖9 訓(xùn)練過(guò)程Fig.9 Training process

為了進(jìn)一步分析斷絲識(shí)別效果，使用混淆矩陣對(duì)分類(lèi)結(jié)果進(jìn)行可視化，如圖10所示[20]。混淆矩陣的行代表預(yù)測(cè)類(lèi)，列代表實(shí)際類(lèi)，對(duì)角線是正確的分類(lèi)，非對(duì)角線是錯(cuò)誤的分類(lèi)，每個(gè)單元顯示分類(lèi)的數(shù)量和百分比。從圖10可以看出，使用基于遷移學(xué)習(xí)的卷積網(wǎng)絡(luò)模型對(duì)6種內(nèi)外部斷絲的分類(lèi)準(zhǔn)確率非常高，其中第3類(lèi)、第5類(lèi)和第6類(lèi)故障的準(zhǔn)確率達(dá)到了100%。

圖10 基于遷移學(xué)習(xí)模型的混淆矩陣Fig.10 The confusion matrix of the model based on transfer learning

為了形成對(duì)比試驗(yàn)，將斷絲定量識(shí)別中常用的BP神經(jīng)網(wǎng)絡(luò)方法作為對(duì)比。人工提取漏磁信號(hào)的波寬、波峰、波形下面積等特征，作為網(wǎng)絡(luò)的輸入向量，6種內(nèi)外部斷絲為輸出向量。利用BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練和分類(lèi)。同樣的70%的數(shù)據(jù)用于訓(xùn)練，30%數(shù)據(jù)用于驗(yàn)證，由BP網(wǎng)絡(luò)分類(lèi)結(jié)果得到的混淆矩陣如圖11所示。可以看出，使用BP網(wǎng)絡(luò)的斷絲分類(lèi)準(zhǔn)確率相對(duì)較低，整體準(zhǔn)確率只有83.3%。其中第2類(lèi)斷絲故障的分類(lèi)準(zhǔn)確率最低，只有58.1%。從混淆矩陣中可以看出，第2類(lèi)故障和第3類(lèi)故障發(fā)生了嚴(yán)重的混淆。相對(duì)于傳統(tǒng)的BP網(wǎng)絡(luò)，基于遷移學(xué)習(xí)的深度卷積模型在鋼絲繩斷絲識(shí)別和分類(lèi)中展現(xiàn)了更優(yōu)越的性能。

圖11 基于BP網(wǎng)絡(luò)的混淆矩陣Fig.11 The confusion matrix based on BP network

4 結(jié) 論

本文提出了一種基于遷移學(xué)習(xí)的鋼絲繩斷絲定量識(shí)別方法。對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)GoogLeNet進(jìn)行結(jié)構(gòu)遷移和參數(shù)微調(diào)得到目標(biāo)模型。通過(guò)連續(xù)小波變換將漏磁信號(hào)轉(zhuǎn)換成時(shí)頻圖作為目標(biāo)模型的輸入進(jìn)行分類(lèi)，對(duì)鋼絲繩6類(lèi)內(nèi)外部斷絲分類(lèi)的準(zhǔn)確率達(dá)到了97.2%。

該方法本質(zhì)上是利用深度學(xué)習(xí)強(qiáng)大的特征提取能力來(lái)自動(dòng)提取斷絲故障特征并進(jìn)行分類(lèi)，省去了冗長(zhǎng)的人工特征提取工作，同時(shí)避免了人工特征選擇的局限性。相對(duì)于傳統(tǒng)的BP網(wǎng)絡(luò)，基于遷移學(xué)習(xí)的深度卷積模型對(duì)鋼絲繩斷絲分類(lèi)展現(xiàn)出了更優(yōu)越的性能。

Vol．41 No．12 2022