高亞杰, 蔣愛平, 王國濤, 孫志剛

(黑龍江大學(xué) 電子工程學(xué)院, 哈爾濱 150080)

0 引 言

密封電子元器件廣泛地應(yīng)用于雷達(dá)、人造衛(wèi)星、導(dǎo)彈和運(yùn)載火箭等尖端先進(jìn)裝備中，在信號(hào)傳遞、導(dǎo)航和任務(wù)調(diào)度等系統(tǒng)中發(fā)揮著重要作用[1]。由于生產(chǎn)技術(shù)不夠先進(jìn)，在密封元器件的生產(chǎn)過程中很可能將微小的金屬顆?；蛘唿c(diǎn)焊飛濺物等顆粒一并封裝，形成多余物。在處于失重、劇烈沖擊等環(huán)境時(shí)，密封電子元器件內(nèi)部多余物微粒極可能作無規(guī)則運(yùn)動(dòng)，嵌入某個(gè)開關(guān)部位中，導(dǎo)致觸點(diǎn)間短路或斷路，或造成可動(dòng)機(jī)構(gòu)卡死，導(dǎo)致嚴(yán)重的航天器故障，造成無法估量的損失[2]。

目前，國內(nèi)外對(duì)多余物顆粒檢測(cè)普遍采用的方法是微粒碰撞噪聲檢測(cè)(Particle impact noise detection，PIND)[3]。90年代以前，對(duì)PIND方法的研究主要集中于美國。20世紀(jì)50年代，美國“德爾塔”運(yùn)載火箭發(fā)射失敗，經(jīng)失效分析發(fā)現(xiàn)在一個(gè)元器件內(nèi)存在金屬碎屑，美國宇航局由此意識(shí)到多余物問題的嚴(yán)重性[4]。1970年，Dunegan公司生產(chǎn)了第一臺(tái)商業(yè)化的PIND試驗(yàn)系統(tǒng)。隨后，美國提出了密封電子元器件的PIND軍用標(biāo)準(zhǔn)。從20世紀(jì)70年代至今，隨著美國元器件設(shè)計(jì)和生產(chǎn)工藝的不斷完善，多余物問題得到了有效的控制，此后，對(duì)PIND檢測(cè)技術(shù)的研究近乎停滯[5-6]。國內(nèi)很多學(xué)者在PIND法檢測(cè)原理、試驗(yàn)程序和應(yīng)用情況等方面進(jìn)行了研究。王世成等將數(shù)據(jù)融合和神經(jīng)網(wǎng)絡(luò)理論引入到多余物的材質(zhì)識(shí)別領(lǐng)域[7-8]，提出了基于隨機(jī)共振的微小質(zhì)量的多余物檢測(cè)方法。孟偲等通過微粒碰撞噪聲檢測(cè)法完成了對(duì)飛行器中多余物材質(zhì)的分類識(shí)別[9]，先利用短時(shí)自相關(guān)函數(shù)提取出PIND信號(hào)的脈沖部分，從其中提取出多種時(shí)域頻域的統(tǒng)計(jì)特征，并將統(tǒng)計(jì)特征與MFCC特征相結(jié)合，訓(xùn)練支持向量機(jī)模型，實(shí)現(xiàn)了多余物材質(zhì)的多分類。陳金豹以此為基礎(chǔ)提出了基于HMM和MFCC算法的材質(zhì)識(shí)別算法，但難以實(shí)現(xiàn)工程應(yīng)用[10]。目前，對(duì)多余物材質(zhì)分類的研究幾乎全部集中于時(shí)域和頻域，提取的特征有限，導(dǎo)致識(shí)別精度不高，難以滿足實(shí)際應(yīng)用。紋理特征是一種重要的分類特征，是圖像中普遍存在而又難以描述的特征，紋理分類一直是圖像處理領(lǐng)域的熱點(diǎn)和焦點(diǎn)[11-12]。將聲音轉(zhuǎn)換成圖像可以保留聲音信號(hào)更多的細(xì)節(jié)信息，有利于提取更多的特征進(jìn)行分類識(shí)別。

在前人研究的基礎(chǔ)上，本文利用聲音轉(zhuǎn)圖像技術(shù)，將多余物材質(zhì)信號(hào)由聲音信號(hào)轉(zhuǎn)變?yōu)閳D像信號(hào)，并提取聲譜圖特征。實(shí)驗(yàn)中提取了多余物材質(zhì)信號(hào)生成的聲譜圖的紋理特征，對(duì)多余物材質(zhì)信號(hào)處理后, 進(jìn)行特征選擇, 提取時(shí)域和頻域的特征，組成聯(lián)合特征向量，最后，采用隨機(jī)森林算法對(duì)模型進(jìn)行訓(xùn)練和測(cè)試。結(jié)果表明,本方法對(duì)金屬和非金屬的識(shí)別準(zhǔn)確度為90%，具體的材質(zhì)類別識(shí)別準(zhǔn)確度為78%。

1 基本理論

1.1 多余物信號(hào)

微粒碰撞噪聲檢測(cè)法根據(jù)已有的程序指令輸出不同的信號(hào)組合，使檢測(cè)設(shè)備的振動(dòng)臺(tái)做正弦振動(dòng)或沖擊運(yùn)動(dòng)，多余物受振動(dòng)臺(tái)沖擊運(yùn)動(dòng)影響被激活游離，在正弦振動(dòng)的激勵(lì)下,多余物微粒與密封器件內(nèi)壁發(fā)生碰撞，隔離器上方安裝的傳感器將碰撞產(chǎn)生的能量轉(zhuǎn)換成電壓信號(hào)的形式輸出，即為多余物信號(hào)。從時(shí)間上看，多余物脈沖信號(hào)的產(chǎn)生具有隨機(jī)性，碰撞與尖峰脈沖相對(duì)應(yīng)。多余物材質(zhì)信號(hào)的時(shí)域波形如圖1所示，頻域波形如圖2所示。可以看出，多余物信號(hào)頻率達(dá)到最大值時(shí)，會(huì)迅速衰減。多余物信號(hào)變化受很多因素影響，如多余物的材質(zhì)、粒徑和傳輸介質(zhì)等，通常多余物信號(hào)的變化沒有規(guī)律性。

圖1 多余物信號(hào)時(shí)域波形

1.2 聲譜圖

圖3 多余物材質(zhì)信號(hào)的聲譜圖Fig.3 Spectrogram of redundant material signal

聲譜圖是一種三維感知圖，由時(shí)間、幅值和頻率三個(gè)維度信息構(gòu)成。檢測(cè)設(shè)備采集到的多余物信號(hào)是一維的，僅包含多余物信號(hào)的時(shí)域信息。如果對(duì)多余物信號(hào)進(jìn)行傅里葉變換，則僅包含信號(hào)的頻域信息。為研究信號(hào)的時(shí)-頻關(guān)系，小波變換、短時(shí)傅里葉變換等方法相繼被提出應(yīng)用。多余物信號(hào)的聲譜圖生成原理為：對(duì)一段長多余物信號(hào)進(jìn)行分幀和加窗，并對(duì)截取的每一幀信號(hào)進(jìn)行傅里葉變換，將結(jié)果沿著另一個(gè)維度進(jìn)行堆疊，即可生成多余物信號(hào)的聲譜圖[13]。聲譜圖中的不同灰度和顏色表示在任一給定時(shí)刻多余物信號(hào)的不同頻率分量大小。

多余物材質(zhì)信號(hào)經(jīng)過預(yù)處理后從一維時(shí)域信號(hào)轉(zhuǎn)換到時(shí)頻域的二維聲譜圖時(shí)，需要對(duì)多余物材質(zhì)信號(hào)進(jìn)行短時(shí)傅里葉變換(Short-time Fourier transform, STFT),此算法借鑒Matlab軟件中的Spectrogram函數(shù)[14]。為了減少變換過程中因邊緣效應(yīng)和頻譜泄漏，導(dǎo)致有用的信號(hào)損失，需要在處理多余物聲音信號(hào)過程中增加滑動(dòng)窗。本文選取凱澤窗(Kaiser)進(jìn)行分幀, 將信號(hào)分為長度為128，并使用模型參數(shù)β=18的Kaiser窗口進(jìn)行窗口化，指定相鄰部分之間有120個(gè)重疊采樣點(diǎn)數(shù)。

1.3 時(shí)頻圖像特征提取

不同材質(zhì)的多余物，信號(hào)有所不同，所以材質(zhì)的多余物的時(shí)頻分布圖像各有差異。為進(jìn)行材質(zhì)區(qū)分，需要提取聲譜圖的特征進(jìn)行分類，本實(shí)驗(yàn)重點(diǎn)研究時(shí)頻圖像的紋理特征。 提取多余物信號(hào)生成的聲譜圖的紋理特征有統(tǒng)計(jì)方法、信號(hào)處理法等，統(tǒng)計(jì)方法又可分為灰度共生矩陣(Gray level co-occurrence matrix, GLCM)、圖像的自相關(guān)函數(shù)提取等方法，采用GLCM來提取聲譜圖的紋理特征應(yīng)用較為廣泛，所以使用GLCM來提取多余物聲譜圖的紋理特征，用于材質(zhì)分類。灰度分布在圖像的空間位置上重復(fù)出現(xiàn)從而形成紋理，故兩點(diǎn)像素之間有一定的關(guān)聯(lián)性，GLCM就是通過研究這種關(guān)聯(lián)性來表述圖像紋理特征的。一般描述GLCM的特征有能量、熵值、對(duì)比度和均質(zhì)性。這里用p(i,j)表示GLCM的元素，i和j分別代表不同的像素。

(1) 熵(Entropy, ENT)

熵代表的是對(duì)圖像中包含信息量隨機(jī)性的度量。

(1)

(2) 角二階矩(Angular second moment, ASM)

采用角二階矩來度量圖像紋理粗細(xì)的程度和灰度分布均勻的程度。

(2)

(3) 對(duì)比度(Contrast)

對(duì)比度的值表示圖像的紋理溝紋深淺和清晰度。

(3)

(4) 反差分矩陣(Inverse differential moment, IDM)

反差分矩陣也稱逆方差，表示灰度共生矩陣中各元素分布與對(duì)角線的接近程度，反映圖像紋理的均質(zhì)性。

(4)

本文選取了從00方向計(jì)算GLCM的上述特征，得到一組四維特征向量。

1.4 時(shí)域和頻域特征提取

在建立多余物材質(zhì)識(shí)別模型前，要先進(jìn)行特征的選擇，特征選擇是指從原始特征集合中選擇一個(gè)具有代表性的子集，它不僅能緩解維數(shù)災(zāi)難問題，還能排除不相關(guān)特征對(duì)分類的干擾。多余物材質(zhì)的識(shí)別是根據(jù)碰撞產(chǎn)生的聲音信號(hào)特征推斷出聲發(fā)射源的性質(zhì)，所以可以依據(jù)聲發(fā)射原理來選取多余物脈沖信號(hào)的時(shí)域頻域特征。不同的多余物材質(zhì)顆粒碰撞產(chǎn)生的振動(dòng)頻率不一樣，所以梅森倒譜系數(shù)可以作為頻域特征使用[15-16]。不同多余物顆粒材質(zhì)的硬度不同，碰撞內(nèi)壁的時(shí)間長度、接近彈性碰撞的程度也有所不同，所以應(yīng)該選擇波峰系數(shù)、左右對(duì)稱程度和方差三個(gè)時(shí)域特征[17]。因?yàn)槎嘤辔镱w粒的質(zhì)量不同，故碰撞時(shí)所產(chǎn)生的能量也不同，應(yīng)該選擇能量密度作為一個(gè)時(shí)域特征使用[10]。選擇了左右對(duì)稱程度、能量密度、波峰系數(shù)、方差和倒譜系數(shù)差共5個(gè)時(shí)域頻域特征來完成材質(zhì)識(shí)別，再根據(jù)上述特征將采集到的多余物脈沖信號(hào)進(jìn)行計(jì)算，轉(zhuǎn)換成特征向量。

1.5 分類器

圖4 隨機(jī)森林算法框架圖Fig.4 Frame diagram of random forest algorithm

目前，機(jī)器學(xué)習(xí)已在各個(gè)領(lǐng)域表現(xiàn)出非常優(yōu)異的性能，為了提高多余物材質(zhì)識(shí)別的準(zhǔn)確率，考慮使用隨機(jī)森林算法。隨機(jī)森林模型本身是由多個(gè)決策樹組成，在機(jī)器學(xué)習(xí)中經(jīng)常出現(xiàn)過擬合的問題,但在隨機(jī)森林算法中只要樹的數(shù)量滿足要求，不會(huì)產(chǎn)生過擬合。隨機(jī)森林是由決策樹集合而成，所以比其他算法的準(zhǔn)確率更高一些。隨機(jī)森林算法的框架如圖4所示，具體算法：首先，假設(shè)原多余物數(shù)據(jù)集樣本個(gè)數(shù)為N，特征個(gè)數(shù)為M,輸入M個(gè)特征來計(jì)算確定決策樹中節(jié)點(diǎn)的輸出結(jié)果(M<

2 基于多域聯(lián)合特征的多余物材質(zhì)識(shí)別算法

為了提高密封繼電器多余物材質(zhì)識(shí)別準(zhǔn)確率，提出了一種新的算法。將多余物材質(zhì)信號(hào)特征的提取分為兩部分：一部分是時(shí)域頻域的特征提取，另一部分是時(shí)頻域的特征提取，進(jìn)行特征組合再分類。新算法的流程圖如圖5所示。

圖5 算法流程圖

具體步驟為：

步驟1：首先對(duì)密封繼電器的多余物材質(zhì)信號(hào)進(jìn)行處理，對(duì)多余物材質(zhì)信號(hào)進(jìn)行短時(shí)傅里葉變換，由多余物材質(zhì)的聲音信號(hào)轉(zhuǎn)變?yōu)槁曌V圖圖像信號(hào)，獲得多余物材質(zhì)信號(hào)的時(shí)頻圖像；

步驟2：對(duì)原始的多余物材質(zhì)聲譜圖圖像作灰度化、濾波、歸一化和特征增強(qiáng)等預(yù)處理，消除圖像中無關(guān)的信息，恢復(fù)有用的真實(shí)信息，增強(qiáng)圖像中相關(guān)信息的可檢測(cè)性且最大限度地簡化圖像數(shù)據(jù)；

步驟3：提取多余物信號(hào)生成的聲譜圖的紋理特征，組成時(shí)頻特征向量；

步驟4：根據(jù)多余物顆粒碰撞的頻率和時(shí)長等因素，選取多余物材質(zhì)信號(hào)的時(shí)域和頻域特征；

步驟5：提取多余物材質(zhì)信號(hào)的能量密度和梅森倒譜系數(shù)等時(shí)域和頻域特征，組成時(shí)域和頻域特征向量；

步驟6：將上述特征組合后構(gòu)建一組多維的聯(lián)合特征向量；

步驟7：將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，對(duì)隨機(jī)森林模型進(jìn)行訓(xùn)練和驗(yàn)證，輸出識(shí)別準(zhǔn)確率，完成對(duì)密封繼電器多余物具體材質(zhì)的識(shí)別。

3 實(shí)驗(yàn)分析

3.1 評(píng)價(jià)指標(biāo)

為了評(píng)估材質(zhì)識(shí)別模型的性能，采用精確度(Accuracy)、準(zhǔn)確率(Precision)、召回率(Recall)、F1-score[18]和AUC(Area under curve)作為性能度量的指標(biāo)。

精確度：假定數(shù)據(jù)測(cè)試集為D={(x1,y1),(x2,y2),…(xm,ym)}，其中yi是特征數(shù)據(jù)xi對(duì)應(yīng)的多余物真實(shí)材質(zhì)，f(xi)是分類器f預(yù)測(cè)的多余物材質(zhì)，計(jì)算公式為：

式中：I是指示函數(shù)，當(dāng)f(xi)=yi時(shí)，I(f(xi)=yi)=1。錯(cuò)誤率和精確度之和為1，則錯(cuò)誤率為E(f;D)=1-Acc(f;D)。

準(zhǔn)確率和召回率能體現(xiàn)模型對(duì)某個(gè)類別的預(yù)測(cè)能力。二分類結(jié)果混淆矩陣如表1所示。其中TP：將正類預(yù)測(cè)為正類的樣本數(shù)量[18-19]；TN：將負(fù)類預(yù)測(cè)為負(fù)類的樣本數(shù)量；FP：將負(fù)類預(yù)測(cè)為正類的樣本數(shù)量；FN：將正類預(yù)測(cè)為負(fù)類的樣本數(shù)量[20]。

表1 分類結(jié)果混淆矩陣

準(zhǔn)確率表示預(yù)測(cè)為正類的樣本有多少比例是真正的正類，它反映了分類器對(duì)整個(gè)樣本的判定能力，定義為：

(6)

召回率的定義為：

(7)

F1-score的定義為：

(8)

AUC的定義為：

AUC=P(P正樣本>P負(fù)樣本)

(9)

3.2 實(shí)驗(yàn)數(shù)據(jù)集

根據(jù)在實(shí)驗(yàn)過程中常出現(xiàn)的多余物顆粒，選取了銅絲、焊錫粒、鋁粒、熱熔膠粒和硅膠質(zhì)導(dǎo)線皮粒5種多余物材質(zhì)顆粒，作為密封繼電器多余物材質(zhì)識(shí)別技術(shù)的研究對(duì)象，其中非金屬類的多余物顆粒2種，金屬類的多余物3種。多余物的質(zhì)量范圍根據(jù)多余物檢測(cè)系統(tǒng)的檢測(cè)范圍進(jìn)行選擇。試驗(yàn)條件如表2所示。

表2 GJB65B規(guī)定的PIND試驗(yàn)條件

本實(shí)驗(yàn)硅膠粒多余物質(zhì)量范圍為0.6～1.6 mg，其余材質(zhì)多余物的質(zhì)量范圍為0.02～0.2 mg，根據(jù)正交設(shè)計(jì)理論設(shè)計(jì)多余物信號(hào)采集方案。基于正交實(shí)驗(yàn)設(shè)計(jì)的實(shí)驗(yàn)方案可以覆蓋大多數(shù)可能情況的多余物材質(zhì)情況，建立比較完善的材質(zhì)識(shí)別樣本集。通過PIND實(shí)驗(yàn)器采集5組實(shí)驗(yàn)樣本，每組實(shí)驗(yàn)樣本采集5 000個(gè)信號(hào)，依據(jù)金屬和非金屬二分類，特定某一材質(zhì)和其他材質(zhì)二分類進(jìn)行樣本分配，正負(fù)樣本的比例近似為1∶1，在訓(xùn)練和測(cè)試模型的過程中每組實(shí)驗(yàn)樣本中隨機(jī)選取70%樣本數(shù)據(jù)去訓(xùn)練當(dāng)前的隨機(jī)森林模型，剩下的30%樣本數(shù)據(jù)作為該模型的測(cè)試集。

3.3 實(shí)驗(yàn)仿真與分析

根據(jù)實(shí)驗(yàn)條件和相關(guān)性系數(shù)作為特征選擇指標(biāo)，從時(shí)域和頻域中選擇特征，選擇了左右對(duì)稱程度、能量密度、波峰系數(shù)、方差和倒譜系數(shù)差共5個(gè)特征。從多余物脈沖信號(hào)中提取這5個(gè)特征，再從多余物材質(zhì)信號(hào)生成的聲譜圖中提取紋理特征組成多域聯(lián)合特征向量。隨機(jī)森林采用多棵決策樹進(jìn)行綜合分析判斷，不同決策樹之間的過擬合可以在某種程度上相互抵消，所以在默認(rèn)參數(shù)下的訓(xùn)練效果中集成學(xué)習(xí)模型是優(yōu)于基本學(xué)習(xí)模型的，選擇隨機(jī)森林作為分類模型進(jìn)行訓(xùn)練和測(cè)試。

圖6 金屬和非金屬分類的識(shí)別準(zhǔn)確率

圖7 金屬和非金屬分類模型各評(píng)價(jià)指標(biāo)

圖8 銅線模型識(shí)別準(zhǔn)確率

金屬和非金屬分類的識(shí)別準(zhǔn)確率如圖6所示，可以看出，僅利用聲譜圖特征或時(shí)域頻域特征進(jìn)行分類，其準(zhǔn)確率不如利用多域聯(lián)合特征的分類準(zhǔn)確率高，使用時(shí)域頻域特征進(jìn)行金屬和非金屬分類，其準(zhǔn)確率為85%，基于多域聯(lián)合特征的材質(zhì)識(shí)別準(zhǔn)確率則在90%以上，準(zhǔn)確率提高了5%以上。金屬和非金屬分類模型各評(píng)價(jià)指標(biāo)如圖7所示，可以看出，采用準(zhǔn)確率、精確率、召回率、Fl-score和AUC等5個(gè)標(biāo)準(zhǔn)來衡量金屬非金屬模型優(yōu)劣時(shí)，5組的輸出結(jié)果均在85%以上，說明用于多余物材質(zhì)的金屬非金屬分類模型是優(yōu)異的。特定材質(zhì)分類模型選擇了一種金屬銅和一種非金屬熱熔膠模型。銅線模型識(shí)別準(zhǔn)確率如圖8所示，可以看出，針對(duì)銅線的識(shí)別準(zhǔn)確率，基于多域聯(lián)合特征的材質(zhì)識(shí)別準(zhǔn)確率高于僅利用聲譜圖特征或者時(shí)域頻域特征進(jìn)行分類的準(zhǔn)確率為81.4%。熱熔膠模型識(shí)別準(zhǔn)確率如圖9所示，可以看出，非金屬熱熔膠的識(shí)別情況與銅線類似。多余物特定材質(zhì)綜合識(shí)別準(zhǔn)確率為78%，比僅使用時(shí)域頻域特征進(jìn)行分類提高了7%以上。由圖6、圖8和圖9對(duì)比可知，僅使用聲譜圖特征進(jìn)行分類,其識(shí)別準(zhǔn)確率表現(xiàn)并不是很好，所以下一步需要改進(jìn)處理原始多余物材質(zhì)信號(hào)的算法，提取更多有效特征，并優(yōu)化提取特征的算法，提高了材質(zhì)識(shí)別準(zhǔn)確率。

密封繼電器多余物金屬和非金屬識(shí)別結(jié)果如表3所示，可以看出，金屬非金屬模型在準(zhǔn)確率、精確率、召回率、Fl-score和AUC等5個(gè)衡量標(biāo)準(zhǔn)中，得到的值均較大，表明模型較為優(yōu)異，且識(shí)別準(zhǔn)確率高于目前使用的模型。密封繼電器特定材質(zhì)識(shí)別的Fl-score值如表4所示，可以看出，以Fl-score值來衡量5種特定材質(zhì)的分類模型的準(zhǔn)確率，銅絲準(zhǔn)確率為81.4%，焊錫準(zhǔn)確率為81%，鋁粒準(zhǔn)確率為81.6%，熱熔膠準(zhǔn)確率為77%，硅膠粒準(zhǔn)確率為78.2%。相較于目前的檢測(cè)準(zhǔn)確率提高了7%～10%。

表3 密封繼電器多余物金屬和非金屬識(shí)別結(jié)果

表4 密封繼電器特定材質(zhì)識(shí)別的Fl-score值

4 結(jié) 論

針對(duì)多余物材質(zhì)信號(hào)多維特征提取展開研究，提出了一種基于聲譜圖特征和時(shí)域頻域特征檢測(cè)密封繼電器多余物材質(zhì)的方法，將聲音轉(zhuǎn)圖像技術(shù)應(yīng)用到多余物材質(zhì)識(shí)別領(lǐng)域，將多余物材質(zhì)信號(hào)中的時(shí)域和頻域信息進(jìn)行可視化，進(jìn)而分析其聲譜圖中所呈現(xiàn)的紋理特征。利用灰度共生矩陣的計(jì)算方法提取聲譜圖的紋理特征，再結(jié)合時(shí)域頻域提取的特征組成多域聯(lián)合特征向量，最后，利用隨機(jī)森林算法進(jìn)行分類識(shí)別。本研究對(duì)于金屬和非金屬的分類準(zhǔn)確率達(dá)到90%以上，具體材質(zhì)識(shí)別準(zhǔn)確率為78%，該算法高于目前檢測(cè)系統(tǒng)的識(shí)別準(zhǔn)確率，且運(yùn)算簡單，易于工程實(shí)現(xiàn)。