段禮祥，劉子旺，趙振興，孔 欣，袁 壯

基于區(qū)域?qū)Ρ群碗S機(jī)森林的設(shè)備故障紅外圖像敏感區(qū)域提取

段禮祥1，劉子旺2，趙振興3，孔 欣1，袁 壯1

（1. 中國石油大學(xué)（北京）安全與海洋工程學(xué)院，北京 102249；2. 北京首都國際機(jī)場股份有限公司，北京 100621；3. 中國石油塔里木油田分公司，新疆 庫爾勒 841000）

基于紅外圖像的設(shè)備故障診斷需要從圖像中選擇敏感區(qū)域，由于紅外圖像具有干擾背景多、對比度低的特點，敏感區(qū)域提取過程中需要進(jìn)行背景移除和圖像分割，但常用的二值化分割算法在分割紅外圖像時易出現(xiàn)過分割問題。因此，本文提出了基于區(qū)域?qū)Ρ群碗S機(jī)森林的敏感區(qū)域提取方法。首先使用區(qū)域?qū)Ρ确椒▽t外圖像進(jìn)行顯著性檢測，以去除干擾背景；然后通過OTSU算法進(jìn)行圖像分割，實現(xiàn)敏感區(qū)域初步提取；最后結(jié)合隨機(jī)森林分類結(jié)果對圖像分割過程的閾值進(jìn)行迭代優(yōu)化，實現(xiàn)敏感區(qū)域的優(yōu)化提取。經(jīng)過轉(zhuǎn)子實驗臺6種不同狀態(tài)的紅外圖像數(shù)據(jù)驗證，將本文方法提取出的故障敏感區(qū)域用于故障診斷時，分類的準(zhǔn)確率提高了3.3個百分點，比人工選擇的區(qū)域更加準(zhǔn)確。

設(shè)備故障；紅外圖像；敏感區(qū)域提??；區(qū)域?qū)Ρ?；隨機(jī)森林

0 引言

紅外監(jiān)測具有非接觸式、非入侵式、單臺監(jiān)測范圍大等優(yōu)點，被廣泛應(yīng)用于無損監(jiān)測[1]、氣象地質(zhì)學(xué)[2]、醫(yī)學(xué)[3]、建筑學(xué)[4]等?；诩t外圖像的故障診斷需要獲取圖像中的故障敏感區(qū)域（region of interest, ROI），目前獲取ROI的方法主要有人工劃分和圖像分割算法兩種[5]。設(shè)備的紅外圖像具有強(qiáng)度集中、對比度低、干擾背景多的特點，需要將干擾背景移除以便ROI的提取。人工選擇ROI對專業(yè)知識和經(jīng)驗依賴較大，而用現(xiàn)有二值化方法對去除背景后的圖像直接進(jìn)行分割時，易出現(xiàn)過分割問題[6]。

視覺顯著性檢測方法可以在沒有先驗知識的情況下檢測出圖像中顯著性區(qū)域[7]，去除圖像中的干擾背景。Goferman等[8]對圖像局部底層線索、視覺表層特征進(jìn)行建模，突出顯著性的物體。但這種方法基于區(qū)域局部的對比度，不能均勻地突出整個物體。Zhai[9]定義了基于某個像素和其余像素點對比度的像素級全局顯著性；Achanta[10]提出一種頻率調(diào)諧方法，用某個像素和整個圖像的平均色差定義顯著性；但是這些方法忽略了圖像各部分間的空間關(guān)系。Cheng[7]提出的基于區(qū)域?qū)Ρ龋╮egion-based contrast, RC）的顯著性檢測方法，考慮空間因素的影響，在圖像分割中取得了良好的效果。

隨機(jī)森林（random forest, RF）用于多分類問題時具有不易過度擬合，容噪能力好，對參數(shù)依賴小的優(yōu)點，在故障分類方面具有較強(qiáng)的優(yōu)勢[11]。因此，本文提出了基于區(qū)域?qū)Ρ鹊姆椒ㄟM(jìn)行背景去除；然后根據(jù)隨機(jī)森林的分類結(jié)果對圖像分割閾值進(jìn)行優(yōu)化，用于解決設(shè)備紅外圖像分割問題，實現(xiàn)故障敏感區(qū)域的提取和故障診斷。

1 基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的敏感區(qū)域提取

圖1為基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的紅外圖像敏感區(qū)域提取流程：①顯著性檢測，以去除圖像中的干擾背景，包括分割圖像、區(qū)域顏色直方圖計算、區(qū)域?qū)Ρ榷扔嬎?；②圖像分割，包括計算分割閾值、二值化分割、敏感區(qū)域提取；③特征提取和故障分類，分割出敏感區(qū)域后，提取特征，組成特征向量輸入到分類器中進(jìn)行分類；④閾值優(yōu)化，根據(jù)分類結(jié)果對分割閾值進(jìn)行優(yōu)化調(diào)整，循環(huán)迭代得到最佳的敏感區(qū)域。

1.1 基于區(qū)域?qū)Ρ鹊娘@著性檢測

應(yīng)用區(qū)域?qū)Ρ鹊臋z測方法對設(shè)備各種狀態(tài)的紅外圖像進(jìn)行顯著性檢測，實現(xiàn)干擾背景的移除。RC方法通過計算區(qū)域和整體圖像的對比度差異來得到顯著性值。首先將圖像分割成區(qū)域，為每個區(qū)域分配顯著性值，從而得到基于區(qū)域?qū)Ρ榷鹊娘@著性圖。每個區(qū)域顯著性的值由全局對比度計算獲得，全局對比度值是以當(dāng)前區(qū)域相對于其它區(qū)域的對比度的空間距離來衡量。

1.1.1 基于直方圖的對比度

圖像中像素點的顯著性通過它和其他像素的對比度來計算，圖像中像素I的顯著性為：

式中：(I,I)表示像素I和I在Lab空間的顏色距離。

相同顏色值的像素點顯著性值也一樣，對公式(1)進(jìn)行變形，則每個顏色顯著性值的計算方法為：

式中：l表示像素I的顏色值；表示圖像中顏色的總數(shù)；f為c在圖像中出現(xiàn)的概率。

直接用式(1)中的方法計算圖像中每個像素點的顯著性的時間復(fù)雜度為(2)。可以通過減少像素顏色總數(shù)提高計算效率，真彩色空間包括2563種顏色，將顏色量化到12個不同的值，這種量化等級對于色彩比較單一的紅外圖像是足夠的。通過選擇出現(xiàn)頻率高的顏色，并保證這些顏色覆蓋95%以上的像素，可以將顏色數(shù)目減少到85左右[7]，紅外圖像中色彩數(shù)量會更少，如圖2所示?；跁r間性能考慮，用簡單的基于直方圖的量化方法代替優(yōu)化圖像的特定顏色。

1.1.2 區(qū)域?qū)Ρ榷?/p>

基于紅外圖像的設(shè)備診斷中，需要關(guān)注圖像中與周圍其他物體（圖像背景等）相比對比度大的區(qū)域，即高溫區(qū)域，這些區(qū)域可能是故障的發(fā)生部位。紅外圖像的顯著性檢測中相鄰區(qū)域的對比度應(yīng)該比較遠(yuǎn)區(qū)域的對比度更為重要，這樣更利于檢測出局部高溫區(qū)域。因此本文運用RC方法將區(qū)域的對比度和空間的遠(yuǎn)近關(guān)系結(jié)合起來。

圖1 基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的紅外圖像敏感區(qū)域提取流程

對每個區(qū)域r，通過計算與其他區(qū)域的顏色對比度來計算其顯著性：

式中：(r)表示區(qū)域r權(quán)值；D(r,r)表示兩個區(qū)域的顏色距離。兩個不同區(qū)域r、r的顏色距離為：

式中：(c,)表示第個顏色c,p在第個區(qū)域r的所有n種顏色中出現(xiàn)的概率。

區(qū)域?qū)Ρ榷瓤臻g加權(quán)算法中，通過加入空間權(quán)值增加區(qū)域的空間效果，來凸顯紅外圖像中局部高溫部位。臨近區(qū)域?qū)Ρ榷葯?quán)重大于較遠(yuǎn)區(qū)域，具體計算方法如下：

式中：s(r,r)表示區(qū)域r、r之間的空間距離；s表示空間權(quán)值的強(qiáng)度。s的值越大，空間權(quán)值的影響越小，較遠(yuǎn)區(qū)域的對比度對于顯著性的貢獻(xiàn)越大。

兩個區(qū)域的距離通過中心點的歐式距離計算。圖3為轉(zhuǎn)子實驗臺6種不同狀態(tài)下紅外圖像的顯著性檢測結(jié)果。從圖中可以看出，基于RC的方法可以增加轉(zhuǎn)子實驗臺各部件的對比度，成功移除了干擾背景。

1.2 敏感區(qū)域初步提取

完成顯著性檢測后，就可以對圖像進(jìn)行分割，初步提取敏感區(qū)域。基于閾值的圖像分割具有方法簡單、效率高等特點，在實際圖像處理中具有廣泛的應(yīng)用。OTSU算法[12]計算分割后各像素類的類間方差，其中類間方差最大的值即為閾值。

根據(jù)OTSU算法的分割結(jié)果存在過分割問題，如圖4所示，只能分割出溫度最高的部分（電機(jī)部分），分割結(jié)果不能直接用于圖像的故障分類，還需要對分割閾值進(jìn)行優(yōu)化。因此本文提出基于故障分類結(jié)果的二值化閾值優(yōu)化方法。

1.3 特征提取

紅外圖像中，溫度值大小、分布范圍變化引起的圖像對比度、敏感區(qū)域的變化決定了診斷的結(jié)果，而直方圖可以較好地反映這些信息，因此提取圖像的灰度直方圖特征用于故障診斷。

圖2 轉(zhuǎn)子實驗臺紅外圖和色彩直方圖

圖3 轉(zhuǎn)子實驗臺6種狀態(tài)下紅外圖像顯著性檢測結(jié)果

圖4 OTSU算法分割后的圖像

灰度直方圖表征了圖像中各個不同灰度級下像素點的個數(shù)，即不同灰度級下像素點出現(xiàn)的概率。以概率形式計算的公式如下：

式中：表示灰度級；()為圖像中灰度級為的像素點的個數(shù)；為圖像的總像素數(shù)；表示圖像中灰度級的最大值。本文所用的直方圖特征如表1所示。

1.4 基于分類結(jié)果的閾值優(yōu)化

1.4.1 基于隨機(jī)森林的故障分類

1.4.2 分割閾值優(yōu)化

對于二值化后出現(xiàn)的過分割問題，本文采用迭代法尋找最佳分割閾值。根據(jù)初步閾值0進(jìn)行圖像分割后，使用提取出的敏感區(qū)域進(jìn)行特征提取和故障分類，判斷最后分類的準(zhǔn)確率是否達(dá)到預(yù)期準(zhǔn)確率，如果達(dá)到0即為最佳閾值，沒有達(dá)到則進(jìn)行迭代優(yōu)化。具體迭代過程如下：

第二次迭代時，在第二閾值范圍[F,F]內(nèi)，以/2為步長，確定第二迭代閾值組為F?[F－￠,…, F－, F－/2]，且的大小為￠＝?(F－F)/?；其中，F和F為第一迭代閾值組m中，對應(yīng)故障分類器預(yù)測準(zhǔn)確率最高的閾值的兩個相鄰閾值。

第三次迭代時，在第三閾值范圍[F,s]內(nèi)，以/4為步長，確定第三迭代閾值組為F?[s－2,…,s－,s－/2,s－/4]，且的大小為2＝?(s－F)/?。其中：ri和s為第二迭代閾值組F中，對應(yīng)故障分類器預(yù)測準(zhǔn)確率最高的閾值的兩個相鄰閾值；

表1 灰度直方圖特征值

依此遞推，直至滿足預(yù)設(shè)迭代終止條件為止。本文為得到最好的分類效果，設(shè)定預(yù)期準(zhǔn)確率為100%。

2 故障診斷應(yīng)用

2.1 實驗設(shè)置

轉(zhuǎn)子實驗臺如圖5所示，由調(diào)速器、底座、電機(jī)、聯(lián)軸器、轉(zhuǎn)子系統(tǒng)組成。轉(zhuǎn)子系統(tǒng)包括轉(zhuǎn)軸、轉(zhuǎn)子、軸承、聯(lián)軸器、軸承支架。實驗轉(zhuǎn)速為3000r/min。紅外熱像儀連接電腦進(jìn)行數(shù)據(jù)采集，與轉(zhuǎn)子平臺距離1.5m，室溫20℃。

實驗中設(shè)置了正常（normal state, NS）、不平衡（imbalance, IB）、不對中（misalignment, MA）、碰摩（rubbing impact, RI）、軸承座松動（bearing seat looseness, BSL）、碰摩和不對中耦合故障（rubbing-misalignment coupling fault, CFRM）6種狀態(tài)。模擬不平衡故障時，在最左側(cè)轉(zhuǎn)子上加配重1g；模擬不對中故障時，在軸承座與底座接觸面放置厚度0.5mm塞尺；模擬轉(zhuǎn)子碰摩故障時，在底座的卡槽中固定一個塑料碰摩塊，使其與最左側(cè)轉(zhuǎn)子輕微接觸；將軸承座螺栓調(diào)松，用來模擬軸承座松動故障。每種狀態(tài)下采集紅外圖像數(shù)據(jù)80組，共480組數(shù)據(jù)。其中360組作為訓(xùn)練數(shù)據(jù)，其余組為測試數(shù)據(jù)。

2.2 敏感區(qū)域提取及故障診斷

在圖像分割中，由于6類狀態(tài)紅外圖像的拍攝角度相同，可以將各種狀態(tài)的敏感區(qū)域圖疊加得到轉(zhuǎn)子平臺的故障敏感區(qū)域圖。本文首先計算CFRM狀態(tài)的分割閾值，然后用其閾值對所有狀態(tài)的圖像進(jìn)行二值化，將各狀態(tài)二值化圖疊加，根據(jù)疊加結(jié)果對各圖像進(jìn)行分割，得到轉(zhuǎn)子平臺故障敏感區(qū)域；最后根據(jù)分類結(jié)果對分割的閾值進(jìn)行迭代優(yōu)化。

圖5 ZT-3試驗臺和信號采集裝置

注：1. 轉(zhuǎn)速控制箱，2. 紅外儀，3. 轉(zhuǎn)子平臺，4. 電腦

1. Speed control box; 2. Infrared instrument; 3. Rotor platform; 4. Computer

如圖6(a)中是人工框選的敏感區(qū)域，圖6(b)為根據(jù)優(yōu)化后的二值化閾值提取的轉(zhuǎn)子平臺的故障敏感區(qū)域。本次實驗設(shè)置的都是轉(zhuǎn)子系統(tǒng)故障，所以不考慮電機(jī)部分的故障，故人工選擇時未選擇該部分。從圖6可見，本文方法所提取的敏感區(qū)域比人工框選的敏感區(qū)域更加準(zhǔn)確。

將提取出的最佳敏感區(qū)域用于故障診斷，并和其他故障分類方法對比。表2顯示了各種方法的分類結(jié)果；最后一列為該種方法的平均準(zhǔn)確率。表中D-SVM（direct-support vector machine）、D-RF（direct-random forest）為直接對原始圖像特征分類的結(jié)果；ROI-SVM（regions of interest-support vector machine）為對人工提取敏感區(qū)域進(jìn)行分類的結(jié)果；RC-RF（region contrast-random forest）表示用區(qū)域?qū)Ρ群蚈TSU算法進(jìn)行ROI提取，然后進(jìn)行分類的結(jié)果；RC-TO-RF（region contrast-threshold optimization -random forest）為用基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的ROI提取方法，然后進(jìn)行分類的結(jié)果。

圖6 人工選擇的敏感區(qū)和本文方法提取的敏感區(qū)域

表2 各種分類方法對轉(zhuǎn)子實驗臺故障診斷的結(jié)果

從表中可以看出利用原始圖像進(jìn)行故障診斷時，無論是SVM還是RF方法，準(zhǔn)確率都比較低；進(jìn)行人工或者使用區(qū)域?qū)Ρ冉Y(jié)合OTSU算法進(jìn)行ROI提取后，診斷準(zhǔn)確率得到提高；本文提出的方法準(zhǔn)確率最高，為95.8%，相較人工提取敏感區(qū)域的診斷方法（ROI-SVM）提高了3.3個百分點。

3 結(jié)論

1）基于區(qū)域?qū)Ρ鹊娘@著性檢測方法考慮圖像全局的對比度和空間因素的影響，將區(qū)域的對比度和空間的遠(yuǎn)近關(guān)系結(jié)合起來，均勻突出了紅外圖像中的敏感區(qū)域，達(dá)到了去除干擾背景的效果。

2）提出基于隨機(jī)森林分類結(jié)果的二值化分割閾值優(yōu)化方法，通過OTSU計算初步分割閾值，然后根據(jù)隨機(jī)森林的故障分類結(jié)果對閾值進(jìn)行迭代優(yōu)化，實現(xiàn)故障敏感區(qū)域的優(yōu)化提取。

3）將提出的基于區(qū)域?qū)Ρ群碗S機(jī)森林的敏感區(qū)域提取方法應(yīng)用于轉(zhuǎn)子平臺6類狀態(tài)的識別，與人工提取ROI相比，準(zhǔn)確率提高了3.3個百分點。

[1] WEI W, WEI L, NIE L, et al. Using active thermography and modified SVM for intelligent diagnosis of solder bumps[J]., 2015, 72: 163-169.

[2] Hewison T J, WU X Q, YU F F, et al. GSICS inter-calibration of infrared channels of geostationary imagers using Metop/IASI[J]., 2013, 51(3): 1160-1170.

[3] Ring E F J, Ammer K. Infrared thermal imaging in medicine[J]., 2012, 33: 33-46.

[4] HA H, HAN S S, LEE J. Fault detection on transmission lines using a microphone array and an infrared thermal imaging camera[J].2012, 61(1): 267-275.

[5] Huda A S N, Taib S, Ghazali K H, et al. A new thermographic NDT for condition monitoring of electrical components using ANN with confidence level analysis[J]., 2014, 53(3): 717-724.

[6] 鄒輝. 基于Fast-Match算法的電力設(shè)備紅外圖像分割[J]. 紅外技術(shù), 2016, 38(1): 21-28.

ZOU H. Infrared image segmentation for electrical equipment based on FAsT-match algorithm[J]., 2016, 38(1): 21-28.

[7] CHENG Mingming, Niloy J Mitra. Global contrast based salient region detection[J]., 2015.

[8] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[C]//, 2010: 410-414.

[9] ZHAI Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//, 2006: 815-824.

[10] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[11] 張鈺, 陳珺. 隨機(jī)森林在滾動軸承故障診斷中的應(yīng)用[J]. 計算機(jī)工程與應(yīng)用, 2018, 54(6): 101-104, 115.

ZHANG Y, CHEN J. Application of random forest on rolling element bearings fault diagnosis[J]., 2018, 54(6): 100-104.

[12] 李思嘉, 趙曉焱, 張繼學(xué). 基于OTSU算法的圖像分割有效性研究[J]. 無線電通信技術(shù), 2014, 40(5): 54-56, 85.

LI S J, ZHAO X Y, ZHANG J X. Research on image segmentation effectiveness based on OTSU algorithm[J]., 2014, 40(5): 54-56, 85.

Infrared Image ROI Extraction Based on Region Contrast and Random Forest

DUAN Lixiang1，LIU Ziwang2，ZHAO Zhenxin3，KONG Xin1，YUAN Zhuang1

(1.;,102249,; 2..,100621,; 3.,,841000,)

For the infrared image-based fault diagnosis, the region of interest (ROI) needs to be selected. Due to the characteristics of many interference background and low contrast in infrared image, it is necessary to remove the background and image segmentation to extract ROI. However, the common two value segmentation algorithm has the limitation of over-segmentation in the infrared image segmentation. Therefore, a method of infrared image ROI extraction based on region contrast and random forest is proposed in this paper. Firstly, the region contrast method is used to detect the infrared image significantly to remove the interference background. Then, image segmentation is conducted by applying OTSU algorithm in order to extract ROIinitially. Finally, aiming at realizing the optimal extraction of ROI, the threshold of image segmentation based on the results of random forest classification is iterated and optimized. Infrared images under 6 different conditions derived from the rotors test-bed are utilized for fault diagnosis, applying the ROI extracted by the proposed method to fault diagnosis, the accuracy of the classification increased by 3.3 percentage points, which is more accurate than that of the artificial selected area.

equipment failure, infrared image, ROI extraction, region contrast, random forest

TH17

A

1001-8891(2019)10-0988-06

2018-05-09；

2020-08-11.

段禮祥（1969-），男，教授，主要從事安全監(jiān)測與智能診斷工程方向的研究。E-mail：duanlx@cup.edu.cn。

國家重點研發(fā)計劃專題：罐區(qū)動力設(shè)備智能診斷及預(yù)測技術(shù)研究（2017YFC0805803）；國家自然科學(xué)基金項目：基于遷移學(xué)習(xí)的往復(fù)壓縮機(jī)故障診斷機(jī)制及預(yù)測預(yù)警模型研究（51674277）。