周晟剛

(安徽省煤炭科學研究院，合肥 230001)

0 引言

通風機械儀表盤作為重要的測量和監(jiān)控工具，在通風系統(tǒng)中起著至關(guān)重要的作用。它可以準確顯示和記錄通風機械的各項參數(shù)，幫助維持通風系統(tǒng)的運行效率和安全性。隨著科技進步和工業(yè)化進程的推動，通風機械的種類和規(guī)模不斷增加，對儀表盤的標準和技術(shù)要求也在不斷提高。從傳統(tǒng)的機簡單指示器到現(xiàn)代智能儀表盤，通風機械的監(jiān)測和調(diào)節(jié)變得更加智能化和精準化。這使得通風系統(tǒng)能夠提供更高效、安全、舒適的通風環(huán)境[1]。然而，長期運行或維護不當可能導致通風機械故障，進而影響通風系統(tǒng)的正常運行和安全保障。因此，準確并及時地定位故障的位置非常重要，這直接影響到維修行動的迅速性。同時，故障定位的準確性也對生產(chǎn)效率、成本和安全產(chǎn)生著重大影響。為了提高通風機械故障的檢測精度和減少故障定位時間，可以采用高精度視覺檢測和定位方法，并結(jié)合圖像處理和機器學習技術(shù)。通過對儀表盤上的圖像進行分析和識別，有效避免無計劃停機和減少維修成本[2]。因此，開展儀表區(qū)域高精度視覺識別的研究具有重要的背景和意義。

國內(nèi)相關(guān)故障檢測與定位研究研究有：文獻[3]中提出一種基于PLC用于電氣自動化儀表的故障檢測系統(tǒng)。該系統(tǒng)的硬件模塊包括以下組成部分：數(shù)據(jù)采集模塊、PLC芯片選配與通信模塊、上位機程序模塊、數(shù)據(jù)集成模塊和儀表故障檢測模塊。這些模塊的協(xié)同工作保證了整個系統(tǒng)的穩(wěn)定運行和高效性能。文獻[4]中提出了一種石油化工自動化儀表故障診斷方法。該方法首先將信號分解為多個模態(tài)，并通過對每個模態(tài)的處理獲得準確的頻率信息。通過使用合適的懲罰因子，可以減少在信號中存在的噪聲。然后，根據(jù)每個分解模態(tài)的基帶范圍計算關(guān)鍵參數(shù)，這些參數(shù)對故障檢測和診斷非常重要。最后，將故障信號與儀表故障特征參數(shù)進行比較，以確定所觀察到的故障類型。

國外相關(guān)故障檢測與定位研究研究有：文獻[5]中提出了一種基于知識圖的故障診斷系統(tǒng)。研究RBT3-TextCNN模型和Jieba工具的預訓練方法。這種方法使用文本卷積神經(jīng)網(wǎng)絡(luò)(TextCNN)和三層魯棒優(yōu)化變壓器雙向編碼器表示(RBT3)，可以同時提取實體和識別故障查詢意圖。此外，還開發(fā)了一個基于WebSocket協(xié)議的故障報警監(jiān)控模塊，可以自動將出現(xiàn)的故障詳細信息發(fā)送給操作人員。文獻[6]中提出一種基于分布式滑模觀測器的MAS故障診斷方法，提出基于滑模的分布式未知輸入觀測器來估計擴展狀態(tài)，并引入自適應律來調(diào)整觀測器參數(shù)。最后，通過數(shù)值仿真驗證了該方法的有效性。

然而，上述方法應用于通風機械儀表故障區(qū)域定位工作中后，發(fā)現(xiàn)其故障區(qū)域定位結(jié)果與實際結(jié)果相差較大。對此，本文通過機器學習優(yōu)化的方式，設(shè)計了一種新的通風機械儀表故障區(qū)域高精度視覺定位方法。在使用Kinect相機提取到通風機械儀表圖像后，通過改進直方圖均衡化的方式調(diào)節(jié)圖像的亮度與色調(diào)，并在此基礎(chǔ)上，引入局部圖像處理環(huán)節(jié)對圖像實施分塊式對比度增強處理，依次調(diào)節(jié)圖像的亮度與色調(diào)，從而增強通風機械儀表圖像的局部對比度。對增強處理后的圖像進行基于像素相關(guān)性的儀表故障區(qū)域分割提取，在劃分出通風機械儀表故障區(qū)域后，利用深度卷積網(wǎng)絡(luò)檢測其中的目標信息。最后，計算定位目標的質(zhì)心坐標，將質(zhì)心位置設(shè)成通風機械儀表故障位置，通過實時投影完成高精度定位。

1 通風機械故障儀表圖像采集與預處理

1.1 通風機械儀表圖像的提取

Kinect相機是機器視覺領(lǐng)域常用的相機之一，Kinect相機具備追焦能力[7-8]。本研究中，使用Kinect相機提取通風機械儀表所處環(huán)境圖像。圖1為Kinect相機成像示意圖。

圖1 Kinect相機成像原理圖

Kinect相機的成像如下。

1)連接Kinect相機：將Kinect相機通過USB接口與計算機連接。確保連接穩(wěn)定并符合硬件要求。

2)安裝驅(qū)動程序：根據(jù)Kinect相機型號和計算機操作系統(tǒng)，安裝相應的驅(qū)動程序[9-10]。

3)啟動相機：打開使用Kinect相機的圖像采集軟件或開發(fā)環(huán)境，調(diào)用相應的API函數(shù)啟動相機。

4)獲取彩色圖像：通過API函數(shù)，調(diào)用相機的彩色傳感器來獲取實時的彩色圖像。此時，相機會捕捉到前方環(huán)境的彩色圖像信息。

5)獲取深度圖像：通過API函數(shù)，調(diào)用相機的深度傳感器來獲取實時的深度圖像。深度圖像顯示場景中各個點距離相機的遠近[11]。

1.2 通風機械儀表圖像局部對比度增強處理

在得到通風機械儀表圖像后，通過改進直方圖均衡化的方式調(diào)節(jié)圖像的亮度與色調(diào)，把圖像中不同區(qū)域內(nèi)的亮度差異擴大。通過對比度的增強，故障區(qū)域的邊緣和細節(jié)能夠更突出地顯示出來，有助于更準確地分割故障輪廓[12]。

在全局直方圖均衡算法的基礎(chǔ)上，引入局部圖像處理環(huán)節(jié)對圖像實施分塊式對比度增強處理，依次調(diào)節(jié)圖像的亮度與色調(diào)，從而增強通風機械儀表圖像的局部對比度。

在增強處理的過程，為了防止出現(xiàn)馬賽克問題，設(shè)置閾值約束各個像素塊的裁剪工作，把大于閾值的區(qū)域劃分至其他區(qū)域重新裁剪。閾值的變化對通風機械儀表圖像增強作用也存在差異，閾值較大時，會導致圖像曝光率超標，而閾值較小時，會導致圖像增強效果較差[13-14]。因此，合理的閾值是保證通風機械儀表圖像增強效果的前提。為此，本文將自適應閾值調(diào)整技術(shù)引入直方圖均衡化方法中，可以結(jié)合圖像的亮度信息自主設(shè)置合理的閾值，此時圖像暗部細節(jié)的增強效果便得到優(yōu)化，具體步驟如下：

1)對2.1小節(jié)采集到的通風機械儀表圖像執(zhí)行分塊操作，保證各個像素塊大小一致，不存在重疊性[15]；

2)變換圖像色域，自RGB空間變成YUV空間；

3)分塊運算頻率分布直方圖，提取其均值；

4)運算動態(tài)閾值，將像素塊的亮度均值設(shè)成邊界條件，運算超過均值的直方圖面積。直方圖面積可體現(xiàn)直方圖的突兀水平，結(jié)合一個或多個直方圖的突兀水平，動態(tài)設(shè)置差異的閾值，閾值將根據(jù)圖像灰度值的分布狀態(tài)實現(xiàn)自動調(diào)節(jié)[16]；

5)根據(jù)閾值裁剪焊點區(qū)域圖像直方圖，大于閾值的區(qū)域?qū)嵤┣蠛吞幚?，均分至各個像素點的坐標，并將大于閾值的像素量均分至每個灰度范圍中；

6)運算像素累積分布函數(shù)Rh：

(1)

其中：m表示通風機械儀表圖像的像素數(shù)量，mh表示第h個像素，且j∈m；

7)使用一維低通濾波率，優(yōu)化像素平滑水平，過程如下：

(2)

其中：X(h)表示濾波后通風機械儀表圖像的像素值；

8)為防止出現(xiàn)塊效應，通過插值運算方法計算塊和塊之間像素值。插值運算方法如圖2所示[17]。

圖2 插值運算方法

圖2中的黑色正方形區(qū)域代表通風機械儀表運行環(huán)境深度圖像的邊角區(qū)域像素，用于直接運算映射函數(shù)，白色正方形區(qū)域是邊緣區(qū)域。通過線性插值方法運算像素[18]，運算方法如下：

(3)

其中：g(x，y)表示圖像素點數(shù)值；(x1，y1)、(x2，y2)依次表示近鄰像素塊中心坐標，g1、g2表示子塊映射值[19]。

圖2中的白色圓形區(qū)域代表通風機械儀表深度圖像的中間區(qū)域像素塊，以雙線性插值方法運算獲取像素值，運算方法過程如下：

(4)

9)融合原圖與增強后通風機械儀表圖像：

g(x，y)=?×o″+(1-?)o

(5)

其中：?表示融合所用權(quán)值；o″、o依次表示增強前后的圖像。

2 通風機械儀表圖像故障區(qū)域的分割和檢測方法

2.1 基于像素相關(guān)性的儀表故障區(qū)域分割提取

假設(shè)2.2小節(jié)增強處理后的通風機械儀表圖像g(x，y)的像素集合為G={gi|i=1，2，...，m}，將集合G中像素設(shè)成中心像素點，然后設(shè)計檢索窗口，窗口中的像素集合為F={fj|j=1，2，...，m}。圖像的分割步驟如下。

輸入：增強后的圖像g(x，y)、局部窗口尺寸Mj。

輸出：g(x，y)的像素相關(guān)性關(guān)系R。

1)運算檢索窗口中像素的中位數(shù)：

Nj=median(fj)

(6)

其中：median()表示MEDIAN函數(shù)。

2)假設(shè)Bj表示檢索窗口中像素的浮動值，則存在：

Bj=abs(fj-Nj)

(7)

其中：abs()表示絕對值函數(shù)。

3)運算像素中位絕對偏差是：

NAj=median(Bj)

(8)

4)分析檢索窗口中像素是否屬于噪聲像素，則存在：

(9)

其中：β表示閾值，Qjr表示像素決策概率值。當Qjr的數(shù)值等于0時，代表檢索窗口中像素非噪聲；當Qjr的數(shù)值等于1時，代表檢索窗口中像素是噪聲像素。

5)把集合F里噪聲像素點去除，獲取正常像素集合F′。然后根據(jù)檢索窗口中正常像素點之間灰度值的相似度D運算像素間相關(guān)性關(guān)系，過程如下：

R=exp(mean(D)-D×Qjr)

(10)

基于像素之間的相關(guān)性，給出儀表圖像故障區(qū)域分割的步驟如下：

輸入：迭代最大值γ、模糊因子n、像素聚類數(shù)目A、像素聚類的局部窗口尺寸Mj。

輸出：通風機械儀表圖像中的故障特征分割結(jié)果θ。

1)分析g(x，y)的像素中心，設(shè)計合理的像素檢索窗口，運算窗口內(nèi)像素和中心像素的相關(guān)性。

2)在初始化模糊隸屬函數(shù)的前提下，計算像素聚類中心：

(11)

3)若迭代次數(shù)為最大值，便進入4)，反之回到2)。

4)執(zhí)行去模糊處理，則圖像g(x，y)分割結(jié)果為：

θ=argmax{uj}

(12)

上述過程，通過利用改進像素相關(guān)性分割算法對圖像進行分割，將通風機械儀表區(qū)域從背景中提取出來。這一步可以通過結(jié)合像素之間的相關(guān)性來判斷是否屬于通風機械儀表的區(qū)域。

2.2 基于深度卷積網(wǎng)絡(luò)對分割圖像的故障判斷

利用深度卷積網(wǎng)絡(luò)(DCNN)對分割后的圖像進行故障輪廓檢測。DCNN是一種強大的圖像分類和目標檢測算法，在訓練階段需要準備故障樣本來進行模型訓練，以便能夠準確地檢測和識別通風機械儀表的故障情況。深度卷積網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 深度卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

從圖3看出，深度卷積網(wǎng)絡(luò)是一種具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，其中包括輸入層、轉(zhuǎn)換層、用于特征提取的卷積層和池化層、用于故障檢測的全連接層、輸出層[20]。

利用深度卷積網(wǎng)絡(luò)檢測通風機械儀表圖像中故障輪廓的過程如下。

1)切割處理：根據(jù)上述經(jīng)過分割得到的通風機械儀表區(qū)域圖像數(shù)據(jù)θ結(jié)果，進行切割處理。該處理過程可以通過裁剪出分割區(qū)域的圖像塊或裁剪成更小的圖像片段，作為深度卷積網(wǎng)絡(luò)的輸入向量。這樣可以提取出每個故障區(qū)域的局部特征，更有利于深度學習網(wǎng)絡(luò)的訓練。處理參數(shù)為：

(13)

其中：h×z表示圖像分割區(qū)域的空間壓縮維度，這里的h代表影像增強參數(shù)，z代表訓練次數(shù)。

2)深度學習網(wǎng)絡(luò)的訓練：使用上述經(jīng)過切割處理后的數(shù)據(jù)樣本作為輸入向量，對深度卷積網(wǎng)絡(luò)進行訓練。訓練目標是使網(wǎng)絡(luò)能夠?qū)W習到故障樣本的特征，并能夠準確地判斷通風機械儀表圖像中的故障。

卷積層使用卷積驗證從輸入訓練數(shù)據(jù)中提取特征。DCNN通常具有多個卷積核，每個卷積核都可以提取不同的數(shù)據(jù)特征。將輸入的一維數(shù)據(jù)設(shè)為x，則經(jīng)卷積特征映射可表示為：

(14)

池化層對信號進行降采樣，從而達到減少模型參數(shù)的數(shù)量的目的，在通道數(shù)量不增加的情況下對特征進行選擇。一維卷積層的輸出一般為大小W×D的特征(W表示特征的長度、D表示通道數(shù)。平均池化和最大池化為常用的池化操作，采用平均池化操作，則經(jīng)池化操作后輸出變?yōu)椋?/p>

(15)

式中，yk+1表示池化后第k+1層輸出。

全連接層將前一層網(wǎng)絡(luò)的每一個節(jié)點連接到當前層的所有網(wǎng)絡(luò)節(jié)點。在使用過程中，全連接層可由卷積運算實現(xiàn)；卷積核為1×1的全連接層可轉(zhuǎn)換為卷積，而卷積核大小為W的全連接層層可轉(zhuǎn)換為全局卷積。

3)在完成對深度卷積網(wǎng)絡(luò)的訓練后，輸入圖像分割結(jié)果，過程如下：

(16)

其中：(I，J)表示引用分割框的坐標，p表示參照系目標的概率，b表示回歸損失，s表示平衡參數(shù)。

在篩選深度卷積網(wǎng)絡(luò)輸出故障輪廓候選框的火車上，可以確定候選框的所述類別。將候選框與類別標簽作為網(wǎng)絡(luò)訓練數(shù)據(jù)，可以得到故障輪廓的候選框和實際候選框。

4)將故障輪廓區(qū)域的數(shù)據(jù)集作為正類樣本，將非故障區(qū)域的數(shù)據(jù)集作為負類樣本，通過迭代訓練形成完整的深卷積網(wǎng)絡(luò)訓練學習過程。

5)故障檢測層包括需要故障檢測回歸的N個任務(wù)。對于第個任務(wù)，使用兩個完全連接的層輸出。第一個調(diào)諧共享的卷積提取特征，第二個連接故障結(jié)果。全連接運算定義表示為：

(17)

通風機械儀表盤故障類型共分為5種，包括儀表讀數(shù)偏差、儀表指針脫落、儀表表面污染、儀表內(nèi)部出現(xiàn)故障、儀表盤安裝不當。使用權(quán)重系數(shù)和故障類型的權(quán)重向量來計算故障類型的概率或分類得分。以下是判斷通風機械儀表盤故障類型的表達式：

S(F)=∑(Wi*Pi)

(18)

式中，S(F)表示通風機械儀表盤故障類型，W表示第i個任務(wù)對應的權(quán)重系數(shù)，P表示故障類型F的權(quán)重向量的第i個元素。通過將式(18)應用于式(17)中的全連接運算，可以確定最終的故障類型。

3 基于目標質(zhì)心計算完成儀表故障區(qū)域定位

在分割通風機械儀表圖像并提取其中的故障輪廓后，計算故障區(qū)域的輪廓質(zhì)心橫、縱坐標，過程如下：

(19)

其中：(xj，yj)表示第j個像素坐標，T(xj，yj)表示第j個像素的灰度值。

圖4 投影成像空間坐標示意圖

由于焊點目標的質(zhì)心點具有固定性。因此，為準確定位通風機械儀表故障輪廓位置，通過將目標點坐標映射到投影成像空間坐標系中，可以得到在實際空間中的位置，實現(xiàn)通風機械儀表的故障區(qū)域定位。

(20)

其中：ρ、η表示目標點坐標在投影成像空間坐標系中二維坐標值，(x，y，z)表示目標點在投影成像空間坐標系中位置，(x0，y0，z0)表示相機坐標原點在投影成像空間坐標系中位置，x0、Δy表示用于在相機的水平和垂直方向上對每個像素進行采樣的量化因子，ρ0、η0分別為在水平和垂直方向上采樣期間相機成像中心的位置偏移。通過上述過程即可獲取目標點坐標的二維坐標值、基坐標系位置，從而實現(xiàn)通風機械儀表故障區(qū)域的精準定位。

4 實驗與分析

4.1 實驗環(huán)境

為驗證性能上述設(shè)計的基于機器學習優(yōu)化的通風機械儀表故障區(qū)域高精度視覺定位方法，進行實驗測試。為測試所設(shè)計系統(tǒng)的功能實現(xiàn)效果，本章節(jié)進行系統(tǒng)實現(xiàn)與測試。為了驗證本文方法的數(shù)據(jù)安全性能與共享時間效率，整個實驗都需要在性能強大的服務(wù)器上完成，服務(wù)器為：5 TG的內(nèi)存、NVIDIA RTX 2080Ti 12G的顯卡，服務(wù)器的軟件環(huán)境為：Python 4.8的代碼編寫軟件平臺、Windows10操作系統(tǒng)的硬件環(huán)境。

4.2 圖像增強與目標分割結(jié)果

對基于Kinect相機采集到的通風機械儀表圖像進行增強處理后，圖像信息熵變化如圖5所示。信息熵可體現(xiàn)圖像細節(jié)特征完備性，數(shù)值越接近于1，表示圖像細節(jié)特征越完備。

圖5 圖像增強前后信息熵變化

觀察圖5可知，本文方法對通風機械儀表圖像增強后，圖像細節(jié)特征完備，信息熵超過0.9，說明本文方法對通風機械儀表進行圖像增強處理后，圖像細節(jié)特征的保存效果較好。

利用本文方法將圖像實施分割處理，有效分離圖像中的有效目標和背景，分割效果如圖6所示。

圖6 通風機械儀表目標分割結(jié)果

4.3 通風機械儀表故障檢測結(jié)果

基于上述通風機械儀表目標分割結(jié)果，對通風機械儀表故障進行檢測。實驗中，將文獻[3]、文獻[4]方法作為對比方法，得到通風機械儀表故障檢測對比結(jié)果如圖7所示。

圖7 通風機械儀表故障檢測結(jié)果

觀察圖7可以發(fā)現(xiàn)，本文方法的通風機械儀表故障檢測精度均高于90%，最高檢測精度為98%；文獻[3]方法的通風機械儀表故障檢測精度低于本文方法，最高檢測精度僅為87%；文獻[4]方法的通風機械儀表故障檢測精度低于文獻[3]方法，最高檢測精度僅為82%；由此可見，本文方法對通風機械儀表故障檢查精度較高，具有有效性。

4.4 通風機械儀表故障區(qū)域定位結(jié)果

基于上述是通風機械儀表故障檢測結(jié)果，對通風機械儀表故障區(qū)域進行定位。得到通風機械儀表故障區(qū)域定位的對比結(jié)果如圖8所示。

圖8 通風機械儀表實際故障區(qū)域定位結(jié)果

觀察圖8可以發(fā)現(xiàn)，兩種文獻方法的定位坐標點與通風機械儀表實際故障區(qū)域具有一定的偏差，而應用本文方法后，故障定位坐標點與實際故障坐標點吻合度較高，但定位誤差極小。由此可以表明，本文方法對通風機械儀表的故障區(qū)域定位問題具有可用價值。

4.5 通風機械儀表故障區(qū)域定位時間結(jié)果

為進一步驗證本文方法的故障區(qū)域定位效率，以區(qū)域定位時間為測試指標，將這3種方法進行比較和測試，測試結(jié)果如表1。

表1 3種方法故障區(qū)域定位時間對比表

觀察表1可以發(fā)現(xiàn)，本文方法的通風機械儀表故障區(qū)域定位時間均低于10 s，最低定位時間僅為5 s；文獻[3]方法的通風機械儀表故障區(qū)域定位時間高于本文方法，最低定位時間達到30 s；文獻[4]方法的通風機械儀表故障區(qū)域定位時間高于文獻[3]方法，最低定位時間達到36 s；由此可見，本文方法對通風機械儀表的故障區(qū)域定位效率較高，具有實用性。

5 結(jié)束語

智能機械是目前工業(yè)制造領(lǐng)域所應用的重點智能化技術(shù)之一，焊接機器人和其他焊接機械的應用使焊接工作成為可能，智能化的發(fā)展不僅降低了體力勞動的投入成本，而且具有很高的工作安全性。

為有效實現(xiàn)焊接機械對通風機械儀表的定位精度，本文設(shè)計了基于機器學習優(yōu)化的焊接機械通風機械儀表高精度視覺定位技術(shù)，對通風機械儀表圖像實施采集、增強、分割處理，然后利用深度卷積網(wǎng)絡(luò)檢測其中的目標信息，再通過計算焊點質(zhì)心坐標實現(xiàn)高精度視覺定位。從實驗結(jié)果能夠看出：本文方法不僅可以增強通風機械儀表圖像的細節(jié)特征，還能夠有效提取圖像中通風機械儀表目標信息，準確定位焊點所在位置。