鄭啟亮,姜金嶺,呂思宇

(1.中車青島四方機(jī)車車輛股份有限公司，山東 青島 266000; 2.北京航天測控技術(shù)有限公司，北京 100041)

0 引言

工業(yè)車輛的配電柜和電氣箱，是涉及到整車安全運行的核心部件，隨著智能控制技術(shù)的發(fā)展，配電柜和電氣箱也變得越來越復(fù)雜，在生產(chǎn)和調(diào)試過程中，操作人員需要根據(jù)繁雜且巨量的工藝文件進(jìn)行相應(yīng)操作，但即使如此，由于操作人員的主觀性和工藝文件的復(fù)雜性，出錯的概率仍然比較高[1]。雖然有質(zhì)檢人員及各種視覺檢測系統(tǒng)對該操作進(jìn)行復(fù)檢和檢測，但是由于目視檢測和基于可見光視覺的檢測方式固有的能力缺陷，對其中的虛接、短接等缺陷仍然無能為力，隨著設(shè)備的運行，這些缺陷造成的系統(tǒng)隱患如不能及時解決，造成嚴(yán)重的后果。

可見光圖像和紅外圖像融合是多傳感器圖像融合研究的重要方向，可見光圖像能夠記錄被檢測物體的光譜信息的反射特性，而紅外圖像能夠記錄被檢測物體的熱輻射信息，將可見光圖像和紅外圖像融合，能夠有效的結(jié)合兩種檢測方式的信息，實現(xiàn)異常發(fā)熱部位的可視化特征檢測和溫度特征檢測[2-3]。

本文對基于手機(jī)端的紅外發(fā)熱檢測技術(shù)進(jìn)行研究，以檢測設(shè)備試運行或運行的初期發(fā)生的異常發(fā)熱情況，來進(jìn)一步確保設(shè)備正常運行。本文的研究為克服工業(yè)車輛配電柜和電氣箱所在的狹小空間，采用基于手機(jī)端的異常發(fā)熱檢測方式，由操作人員手持檢測設(shè)備對各檢測部位進(jìn)行便攜式檢測，同時解決由于便攜式檢測設(shè)備造成的拍攝距離和拍攝角度不確定造成的對檢測算法的各種干擾問題。

本文采用基于手機(jī)攝像頭和紅外攝像頭的集成設(shè)備進(jìn)行圖像檢測，為解決便攜式設(shè)備的上述檢測困難，采用知識庫創(chuàng)建，圖像獲取，圖像距離獲取，圖像融合參數(shù)校準(zhǔn)，圖像融合和發(fā)熱檢測的檢測方法。本文的涉及流程如圖1所示。

圖1 電氣設(shè)備異常發(fā)熱檢測設(shè)計流程圖

1 圖像獲取

本研究以基于手機(jī)端的手機(jī)攝像頭和紅外相機(jī)的便攜式檢測設(shè)備為基礎(chǔ)，通過手機(jī)端的可見光攝像頭和紅外相機(jī)采集被檢測對象的可見光圖像和紅外熱圖像，由于檢測環(huán)境為開放的工業(yè)環(huán)境，可能具有外界光照或者照明不足的情況，由于配電柜和電氣箱的部署空間往往復(fù)雜且狹小，因此拍攝過程由操作人員自行決定拍攝位置，使檢測設(shè)備能夠盡可能清晰的獲取被檢測對象的全貌。

基于手機(jī)攝像頭和紅外相機(jī)的檢測設(shè)備，手機(jī)攝像頭選用4 000萬像素的高清工業(yè)相機(jī)，用于獲取被檢測對象的可見光圖像的細(xì)節(jié)，用于質(zhì)檢追溯和后續(xù)其他研究，檢測過程采用手機(jī)攝像頭補(bǔ)充照明，用以盡量減少環(huán)境光照造成的影響。紅外相機(jī)采用640*480的高分辨率紅外熱像儀，對被檢測圖像實現(xiàn)精度±2 ℃的發(fā)熱檢測。由于圖像的采集為操作人員完成，因此，經(jīng)過統(tǒng)計，采集圖像的位置存在15 cm的偏差，采集角度存在10°的偏差。

2 圖像距離獲取方法

設(shè)備的異常發(fā)熱情況多種多樣，因此，對配電柜和電氣箱進(jìn)行高效的檢測依賴創(chuàng)建完善的判斷規(guī)則，本文的知識庫包括檢測對象的位置信息、溫度信息以及用于檢測判別用的各種歷史數(shù)據(jù)。檢測對象的位置判斷，尤其是圖像距離的獲取，是檢測過程中重要環(huán)節(jié)[4]。

配電柜中的各種元器件和接口端子等待檢測對象具有多種形狀、顏色、特征，并且排布密集，沒有規(guī)律可循，因此，想準(zhǔn)確定位配電柜中各關(guān)鍵檢測對象的位置，需要將待檢測圖像進(jìn)行圖像配準(zhǔn)，將事先建立的模板圖像中標(biāo)定的位置和連接狀態(tài)知識庫轉(zhuǎn)換到待檢測圖像中。配電柜圖像呈現(xiàn)的檢測對象復(fù)雜且采集圖像角度不確定，因此，本文采用局部特征來進(jìn)行圖像的配準(zhǔn)，本文選取的局部特征包括點、線、邊緣、形狀、感興趣區(qū)域等[5]。

FAST角點基本原檢測候選特征點周圍一圈的像素值[6]，首先設(shè)定候選點，對候選點的周圍鄰域進(jìn)行遍歷，如果周圍鄰域內(nèi)有超過閾值數(shù)量的像素點的灰度值與該候選點的灰度值差別夠大，則將該候選點歸入確認(rèn)的特征點序列。

其中:I(x)為圓周上任意一點的灰度，I(p)為圓心的灰度，εd為灰度值差值閾值，如果N大于給定閾值t，則認(rèn)為該中心像素點為一個角點。本文選取半徑為3的Bresenham圓，如圖2所示，使用圓周長為16個像素點來判定其圓心像素P是否為角點。在像素點的相鄰區(qū)域判斷連續(xù)的12個像素點，若這些像素點均大于或者小于中心像素點并且相差大于特定閾值，則認(rèn)為該中心像素點為一個角點。

圖2 用于檢測特征點的Bresenham圓

使用FAST算法提取特征后，需要對其進(jìn)行描述才能用于后續(xù)的匹配，SIFT特征采用128維的特征描述子，將會占用512bytes的空間，SURF特征采取64維的描述子，也將占用256bytes的空間，對于復(fù)雜背景的配電柜圖像，特征點成千上萬，則SIFT或SURF特征描述子將占有大量的內(nèi)存空間和運行時間，BRIEF算法[7]基于漢明距離的計算可以用異或操作然后計算二進(jìn)制位數(shù)來實現(xiàn)的思路。

圖像中的小塊區(qū)域可以通過對數(shù)量很少的點對進(jìn)行灰度比較進(jìn)行有效的區(qū)分[8-9]。因此，對一個S*S的圖像區(qū)域p定義一個測試如下：

將τ測試按照如下的公式排列，即可得到BRIEF特征：

ORB特征是將FAST特征點的檢測方法與BRIEF特征描述子結(jié)合起來，并在它們原來的基礎(chǔ)上做了改進(jìn)與優(yōu)化。通過提出一種灰度質(zhì)心的方法來解決FAST特征不具有方向的問題：

依據(jù)該主方向提取BRIEF描述子，并對特征點進(jìn)行匹配，采用互相關(guān)的描述算法，依據(jù)特征點鄰域內(nèi)各像素灰度值的互相關(guān)系數(shù)作為匹配的判別標(biāo)準(zhǔn)。具體實現(xiàn)步驟為，首先在模板圖像上的各特征點的特定的鄰域范圍內(nèi)取像素點，以此為參考點和參考標(biāo)準(zhǔn)在待檢測圖像上尋找對應(yīng)的匹配點，進(jìn)行特征點相關(guān)區(qū)域的相關(guān)系數(shù)計算：

對其進(jìn)行歸一化：

NCC=

特征點匹配時選取相關(guān)系數(shù)中最大的相關(guān)系數(shù)對應(yīng)的特征點作為該參考點的匹配點，特征點匹配情況如圖3所示。

圖3 基于ORB的特征點匹配方法

特征匹配之后，根據(jù)準(zhǔn)確匹配的特征得到模版圖像和檢測圖像的仿射變換矩陣，如圖4所示。

圖4 仿射變換

ORB在速度方面有著極強(qiáng)的效果，通過對配電柜圖像算法運行速度對比，運算時間是SURF算法的十分之一左右。

根據(jù)仿射變換的空間信息，即可得到當(dāng)前拍攝圖像同原圖像的空間關(guān)系，該空間關(guān)系用于后續(xù)圖像融合參數(shù)的校準(zhǔn)。

3 圖像融合參數(shù)校準(zhǔn)

由于設(shè)備的部署工作均由操作工人完成，因此不可避免的存在拍攝角度和相對位置的差異，因此本方法在感興趣區(qū)域獲取后采用透視變換，對零部件的形位尺寸進(jìn)行糾正，為后續(xù)的形位尺寸測量做準(zhǔn)備。

本文采用平行光軸的紅外可見光雙目配置進(jìn)行圖像匹配和融合，由于紅外圖像和可見光圖像在圖像細(xì)節(jié)和被檢測對象的特性上的差別，因此傳統(tǒng)的基于模板和特征點匹配的算法很難達(dá)到準(zhǔn)確的圖像融合，因此還需要考慮被檢測對象的目標(biāo)距離?？梢姽鈭D象和紅外圖像的融合誤差為：

其中:f為焦距，lpix為像素大小，dx為基線長度，Df為已經(jīng)經(jīng)過校準(zhǔn)的光學(xué)距離，本文的研究中，將知識庫中設(shè)置好的模板圖像作為標(biāo)準(zhǔn)圖像，將拍攝模板圖像時的手機(jī)距離和角度作為經(jīng)過校準(zhǔn)的光學(xué)距離。Dobj為當(dāng)前被檢測對象的距離，如果被檢測對象的距離在經(jīng)過校準(zhǔn)的光學(xué)距離上，則圖像融合誤差為0，否則需要對其進(jìn)行誤差補(bǔ)償[10]。

紅外圖像和可見光圖像除了通過距離偏差進(jìn)行補(bǔ)償，由于紅外相機(jī)和可見光相機(jī)的焦距不同，導(dǎo)致空間被檢測對象在兩種圖像上的成像尺度不一樣，因此需要將紅外相機(jī)和可見光相機(jī)圖像進(jìn)行縮放并使得同一物體在紅外圖像和可見光圖像上的像素尺寸一致。

可見光和紅外相機(jī)的標(biāo)定如圖5所示。

圖5 可見光與紅外相機(jī)標(biāo)定算法框架

根據(jù)光學(xué)誤差原理，圖像融合算法的框架如圖6所示。

圖6 圖像融合算法框架

根據(jù)圖像匹配獲取的待檢測圖像和知識庫中的模板圖像，即可獲取待檢測圖像采集時當(dāng)前被檢測對象的距離。得到融合誤差，進(jìn)而進(jìn)行圖像的融合。

4 圖像融合

可見光圖像與紅外圖像的融合可分為三個方面：像素級融合、特征級融合和決策級融合，其中像素級的融合可通過圖像距離獲取和圖像融合參數(shù)校準(zhǔn)完成，為提高被檢測對象的特征提取效率和檢測精度，還需對其進(jìn)行特征級融合。由于紅外相機(jī)的分辨率為640*480，因此和可見光相機(jī)圖像相比具有分辨率差、對比度低、信噪比低和視覺效果模糊的特點，紅外圖像的像素亮度分布和待檢測目標(biāo)的發(fā)射特性無線性關(guān)系[11]。

本文采用基于小波理論的金字塔變換的方法進(jìn)行模糊特征區(qū)域的特征匹配。1989年，S.Mallat提出了多分辨率分析，小波分析窗口大小固定、形狀可變，其時間窗口和頻率窗口都可改變，低頻部分的頻率分辨率較高而時間分辨率較低，高頻部分反之。小波分析將待處理信號分解為一系列小波的疊加，而組成該系列的所有小波函數(shù)均由同一母小波函數(shù)經(jīng)過平移處理和尺度放縮轉(zhuǎn)化而來。母小波ψ(t)經(jīng)過位移τ后，再在不同尺度a伸縮的小波系列為：

小波變換如下：

其中:ψ*為ψ的共軛，基本的小波ψ必須滿足以下條件：

目前，對尺度離散的方法是冪數(shù)級離散化，即令a取a=a0m,a0> 0,m∈Z，此時對應(yīng)的小波函數(shù)為：

通常對τ進(jìn)行均勻離散化取值，以覆蓋整個時間軸。為了防止信息丟失，根據(jù)Nyquist采樣定理，采樣率大于等于該尺度下頻率通帶的二倍，即當(dāng)m增加1時，尺度a增加一倍，對應(yīng)的頻率減少一半，則尺度函數(shù)和小波函數(shù)為：

圖7 圖像可分離二維多分辨率的三級分解

根據(jù)Mallat多分辨率理論，小波分解過程可以無限進(jìn)行下去，但是，隨著分解級數(shù)的增加，除了計算量變大，重構(gòu)后的圖像會出現(xiàn)失真，失去識別能力。對各個級別的小波分解圖像進(jìn)行模板匹配，模板匹配公式如下：

R(x,y)越接近于0，說明圖像在該像素處匹配度越高，從而實現(xiàn)特征級的配準(zhǔn)[12]。

圖8 可見光與紅外三級小波分解圖

本文利用可見光圖像和紅外圖像的三級小波分解進(jìn)行圖像融合，采用低頻區(qū)域能量最大的融合規(guī)則，以保持盡可能多的場景信息。

5 異常發(fā)熱檢測

根據(jù)創(chuàng)建的知識庫，不同元器件在運行期間的溫度值有一個正常的范圍，在檢測過程中記錄該元器件的多個時間點的實時溫度，同知識庫中的規(guī)則進(jìn)行對比，判斷是否存在異常發(fā)熱情況，紅外相機(jī)在戶外的檢測精度小于±2℃，能夠滿足電氣設(shè)備的異常發(fā)熱檢測。

6 實驗及分析

實驗通過選取5列車輛的配電柜的各4組圖像，共計360個元器件接頭的發(fā)熱檢測區(qū)域，通過本文檢測設(shè)備檢測位置和溫度，同經(jīng)過計量校準(zhǔn)的fluke測溫儀的溫度進(jìn)行對比。檢測結(jié)果如表1所示。

表1 實驗結(jié)果統(tǒng)計

7 結(jié)束語

為解決車上配電柜和電氣柜短接、虛接等造成的異常發(fā)熱的情況，解決人工檢測效率低、主觀性強(qiáng)的問題，本文提出了基于手機(jī)的便攜式可見光和紅外融合的異常發(fā)熱檢測方法，首先采用FAST算法提取特征點，并由BRIEF描述子對特征點進(jìn)行描述實現(xiàn)了測試圖像和模版圖像的匹配，完成了先驗知識的獲取，通過仿射變換獲取校準(zhǔn)的拍攝距離和當(dāng)前檢測對象距離的關(guān)系，進(jìn)行可見光圖像和紅外圖像的精準(zhǔn)匹配，之后在HSV空間中進(jìn)行圖像融合顯示，并且最終進(jìn)行異常發(fā)熱的檢測。通過實驗，本文的方法實現(xiàn)了高效的檢測，并且位置精度在±4像素內(nèi)，溫度精度在±2℃以內(nèi)，能夠滿足車上設(shè)備的異常發(fā)熱檢測。但是，本文的方法對部分復(fù)雜背景下，空間分布差異較大的被檢測對象檢測結(jié)果仍然不穩(wěn)定，這主要是由于手機(jī)攝像頭和紅外相機(jī)本身檢測特性的缺陷，后續(xù)應(yīng)該集成測距儀、環(huán)境溫度傳感器等模塊，提高檢測精度和檢測穩(wěn)定性。