李永濤,何亞磊,巫風(fēng)玲
(中國華陰兵器試驗中心,陜西 渭南 714000)
目前,類似于微光夜視儀的直視型微光裝備可靠性試驗主要通過“拷機”即靜態(tài)工作過程來實現(xiàn)。試驗時,參試人員間歇性地觀察被試品顯示端圖像,通過人工判讀被試品目鏡視場的方法來確定被試品是否處于正常工作狀態(tài)[1]。此方法存在以下不足:一是人工試驗鑒定效率低且易發(fā)生漏檢??煽啃栽囼灳哂泄ぷ髁看蟆⒅貜?fù)性高的特點。由于設(shè)備批量大,采用人工方法需要多名檢測人員每天長時間工作、連續(xù)幾個月以上才能完成,耗時耗力。而且,試驗中人員間隔對設(shè)備進行檢查,檢查間隙內(nèi)出現(xiàn)的偶發(fā)故障則很難被發(fā)現(xiàn)。加之檢查很大程度取決于檢查人員技術(shù)水平和檢查經(jīng)驗,主觀性大,極易發(fā)生漏檢。二是人工試驗鑒定缺乏有效的故障數(shù)據(jù)存儲處理,不利于技術(shù)的持續(xù)改進。以人工檢測為主的試驗方法主要依靠肉眼識別,對出現(xiàn)的故障進行簡短的文字描述與記載。這樣的檢測記錄方式存在兩個問題:一方面,人工檢測記錄在裝備出現(xiàn)故障時難以完備具體、定性定量地記錄故障對裝備各個部件的影響,在提供故障檢測報告時缺乏有力佐證,且由于故障出現(xiàn)的隨機性,難以復(fù)現(xiàn);另一方面,人工檢測記錄的方式缺乏有效的檢測數(shù)據(jù)存儲,無法形成故障數(shù)據(jù)樣本集,這為技術(shù)改進增加了難度。
綜上所述,現(xiàn)有直視型裝備的可靠性試驗所存在的問題歸根結(jié)底是檢測手段無法滿足日益增長的檢測需求,因此亟需一種智能的、高效的替代人工檢查的技術(shù)[2-3]。從圖像中提取特征獲得場景信息是區(qū)域監(jiān)視、目標(biāo)識別等領(lǐng)域的重要手段。圖像質(zhì)量評價方法可通過衡量圖像變化程度來實現(xiàn)視場異常檢測[4-5]。傳統(tǒng)的圖像質(zhì)量評價方法包括利用圖像像素偏離量度量圖像下降質(zhì)量的方法[6],如均方誤差度量(Mean-Square Error,MSE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)等;計算圖像像素灰度幅度變化(等價為圖像邊緣信息)衡量圖像質(zhì)量的方法[7];利用圖像灰度分布計算信息熵的方法[8]等?;谛〔ㄗ儞Q[9]與結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)理論[10-12]的評估方法與人類視覺系統(tǒng)類似,其出現(xiàn)使圖像質(zhì)量評價的準確性有了較大提升。
本文通過設(shè)計轉(zhuǎn)接環(huán)連接相機與直視型微光裝備進行圖像的采集獲取,采用結(jié)構(gòu)相似性算法進行異常圖像的自動檢測,從而實現(xiàn)對直視型微光裝備在可靠性試驗中的故障診斷。
基于SSIM 算法的直視型微光裝備可靠性試驗故障診斷通過在被試品目鏡上采用連接環(huán)固定圖像采集設(shè)備的方法來獲取圖像,連續(xù)采集記錄在被試品可靠性試驗過程中目鏡里的圖像信息。通過設(shè)定圖像模板,計算被試品監(jiān)測圖像與模板圖像的相似度,識別被試品工作過程中的故障,標(biāo)記、記錄并報警,實現(xiàn)被試品工作過程中的故障自動監(jiān)測。
被試品與圖像采集設(shè)備間的可靠連接是穩(wěn)定采集圖像的前提。文中利用直視型微光裝備目鏡上預(yù)留的眼罩螺紋與工業(yè)相機鏡頭上的濾鏡螺紋進行可靠連接。按照被試品目鏡上螺紋規(guī)格和相機鏡頭濾鏡螺紋規(guī)格設(shè)計加工連接環(huán),一端與被試品連接,另一端與視頻采集設(shè)備鏡頭連接,即可實現(xiàn)被試品與圖像采集設(shè)備間的可靠連接。采集圖像時,通過手動調(diào)節(jié)被試品視度、相機焦距和被試品焦距來實現(xiàn)被試品圖像的高清采集。在圖像采集相機和鏡頭選定后,適配該相機的轉(zhuǎn)接環(huán)尺寸也隨即確定。實際應(yīng)用中不同被試品眼罩轉(zhuǎn)接環(huán)尺寸可能有所差異,為保證轉(zhuǎn)接環(huán)能夠適用多型裝備,可預(yù)先按照常用眼罩螺紋規(guī)格設(shè)計加工系列與相機連接的轉(zhuǎn)接環(huán),如圖1所示的M21×0.7-M25.5×0.5,使用時,根據(jù)被試品眼罩螺紋規(guī)格,選用相匹配的轉(zhuǎn)接環(huán)。
圖1 轉(zhuǎn)接環(huán)加工示意圖Fig.1 Adaptors processing diagram
圖像采集設(shè)備應(yīng)盡量滿足以下要求:
1)圖像采集的效果應(yīng)盡可能模擬或超過人眼觀察效果,保證軟件處理的準確性;
2)相機與被試品間的連接不影響被試品的正常操作和整體平衡,相機重量應(yīng)盡量輕,體積盡量小;
3)實際試驗中可能存在多路圖像同時采集的需求,為便于后期圖像處理和管理,要求相機接口以Ethernet 為主。
文中選擇高分辨率彩色相機(型號A3600MU60)作為圖像采集設(shè)備,配置12 mm 1:2.0 1/1.8″鏡頭。表1展示了其基本參數(shù)。
表1 圖像采集設(shè)備基本參數(shù)Table 1 Basic parameters of image acquisition equipment
SSIM算法利用圖像像素間的相關(guān)性,結(jié)合亮度l、對比度c以及兩個復(fù)雜結(jié)構(gòu)信號間的結(jié)構(gòu)變化s對圖像質(zhì)量進行客觀量化評估。
定義圖像亮度為:
式中:xi為圖像第i個像素點的灰度值;N為圖像的像素總個數(shù)。
設(shè)x為模板圖像信號,y為待測圖像信號。采用平均亮度(μx,μy)計算亮度相似性,定義為:
采用標(biāo)準差(σx,σy)來估計對比度相似性,定義為:
式中:σxy為參考圖像信號x和失真圖像信號y的相關(guān)系數(shù),計算為:
上述公式中的C1、C2、C3為引入常數(shù),避免μx2+μy2或σx2+σy2值接近0 時引起公式無意義。
在實際操作過程中,通常引入?yún)?shù)α,β,γ>0 調(diào)整亮度、對比度和結(jié)構(gòu)性信息的權(quán)重,確定較為合適的SSIM 值,定義如下:
在評價被測圖像質(zhì)量時,SSIM 算法用一定尺寸的窗口沿圖像逐像素地從左上角到右下角移動,每次計算兩幅圖像中窗口對應(yīng)子圖像的SSIM 值。得到的所有子圖像的SSIM 值的平均即為該待測圖像相較于模板圖像的相似度,記為MSIMM(X,Y)表示為:
式中:M為子圖像塊的數(shù)量。
異常診斷軟件主要根據(jù)SSIM 算法計算得到的待測圖像與模板圖像的相似度判定待測設(shè)備是否出現(xiàn)故障。軟件運行情況如圖2,診斷流程主要包括:確定模板圖像、選定相似度判決閾值、SSIM 算法計算相似度、實時檢測篩選異常圖像并對異常信息做出警告與記錄。其主要步驟如下:
1)確定模板圖像:對于直視型微光裝備可靠性試驗而言,通常在一個大的、較為黑暗條件下的工房中或晚上照度較小的野外進行。SSIM 算法需提前確定好模板圖像,即提前將直視型微光裝備的視場固定。模板圖像作為判定被試裝備異常的基礎(chǔ),在選取過程中需嚴格控制相關(guān)外部條件。在視場中心放置一個特征明顯、占據(jù)直視型微光裝備目鏡視場1/3~2/3視場的物體,同時控制現(xiàn)場外部光線不出現(xiàn)明顯變化,保證直視型微光裝備空間位置不變,點擊軟件拍照功能,存儲為模板;
2)相似度判決閾值確定:正式試驗前,錄制一段被試品目鏡視場的視頻,期間通過人為開關(guān)機操作和遮擋目鏡鏡頭等方式模擬故障,將視頻逐幀圖像與選定的模板進行比較,得到系列相似度值,將其與故障現(xiàn)象對照,確定出故障出現(xiàn)的最大相似度值,進而作為相似度判決閾值;
3)對于篩選出的異常圖像,需發(fā)出警告信息并記錄序號和時間信息,與圖像一起存入告警文件夾。
本文基于MATLAB GUI 設(shè)計開發(fā)直視型微光裝備可靠性自動診斷軟件,界面如圖2所示。
圖2 軟件運行界面Fig.2 Interface of the fault diagnosis software
根據(jù)1.2 的描述選擇圖像采集設(shè)備,按照圖3所示的方式通過轉(zhuǎn)接環(huán)連接圖像采集設(shè)備與直視型微光裝備目鏡。被試微光夜視儀開機,通過相機參數(shù)調(diào)節(jié),使拍攝到的圖像滿足觀察和軟件處理需求。本文實踐中依據(jù)測試實際情況設(shè)置相機采樣頻率為1Hz。
圖3 圖像采集設(shè)備與被測設(shè)備連接圖Fig.3 Connection diagram of image acquisition device and equipment under test
設(shè)置模板圖像為設(shè)備正常工作時相機傳回的監(jiān)視圖像,如圖4。
圖4 模板圖像Fig.4 Templateimage
直視型微光裝備可靠性試驗主要檢測一定工作時間內(nèi)裝備是否正常工作,可能出現(xiàn)的故障有:設(shè)備非正常關(guān)機、圖像質(zhì)量非正常變化等[3,13]。故障發(fā)生時,監(jiān)視器中的圖像主要表現(xiàn)為:視場出現(xiàn)黑斑、十字刻度消失、黑屏。
采集過程中,通過人為開關(guān)機操作和遮擋被試品目鏡鏡頭等方式模擬微光夜視儀可靠性試驗過程中出現(xiàn)故障的情況,可覆蓋故障時視場變化情況。共獲得93幅圖像,其中故障圖像15幅,如圖5(下標(biāo)為對應(yīng)圖像在模擬試驗獲取的圖像序列中的編號),構(gòu)成本文裝備可靠性試驗工作圖像數(shù)據(jù)集。
圖5 故障模擬圖像Fig.5 Fault simulation images
利用SSIM算法進行圖像相似度計算,采集的監(jiān)視圖像與模板圖像相似度計算結(jié)果如圖6所示;根據(jù)圖像序號挑選出相似度小于設(shè)定閾值(根據(jù)SSIM 分布特征和歷史經(jīng)驗數(shù)據(jù)提前確定,本文取0.5)的圖像,用“*”表示,這些圖像正是數(shù)據(jù)集中模擬所得的故障圖像。故障檢測率達到100%且未出現(xiàn)虛警。
圖6 相似度計算結(jié)果Fig.6 Resultsof similarity calculation
該試驗證明,通過合理地設(shè)置相似度閾值,SSIM算法能夠準確地診斷出可靠性試驗過程中,被試裝備圖像的異常情況。
直視型微光裝備的可靠性試驗一般在暗室條件下進行。由于裝備對環(huán)境照度變化十分敏感,需要保持室內(nèi)環(huán)境照度相對穩(wěn)定。實際試驗中,物體移動、光源發(fā)生變化等都會引起室內(nèi)環(huán)境照度不同程度變化[14-15]。圖7(a)顯示了某次試驗中模擬人員走動、開關(guān)門和使用手機時暗室環(huán)境的照度變化曲線,圖7(b)展示了采集的對應(yīng)圖像與模板圖像的SSIM 值。其中,用“*”標(biāo)記的點為與模板圖像相似度小于0.5的圖像。可以看到,微小的照度變化引起了被試品圖像的顯著變化。圖8(下標(biāo)為對應(yīng)圖像在模擬試驗獲取的圖像序列中的編號)展示了部分相似度小于0.5也被錯誤識別為異常的圖像。
圖7 環(huán)境照度變化對相似度計算結(jié)果的影響Fig.7 Influence of environmental illumination changesonthe resultsof similarity calculation
圖8 因環(huán)境照度變化時被誤識別為故障的圖片F(xiàn)ig.8 Images misidentified asmalfunction due tochangesin environmentalilluminance
可見,室內(nèi)照度變化會顯著影響SSIM算法圖像診斷的準確性。在實際可靠性試驗過程中,應(yīng)該盡可能保證室內(nèi)照度的穩(wěn)定,從而提高算法診斷的準確性。
本文針對傳統(tǒng)的直視型微光裝備可靠性試驗故障診斷中的不足,討論了一種基于機器視覺的自動故障診斷方法。該方法通過設(shè)計轉(zhuǎn)接環(huán)連接工業(yè)相機與被試裝備目鏡,自動采集傳輸監(jiān)視圖像,采用SSI M算法計算測試圖像與模板的相似度從而判斷設(shè)備是否發(fā)生異常。實踐表明該方法很好地符合了人工視覺觀察判斷的結(jié)果,可為實現(xiàn)裝備可靠性自動故障檢測提供有力支撐,同時指出試驗環(huán)境照度變化對試驗結(jié)果的顯著影響。