伍瑞卿,張 雷,李小翠,文茂森,姜繼琦

(1.電子科技大學，四川 成都611731；(2.中國電子科技集團公司第五十四研究所，河北 石家莊050081)

航空儀表圖像自動監(jiān)測系統(tǒng)研究

伍瑞卿1,張 雷2,李小翠1,文茂森1,姜繼琦1

(1.電子科技大學，四川 成都611731；(2.中國電子科技集團公司第五十四研究所，河北 石家莊050081)

針對航空虛擬儀表系統(tǒng)的研發(fā)、生產(chǎn)過程中測試操作繁瑣、重復勞動強度大等問題，設(shè)計了座艙儀表圖像自動監(jiān)測識別系統(tǒng)，系統(tǒng)包括圖像采集、變化檢測、儀表圖檢測和識別、檢測結(jié)果歸檔4個部分。基于航空虛擬儀表圖的結(jié)構(gòu)特點，提出了一種分層模板圖快速匹配的儀表圖像檢測算法，采用二值化的模板圖與搜索區(qū)域的二值化圖進行分級匹配方法實現(xiàn)快速檢測。測試結(jié)果表明，提出的方法均能快速準確檢測出屏顯上出現(xiàn)的單儀表圖和重復的多儀表圖，系統(tǒng)整體上能達到準實時處理高清屏幕圖的監(jiān)測。

航空座艙；虛擬儀表；分級匹配；監(jiān)測系統(tǒng)

0 引言

近年來，液晶顯示和觸屏技術(shù)促進了圖形、圖像顯示控制系統(tǒng)的迅速發(fā)展。由計算機顯示和儀表技術(shù)相結(jié)合的虛擬儀表，因其具有外表美觀、操控靈活、空間利用率高等優(yōu)點，廣泛應(yīng)用于航空航天[1]、交通設(shè)備[2]和醫(yī)療儀器等多個領(lǐng)域。原本由機械按鈕、燈管等構(gòu)成的物理儀表以虛擬儀表的形式繪制在顯示屏上，并且可以隨意切換，極大地節(jié)省駕駛艙空間。在正常狀態(tài)下可以僅顯示主要參數(shù)，其他參數(shù)則隨調(diào)隨看，極大地減輕了飛行員的視覺負擔。在航空領(lǐng)域，國外先進飛機已采用觸摸液晶屏幕構(gòu)成座艙顯示系統(tǒng)，使得機身重量更輕、性能更好[3]。航空座艙的顯控技術(shù)正在朝著智能化和人性化方向發(fā)展[4]。

航空虛擬儀表關(guān)聯(lián)了大量的機載設(shè)備，在其開發(fā)和生產(chǎn)過程中，涉及大量的測試環(huán)節(jié)。測試過程需要人工對狀態(tài)參數(shù)顯示界面進行觀察、記錄和判斷，勞動強度大、效率低，極易導致人眼疲勞和誤判[5]。因此，本文利用視頻采集相關(guān)技術(shù)，結(jié)合圖像處理方法，提出并設(shè)計了針對座艙虛擬儀表圖像的監(jiān)測系統(tǒng)，以降低人工值守和判斷的勞動強度，提高系統(tǒng)自動化測試的效率。

1 系統(tǒng)總體設(shè)計

座艙儀表圖自動監(jiān)測系統(tǒng)以通用計算機為硬件平臺，結(jié)合視頻采集技術(shù)，以圖像處理算法設(shè)計為重點。自動監(jiān)測系統(tǒng)的總體框架如圖1所示。系統(tǒng)架構(gòu)采用分層化設(shè)計模式[6]，主要分為3個層次：用戶交互層、功能控制與參數(shù)配置層、數(shù)據(jù)處理層。

圖1 監(jiān)測系統(tǒng)總體框架及流程

用戶交互層為系統(tǒng)最頂層，是直接顯示信息和捕獲用戶操作的模塊，主要包含信息顯示區(qū)域、按鈕控件和菜單欄等工具選項。功能控制與參數(shù)配置層實現(xiàn)各項功能的啟動控制和初始化參數(shù)的配置，主要包括視頻顯示及播放的控制、輸入端口的選擇、監(jiān)測中各子功能的開關(guān)控制等。數(shù)據(jù)處理模塊是監(jiān)測系統(tǒng)的核心處理部分，按數(shù)據(jù)流程分別包括視頻獲取、變化檢測、儀表處理和存檔管理等模塊。

自動監(jiān)測系統(tǒng)的數(shù)據(jù)源于儀表屏中的屏幕圖像。圖像獲取模塊支持工業(yè)相機拍攝儀表屏幕、專業(yè)采集卡從屏幕的視頻通用輸出口采集視頻、網(wǎng)絡(luò)屏幕共享等多種方式獲取屏幕圖像。本文利用視頻采集卡直接采集屏幕圖像。對獲取到的每幀圖像，首先進行圖像的濾波和灰度化等預(yù)處理，以消除圖像采集過程中產(chǎn)生的噪聲，進而利用運動檢測算法實現(xiàn)對圖像動態(tài)檢測，從而獲取圖像變化區(qū)域。為提高算法實時性，僅對變化區(qū)域調(diào)用儀表的檢測和識別算法，對檢測和識別結(jié)果生成儀表特征參數(shù)描述符，并記錄、重構(gòu)和保存這些特征參數(shù)，最終歸檔保存到數(shù)據(jù)中心。

2 關(guān)鍵算法的設(shè)計

座艙儀表屏幕以圖形化、虛擬化直觀顯示飛行器各項狀態(tài)參數(shù)進行[7]。虛擬儀表具有線條清晰直觀、結(jié)構(gòu)固定、色彩靈活搭配、符合人體工學等特點。虛擬儀表圖既能直觀形象地展現(xiàn)飛行器的狀態(tài)，又能夠醒目地實現(xiàn)故障預(yù)報、異常報警等功能，還可以表達復雜而多樣的含義。因而，檢測和識別座艙儀表所示的狀態(tài)參數(shù)是自動監(jiān)測系統(tǒng)的主要內(nèi)容。座艙儀表屏幕包括虛擬儀表圖和部分字符讀數(shù)值，其中儀表圖最為顯著。儀表圖像在顯示過程中，伴隨著顏色和指針位置變化，但總體結(jié)構(gòu)不會改變，背景相對簡單。針對航空儀表的這些特點，提出了一種以分層金字塔與有效點相結(jié)合的搜索方法，以及以雙閾值與全匹配相結(jié)合作為判別準則的儀表檢測算法，快速檢測和識別各個儀表圖。數(shù)據(jù)處理主要包括：圖像預(yù)處理、變化檢測、儀表檢測、參數(shù)識別和儀表特征參數(shù)描述等幾個關(guān)鍵部分。儀表檢測的主要流程如圖2所示。

圖2 儀表檢測流程

2.1 圖像預(yù)處理

儀表圖像的預(yù)處理主要包括：彩色圖轉(zhuǎn)成灰度圖、變化檢測、降噪濾波和二值化分割，最后生成金字塔圖像。預(yù)處理算法流程具體步驟如下：

① 對采集到的單幀彩色圖像I(x,y)進行預(yù)處理操作，先將I(x,y)進行灰度化操作轉(zhuǎn)換為灰度圖Igray(x,y)，再使用高斯濾波器h(x,y)對Igray(x,y)進行濾波，消除采集過程中產(chǎn)生的噪聲。濾波過程為：

Ifilter(x,y)=I(x,y)*h(x,y)=

② 利用當前幀圖像與前一幀圖像做差分，根據(jù)像素差值的范圍限制計算出圖像中的變化區(qū)域，以變化區(qū)域作為匹配搜索區(qū)域。

③ 利用自適應(yīng)閾值分割法分別對待匹配圖像和儀表模板圖像中的各個像素計算局部閾值，計算方法如下：

(1)

式中，Ifilter(x,y)為待處理圖像Ifilter在(x,y)坐標處的像素值；n表示局部的大?。籺h(x,y)為待分割像素點(x,y)的局部閾值。結(jié)合二值化分割方法實現(xiàn)獲得分割圖像Ibw，二值化分割方法如下：

(2)

④ 對分割后的二值化圖像Ibw采用鄰近值采樣方法分別構(gòu)建待匹配二值圖像金字塔和模板二值圖像金字塔；設(shè)金字塔各層按照分辨率從小到大分別為{G0,G1…Gn}，分別表示第0～n層圖像，金字塔分級圖像創(chuàng)建過程表示為：

(3)

2.2 單儀表模板檢測與匹配

單儀表模板圖是指某類的儀表在同一時刻或者同一幀屏幕圖像中最多出現(xiàn)一次，同一個儀表圖不會多個同時重復出現(xiàn)同一幀圖像中。記模板圖為Tn,其寬和高分別為Wn和Hn。針對這類儀表模板圖的檢測和匹配算法步驟如下：

① 在變化區(qū)域內(nèi)，對待匹配圖像的最上層圖像進行掃描，獲得其中的有效點，即像素值為1的點，待匹配圖像中所檢測出的有效點作為搜索空間Cp，

Cp={I|Ibw(x,y)=1}。

(4)

同時計算模板圖的有效點，獲得其外接矩形，并記錄位于最上方的有效點與外界矩形的左上角定點位置關(guān)系(dx,dy)。

② 遍歷Cp，獲得一個有效點(i,j)后，通過式(5)計算其對應(yīng)左上角的坐標(x,y)，

(5)

通過(x,y)獲取與模板圖對應(yīng)的待匹配子圖Sxy，

Sxy=Ibw(x,y,Wn,Hn)，

(6)

式中，x、y為子圖左上角起始坐標。采用歸一化平方差的判別準則，計算子圖與二值模板圖像的相似度[8]，因參與匹配計算的結(jié)果圖像為二值圖像，平方差計算過程可以表示成2幅圖像的異或運算過程：

(7)

式中，Sxy、Tn分別為待檢測子圖和儀表模板圖。使用異或運算代替平方求和運算，可降低算法復雜度，節(jié)省時間。

③ 判定步驟②的相似性度R(x,y)是否小于閾值Threshold。閾值的計算方法為：

Threshold=α*sum(Ibw)/(W*H),

(8)

式中，Ibw為模板二值圖像；W、H分別為對應(yīng)層模板圖像的寬和高；α為比例系數(shù)。若R(x,y)大于閾值Threshold，返回第②步繼續(xù)搜索當前點(i,j)的下一個候選點。若R(x,y)小于閾值，則記錄粗匹配點坐標(x,y)，進行下一步。

④ 切換到下一層圖像，根據(jù)步驟③獲得的粗匹配點(x,y)，通過式可得

Gk(x,y)=Gk-1(2x,2y)，k=1,2…n。

(9)

利用式(9)獲得在下一層圖像上對應(yīng)的新坐標(2x,2y)，同時獲取以坐標(2x,2y)為中心的3*3鄰域。搜索鄰域內(nèi)的9個點，若所有點的計算結(jié)果大于閾值Threshold，則返回步驟②，繼續(xù)在Gk-1層搜索(x,y)的下一個候選點。如果存在位置點(x0,y0)小于閾值Threshold，則獲取結(jié)果最佳匹配點(x0,y0)，進入下一步。

⑤ 對于點(x0,y0)，進行灰度圖匹配，若結(jié)果大于閾值Tg，返回步驟①，若結(jié)果小于閾值Tg，則為最終的匹配結(jié)果。如果Cp遍歷未結(jié)束則將遍歷范圍按照模板尺寸作為步長，進行一次寬高步進，計算搜索范圍內(nèi)下一個點。

通過對單個虛擬儀表檢測過程進行擴展，添加檢測結(jié)果記錄矩陣，利用結(jié)果矩陣記錄下各個儀表檢測的相似度檢測結(jié)果，通過對相似性檢測結(jié)果進行比較判別，保留結(jié)果最為準確的目標區(qū)域。

2.3 多儀表模板檢測與匹配

與單儀表模板不同，部分儀表可能在座艙屏幕同時出現(xiàn)多個同類型儀表圖。比如2個發(fā)動機的狀態(tài)指示儀表同時出現(xiàn)在屏幕上，雖然儀表讀數(shù)值可能不一樣，但是儀表圖像完全相同。這類多儀表圖的檢測可以借助單儀表模板的方法，其主要過程如下：

① 創(chuàng)建結(jié)果記錄矩陣M，

M(x,y)={R(x,y);Rect(x,y,w,h)}。

(10)

初始化大小與待檢測圖像相同，點(x,y)記錄的信息為R(x,y)、Rect(x,y,w,h)，分別表示為相似性匹配結(jié)果和檢測區(qū)域2類信息。

② 所有儀表模板作為搜索空間CT，

CT={T0,T1…Tn},

(11)

式中，Ti為儀表模板序號；n為儀表模板總數(shù)。

遍歷CT，調(diào)用單儀表檢測算法，獲取檢測結(jié)果Pk，

Pk={Ti;R(x,y);Rect(x,y,w,h)}，

(12)

Pk為模板序號為Ti的儀表的檢測結(jié)果，其中包含相似度值R(x,y)和目標區(qū)域；k為檢測目標序號。若Pk中數(shù)據(jù)有效，則進入下一步，否則繼續(xù)遍歷CT。

③ 獲取檢測目標點的匹配區(qū)域以及相似性匹配結(jié)果，同時獲取結(jié)果記錄矩陣中對應(yīng)檢測目標點3*3鄰域的所有點的記錄信息，若含有有效的檢測結(jié)果，分別對當前檢測結(jié)果進行比較，比較更新方式如下：

如果M{R(x,y)}≥Pk{R(x,y)}，則M(x,y)不變；如果M{R(x,y)}

根據(jù)上述更新方式，對比記錄信息中的相似度結(jié)果，選擇相似度結(jié)果較大的為新的匹配信息，更新結(jié)果矩陣。

④ 判定遍歷儀表模板是否完成，若未完成，返回步驟②，若完成，按照結(jié)果記錄矩陣中的檢測信息獲得最終的檢測結(jié)果。

2.4 儀表屬性參數(shù)描述

為了便于快速觀察和識別座艙屏幕上的儀表參數(shù)值，通常圖形化的儀表伴有字符型的讀數(shù)值，而且圖形儀表與其對應(yīng)的讀數(shù)字符串的位置相對固定。通過儀表模板檢測獲得儀表所在區(qū)域和類型，進而獲取刻度值讀數(shù)的子圖像，利用OCR模塊識別出讀數(shù)值[9]。

座艙屏幕中不同儀表的屬性各不相同，主要包括固有屬性、紋理信息描述、儀表參數(shù)描述三大類。固有屬性是儀表本身特定的屬性，不會發(fā)生改變，包含儀表序號、儀表中包含結(jié)果參數(shù)的數(shù)目、儀表結(jié)構(gòu)和尺寸；紋理信息中包含儀表的主要顏色、次要顏色和其閃爍頻率；儀表參數(shù)信息中包含檢測到的目標位置坐標信息和儀表中的結(jié)果讀數(shù)。

自動監(jiān)測系統(tǒng)對各種不同種類的儀表特征信息按照統(tǒng)一方式進行描述，使其歸檔信息具備完備性和可擴展性，便于后續(xù)信息檢索和分析。為了更好地對儀表特征進行描述、簡化系統(tǒng)實現(xiàn)過程，儀表中的文字性標題以及多字符信息均通過創(chuàng)建數(shù)字映射表的方式實現(xiàn)。通過創(chuàng)建數(shù)據(jù)字典，建立編碼集合Code={0,1…n}和字符描述集合String={title1,title2,…,titlen}，映射關(guān)系如下：

F:Code(k)→String(k)。

通過上述映射關(guān)系，使用碼字描述代替字符信息描述。信息記錄過程中，首先將當前時間、當前幀數(shù)和儀表檢測總數(shù)按照統(tǒng)一結(jié)構(gòu)組成文件信息頭進行記錄，進而按照順序，以節(jié)點形式依次記錄下所有檢測出的儀表特征描述符，最后將記錄文件歸檔到數(shù)據(jù)中心。

3 實驗及結(jié)果分析

為了驗證上述方案及算法性能，首先基于VS 2010開發(fā)平臺建立軟件框架，設(shè)計人機交互界面，并利用DirectShow以及外部通用視頻接口實現(xiàn)視頻采集，同時基于OpenCV庫實現(xiàn)儀表檢測與識別算法，對檢測到的儀表生成儀表特征描述符，并將結(jié)果寫入XML文件中保存。算法實現(xiàn)過程中，自適應(yīng)二值化采用3*3區(qū)域，金字塔層數(shù)設(shè)為2層搜索，閾值因子α取經(jīng)驗值為0.53。為了檢驗算法的時間效率和準確率，對分別編號的11種不同尺寸、不同特征的儀表圖像進行匹配檢測，每一對圖像進行10次計算，取平均值作為運算時間。分別采用基于三通道圖像FFT加速匹配、基于灰度圖FFT加速匹配以及采用分層金字塔并結(jié)合FFT加速匹配3種匹配策略作為對比，經(jīng)過測試，各方法的檢測率均達到100%，時間效率如圖3所示。

圖3 不同算法的時間消耗對比

采用單通道灰度圖進行匹配時，平均耗時約為70 ms；采用分層金字塔搜索，F(xiàn)FT進行相關(guān)加速，時間消耗約為30 ms；采用本文改進的方法進行測試時，時間平均約為20 ms。在保證準確率的情況下，較大程度地減少了耗時，提高了系統(tǒng)的實時性，達到了系統(tǒng)設(shè)計要求。

對監(jiān)測系統(tǒng)的整體測試中，以1 280*720分辨率的視頻作為數(shù)據(jù)源進行實時處理。在視頻源中儀表的顏色、數(shù)據(jù)間斷發(fā)生變化，同時通過外部人為控制儀表的調(diào)出和隱藏，通過長時間測試，在利用檢測結(jié)果重構(gòu)的圖像與視頻源對比后，系統(tǒng)的整體處理速度約為8幀/s，準確率達到100%，在系統(tǒng)測試開發(fā)過程中，基本能夠滿足實時監(jiān)測的需要。

4 結(jié)束語

本文針對航空座艙顯示屏的虛擬儀表圖像的特征，設(shè)計了圖像自動監(jiān)測系統(tǒng)的方案，并提出了快速匹配的儀表圖檢測算法。該航空儀表檢測算法能夠有效、快速地將液晶顯示器中的航空儀表準確定位和識別，同時通過對檢測到的儀表進行特征描述，采用統(tǒng)一方式創(chuàng)建、記錄，既簡化了系統(tǒng)實現(xiàn)過程、利于規(guī)范性信息檢索，又利于后期擴展補充。監(jiān)測系統(tǒng)具有友好的操作界面，能夠方便地控制視頻的采集、儀表的檢測以及結(jié)果的查看，可以在無人看守下自動對屏幕儀表的狀態(tài)進行監(jiān)測記錄。

[1] 李皖玲.VAPS 技術(shù)在載人航天器 MFD 軟件開發(fā)中的應(yīng)用[J].航天器工程,2008,17(5)：70-76.

[2] 劉善坤,竇立謙,宗群,等.車載虛擬儀表及診斷系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機應(yīng)用與軟件,2016,33(8):229-233.

[3] MICHAEL S.F-35 Lightning II Cockpit Vision[J].SAE International Journal of Passenger Cars-Electronic Electrical Systems,2010,3(2)：131-140.

[4] 吳健,吳啟兵,顏正.戰(zhàn)斗機座艙發(fā)展與設(shè)計展望[C]∥沈陽:第六屆中國航空學會青年科技論壇,2014:35-40

[5] 毛姬琛,范竹榮.圖形識別在航空指示儀表檢測中的應(yīng)用[C]∥西安：2011年航空試驗測試技術(shù)學術(shù)交流會,2011:253-255.

[6] 杜栓柱,譚建榮,陸國棟.基于界面構(gòu)件關(guān)聯(lián)圖的軟件功能測試技術(shù)[J].計算機研究與發(fā)展,2002,39(2)：148-152.

[7] 王鶴,邱云飛.飛行仿真中虛擬航空儀表顯示系統(tǒng)的開發(fā)[J].微計算機信息,2011(5):180-181.

[8] 劉寶生,閆莉萍,周東華.幾種經(jīng)典相似性度量的比較研究[J].計算機應(yīng)用研究,2006,23(11)：1-3.

[9] SMITH R,ANTONOVA D,LEE D S.Adapting the Tesseract Open Source OCR Engine for Multilingual OCR[J].Proceedings of the International Workshop on Multilingual OCR.ACM,2009,1:1-8.

StudyofAuto-monitoringSystemforAviationInstrumentImage

WU Rui-qing1,ZHANG Lei2,LI Xiao-cui1,WEN Mao-sen1,JIANG Ji-qi1

(1.UniversityofElectronicScienceandTechnologyofChina,ChengduSichuan611731,China; 2.The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

In order to reduce the manual operation and improve the efficiency during the design,manufacture and testing of virtual aviation instrument systems,an auto-monitoring and recognition system is designed for virtual instrument of aircraft cockpit,which consist of four modules,including image acquisition,frame change detection,location of meter diagram and storage of structured data.Furthermore,a hierarchical binary template fast matching algorithm is proposed to detect and locate the meter image and recognize the reading.Finally,the auto-monitoring system is implemented to verify the proposed algorithms.Experiment results show that the algorithms can accurately detect the single and multiple meter diagrams in screen image,and the system has a strong capability for quasi-real time processing HD images.

aircraft cockpit;virtual instrument;hierarchically matching;monitoring system

10.3969/j.issn.1003-3106.2017.12.07

伍瑞卿,張雷,李小翠,等.航空儀表圖像自動監(jiān)測系統(tǒng)研究[J].無線電工程,2017,47(12):30-33,48.[WU Ruiqing,ZHANG Lei,LI Xiaocui,et al.Study of Anauto-monitoring System for Aircraft Instrument Image[J].Radio Engineering,2017,47(12):30-33,48.]

TP391.41

A

1003-3106(2017)12-0030-04

2017-04-12

四川省科技廳應(yīng)用基礎(chǔ)研究計劃基金資助項目(2014JY0209)。

伍瑞卿男，(1977—)，副教授。主要研究方向：圖像處理和網(wǎng)絡(luò)通信。

張雷男，(1989—)，碩士研究生。主要研究方向：圖像處理、復雜系統(tǒng)仿真與測試技術(shù)。