褚紅健,李佑文,丁桃勝

(南京國(guó)電南自軌道交通工程有限公司,江蘇 南京 210032)

0 引言

隨著計(jì)算機(jī)硬件設(shè)備性能的不斷提升,以及人工智能、圖像信息處理等技術(shù)的不斷發(fā)展,使得這些技術(shù)可以在多種傳統(tǒng)或新興的工業(yè)領(lǐng)域創(chuàng)新應(yīng)用[1-2]。

從圖像識(shí)別的技術(shù)角度看,可使用的技術(shù)手段主要包括2個(gè)方面:基于圖像處理的方法和基于深度學(xué)習(xí)的方法[3-5]?；趥鹘y(tǒng)的圖像識(shí)別算法,該方法對(duì)圖片數(shù)據(jù)要求較低,處理結(jié)果也比較機(jī)械化,對(duì)于背景簡(jiǎn)單、識(shí)別目標(biāo)復(fù)雜度小的對(duì)象效果較好。由于其僅能提取圖像的形狀、方向和顏色等淺層特征,識(shí)別泛化能力較弱,難以挖掘圖像的豐富內(nèi)涵信息。因此,對(duì)于場(chǎng)景復(fù)雜的目標(biāo)識(shí)別效果較差。基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法能夠有效克服圖像處理方法中人工設(shè)計(jì)特征的主觀性、模糊性和不確定性,并能夠充分挖掘圖像數(shù)據(jù)的深層語(yǔ)義特征,應(yīng)用場(chǎng)景相對(duì)圖像處理方法較廣泛,但是嚴(yán)重依賴于數(shù)據(jù)量的大小、多樣性,樣本數(shù)量的平衡性等數(shù)據(jù)本身因素。為了更好地適應(yīng)實(shí)際工程現(xiàn)狀,可將基于圖像處理的方法和基于深度學(xué)習(xí)的方法相結(jié)合應(yīng)用,但如何將針對(duì)不同的圖像識(shí)別場(chǎng)景所設(shè)計(jì)的各種智能識(shí)別算法進(jìn)行統(tǒng)一的管理、調(diào)度及靈活地維護(hù)升級(jí),是本文考慮解決的主要問題。

1 基于圖像模板的圖像建模及識(shí)別框架概述

針對(duì)上述問題,本文提出了一種基于圖像模板的圖像建模及識(shí)別方法,搭建了通用且易于擴(kuò)展的智能圖像識(shí)別算法管理及協(xié)作框架,完成了對(duì)基于圖像處理和基于深度學(xué)習(xí)的人工智能算法的統(tǒng)一管理和調(diào)度。

基于圖像模板的圖像建模及識(shí)別方法具體包括以下步驟:(1)通過數(shù)據(jù)采集功能采集供電變電所各種類型設(shè)備的圖像數(shù)據(jù),由攝像機(jī)云臺(tái)管理系統(tǒng)和圖像識(shí)別請(qǐng)求客戶端配合完成。攝像機(jī)云臺(tái)管理系統(tǒng)用于設(shè)置待巡檢球機(jī)的預(yù)置位,圖像識(shí)別請(qǐng)求客戶端負(fù)責(zé)調(diào)用攝像機(jī)云臺(tái)管理系統(tǒng)接口進(jìn)行巡檢并拍攝設(shè)備圖像。(2)通過設(shè)備圖像識(shí)別模板建模工具完成對(duì)變電站不同類型設(shè)備的圖像識(shí)別模板建模。(3)通過圖像識(shí)別服務(wù)完成對(duì)不同類型的變電站設(shè)備的圖像識(shí)別和結(jié)果反饋。

2 基于圖像模板的圖像建模及識(shí)別方法框架設(shè)計(jì)

2.1 圖像模板建模及識(shí)別整體協(xié)作總體框架

本文設(shè)計(jì)的圖像識(shí)別建模模板和圖像識(shí)別服務(wù)程序一體化的圖像識(shí)別框架,包含圖像采集、圖像識(shí)別服務(wù)、圖像識(shí)別模板建模標(biāo)注、識(shí)別算法調(diào)度管理4個(gè)主要功能模塊,如圖1所示。各個(gè)子模塊功能可獨(dú)立開發(fā)其中識(shí)別算法調(diào)度管理子模塊,可被圖像識(shí)別服務(wù)和圖像識(shí)別模板建模標(biāo)注子模塊復(fù)用。該框架采用基于圖像處理和深度學(xué)習(xí)相結(jié)合,并依據(jù)逐步豐富的現(xiàn)場(chǎng)數(shù)據(jù)樣本迭代優(yōu)化算法的策略,可實(shí)現(xiàn)被識(shí)別圖像模板的統(tǒng)一建模、識(shí)別及算法調(diào)度和管理,能有效克服工程實(shí)施初期的數(shù)據(jù)集依賴、外界環(huán)境干擾等問題,解決了不同類型設(shè)備同時(shí)識(shí)別以及算法升級(jí)維護(hù)難度大的難題;同時(shí),通過提供必要的通信和功能接口與其他關(guān)聯(lián)子系統(tǒng)進(jìn)行交互,實(shí)現(xiàn)接收各類圖像識(shí)別指令、識(shí)別結(jié)果反饋以及各子功能模塊間數(shù)據(jù)交互。

圖1 圖像模板建模及識(shí)別整體協(xié)作總體框架

2.2 圖像采集服務(wù)

圖像采集服務(wù)主要依靠固定點(diǎn)位網(wǎng)絡(luò)攝像機(jī)或巡檢機(jī)器人對(duì)指定區(qū)域被識(shí)別的對(duì)象進(jìn)行圖像采集或視頻錄制,按照用戶要求的巡檢周期及入侵觸發(fā)條件將圖像、視頻采集后進(jìn)行存儲(chǔ),用于后續(xù)對(duì)儀表設(shè)備的讀數(shù)、設(shè)備狀態(tài)的識(shí)別以及對(duì)人員入侵或作業(yè)是否安全的判斷。受相機(jī)或機(jī)器人不同位置、不同角度、不同光照以及震動(dòng)等因素的影響,需要對(duì)相機(jī)角度、點(diǎn)位進(jìn)行調(diào)試,對(duì)于特殊對(duì)象的數(shù)據(jù)采集,可以考慮采用多相機(jī)多角度配合使用。圖像采集模塊采集的質(zhì)量影響后期對(duì)象檢測(cè)的準(zhǔn)確率。

2.3 圖像識(shí)別模板建模標(biāo)注

圖像識(shí)別模板建模標(biāo)注子模塊,具備對(duì)被識(shí)別圖像的識(shí)別輔助信息標(biāo)注功能、綁定圖像識(shí)別算法功能、圖像預(yù)識(shí)別功能、標(biāo)注信息和模板圖像保存以及圖像識(shí)別模板建模標(biāo)注信息和對(duì)應(yīng)模板圖像的導(dǎo)入功能。為方便后續(xù)算法靈活擴(kuò)展,可針對(duì)不同類型設(shè)備設(shè)置建模全局配置信息主要包含設(shè)備類別、算法編號(hào)、同一算法編號(hào)包含的識(shí)別方法以及設(shè)備狀態(tài)不同取值選項(xiàng)等關(guān)鍵內(nèi)容的設(shè)置,該配置信息僅需設(shè)置一次,后續(xù)可根據(jù)新增設(shè)備類型、算法進(jìn)行靈活擴(kuò)展或更新。

2.3.1 圖像識(shí)別模板和輔助標(biāo)注信息導(dǎo)入功能

用于選擇需要打開的圖像模板集合及對(duì)應(yīng)的標(biāo)注信息,可以選擇模板庫(kù)中的任意圖像或批量圖像模板進(jìn)行導(dǎo)入。導(dǎo)入成功后,可以通過模板圖像的導(dǎo)航功能切換展示模板圖像信息并載入其對(duì)應(yīng)的標(biāo)注信息。

2.3.2 圖像識(shí)別模板建模標(biāo)注功能

該功能支持對(duì)被識(shí)別圖像上的多個(gè)相同或不同類型的設(shè)備分別進(jìn)行信息標(biāo)注、識(shí)別算法綁定和參數(shù)設(shè)置。先對(duì)數(shù)據(jù)采集功能采集的預(yù)置位圖像進(jìn)行圖像識(shí)別輔助信息標(biāo)注,然后通過綁定圖像識(shí)別算法功能對(duì)不同的被識(shí)別設(shè)備綁定不同的圖像識(shí)別算法。

識(shí)別輔助標(biāo)注信息包含公共標(biāo)注信息和私有標(biāo)注信息。其中,公共標(biāo)注信息包含標(biāo)注坐標(biāo)、預(yù)置位號(hào)、與外部系統(tǒng)約定的數(shù)據(jù)點(diǎn)號(hào)、數(shù)據(jù)類型信息;私有標(biāo)注信息,根據(jù)不同類型設(shè)備的自身特點(diǎn)進(jìn)行設(shè)計(jì),如指針表類型,包括起始量程坐標(biāo)、中心坐標(biāo)、起始量程、是否鏡像;液位類型設(shè)備包括最大刻度值、最小刻度值。

綁定圖像識(shí)別算法功能包含一個(gè)核心元組,記作。其含義為:設(shè)備類別、算法編號(hào)(算法編號(hào)與設(shè)備子類別一一對(duì)應(yīng))、同一算法編號(hào)包含的識(shí)別方法、設(shè)備狀態(tài)不同取值選項(xiàng)。其中,algorithm和ways主要用于控制綁定識(shí)別算法的粒度和靈活性,一般不同的設(shè)備子類別對(duì)應(yīng)一種識(shí)別算法,當(dāng)滿足識(shí)別需求時(shí),ways可以不進(jìn)行進(jìn)一步指定。當(dāng)同一個(gè)設(shè)備子類可采用多種深度學(xué)習(xí)或圖像處理的識(shí)別方法時(shí),可以通過配置ways進(jìn)一步擴(kuò)展可選的圖像識(shí)別算法集合,以便適用于工程不同實(shí)施階段設(shè)備圖像識(shí)別的需求,并且便于后期的算法更新和替換。map 為可定義映射數(shù)據(jù)結(jié)構(gòu),主要將識(shí)別的布爾類型、數(shù)值類型、枚舉類型的結(jié)果轉(zhuǎn)化為可被理解的內(nèi)容標(biāo)注在被識(shí)別圖片上。

綁定圖像識(shí)別算法功能進(jìn)行識(shí)別算法綁定時(shí),首先,設(shè)置設(shè)備大類;然后設(shè)置算法類別(設(shè)備子類),若所要綁定識(shí)別算法的設(shè)備配置了不同的識(shí)別方法,則根據(jù)配置可選項(xiàng)設(shè)置其中一種識(shí)別方法;最后,設(shè)置識(shí)別結(jié)果映射信息,即完成識(shí)別結(jié)果和可被理解的顯示內(nèi)容之間的映射設(shè)置。

2.3.3 圖像預(yù)識(shí)別及識(shí)別模板和標(biāo)注信息保存功能

被識(shí)別圖像上所要被識(shí)別的多個(gè)設(shè)備完成信息標(biāo)注、識(shí)別算法綁定和參數(shù)設(shè)置后,通過該功能根據(jù)綁定的識(shí)別算法編碼識(shí)別算法調(diào)度管理模塊的算法接口,完成預(yù)覽圖像識(shí)別結(jié)果,確認(rèn)無(wú)誤后,可將當(dāng)前標(biāo)注的信息保存到標(biāo)注結(jié)果文件,同時(shí)將該圖像保存為圖像識(shí)別模板。

2.4 圖像識(shí)別服務(wù)

圖像識(shí)別服務(wù)將實(shí)際需要進(jìn)行圖像識(shí)別的圖像數(shù)據(jù)作為輸入,與圖像模板進(jìn)行特征匹配并解析輔助標(biāo)注信息獲取圖像識(shí)別算法編碼,然后通過識(shí)別算法調(diào)度管理模塊進(jìn)行圖像識(shí)別算法的調(diào)度和實(shí)際識(shí)別工作。

首先,對(duì)請(qǐng)求數(shù)據(jù)進(jìn)行解析,若符合約定參數(shù)請(qǐng)求格式,則加載被識(shí)別圖片。

其次,加載圖像建模模板,若存在模板信息,則對(duì)被識(shí)別圖片和圖像建模模板進(jìn)行特征匹配。

然后,根據(jù)圖像建模所標(biāo)注的信息,確定圖像中不同類型的設(shè)備所設(shè)置的識(shí)別算法和參數(shù),根據(jù)算法編號(hào)獲取對(duì)應(yīng)的識(shí)別算法處理類,進(jìn)行設(shè)備狀態(tài)或設(shè)備量程、讀數(shù)的識(shí)別。

最后,將識(shí)別結(jié)果返回客戶端。

識(shí)別結(jié)果包含2種形式,其一為圖片形式的識(shí)別結(jié)果,其二為文本格式的識(shí)別結(jié)果。所述圖片形式的結(jié)果會(huì)將被識(shí)別圖片上不同類型的設(shè)備框選中,并將設(shè)備的狀態(tài)、量程、讀數(shù)等識(shí)別結(jié)果,分別標(biāo)注在設(shè)備所在位置上方。

2.5 識(shí)別算法調(diào)度管理

識(shí)別算法調(diào)度管理模塊主要負(fù)責(zé)對(duì)具體識(shí)別算法的管理,為圖像識(shí)別模板建模標(biāo)注子模塊的圖像識(shí)別預(yù)覽功能以及圖像識(shí)別服務(wù)提供識(shí)別算法調(diào)用接口。在設(shè)計(jì)上,以面向?qū)ο蟮脑O(shè)計(jì)方法設(shè)計(jì)圖像識(shí)別算法接口規(guī)范,構(gòu)建適用不同識(shí)別場(chǎng)景的算法管理模塊。首先,定義算法處理抽象接口,然后,對(duì)于每一種新增設(shè)備類型的圖像識(shí)別算法(算法子類)都實(shí)現(xiàn)圖像算法接口,最后完成其相應(yīng)的圖像識(shí)別算法。

圖像識(shí)別算法接口規(guī)范為具體的識(shí)別算法提供方法函數(shù),包括求仿射變換矩陣、繪制結(jié)果、提取JSON格式數(shù)據(jù)、截取圖像、圖像匹配、圖像切割、坐標(biāo)選擇、圖像識(shí)別執(zhí)行。

不同的算法子類繼承自算法接口規(guī)范,同一算法類別的不同方法可以根據(jù)實(shí)際設(shè)計(jì)采用不同的分支函數(shù)處理,也可以定義不同的處理類進(jìn)行處理。從而滿足開閉原則,便于后期算法的升級(jí)替換。

3 結(jié)語(yǔ)

基于本文所提出的框架,采用對(duì)圖像模板的建模和特征標(biāo)注和統(tǒng)一規(guī)范的算法調(diào)度管理,不僅能夠靈活地實(shí)現(xiàn)對(duì)識(shí)別對(duì)象中所包含的不同類型設(shè)備的并發(fā)識(shí)別及異常檢測(cè),還可針對(duì)工程不同實(shí)施階段的數(shù)據(jù)樣本情況,制定針對(duì)不同設(shè)備圖像識(shí)別場(chǎng)景的智能圖像識(shí)別算法,并能依據(jù)數(shù)據(jù)樣本的逐步完善進(jìn)行識(shí)別算法策略的靈活調(diào)整。