(石家莊鐵道大學 a. 電氣與電子工程學院,b. 機械工程學院,河北 石家莊 050043)
隨著無人值守變電所的數(shù)量逐漸增多以及變電站巡檢機器人的推廣,利用巡檢機器人搭載的可見光攝像頭采集儀表圖像,并結(jié)合機器視覺技術(shù)識別讀數(shù),可以大幅減少人工巡檢工作量和巡檢壓力,巡檢效率顯著提升[1]。由于復(fù)雜環(huán)境因素(如光照不均、霧霾及雨水天氣等)影響,致使采集到部分儀表巡檢圖像為低光照圖像,不利于后續(xù)利用機器視覺識別儀表讀數(shù),因此增強低光儀表圖像細節(jié),提高儀表定位的精度和速度,精確識別目標儀表讀數(shù),進而完善基于變電站巡檢機器人的表記識別系統(tǒng),對促進變電所無人值守化意義重大[2]。
針對變電站儀表識別已有大量相關(guān)研究,如韓紹超[3]借助尺度不變特征變換(SIFT)的特征提取算法匹配定位儀表;施成燕[4]利用加速穩(wěn)健特征-模式匹配(SURF-BF)算法將巡檢機器人采集的不同時刻和狀態(tài)的儀表配準到相同的模板,以較高的時間成本提升定位精度,但不能滿足基于變電所巡檢機器人巡檢的實時要求。邢浩強等[5]用卷積神經(jīng)網(wǎng)絡(luò)(CNN)定位儀表,并結(jié)合雙邊濾波和帶色彩恢復(fù)的多尺度視網(wǎng)膜增強(MSRCR)算法[6]增強儀表圖像,但常常因沒有充分提取低光圖像的暗內(nèi)容而出現(xiàn)誤檢。劉葵[7]利用更快區(qū)域卷積網(wǎng)絡(luò)(Faster-RCNN)定位表盤、LeNet-5識別表盤刻度值的數(shù)值,盡管該算法適用于各種分度值、不同表盤的儀表,但需要大量帶標簽的訓練集以及高性能的電腦配置才能得到訓練好的模型。
分數(shù)階微分算子作為包含全局相關(guān)性的非局部算子,在凸顯紋理信息的同時也能保留平滑區(qū)域的細節(jié)信息,被廣泛用于圖像增強領(lǐng)域。如李青磊等[8]將分數(shù)階微分用于光伏電池圖像增強,能明顯增強裂紋區(qū)域,提升缺陷檢測精度。為了準確識別霧霾、光照不均等環(huán)境下牽引變電站室外低光照儀表圖像,本文中提出一種基于分數(shù)階微分改進的Retinex低光圖像增強算法充分提取低光照儀表圖像的暗內(nèi)容并經(jīng)相機響應(yīng)函數(shù)(CRF)調(diào)整光照以得到曝光良好的目標儀表圖像;然后,通過SURF算法提取特征向量,并采用快速最近鄰逼近搜索函數(shù)庫(FLANN)完成高維特征向量空間中的最近鄰搜索以匹配定位目標儀表圖像;最后,利用累積霍夫變換檢測儀表指針并完成讀數(shù)。
Retinex理論早在20世紀70年代就已經(jīng)被提出,直到80年代被美國國家航空航天局(NASA)用于增強外太空圖像后才受到越來越多研究者的重視[9]。根據(jù)Retinex圖像增強的基本思想,人眼感知目標物體的亮度取決于環(huán)境照明和物體表面對照射光的反射[10],其數(shù)學表述為
S(x,y)=L(x,y)*R(x,y),
(1)
式中:S(x,y)為觀察的原始圖像;L(x,y)為入射光的照射分量(即光照圖L);R(x,y)為保留圖像細節(jié)信息的反射分量(反射圖R);*為卷積符號。對上式變形并取對數(shù)就能去除入射光得到物體的本來面貌,
lgR(x,y)=lgS(x,y)-lgL(x,y)。
(2)
基于Retinex的圖像增強算法大都遵循同樣的本質(zhì):通過對原圖像進行平滑濾波處理,盡可能恢復(fù)照射圖像,然后使用Γ變換調(diào)整光照;但是,由于Γ變換缺乏理論支持以及用整數(shù)階微分約束反射圖,不能從原始圖像中充分提取暗內(nèi)容,因此處理后的低光圖像存在過度增強或失真等缺陷。
相比于整數(shù)階微分,分數(shù)階微分不僅能夠有效地處理圖像中的高頻成分,還能夠處理低頻成分的紋理細節(jié)信息。由于分數(shù)階微分在保持原始圖像自然性的基礎(chǔ)上還能有效保留紋理細節(jié)和抑制噪聲,因此,本文中將分數(shù)階微分引入到Retinex算法中反射圖的約束項。除此之外,本文中還引入新的先驗信息用于約束光照圖。
1.2.1 反射圖約束
(3)
式中υ1、υ2為目前常用的Grumwald-Letnikov(G-L)分數(shù)階參數(shù),比如υ階的G-L分數(shù)階微分定義為
(4)
1.2.2 照明先驗約束
(5)
式中:x為感興趣像素點;Ω(x)為像素x的領(lǐng)域;c為顏色通道。
另外,根據(jù)Retinex理論,L應(yīng)該包含圖像結(jié)構(gòu)信息,不包含紋理細節(jié)[13],因此,另設(shè)光照約束為
(6)
式中:G(·)為高斯濾波;ε為防止分母為0的極小正數(shù)。根據(jù)文獻[14]中的理論分析,由于高斯濾波導致細節(jié)的丟失,因此在圖像紋理區(qū)域,|Dx/yG(L)|<|Dx/yL|,從而使El(L)≥2;在圖像整體結(jié)構(gòu)區(qū)域,|Dx/yG(L)|≈|Dx/yL|,使得El(L)≈2。
綜上所述,通過結(jié)合光照先驗、反射約束以及保真項,可得圖像的總能量函數(shù)為
(7)
不論是傳統(tǒng)方法還是本文中提出的方法,在求得L、R后都需要調(diào)整光照射圖的光照強度,得到曝光良好的目標圖像。傳統(tǒng)方法大都采用Γ變換來調(diào)整光照,
(8)
由于Γ變換在增加可視性時不可避免地引入顏色和亮度失真,因此引入文獻[14]中提出的相機響應(yīng)函數(shù)(CRF)來調(diào)整照射圖L的光照強度,減少失真度。CRF通過研究2種不同曝光圖像之間的關(guān)系,獲得精確的相機響應(yīng)模型,并采用照明估計技術(shù)來估計曝光比率圖,最后就能使用相機響應(yīng)模型并根據(jù)估計的曝光比率圖將每個像素調(diào)整到所需的曝光程度。變換方程定義為
(9)
式中:P為輸入圖像即照射圖像L;ke為曝光比;a、b為根據(jù)響應(yīng)函數(shù)數(shù)據(jù)庫 (DORF) 中僅光照不同的圖像對試驗設(shè)定的參數(shù),即a=-0.329 3,b=1.125 8。由于本文中所用圖像數(shù)據(jù)集以及先驗條件不同,因此經(jīng)調(diào)參試驗將參數(shù)調(diào)整為a=-0.267 8,b=1.125 8。
SIFT算法被認為是最有效、最常用的特征提取算法;但是其運行時間隨圖像分辨率的提升急劇增加,無法滿足變電所巡檢的實時要求,因此,不僅具有SIFT算法尺度不變性、旋轉(zhuǎn)不變性等特性,而且運算速度更快的SURF算法可被用于基于變電站巡檢機器人的目標儀表圖像的特征提取[15]。SURF算法速度提升的原因主要有以下2個。
圖1為積分圖像計算示意圖??梢钥闯觯徽摯翱赪的大小如何,均可通過積分圖像的4個頂點求得窗口內(nèi)像素灰度和的計算表達式,即
∑Wii(i4,j4)-ii(i2,j2)-ii(i3,j3)+ii(i1,j1)。
(10)
W—窗口;(i,j)—點的位置。圖1 積分圖像計算示意圖
另外SURF借鑒SIFT簡化的思想,將Hessian矩陣行列式(DOH)中高斯二階微分模板進行了近似簡化,使得模板對圖像的濾波只需要進行幾個簡單的加減法運算,并且運算與濾波器的大小無關(guān),如圖2所示。
(a)高斯二階微分卷積Lxx的簡化
(b)高斯二階微分卷積Lxy的簡化圖2 高斯二階微分模板及簡化
SURF采用快速Hessian算法檢測關(guān)鍵點,設(shè)在圖像x(i,j)處,尺度為σ的Hessian矩陣為
(11)
(12)
det(Happrox)=DxxDyy-(0.9Dxy)2。
通過積分圖像和不同尺寸盒子濾波模板求得Hessian矩陣的響應(yīng)圖像后,可利用最大值抑制原理得到不同尺度的特征點,最后通過對矩形區(qū)域內(nèi)計算積分圖像的Harr小波響應(yīng)獲得SURF特征描述子。SURF描述子不僅具有尺度和旋轉(zhuǎn)不變性,而且對光照的變化也具有不變性,因此尤其適用于本文中處理的低光照目標儀表圖像。
由于SURF算法可提取大量的特征向量,因此解決高維特征向量空間中的最近鄰搜索問題是完成圖像匹配的關(guān)鍵點。本文中采用最有效的FLANN的多重隨機K-維(KD)樹完成基于SURF特征向量的匹配定位[16]。值得注意的是,F(xiàn)LANN作為一個執(zhí)行快速最近鄰搜索函數(shù)庫,包含一系列查找算法,可以通過接口函數(shù)完成目標特征點匹配。對僅包含儀表的子圖進行累積霍夫變換(PPHT)算法[17]檢測表盤和指針,并計算指針在表盤中與零刻線的夾角,最終根據(jù)角度量程和讀數(shù)量程換算關(guān)系得到儀表讀數(shù)結(jié)果。
以高鐵某牽引變電所主變壓器油溫表為實驗對象,所有實驗均在Windows 10,12 GB隨機存儲器(RAM)和1.7~2.4 GHz中央處理器(CPU)的計算機上借助MATLAB 2018a軟件進行。為了驗證本文中提出的基于分數(shù)階改進的Retinex低光圖像增強算法的有效性,分別與基于形態(tài)學的對比度增強算法[18]、全局低照度增強算法[19]、傳統(tǒng)的Retinex增強算法[20]以及高動態(tài)范圍(HDR)算法[21]進行增強效果的對比,取2張實驗樣本Ⅰ、Ⅱ進行測試,結(jié)果如圖3、4所示。
圖3(a)、4(a)所示為巡檢機器人在某霧霾嚴重、陰天的條件下拍攝得到的主變油溫表及其表盤圖。由圖3、4可知:由于儀表圖像全局灰度較低,因此基于形態(tài)學的對比度增強算法導致曝光嚴重不足;全局低照度增強算法在這種情況下過度曝光圖像,產(chǎn)生很多高亮區(qū)域。如前所述,傳統(tǒng)Retinex算法不僅曝光效果不好,而且存在顏色失真;基于HDR的增強算法盡管沒有太多亮度失真,但丟失了絕大部分的顏色信息,不能區(qū)分2種不同顏色的指針。相比于上述算法。本文中提出的基于分數(shù)階改進的Retinex低光圖像增強算法大幅減少了顏色和亮度失真,使儀表部分的細節(jié)更清晰的同時,也保存了目標圖像的顏色細節(jié)。
圖3 樣本Ⅰ低光圖像增強對比試驗結(jié)果
為了客觀評價增強效果,引入評估圖像自然保持度的亮度順序誤差(LOE)、無參考圖像清晰度評估(ARISM)[22]以及相似性評估(FSIM)[23]這3種圖像質(zhì)量評價指標。
LOE可以測量原始圖像與增強圖像之間的自然保持度Le,定義為
(13)
(14)
式中:m為像素總數(shù);L、L′分別為原始圖像和增強圖像顏色通道的最大值。一般來說,Le數(shù)值越小,增強效果越自然,但并不能充分反映增強效果,原因是當算法并無任何增強效果時,Le值為0。
ARSIM是在自回歸參數(shù)空間中同時考慮圖像的亮度和顏色信息來評估增強的效果,其值越小表示圖像越清晰;FSIM都是結(jié)構(gòu)相似性度(SSIM)的變種,認為邊緣像素點比背景像素點更重要,因此結(jié)合梯度相似性和顏色相似性評估增強效果,值越大表示與曝光力良好的圖像越相似?;谘矙z機器人采集的儀表圖像角度大都相同,表1所示為各種對比算法及本文中提出的算法對部分主變壓器油溫表樣本增強評價指標的統(tǒng)計結(jié)果。
由表中數(shù)據(jù)可知,本文中提出的基于分數(shù)階改進的Retinex低光圖像增強算法在LOE、ARISM、FSIM的評價指標都取得了較好的結(jié)果,即在圖像的自然保持度、圖像清晰度以及梯度相似性和顏色相似性各方面都優(yōu)于其他對比算法。
圖4 樣本Ⅱ低光圖像增強對比試驗結(jié)果
表1 圖像質(zhì)量評估結(jié)果
運用本文中提出的算法增強低光照儀表后圖像,需要在復(fù)雜的環(huán)境中準確定位目標儀表。為了突出本文中提出的基于SURF-FLANN的儀表檢測算法,分別進行基于SIFT、SURF算法的對比實驗。圖5所示為儀表檢測實驗結(jié)果。
表2所示為3種對比算法匹配的實驗數(shù)據(jù)。經(jīng)過分析可知,SIFT算法檢測出的相似特征點數(shù)最多,但運行時間約為SURF的3倍且內(nèi)存消耗更大。本文中的改進算法不僅檢測出較多特征點,還應(yīng)用交叉驗證精匹配篩選剔除了SURF算法粗匹配中的誤匹配點,得到更少的交叉驗證精匹配特征點,使得檢測更為準確。
圖6所示為依據(jù)SURF-FLANN算法定位得到的目標檢測儀表和利用累積霍夫變換(PPHT)算法檢測到的目標儀表表盤和指針。根據(jù)PPHT函數(shù)輸出的線段端點與圓心坐標關(guān)系計算可得到指針角度,即儀表示數(shù)。本文中對所采集的包含50張惡劣天氣下主變壓器油箱油溫表的數(shù)據(jù)集進行人眼和算法對照讀數(shù),無漏檢,誤檢率僅為0.5%。
圖5 基于不同算法的儀表檢測結(jié)果
表2 不同儀表檢測算法的效果對比
圖6 2種不同算法的儀表檢測結(jié)果
為了完善基于變電所巡檢機器人的儀表巡檢系統(tǒng),本文中著重處理因霧霾、光照不均等環(huán)境因素而導致的低光照目標儀表巡檢圖像的表記識別。
1)提出一種基于分數(shù)階改進的Retinex圖像增強算法,借助于分數(shù)階微分更好地保留紋理細節(jié)、抑制噪聲的優(yōu)勢,以及更凸顯相機真實曝光的CRF模型去增強低光照圖像,獲得更清晰的儀表圖像。
2)利用SURF算法提取圖像的特征點,并結(jié)合FLANN匹配算法從較復(fù)雜的環(huán)境中定位目標儀表圖像。
3)采用PPHT檢測儀表指針并完成讀數(shù)。實驗結(jié)果表明,該算法針對室外變電所低光照儀表圖像能減少顏色和亮度的失真,顯著增強圖像細節(jié);在兼顧較快速度的基礎(chǔ)上表記識別準確率也有明顯提升,而且對復(fù)雜的室外變電所環(huán)境也具有良好的穩(wěn)定性和魯棒性。