許繼電源有限公司 李龍光
許繼風(fēng)電有限公司 蘇 靜
許繼電源有限公司 韓海倫 喬海強(qiáng) 錢 帆
圖像識(shí)別系統(tǒng)是變電站巡檢機(jī)器人重要的組成部分,圖像識(shí)別系統(tǒng)主要有儀表定位、圖像分割處理、指針識(shí)別等三個(gè)部分組成。其中數(shù)字圖像二值化技術(shù)是圖像分割關(guān)鍵技術(shù),而圖像分割技術(shù)又是圖像識(shí)別重要組成部分,因此,數(shù)字圖像二值化效果好壞直接決定了變電站巡檢機(jī)器人的整體性能。受變電站自身工作環(huán)境及儀表自身屬性限制,光照變化對(duì)儀表圖像影響較為明顯,會(huì)出現(xiàn)光照強(qiáng)度過(guò)亮、光照強(qiáng)度過(guò)暗、光照不均等復(fù)雜光照條件[1],給儀表圖像二值化帶來(lái)很大的麻煩。因此,不同光照條件下儀表圖像二值化技術(shù),成為機(jī)器人圖像識(shí)別技術(shù)難點(diǎn)之一。
目前,針對(duì)于光照不均勻條件下圖像的二值化問(wèn)題,提出了各種不同的方法:圖像進(jìn)行分塊處理法、對(duì)圖像背景光照進(jìn)行處理法、經(jīng)典的局部閾值法等方法[2],這些傳統(tǒng)處理方法比較有局限性并且存在很多缺點(diǎn),第一類方法是在光照分塊較為明確條件下才使用,對(duì)于灰度值分界不是太明顯的數(shù)字圖像處理效果不是太好;第二類方法計(jì)算量大,效率低,對(duì)背景經(jīng)常存在過(guò)估計(jì)或者估計(jì)不足,對(duì)目標(biāo)和背景差別較小或者光照條件不均的弱目標(biāo)圖像處理效果不是太好;第三類方法需要對(duì)數(shù)字圖像進(jìn)行逐點(diǎn)計(jì)算,也存在計(jì)算過(guò)大,效率低,對(duì)弱目標(biāo)圖像處理效果不佳等問(wèn)題。
本文在分析傳統(tǒng)二值化方法的基礎(chǔ)上,通過(guò)分析巡檢機(jī)器人所拍攝儀表圖像的特點(diǎn),第一步采用傳統(tǒng)的最大類間方差(OTSU)將儀表圖像分成三類:光照過(guò)度、光照不足、正常光照條件,將這三類圖像進(jìn)行分類二值化處理,正常光照條件下,直接采用最大類間方差(OTSU)進(jìn)行二值化分割處理[3]。光照過(guò)度條件下,對(duì)灰度圖像采用區(qū)域生長(zhǎng)的方法對(duì)儀表指針區(qū)域進(jìn)行提取。光照不足條件下,采用雙閾值二值化方法對(duì)儀表圖像進(jìn)行提取。實(shí)驗(yàn)結(jié)果證明:該方法正確有效,能夠提高復(fù)雜光照條件下圖像二值化效果,滿足實(shí)際應(yīng)用。
圖像二值化就是將圖像上像素點(diǎn)的灰度值設(shè)置為0或255,也就是將整個(gè)圖像呈現(xiàn)出明顯的只有黑和白的視覺(jué)效果[4]。通過(guò)二值化方法選定閾值T,用閾值T將灰度圖像分成兩大類:大于閾值的像素群和小于閾值的像素群。具體計(jì)算公式如下:設(shè)輸入灰度圖像函數(shù)為f(x,y),輸出二值圖像函數(shù)為 g(x,y),則:
通過(guò)選取適當(dāng)閾值T,既能保存圖像信息,又能盡可能減少背景和噪聲的干擾,這是閾值選擇的原則[5]。
全局二值化在選取整體閾值時(shí),一種是根據(jù)試驗(yàn)結(jié)果人工設(shè)定閾值,第二種就根據(jù)現(xiàn)有的算法經(jīng)過(guò)計(jì)算得到自適應(yīng)圖像的閾值。
本文主要采用傳統(tǒng)OTSU法及改進(jìn)的OTSU方法對(duì)圖像進(jìn)行二值化處理。OTSU方法是一種全局化的動(dòng)態(tài)二值化方法,又叫大津法,是一種灰度圖像二值化常用的算法。該算法的基本思想是:設(shè)使用某一個(gè)閾值將灰度圖像根據(jù)灰度大小,分成目標(biāo)部分和背景部分兩類,在這兩類的類內(nèi)方差最小和類間方差最大的時(shí)候,得到的閾值就是最優(yōu)的二值化閾值。在光照條件均勻的時(shí)候,可以得到很好的二值化效果。該算法的基本原理[6]如下:
設(shè)定一個(gè)像素為L(zhǎng)圖像的灰度級(jí)為[1,2,…,L]?;叶戎礽的像素?cái)?shù)位ni,像素總數(shù)N = n1+ n2+ ….+ ni。為了簡(jiǎn)化討論,將灰度值直方圖歸一化并且視為一個(gè)概率分布:
通過(guò)一個(gè)閾值k將圖像的像素分成兩大類a0和a1(背景和目標(biāo),或者反之亦然),a0表示的像素灰度值為[0, k],a1表示的像素灰度值為[k+1, L]。a0和a1的概率分布為:
a0和a1的均值分別為:
則整幅圖像的灰度值(a)為:
定義類間方差(T)為:
假定T在[0,k]范圍內(nèi),以1為增量對(duì)公式(7)進(jìn)行循環(huán)取值,k為灰度圖像的灰度級(jí)數(shù)目,最后計(jì)算T的最大值即為最佳閾值。
當(dāng)取最佳閾值時(shí),背景應(yīng)該與前景差別最大,關(guān)鍵在于如何選擇衡量差別的標(biāo)準(zhǔn),而在OTSU算法中這個(gè)衡量差別的標(biāo)準(zhǔn)就是最大類間方差。
就最大類間方差算法而言,優(yōu)點(diǎn)是算法簡(jiǎn)單,當(dāng)目標(biāo)與背景面積相差不大時(shí),能夠有效地對(duì)圖像進(jìn)行分割。但是,當(dāng)圖像中的目標(biāo)與背景面積相差很大時(shí),表現(xiàn)為雙峰的大小相差很大或者直方圖沒(méi)有明顯的雙峰,分割效果不佳,如果目標(biāo)與背景灰度值重疊較大時(shí)也不能將目標(biāo)與背景準(zhǔn)確分開(kāi)。圖像空間信息被忽略是出現(xiàn)上述現(xiàn)象的主要原因。OTSU法是將圖像灰度值分布作為分割圖像主要條件,因此對(duì)圖像噪聲污染也相當(dāng)敏感。所以,在實(shí)際工程應(yīng)用中,總是將OTSU法與其他方法結(jié)合起來(lái)使用[6]。
局部自適應(yīng)閾值則是根據(jù)像素的鄰域塊的像素值分布來(lái)確定該像素位置上的二值化閾值。這樣做的好處在于每個(gè)像素位置處的二值化閾值是根據(jù)周圍鄰域像素的分布來(lái)決定的,是動(dòng)態(tài)變化的。亮度較低圖像區(qū)域的二值化閾值則會(huì)相對(duì)較小,亮度較高圖像區(qū)域的二值化閾值會(huì)相適應(yīng)變大。不同亮度、對(duì)比度、紋理的局部圖像區(qū)域?qū)?huì)擁有相對(duì)應(yīng)的局部二值化閾值。
常用的局部自適應(yīng)閾值有:
(1)局部鄰域塊的均值;
(2)局部鄰域塊的高斯加權(quán)和。
本節(jié)通過(guò)對(duì)變電站巡檢機(jī)器人所拍攝儀表圖像進(jìn)行分析,詳細(xì)介紹二值化實(shí)現(xiàn)過(guò)程及方法:
巡檢機(jī)器人在變電站工作時(shí),不需要人工參與,從拍攝到自動(dòng)識(shí)別全部自動(dòng)化完成,因此我們需要設(shè)計(jì)一種簡(jiǎn)單可靠的算法能夠自動(dòng)將所拍的圖片進(jìn)行分類,然后再進(jìn)行二值化處理。
(1)第一步將所拍攝的儀表圖片進(jìn)行灰度化處理,將RGB三個(gè)分量以不同的權(quán)值進(jìn)行加權(quán)平均,從人眼的視覺(jué)效果來(lái)看,對(duì)綠色的敏感程度最高,藍(lán)色最低[7]。因此,按照公式(8),對(duì)RGB三分量進(jìn)行加權(quán)平均,以這個(gè)亮度值表達(dá)圖像的灰度值。(灰度結(jié)果如圖2所示)
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j)(8)
(2)采用傳統(tǒng)的OTSU法對(duì)圖片進(jìn)行處理,將1.2節(jié)中公式(7)計(jì)算的結(jié)果T作為判斷準(zhǔn)則,通過(guò)大量的圖片進(jìn)行試驗(yàn),得出的平均值,取平均值左右適當(dāng)范圍,作為參數(shù)選取的準(zhǔn)則,根絕試驗(yàn)結(jié)果:
(3)當(dāng)T的值大于等于1400時(shí),為光照條件不足圖片;
(4)當(dāng)時(shí)T的值小于等于465時(shí),為光照過(guò)度條件下所拍攝的圖片;
(5)當(dāng)時(shí)T的值介于兩者之間時(shí),為正常光照條件下所拍攝的圖片。
(6)接下來(lái)將圖片進(jìn)行分類二值化處理。
在正常光照的條件下,對(duì)于目標(biāo)和背景比較清晰的圖像(如圖1所示),采用全局閾值化方法就可以得到清晰的二值化圖片,閾值的選取采用最大類間方差法(OTSU),該方法基于圖像的灰度直方圖,將圖像分成背景和目標(biāo)兩部分,以目標(biāo)和背景的類間方差最大或者類內(nèi)方差最小作為閾值選取準(zhǔn)則,對(duì)儀表圖像進(jìn)行二值化處理。
(1)根據(jù)2.1步驟中所描述的算法,提取正常光照條件下所拍攝的圖片(如圖1所示)
圖1 原圖
圖2 灰度化結(jié)果
(2)接2.1步驟灰度化后的圖片(如圖2所示),采用傳統(tǒng)的最大類間方差(OTSU)法對(duì)灰度化圖片進(jìn)行二值化處理,詳細(xì)步驟見(jiàn)本文1.2所述。(結(jié)果如圖3所示)。
巡檢機(jī)器人在變電站巡檢拍照過(guò)程中,以下情況會(huì)出現(xiàn)拍攝的圖片亮度過(guò)暗(如圖4所示)的情況[8-9]:
第一種百天弱光型,巡檢機(jī)器人在巡檢拍照過(guò)程中遇上早晨、黃昏、陰雨等不良天氣條件時(shí),此時(shí)太陽(yáng)光線強(qiáng)度不足,所拍攝的圖片亮度偏低,并且圖像對(duì)比度極低。
圖3 OTSU法二值化效果圖
第二種夜間弱光型,在夜間,因?yàn)樽冸娬緜€(gè)別儀表距離巡檢機(jī)器人巡檢路線較遠(yuǎn),在巡檢機(jī)器人進(jìn)行拍照過(guò)程中,開(kāi)啟閃光燈進(jìn)行補(bǔ)光,補(bǔ)光效果太差,使整個(gè)儀表圖像亮度極暗、對(duì)比度極低。
在這兩種條件下所拍攝的圖片,如果直接采用傳統(tǒng)OTSU方法對(duì)其進(jìn)行二值化分割處理(效果如圖5所示),將會(huì)丟失很多目標(biāo)信息,嚴(yán)重影響或者甚至根本不能完成指針的提取工作。
圖4 亮度過(guò)暗圖像
圖5 采用傳統(tǒng)OSTU方法效果圖
本節(jié)針對(duì)于光照不足條件下所拍的圖像進(jìn)行分析研究,在現(xiàn)有OTSU方法上進(jìn)行改進(jìn),對(duì)所拍的圖片采用分塊雙閾值二值化方法分割處理,具體步驟如下:
(1)按照2.1步驟對(duì)提取圖片(如圖4所示)。
(2)接2.1步驟中灰度化之后的圖片,采用傳統(tǒng)的OTSU法計(jì)算灰度圖像的第一次閾值T0,T0將整幅圖像目標(biāo)區(qū)域(整個(gè)表盤區(qū)域)與背景區(qū)域進(jìn)行簡(jiǎn)單的分離,在對(duì)圖片進(jìn)行二值化的過(guò)程中,只處理圖像的背景部分,將背景部分的像素值全部設(shè)為255,目標(biāo)區(qū)域(表盤區(qū)域)不做處理(效果如圖6所示),算法設(shè)計(jì)如下:
圖6 第一次二值化效果圖
(3)對(duì)圖6進(jìn)行第二次二值化處理,對(duì)OTSU方法進(jìn)行稍微改進(jìn),傳統(tǒng)的OTSU方法計(jì)算整幅圖片[0-255]灰度值以及每個(gè)灰度值出現(xiàn)的概率,改進(jìn)后的OTSU在計(jì)算圖片灰度值及其概率時(shí),除去灰度值為255的像素點(diǎn)。
采用改進(jìn)OTSU算法對(duì)圖6計(jì)算第二次分割閾值T1,將表盤區(qū)域作為目標(biāo)區(qū)域,將表框和柱子作為背景區(qū)域,用第二個(gè)閾值T1對(duì)圖像做進(jìn)一步分割處理。
改進(jìn)OTSU算法計(jì)算閾值T1時(shí),和傳統(tǒng)的OTSU方法相比,唯一一點(diǎn)不同就是,改進(jìn)的OTSU方法,在統(tǒng)計(jì)圖6總的像素值時(shí),除去灰度值為255的像素,其他步驟和傳統(tǒng)的OTSU方法類似,此時(shí)計(jì)算得到二值化閾值 T1就是整個(gè)表盤區(qū)域的閾值,將T1重新作為閾值,圖6進(jìn)行二值化處理,算法設(shè)計(jì):
第二次二值化之后的效果圖如圖7所示:
圖7 第二次二值化效果圖
巡檢機(jī)器人在變電站巡檢拍照的過(guò)程中,一下兩種情況會(huì)出現(xiàn)亮度過(guò)亮的情況(如圖8所示)[8-9]:
第一種白天強(qiáng)光型,儀表盤一般都是采用玻璃材質(zhì),存在反光效果,當(dāng)太陽(yáng)強(qiáng)光照射在儀表盤上時(shí),反射光線進(jìn)入攝像機(jī)中,使得圖片表盤區(qū)域過(guò)于明亮,表盤玻璃區(qū)域出現(xiàn)泛白現(xiàn)象。
第二種夜間強(qiáng)光型,巡檢機(jī)器人在夜間進(jìn)行巡檢過(guò)程中,在進(jìn)行拍照的時(shí)候,啟用閃光燈進(jìn)行補(bǔ)光,當(dāng)儀表和機(jī)器人距離較近時(shí),使得表盤區(qū)域亮度過(guò)亮,黑色的指針區(qū)域很不明顯,出現(xiàn)泛白現(xiàn)象。
在這兩種條件下拍攝的圖片,由于光照強(qiáng)度過(guò)亮,使得表盤區(qū)域的亮度過(guò)亮,而背景區(qū)域亮度較低,使用傳統(tǒng)OSTU方法進(jìn)行二值化時(shí),會(huì)出現(xiàn)如下情況(如圖9所示),無(wú)法正確提取指針區(qū)域。
圖8 亮度過(guò)亮原圖
圖9 OSTU法二值化效果圖
針對(duì)于這種情況,采用區(qū)域生長(zhǎng)的方法,可以解決亮度過(guò)亮?xí)r遇到的問(wèn)題。
區(qū)域生長(zhǎng)方法[10]是根據(jù)同一圖像區(qū)域內(nèi)像素的相似性質(zhì)來(lái)聚集像素點(diǎn)的方法,從初始區(qū)域(如小鄰域或于每個(gè)像素)開(kāi)始,將相鄰的具有同樣性質(zhì)的像素或其他區(qū)域歸并到目前的區(qū)域中從而逐步增長(zhǎng)區(qū)域,直至沒(méi)有可以歸并的點(diǎn)或者其他小區(qū)域?yàn)橹埂^(qū)域內(nèi)像素的相似性度量可以包括平均灰度值、紋理、顏色等信息。
區(qū)域生長(zhǎng)方法是一種比較普遍的方法,在沒(méi)有先驗(yàn)知識(shí)可以利用時(shí),可以取得最佳的性能,可以用來(lái)分割比較復(fù)雜的圖像,如自然景物。但是區(qū)域增長(zhǎng)方法是一種迭代的方法,空間和時(shí)間開(kāi)銷都比較大。
區(qū)域生長(zhǎng)是一種串行區(qū)域分割圖像分割方法。區(qū)域生長(zhǎng)是指從某個(gè)像素出發(fā),按照一定的準(zhǔn)則,逐步加入臨近像素,當(dāng)滿足一定的條件時(shí),區(qū)域生長(zhǎng)終止。區(qū)域生長(zhǎng)的好還決定于:初始點(diǎn)(種子點(diǎn))的選?。簧L(zhǎng)準(zhǔn)則;終止條件。
區(qū)域生長(zhǎng)是從某個(gè)或者某些像素點(diǎn)出發(fā),最后得到整個(gè)區(qū)域,進(jìn)而實(shí)現(xiàn)目標(biāo)的提取。
算法步驟如下:
(1)按照2.1步驟提取光照強(qiáng)度過(guò)亮的圖片(如圖8所示)
圖10 灰度化效果圖
(2)接2.1步驟中灰度化后圖片(如圖10所示),采用區(qū)域生長(zhǎng)的方式提取指針區(qū)域(如圖11所示),按照以下三個(gè)法則,對(duì)出需要分割的圖像:
a.選取圖像中的一點(diǎn)為種子點(diǎn)(種子點(diǎn)的選取一般是對(duì)儀表圖像進(jìn)行建模的時(shí)候,會(huì)選取一個(gè)點(diǎn)作為種子點(diǎn),當(dāng)圖片亮度過(guò)亮?xí)r,會(huì)將該點(diǎn)作為區(qū)域生長(zhǎng)的種子點(diǎn))。
b.在種子點(diǎn)處進(jìn)行8鄰域擴(kuò)展[11],判定準(zhǔn)則是:如果待檢測(cè)的像素的灰度值與種子像素灰度值差的絕對(duì)值小于某個(gè)閾值T,則將該像素包括進(jìn)種子像素所在的區(qū)域。
注:該閾值T的確定方法是根據(jù)大量圖片實(shí)驗(yàn)得出固定閾值,直接調(diào)用Opencv函數(shù)r egionGr owt h_pr o進(jìn)行區(qū)域生長(zhǎng),閾值T的值為13。
c.當(dāng)不再有像素滿足加入這個(gè)區(qū)域的準(zhǔn)則時(shí),區(qū)域生長(zhǎng)停止。
圖11 采用區(qū)域生長(zhǎng)效果圖
本文針對(duì)巡檢機(jī)器人在變電站所拍攝的儀表圖像進(jìn)行分析研究,將所拍得圖像分三類進(jìn)行處理,正常光照條件下、亮度過(guò)亮、亮度過(guò)暗。在正常光照條件下,直接采用傳統(tǒng)OTSU方法即可將儀表圖像的目標(biāo)和背景完全的分割出來(lái)。亮度過(guò)亮?xí)r,采用區(qū)域生長(zhǎng)的方法對(duì)圖片進(jìn)行處理,可有效地避免了過(guò)分割和欠分割現(xiàn)象,將儀表圖像的指針區(qū)域精確、完整地分割出來(lái)。亮度過(guò)暗條件下,采用兩次二值化對(duì)圖像進(jìn)行處理,將圖像分層次的進(jìn)行處理,該方法對(duì)亮度過(guò)暗的圖像能夠取得滿意的分割效果。
實(shí)驗(yàn)結(jié)果表明:將圖像分類進(jìn)行處理,可以有效地解決因?yàn)楣庹諚l件、氣象原因及儀表自身缺陷造成圖像質(zhì)量較差,無(wú)法正確進(jìn)行特征提取所遇到的問(wèn)題,從而為后續(xù)的圖像識(shí)別工作打下良好的基礎(chǔ)。
[1]郭佳,劉曉玉,吳冰,付曉薇,一種光照不均勻圖像的二值化方法[J].計(jì)算機(jī)應(yīng)用于軟件,2014,31(3):183-186.
[2]王剛,圖像二值化方法研究及其在監(jiān)控識(shí)別系統(tǒng)中的應(yīng)用[D].長(zhǎng)沙,湖南大學(xué)計(jì)算機(jī)科學(xué)與技術(shù),2010.
[3]楊偉偉,王廣偉,儀表圖像二值化技術(shù)研究[J].科技信息,2011(17):61-62.
[4]張雅蘭.圖像的二值化處理[J].廣西工學(xué)院學(xué)報(bào),2002,13(1):33-33, 55.
[5]馬馳,張紅云,苗奪謙,張學(xué)東,改進(jìn)的多閾值動(dòng)態(tài)二值化算法[J],計(jì)算機(jī)工程,2006,32(6):203-204.
[6]齊麗娜,張博,王戰(zhàn)凱,最大類間方差法在圖像處理中的應(yīng)用[J]. 信號(hào)與信息處理,2006,36(7):25-27.
[7]龔雄文,指針式儀表自動(dòng)讀數(shù)的研究及應(yīng)用[D].廣州, 廣東工業(yè)大學(xué)檢測(cè)技術(shù)與自動(dòng)化裝置,2007.
[8]王珺,彭進(jìn)業(yè),吳俊,李丹嬌,復(fù)雜光照下的車牌圖像二值化新方法[J].電子設(shè)計(jì)工程,2011,19(22):147-150.
[9]劉攀,復(fù)雜光照條件下的通用車牌定位系統(tǒng)的研究及實(shí)現(xiàn)[D].成都,電子科技大學(xué)模式識(shí)別與智能系統(tǒng)專業(yè),2013.
[10]李旭輝,慈林林,王蕊,劉建華,李俊山,一種基于區(qū)域生長(zhǎng)的目標(biāo)提取算法[J].微電子學(xué)與計(jì)算機(jī),2008,25(12):184-186.
[11]李建飛,文志強(qiáng),盧永樂(lè),鄧劉昭蘆,一種基于區(qū)域生長(zhǎng)的高分辨遙感影像道路提取方法[J].2015,14(1):28-29.