李大瑞 王耀
摘要:針對(duì)智能區(qū)分系統(tǒng)中的實(shí)景圖像真彩色的自動(dòng)檢測(cè)問題,研究了基于神經(jīng)網(wǎng)絡(luò)的實(shí)景影像自適應(yīng)顏色分割方法。提取了圖像中的所有像素進(jìn)行灰度歸一化,然后計(jì)算出像素矢量矩陣,利用像素矢量進(jìn)行概率神經(jīng)網(wǎng)絡(luò)(PNN)的訓(xùn)練,通過訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像自適應(yīng)二值化閾值顏色分割,主要分割紅,黃,藍(lán)3種顏色。實(shí)驗(yàn)結(jié)果表明:自適應(yīng)圖像分割方法比固定閾值分割方法在圖像分割效果上有顯著的改善。
關(guān)鍵詞:圖像顏色分割;RGB顏色空間;HSI顏色空間;概率神經(jīng)網(wǎng)絡(luò);神經(jīng)網(wǎng)絡(luò)訓(xùn)練
中圖分類號(hào):TP75 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1674-9944(2016)06-0173-07
1 引言
1.1 研究意義
森林資源狀況及其變化,不僅影響地區(qū)乃至全球環(huán)境的變化,而且還影響社會(huì)經(jīng)濟(jì)的持續(xù)發(fā)展。隨著遙感技術(shù)的發(fā)展,森林植被遙感影像分類逐漸成為森林資源調(diào)查和監(jiān)測(cè)不可缺少的內(nèi)容。目前遙感分類技術(shù)在林區(qū)的應(yīng)用還處于比較落后的狀態(tài)。如何利用普遍可以得到的遙感數(shù)據(jù)資源和其他林業(yè)數(shù)據(jù),研究出更適合于我國東北林區(qū)的遙感圖像計(jì)算機(jī)分類的新方法,提高森林植被的分類精度,以滿足林業(yè)部門的需要,是本研究的主要工作。
因此,研究航拍影像中森林植被的自動(dòng)分割、檢測(cè)與識(shí)別方法,對(duì)于智能監(jiān)督分類、自動(dòng)劃分森林區(qū)域、采集大數(shù)據(jù)森林信息、智能劃分變化監(jiān)測(cè)區(qū)域監(jiān)督執(zhí)法,節(jié)約人力物力、提高工作效率和質(zhì)量都具有重要的實(shí)用價(jià)值。
1.2 國內(nèi)外研究現(xiàn)狀綜述
羅曉萍等的基于SVM和模糊免疫網(wǎng)絡(luò)的實(shí)景影像識(shí)別,提出了一種檢測(cè)和識(shí)別方法,根據(jù)顏色和形狀,利用支持向量機(jī)的非線性分類能力將其圖像區(qū)域從實(shí)景圖像中檢測(cè)出來,然后根據(jù)多樣性,高容噪性的模糊免疫網(wǎng)絡(luò)來識(shí)別。楊修銘等針對(duì)單一波普反射標(biāo)志的檢測(cè),定義了一個(gè)“紅色”閾值區(qū)域,利用這個(gè)閾值區(qū)域?qū)D像進(jìn)行閾值分割,從而確定顯著類型標(biāo)志所在的候選區(qū)域;在RGB顏色空間,利用三個(gè)顏色分量之間的灰度差和所設(shè)置閾值之間的關(guān)系來進(jìn)行圖像分割和顏色檢測(cè)。蔣剛毅等、黃志勇等提出了一種基于RGB視覺模型的實(shí)景影像分割算法,其利用歸一化后的顏色分量之間的差值和所設(shè)定閾值的關(guān)系,來進(jìn)行顏色分割;李寧等同樣采用顏色分量之差的方法來進(jìn)行圖像分割。
這類方法直接在RGB顏色空間對(duì)森林植被的特征顏色進(jìn)行分割,不需要進(jìn)行顏色空間的轉(zhuǎn)換,處理時(shí)間短,有利于實(shí)時(shí)應(yīng)用,但此類方法的缺點(diǎn)是受光照條件的影響較大。目前國外有基于多閾值PCNN的運(yùn)動(dòng)目標(biāo)檢測(cè)算法,通過多閾值思想,基于混合高斯模型減背景算法的基礎(chǔ)上,在脈沖耦合神經(jīng)網(wǎng)絡(luò)對(duì)前景和背景的分割過程中,運(yùn)用多閾值,其迭代次數(shù)由簡化的最大熵準(zhǔn)則決定,并且提出了一種新型的模型學(xué)習(xí)率。
2 固定閾值圖像分割方法
顏色信息是森林植被航拍影像最重要的視覺特征,森林植被在夏季時(shí)主要顏色為綠色,在夏季時(shí)候選擇光線好、清晰度高的航拍影像就能很容易引起智能神經(jīng)網(wǎng)絡(luò)的判斷區(qū)劃。由于顏色信息不隨物體的大小和觀察的視角而變化,并具有較強(qiáng)的可分離性,所以,通過特征顏色分割,可在實(shí)景航拍影像中大致檢測(cè)出森林植被的位置。根據(jù)顏色分割時(shí)所選擇的顏色空間的不同,基于RGB顏色空間的方法通過編程獲得基于圖像的RGB顏色數(shù)據(jù),進(jìn)行閾值劃分然后自動(dòng)錄入數(shù)據(jù)庫,得到神經(jīng)網(wǎng)絡(luò)的大量練習(xí)數(shù)據(jù),根據(jù)數(shù)據(jù)通過算法函數(shù)運(yùn)算得到判定值。之后在讀取新圖像時(shí)候通過判定值以及練習(xí)的數(shù)據(jù)進(jìn)行比對(duì)判定出是否符合要求。
從實(shí)景圖像中快速、自動(dòng)地將森林植被區(qū)域分割出來,是森林植被變化自動(dòng)檢測(cè)和識(shí)別的前提。由于植被具有特定色域的顏色類型,基于顏色信息的圖像分割可以有效地進(jìn)行森林管理監(jiān)測(cè)對(duì)比。
2.1 RGB視覺模型原理及其數(shù)據(jù)的特點(diǎn)
眼睛通過3種可見光對(duì)視網(wǎng)膜的椎狀細(xì)胞的刺激來感受顏色。這些光在波長為630nm(紅)530nm(綠)450nm(藍(lán))時(shí)的刺激達(dá)到高峰,通過對(duì)各刺激強(qiáng)度的比較,感受到光的顏色。這種視覺理論就是使用紅、綠、藍(lán)3種基色來顯示彩色的基礎(chǔ),稱之為RGB色彩空間模型。
以R、G、B3個(gè)參數(shù)為坐標(biāo),可以看到一個(gè)單位立方體來描述RGB顏色模型,如圖1所示。紅、綠、藍(lán)是互相正交的坐標(biāo)軸,每個(gè)坐標(biāo)軸都量化為0~255,O對(duì)應(yīng)最暗,255對(duì)應(yīng)最亮,彩色立方體中任一點(diǎn)都對(duì)應(yīng)一種顏色,以下都是常見顏色的RGB數(shù)值。
黑色=(0,0,0);白色=(255,255,255);灰色=(128,128,128);青色=(0,255,255);品紅=(255,0,255);黃色=(255,255,0);紅色=(255,0,0);綠色=(0,255,0);藍(lán)色=(0,0,255)。
RGB彩色系統(tǒng)是通過對(duì)顏色進(jìn)行加運(yùn)算來完成顏色綜合的彩色系統(tǒng),其遠(yuǎn)點(diǎn)是黑色,通過在黑色中加入不同分量的紅色,綠色,藍(lán)色來得到某種彩色。大多數(shù)系統(tǒng)(比如電視機(jī),顯示器等)都采用RGB模型顯示色彩,Windows內(nèi)部的位圖也采用ROB顏色模型。
2.2 HSI視覺空間模型
HSI(Hue,Saturation,Intensity)(色度,飽和度,亮度)是適合人類視覺特性的色彩模型。其中H(色度)表示不同的顏色;而S(飽和度)表示顏色的深淺;I(亮度)表示顏色的明暗程度。HIS顏色空間模型的示意圖如圖2所示。
HSI模型的最大特點(diǎn)就是:H、S、I三分量之間的相關(guān)性較小,在HSI空間中,彩色圖像的每一個(gè)均勻彩色區(qū)域都對(duì)應(yīng)一個(gè)相對(duì)一直的色調(diào)H,所以,可以利用色調(diào)H完成獨(dú)立于亮度的彩色區(qū)域分割。
2.3 RGB模型與HSI模型轉(zhuǎn)換
們通過圖像采集設(shè)備得到的原始圖像一般用RGB空間模型表示,要利用HIS空間對(duì)圖像進(jìn)行分割,前提條件下是將RGB模型轉(zhuǎn)化為HSI模型。(1)(2)(3)
R、G、B對(duì)應(yīng)的是紅、綠、藍(lán)。H、S、I對(duì)應(yīng)的是色度、飽和度、亮度。從轉(zhuǎn)化公式可以看出,由RGB模型向HIS模型轉(zhuǎn)化需要較多的計(jì)算量。所以由以上公式得出結(jié)論,航拍影像色彩分割與識(shí)別在計(jì)算量方面采用RGB模型。
2.4 RGB固定閾值分割算法
這類方法直接在RGB顏色空間對(duì)森林植被的特征顏色進(jìn)行分割,不需要進(jìn)行顏色空間的轉(zhuǎn)換,處理時(shí)間短,有利于實(shí)時(shí)應(yīng)用,但此類方法的缺點(diǎn)是受光照條件的影響較大。
閾值分割算法公式:(4)
其中T是固定閥值,g(x,y)是圖像的(x,y)處的像素的灰度值。
多閾值分割算法公式:
g(x,y)=k(Tk-1≤f(x,y)
圖中,R表示輸入向量的維數(shù),Q表示輸入/目標(biāo)向量的個(gè)數(shù),K表示輸入數(shù)據(jù)種類的個(gè)數(shù)。IW是徑向基層與輸入層之間的權(quán)值矩陣,其維數(shù)為Q×R,LW是競爭層與徑向基層之間的權(quán)值矩陣,其維數(shù)為K×Q,ai1表示第二層輸出向量a1的第i個(gè)元素,IWi表示第二層權(quán)值矩陣IW的第i行元素組成的向量。||ldist||表示輸入P與權(quán)值矩陣IW的歐幾里德距離,符號(hào)“.”表示||dist||的輸出與閾值b1的元素與元素之間的乘積關(guān)系;模塊C表示競爭傳遞函數(shù),其功能是找出輸入向量n2中各元素的最大值,并使其與最大值對(duì)應(yīng)類別的神經(jīng)元輸出為1,其它神經(jīng)元的輸出為0。
本文概率神經(jīng)網(wǎng)絡(luò)徑向基層神經(jīng)元的傳遞函數(shù)、及競爭層的競爭傳遞函數(shù)的形式分別為:(10)
式中,i*為X中最大值的下標(biāo)。概率神經(jīng)網(wǎng)絡(luò)的輸入、輸出的運(yùn)行過程如下:輸入層接收輸入向量Pj=(P1,P2,…,PR)T,j=1,2,…,Q;對(duì)于徑向基層的第i個(gè)神經(jīng)元(i=1,2,…,Q),首先計(jì)算輸入向量P.與權(quán)陣向量IWi間的向量距離di:
di=sqrt((Pi-IWTi)T(Pi-IWTi)) (11)
再結(jié)合閾值b1,計(jì)算第i個(gè)神經(jīng)元的輸入ni1與輸出a21。
ai1=e-ni1×ni1,nni11=dni1×bni1 (12)
計(jì)算競爭層的輸入向量n2,其第m個(gè)(m=1,2,…,K)元素值為nm2:nm2=LWma1;網(wǎng)絡(luò)最終對(duì)應(yīng)的輸出向量a2j為:a2j=compet(n2)。在輸出向量n2中的元素只有0和1兩種值,1在向量中的序號(hào)就是分類的類別序號(hào)。
為了從實(shí)景圖像中分割出特定顏色的森林植被區(qū)域,文中設(shè)計(jì)了可識(shí)別特定顏色類型的顏色識(shí)別神經(jīng)網(wǎng)絡(luò),其可將圖像中的像素分為指定顏色和其它顏色兩種類型,以達(dá)到從圖像中分割出指定顏色目標(biāo)區(qū)域的目的。由于本文的概率神經(jīng)網(wǎng)絡(luò)主要用于從圖像中分割出黃色裸露土地、綠色森林植被和藍(lán)色水域這三種類型的實(shí)景影像顏色,因此,需要設(shè)計(jì)三種結(jié)構(gòu)相同的顏色識(shí)別概率神經(jīng)網(wǎng)絡(luò),以分別識(shí)別“黃色”、“綠色”、“藍(lán)色”和“其它顏色”四種類型的像素,而每一種網(wǎng)絡(luò)只識(shí)別兩種顏色的像素,即指定顏色(黃色、綠色、藍(lán)色中的一種)和其它顏色。每一種顏色識(shí)別網(wǎng)絡(luò)的輸入向量均為像素矢量V=[r,g,b,△rg,△rb,△gb,Rr,Gr,Br,△RG,△RB,△GB],輸出向量是有2個(gè)元素的二值向量T(其中一個(gè)元素值為1,另一個(gè)元素值為O,元素1對(duì)應(yīng)的向量中的序號(hào)表示顏色類型)。所以,文中的PNN的輸入層神經(jīng)元個(gè)數(shù)為12,輸出層神經(jīng)元個(gè)數(shù)為2。輸出向量所表示的顏色類型的規(guī)則為:[1;0]表示輸入像素的顏色是訓(xùn)練顏色(黃色或綠色或藍(lán)色);[0;1]表示輸入像素的顏色是其它顏色。
3.4 PNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練
在針對(duì)3種顏色識(shí)別神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),只需要從圖像上選擇訓(xùn)練區(qū)域,并指定該區(qū)域的顏色類型(黃色或綠色或藍(lán)色或其它顏色),然后將該區(qū)域的像素存入到對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本庫中即可。通過數(shù)據(jù)庫保存數(shù)據(jù),可以進(jìn)行下面的PNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練任務(wù)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的,PNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練是為了得到神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣IW、LW,閾值向量b。利用顏色分割神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)庫中的數(shù)據(jù)對(duì)三類單顏色分割網(wǎng)絡(luò)(針對(duì)黃色、綠色、藍(lán)色)進(jìn)行訓(xùn)練。需要的數(shù)據(jù)有灰度歸一化的平均值,差值,還有圖像像素RGB值。訓(xùn)練時(shí)進(jìn)行了聚類(將一幅圖像中的四種顏色中的每種所對(duì)應(yīng)的所有像素,取平均作為一個(gè)訓(xùn)練數(shù)據(jù),以減少PNN隱含層神經(jīng)元個(gè)數(shù)),減小數(shù)據(jù)量的運(yùn)算,得到網(wǎng)絡(luò)的相關(guān)權(quán)陣和系數(shù)陣。
由于概率神經(jīng)網(wǎng)絡(luò)的徑向基層中神經(jīng)元的個(gè)數(shù)與輸入的樣本向量的個(gè)數(shù)相同,如果直接使用從多幅圖像中選擇的像素樣本數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練,則會(huì)導(dǎo)致網(wǎng)絡(luò)的結(jié)構(gòu)過于龐大、識(shí)別效率降低。所以,對(duì)訓(xùn)練的樣本數(shù)據(jù)進(jìn)行了聚類處理,以減少訓(xùn)練樣本的數(shù)量。具體聚類的方法是:從一幅圖像中選擇的相同顏色的訓(xùn)練像素,在進(jìn)入訓(xùn)練樣本庫之前,對(duì)這些像素的像素矢量取平均,將這個(gè)平均向量作為一個(gè)訓(xùn)練樣本存入樣本庫。
圖5的這兩幅圖像是黃色神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)和與其不同顏色的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù),用來進(jìn)行PNN神經(jīng)網(wǎng)絡(luò)訓(xùn)練。(因黃色不屬于三原色,由綠色和紅色組成,所以特意篩選出紅色)。
代碼在附錄第三段:第一次聚類代碼。第二次聚類之后將聚類的文件進(jìn)行保存,然后進(jìn)行PNN神經(jīng)網(wǎng)絡(luò)計(jì)算。將得到的權(quán)數(shù)矩陣和顏色閾值向量保存早txt文檔中。后面進(jìn)行分割時(shí)候,提取文檔中的相關(guān)數(shù)據(jù)進(jìn)行顏色判定分割。代碼在附錄第四段:第二次聚類代碼。
4 實(shí)驗(yàn)結(jié)果分析
4.1 數(shù)據(jù)準(zhǔn)備與平臺(tái)選擇
本次試驗(yàn)所采用的數(shù)據(jù)是北京居民小區(qū)、市區(qū)街道和郊區(qū)實(shí)景圖像以及外面交通道路實(shí)際情況的500萬像素圖像進(jìn)行分割,其中包括了各種天氣,光線,還有角度反光程度等等因素包括。平臺(tái)準(zhǔn)備程序設(shè)計(jì)通過C#語言在VS2005平臺(tái)進(jìn)行編寫,程序中包括了RGB閾值二值化分割圖像,PNN神經(jīng)網(wǎng)絡(luò)二值化閾值分割兩種分割方法,用于進(jìn)行效果對(duì)比。通過效果的對(duì)比可以更好的對(duì)分割效果進(jìn)行分析與對(duì)比,從而通過最終對(duì)比效果來說明本文算法的優(yōu)勢(shì)以及可行性。圖6為程序界面。
為了保證實(shí)驗(yàn)的數(shù)據(jù)統(tǒng)一性以及可對(duì)比性,采用同一組圖像進(jìn)行分割實(shí)驗(yàn)。以下三幅影像是在不同光照條件下拍攝的,用于測(cè)試圖像分割效果的實(shí)驗(yàn)數(shù)據(jù)。圖7在晴天效果下,陽光照射充分。圖8在陰天效果下,陽光昏暗。圖9在光照效果強(qiáng)烈下,陽光刺眼。
4.2 RGB固定閾值二值分割圖像
對(duì)于圖7~9的實(shí)驗(yàn)圖像,基于固定閾值分割法的分割結(jié)果如圖10、11、12所示。
由此可見,效果并不是很理想,其中在陽光強(qiáng)烈的情況下?lián)诫s了很多其他顏色在內(nèi),對(duì)森林植被的分割添加了很大的難度。在陽光昏暗時(shí)候反而使分割的顏色在二值化圖中與其他顏色混雜在一起難以區(qū)分。
4.3 PNN神經(jīng)網(wǎng)絡(luò)的二值閾值分割圖像
對(duì)一幅彩色圖像中的每一個(gè)像素,提取其像素矢量V,并輸入到訓(xùn)練好的概率神經(jīng)網(wǎng)絡(luò)進(jìn)行顏色識(shí)別,則根據(jù)網(wǎng)K絡(luò)的識(shí)別結(jié)果,可判斷該像素是否屬于指定的顏色類型,指定顏色的像素在分割后的二值圖像上的對(duì)應(yīng)位置處的像素值為1,而其它顏色的對(duì)應(yīng)位置處的像素值為0,從而將彩色圖像分割為二值圖像。即圖像(13)
首先我們先把這幅圖像的數(shù)據(jù)進(jìn)行提取與分析對(duì)比上圖第一組圖像,由此可見,在陽光充足的情況下,PNN分割更好的區(qū)分光照下顏色混雜的問題,容易區(qū)分森林植被的圖形進(jìn)行二次判斷。
對(duì)面第二組圖像在光線暗淡時(shí)候,固定閾值分割很難以分割出林木與道路的區(qū)別,而PNN分割通過5次的學(xué)習(xí)即可在二值化圖像中區(qū)分出少量植被,當(dāng)學(xué)習(xí)量達(dá)到一定次數(shù)時(shí)即可準(zhǔn)確分割,由此可見,不論天氣光線如何,PNN分割的優(yōu)點(diǎn)和效果都遠(yuǎn)遠(yuǎn)大于固定閾值分割的效果(圖13~圖14)。
5 結(jié)語
隨著神經(jīng)網(wǎng)絡(luò)算法的發(fā)展,還有對(duì)于圖像模型的分割算法的優(yōu)化,將來在于算法計(jì)算速度上大大提高,還有數(shù)據(jù)提取方面更加完善,有更多的數(shù)據(jù)在數(shù)據(jù)庫中進(jìn)行分析與解算。通過神經(jīng)網(wǎng)絡(luò)算法進(jìn)行圖像的顏色分割,在數(shù)據(jù)運(yùn)算上比固定閾值分割的量要大,但是通過聚類之后的數(shù)據(jù),進(jìn)行分割時(shí)的運(yùn)算量大大減少。對(duì)于難以區(qū)分的顏色和不同天氣下的圖像,有很好的分割效果。遠(yuǎn)遠(yuǎn)比固定閾值分割所產(chǎn)生的二值化圖像要明顯易于區(qū)分。但是神經(jīng)網(wǎng)絡(luò)分割在前期時(shí)需要大量數(shù)據(jù)進(jìn)行訓(xùn)練才可有明顯的分割效果,所以前期數(shù)據(jù)的準(zhǔn)備要充分。今后需要進(jìn)一步開展的工作有以下幾點(diǎn)。
(1)該程序?qū)τ陬伾崛》矫孢€需要提取,因?yàn)橛羞^多的顏色重復(fù)提取造成計(jì)算量的冗余和大量無用數(shù)據(jù)的堆積,影響以后的運(yùn)算速度和算法的正確分析。
(2)對(duì)于顏色相同的景物時(shí),應(yīng)該加入對(duì)圖像形狀的分析提取,這樣對(duì)于分割出標(biāo)志物的形狀更有幫助,可以極大的節(jié)約解算時(shí)間和分割的正確率。
(3)通過此次程序的編寫,發(fā)現(xiàn)如果把數(shù)據(jù)庫開放,接納更多的圖像數(shù)據(jù),使每個(gè)使用者都可以把自己分析的圖像分割數(shù)據(jù)和實(shí)際數(shù)據(jù)進(jìn)行上傳存放,以及數(shù)據(jù)的整理,可以得到更多的關(guān)于分割的數(shù)據(jù)結(jié)算,更好的進(jìn)行數(shù)據(jù)分割,數(shù)據(jù)的大量積累可以使以后不需要更多的當(dāng)時(shí)分析,只需要進(jìn)行對(duì)比即可,就能很快解讀出當(dāng)前植被區(qū)域。