馬忠麗,梁秀梅,文 杰
(哈爾濱工程大學自動化學院,150001哈爾濱)
水面目標圖像分割技術(shù)是水面艦船、艦艇等視覺偵查系統(tǒng)目標圖像處理的一項關(guān)鍵技術(shù),是艦船等捕獲、精確跟蹤與識別目標的重要前提和基礎(chǔ).水面視覺傳感器采集的目標圖像中,一般以海水、天空為背景,而圖像由于受水面環(huán)境與天氣的影響,會附加很多噪聲使圖像目標細節(jié)模糊不清.劉小霞等[1]對紅外水面艦船目標圖像進行歸一化投影后,采用改進的OTSU閾值算法分割,算法簡單但運行不穩(wěn)定.汪成亮等[2]提出應用二維小波變換對江面船舶圖像提取邊緣輪廓,算法抗噪能力強,提取效果好,但算法理論結(jié)構(gòu)較為復雜.李棉[3]對陸地上含有不同目標的圖像用迭代OTSU閾值分割算法與基于Mean-Shift(均值漂移)的分割算法進行分割,實驗結(jié)果表明基于Mean-Shift的圖像分割算法運行速度快且結(jié)果穩(wěn)定.
Mean-Shift是一種無參數(shù)核密度估計的迭代算法,Brooks等[4]將該算法應用到圖像分割、視覺跟蹤等領(lǐng)域,并證明了算法的有效性.Mean-Shift算法通過非參數(shù)密度估計進行區(qū)域像素點聚類從而實現(xiàn)圖像分割,由圖像特征空間中的空間域帶寬與灰度域帶寬參數(shù)決定圖像分割效果[5-6].Zheng等[7]通過設(shè)定初始帶寬,然后按照帶寬逐步增加的方式來尋找圖像的理想帶寬,從而實現(xiàn)圖像的分割.Comaniciu等[8-9]圖像分割研究中,運用動態(tài)和自適應選取帶寬的方法降低了算法的迭代次數(shù).Mayer等[10]通求求取參考點K-最近鄰距離得到帶寬參數(shù),但是當圖像分辨率較高時,計算量較大.Mahmood等[11]根據(jù)改進的貝葉斯理論,自適應確定Mean-Shift算法中的灰度域帶寬,然而空域帶寬的設(shè)置直接影響圖像的最終分割結(jié)果.
考慮水面目標圖像特點,這里給出一種改進的自適應Mean-Shift算法,將其用于水面艇視覺系統(tǒng)的水面目標分割,仿真結(jié)果證明了該算法的可靠性.
文獻[12]對Mean-Shift圖像分割算法原理做了詳細推導,其原理為
其中:mh(x)稱為Mean-Shift迭代公式;在d維特征空間中,G(x)為核函數(shù),決定了采樣點xi與中心點x之間的相似性;h為帶寬參數(shù),帶寬參數(shù)不但決定了參與迭代的采樣點數(shù)量,而且還會影響算法的收斂速度和準確性.
令Mh(x)=mh(x)-x為Mean-Shift向量,模態(tài)點的搜索即是通過mh(x)的迭代計算尋求使mh(x)→x的點,搜索過程也可以描述為,每次迭代計算都是從當前采樣點指向密度較高的區(qū)域中的采樣點,即
算法在該點的收斂性已得到驗證[13].
Mean-Shift算法的聚類運算是在一個聯(lián)合空間范圍域中進行,這種方式有利于對水面艇視覺系統(tǒng)獲得的近距離與遠距離目標圖像進行處理.聯(lián)合域內(nèi)核是一種基于空間域與值域的對稱核,表示為
其中:c為對應的標準化常量;hs是p維空間域,hr是d維灰度域核帶寬,實際應用中,這兩個參數(shù)的設(shè)定決定著最終目標分割效果;xs表示空間域;xr是特征向量的值域;k(x)表示空間域和值域共同的輪廓.
Mean-Shift算法圖像分割基本思想是先利用式(1)進行模態(tài)搜索,得到模態(tài)點,從而對目標圖像進行平滑濾波,然后對模態(tài)點包含的像素進行統(tǒng)計,將像素數(shù)量少的那些模態(tài)點聚合到鄰近的模態(tài)中,從而實現(xiàn)目標圖像分割.
給定Mean-Shift迭代式(1)的初始條件,包括模態(tài)搜索的起始位置,核函數(shù)G(x),帶寬(hs,hr),以及誤差ε=0.01和區(qū)域聚合的最小限參數(shù)M.給定初始條件后Mean-Shift算法主要分平滑濾波和區(qū)域聚合兩步進行.其中平滑濾波步驟如下:
1)令 j=1,yi,1=xi,對該像素點 xi,計算mh(xi);
2)如果|mh(xi)-xi|>ε,移動窗口中心到下一點,并且標記 yi,j+1,利用式(1)求得該點的mh(xi),直到 Mean-Shift向量滿足 |mh(xi)-xi|<ε,表明初始點的模態(tài)點已找到,記錄該模態(tài)點,將該模態(tài)點的像素坐標賦給xi,且將其像素值保存為 yi,c;
3)將第2)步每次迭代運算得到的像素點xi和收斂值yi,c保存在zk中,即zk={xs別表示像素點空間上的位置信息和灰度特征的值域信息.
將經(jīng)過平滑濾波后的圖像進行區(qū)域聚合處理,具體步驟如下:
1)根據(jù)上一步平滑濾波圖像中每個像素點的空域和值域信息,將模態(tài)點zk中同時滿足值域距離小于hr和空域中距離小于hs的點聚合在一起,即{zk∈ Cp}p=1,2,…,m;
2)將模態(tài)點聚合后的區(qū)域中像素總數(shù)小于M的區(qū)域剔除.
為解決傳統(tǒng)Mean-Shift算法的全局固定帶寬適用性不強的問題,本文結(jié)合Mahmood確定灰度域帶寬的方法,通過估計中心點鄰域的灰度分布,自適應確定空間域帶寬從而實現(xiàn)Mean-Shift迭代算法中帶寬參數(shù)的自動獲取,達到自適應分割的目的.
在圖像平滑濾波操作中,核函數(shù)的作用范圍由空間域帶寬決定,對圖像平滑效果有著一定的影響.在利用固定帶寬參數(shù)分別對水面艇視覺系統(tǒng)采集到的遠、近距離目標視頻幀進行處理時,通常會出現(xiàn)一方過平滑或欠平滑的現(xiàn)象,帶寬參數(shù)手動調(diào)節(jié)無法實現(xiàn)自適應目標分割效果,為解決這一問題,提出了一種自適應空間域帶寬計算方法.
自適應空間域帶寬計算方法如下:首先設(shè)定1個空域帶寬初值hs0,參考像素點xi,假設(shè)該點灰度值為Ti.在以xi為中心,邊長為(2×hs0+1)的正方形窗內(nèi),統(tǒng)計窗口中與參考中心點xi灰度值相近的像素點數(shù)目mi,本文中將滿足|Tj-Ti|≤5的像素點認為是灰度值相近的像素點,其中Tj為窗口內(nèi)中心點以外的像素點的灰度值.當mi/(2×hs0+1)2<0.8時認為hs0為該像素點的自適應帶寬,記為hi,且將該帶寬值存入矩陣H中.若不滿足mi/(2×hs0+1)2<0.8則令hs0=hs0+1,然后繼續(xù)統(tǒng)計窗口大小更新以后的灰度值相近的比例,直到滿足總像素數(shù)小于80%的條件為止.其算法流程如圖1所示.
圖1 空域帶寬自適應計算流程
本文灰度域帶寬的自適應計算思想如下:設(shè)局部數(shù)據(jù)類s,x為該類中的樣本點,通過求解數(shù)據(jù)類s的后驗概率密度函數(shù)P(s|x),從而得到灰度域帶寬.假設(shè)在類s中點xi的最近鄰域內(nèi)的數(shù)目為K,K<n,這里的最近鄰域為前面所求的該參考點空間域帶寬,計算空間窗口內(nèi)所有除參考樣本點xi以外的點與xi的歐幾里得距離,并且將距離按照升序的方式排列,即
其中xi,(j)≠xi且j=1,2,…,K-1.
由此帶寬的概率密度函數(shù)定義為
其中P(s|xKj)是局部數(shù)據(jù)類s對xKj的Kj最近鄰域內(nèi)樣本點的條件概率,{Kj,j=1,2,…,N}是一組具有不同大小的N個鄰域.
s在Kj整個范圍中的概率估計描述為
由貝葉斯準則可知
其中:P(xKj|Kj)表示數(shù)據(jù)樣本基于Kj最近鄰域的概率,Kj服從均勻分布,定義其范圍為[h0,hs(xi)],hs(xi)對應于每次Mean-Shift迭代參考點xi的空間窗帶寬,令Kj=hj滿足
則所包含的采樣點數(shù)目為Zj=(2×hj+1)2-1.而局部變量s可通過下面的表達式獲得:
其中xl為特征點xi最近鄰窗口中的像素點的灰度值.
采用伽馬分布對局部數(shù)據(jù)類s建模,伽馬分布表示如下:
其中:α為形狀參數(shù),β為尺度參數(shù),利用極大似然估計的方法對其進行估計,通過求取局部數(shù)據(jù)類s伽馬分布的期望從而得到灰度域帶寬,即hr(xi)=,i=1,2,…,n.由此得到聯(lián)合域的內(nèi)核立體圖如圖2所示.
自適應Mean-Shift算法的偽代碼如下所示.
輸入:目標的灰度圖像A;
輸出:平滑濾波圖像和分割后圖像.
begin
hs=hs-adaptive(A);%根據(jù)圖1的流程圖確定每個像素點的空域帶寬,
%hr=hr-adaptive(A,hs);
for按圖像行列逐點搜尋
判定每個參考像素點對應hs是否為1:
if(不為1)
則根據(jù)式(3)~(4)計算對應的Zj表現(xiàn)概率,選取最優(yōu)概率的Kj值,由式(5)確定sj;
以sj為一組樣本數(shù)據(jù)類,根據(jù)式(6),由極大似然估計法求得參數(shù)α和β;從而求得對應參考像素點的灰度域帶寬hr(xi)=.
if(為1)直接由式(5)求得sj,代入式(6),運用極大似然估計法求取參數(shù)α和β;
end
for圖像的每一個參考像素點
B=meanshiftsmooth(A(,),hs(:,:),hr(:,:),gauss);%根據(jù)自適應得到的帶寬,利用核函數(shù)kernelmatrix以及式(3)得到平滑濾波圖像
B-Seg=meanshiftseg(B)%根據(jù)前面1.2節(jié)所述的方法,得到最后的目標分割結(jié)果.
圖2 聯(lián)合域核立體圖
本文水面艇圖像采集系統(tǒng)攝像器件為CMOS攝像頭,動態(tài)分辨率1 280×960,最大幀頻60 FPS,像素500萬;算法的仿真實驗在Intel Core i5-3210M雙核CPU、4 GB內(nèi)存,matlab7.6軟件環(huán)境下實現(xiàn).
得到的水面圖像分為近、遠距離目標圖像,仿真內(nèi)容包括:1)空間域與灰度域帶寬自適應計算分析;2)從視覺角度與分割誤差兩方面驗證算法有效性和準確度;3)算法對水面目標處理的適用性驗證.
將圖像轉(zhuǎn)換為352×288的灰度圖像.圖3(a)、(b)是近距離水面目標,景深距離均為20.52 m(艇上激光測距得到),圖3(a)圖像的背景比較簡單,船只的對比度相對較高,而圖3(b)中水面的波紋較為突出,圖像中目標和背景的灰度相似,對比度不明顯.圖3(c)、(d)是由水面艇實際遠距離拍攝的水面目標,圖3(c)為遠景圖像,其背景較清晰,圖3(d)背景較暗,對比度低,景深距離分別為151.45、190.32 m.
圖3 水面目標灰度圖
圖像的全局對比度公式為
式中r(i,j)為相鄰像素點灰度值的差值,p(i,j)為灰度值差為r的分布概率.圖3中各圖像的對比度如表1所示.
表1 圖3中各圖像對比度
截取圖3(b)中目標與背景的1個小區(qū)域圖像如圖4(a),區(qū)域尺寸為39×16,圖4(b)為該子區(qū)域灰度分布圖,對該區(qū)域進行平滑操作后的灰度分布如圖4(c)所示,圖4(d)為分割后的灰度分布圖.
在圖3(b)中目標、背景區(qū)域各選取1個像素點作為參考點,這里的參考像素點坐標選取為(89,38)、(9,22),帶寬的自適應計算流程如下:
坐標為(9,22)的像素點灰度值為56,該點附近的灰度分布值如圖5(a)所示,圖5(a)中值1為滿足|Tj-Ti|≤5條件的像素點,值0表示不滿足該條件的像素點,由此得到此像素點處空間域帶寬的值為3.則在[1,3]的范圍內(nèi),利用貝葉斯準則得到該鄰域內(nèi)的K值分布結(jié)果如圖5(c),因此取K=2,此時對應的該像素點灰度域帶寬值為53.
在坐標為(89,38)的像素點,其對應灰度值為140,對其鄰域的灰度分布估計值如圖5(b),從而得到空間域帶寬值為6.在[1,6]范圍內(nèi),利用貝葉斯準則得到該像素點鄰域內(nèi)K的分布結(jié)果如圖5(d)所示,從而得到K=4,此時其灰度域帶寬為109.
由以上的自適應帶寬計算結(jié)果可以看出,本文自適應帶寬計算方法保證了在密度較小的區(qū)域自動選取較小的空域帶寬值,在密度較大的區(qū)域中則使用相對較大的空域帶寬值,而灰度域帶寬的計算則與其對應的空間窗大小緊密相關(guān),在目標和背景中能自適應的選取不同的帶寬.
圖4 子區(qū)域平滑分割前后灰度分布對比
圖5 參考點對應帶寬自適應計算過程
Mean-Shift算法中,帶寬參數(shù)主要影響圖像的平滑濾波過程,為后續(xù)分割過程做鋪墊;另外一個影響分割結(jié)果的因素是區(qū)域聚合最小限參數(shù)M.實驗中,算法中的區(qū)域聚合最小限參數(shù)M設(shè)置相同的值.
為了說明本文算法的有效性,將文獻[7]提出的帶寬獲取方法與本文自適應獲取帶寬的方法進行分割效果對比.圖6和圖7是文獻[7]Mean-Shift算法的平滑和分割結(jié)果,圖8和圖9是本文自適應Mean-Shift算法的處理結(jié)果.
圖6 文獻[7]算法的圖像平滑效果
圖7 文獻[7]算法的圖像分割效果
如圖6所示,文獻[7]通過逐步增加帶寬值直到得到最終理想帶寬的方法,由于得到的帶寬仍然是全局帶寬,所以該方法的平滑結(jié)果會出現(xiàn)如圖6(a)中箭頭所示的局部平滑不均勻現(xiàn)象,對于近距離目標圖像會出現(xiàn)局部細節(jié)欠平滑現(xiàn)象,遠距離目標則容易出現(xiàn)過平滑的現(xiàn)象,會影響最終分割結(jié)果的精度.而本文自適應分割算法在對圖像的平滑操作過程中同時考慮了參考點的空間窗大小和其鄰域中像素點的灰度值信息,在視覺上取得了更好的平滑效果.
圖8 本文自適應Mean-Shift算法的圖像平滑效果
圖9 本文自適應Mean-Shift算法的圖像分割效果
為說明本文算法的有效性,本文從客觀實驗的角度來進行驗證.對圖3中的4幅圖分別進行手工分割,并作為該目標的標準分割圖,將手工分割結(jié)果與本文算法分割結(jié)果二值化,計算本文自適應分割算法的分割結(jié)果與標準分割結(jié)果之間的誤差.其中手工分割結(jié)果二值化圖像如圖10~13中圖(a)所示,本文算法分割結(jié)果的二值化圖像如圖10~13中圖(b)所示,分割誤差的二值化圖像如圖10~13中圖(c)所示,計算分割誤差的公式為
式中Ⅰs表示標準分割的二值化圖像中目標區(qū)域(白色區(qū)域)所含的總像素數(shù),Ⅰa表示本文算法分割后二值化圖像中目標區(qū)域的總像素數(shù).
根據(jù)式(7),本文算法對圖3的分割誤差如表2所示,對于近距離的水面目標圖像,其分割誤差小于7%,對于遠距離的水面目標圖像的分割誤差小于10%,由表中數(shù)據(jù)以及結(jié)合圖6~9的主觀評價結(jié)果說明本文算法分割后沒有造成嚴重的目標失真現(xiàn)象,達到了目標分割的目的,并且分割效果較好.
表2 本文算法目標分割誤差
圖10 圖3(a)分割對比
圖11 圖3(b)分割對比
圖12 圖3(c)分割對比
圖13 圖3(d)分割對比
對于水面目標圖像,特別是遠距離水面目標圖像,通常目標和背景的對比度不明顯,目前常用基于OTSU的自適應閾值分割算法來實現(xiàn)水面目標圖像的分割,為了進一步說明本文算法適用于水面目標圖像分割,將本文自適應Mean-Shift分割算法與OTSU分割方法進行對比分析,分割結(jié)果對比如圖14~15所示.
圖14 基于OTSU的自適應閾值分割結(jié)果
圖15 本文算法分割結(jié)果
基于OTSU閾值分割算法的分割結(jié)果如圖14所示,本文算法的分割結(jié)果如圖15所示.從圖14(c)、(d)可以看出基于OTSU的自適應閾值分割算法能檢測出海天線處的目標,但是分割后得到完整的目標較為困難,分割后含有許多海面背景部分.從圖14(b)可以看出,當目標位于海面處而且當目標灰度與海面近似時,OTSU分割方法分割后無法得到目標.而從圖15(b)中可以看出,本文算法能自動分割出目標,而且分割目標較為完整.從圖14~15的整體對比也能明顯看出本文算法優(yōu)于OTSU算法,說明本文算法適合于水面目標圖像的分割.
1)改進自適應Mean-Shift算法的水面圖像分割技術(shù),能很好實現(xiàn)空間域帶寬與灰度域帶寬參數(shù)的自適應計算.測試能夠體現(xiàn)出在圖像灰度密度較高的區(qū)域?qū)崿F(xiàn)了較小空域帶寬的選擇,在圖像灰度相對較小的區(qū)域?qū)崿F(xiàn)了較大空間域帶寬的選擇.而灰度域帶寬和空域帶寬緊密聯(lián)系,結(jié)合貝葉斯準則選擇對應空間窗的灰度點.
2)大量實驗結(jié)果表明改進自適應Mean-Shift算法能夠完成對水面目標圖像實現(xiàn)較好的、整體度較高的分割.
3)但研究也顯示算法還存在分割準確度的不確定性、不可靠性,當圖像信息量大時運行速度會下降、分割效果不理想等缺點和問題.因此,對算法中的選取采樣點的策略以及分割區(qū)域合并過程中的參數(shù)選取方法是下一步研究重點.
[1]劉小霞,徐貴力.嵇盛育.一種改進的艦船紅外圖像分割算法[J].傳感器與微系統(tǒng),2008,27(6):37-39.
[2]汪成亮,汪連偉.基于特征的江面輪船識別算法[J].計算機應用研究,2011,28(6):2352-2354.
[3]李棉.紅外圖像目標分割方法研究[D].西安:西安電子科技大學,2011.
[4]SHEN C H,BROOKS M J.Fast global kernel density mode seeking:applications to localization and tracking[J].IEEE Transactions on Image Processing,2007,16(5):1457-1469.
[5]PARK A ,KIM J,MIN S,et al.Graph cuts-based automatic color image segmentation using mean shift analysis[C]//In:Proceedings of the Conference on Digital Image Computing:Techniques and Applications.Piscataway:IEEE,2008:564-571.
[6]LI P F,WANG S R,JING J F.The segmentation in textile printing image based on mean shift[C]//In:Proceedings of the 10th Conference on Computer-Aided Industrial Design and Conceptual Design.Piscataway:IEEE,2009:1528-1532.
[7]ZHENG L Y,ZHANG J T,WANG Q Y.Mean-Shiftbased color segmentation of images containing green vegetation [J]. Computers and Electronics in Agriculture,2009,65(1):93-98.
[8]COMANICIU D.An algorithm for data-driven bandwidth selection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(2):281-288.
[9]COMANICIU D,RAMESH V,MEER P.The variable bandwidth Mean-Shift and data-driven scale selection[C]//Proceedings of Eighth IEEE International Conference on Computer Vision,2001.Piscataway:IEEE,2001:438-445.
[10]MAYER A,GREENSPAN H.An adaptive Mean-Shift framework for MRI brain segmentation[J].IEEE Transactions on Medical Imaging,2009,28(8):1238-1250.
[11]MAHMOOD Q,CHODOROWSKI A,MEHNERT A.A novel Bayesian approach to adaptive mean shift segmentation of brain images[C]//2012 25th International Symposium on Computer-Based Medical Systems(CBMS).Piscataway:IEEE,2012:1-6.
[12]CHENG Y Z.Mean shift,mode seeking,and clustering[J]. IEEE Transactionson Pattern Analysisand Machine Intelligence,1955,17(8):790-799.
[13]李鄉(xiāng)儒,吳福朝,胡占義.均值漂移算法的收斂性[J].軟件學報,2005,16(3):365-374.