王其林,王宏健,李 慶,肖 瑤,班喜程

(哈爾濱工程大學(xué) 自動(dòng)化學(xué)院,黑龍江 哈爾濱,150001)

0 引言

聲吶圖像特征提取一直是國(guó)內(nèi)外水下圖像處理研究的重點(diǎn),近年來(lái)國(guó)內(nèi)外學(xué)者已有諸多研究成果。Wei等[1]提出一種通過(guò)對(duì)聲吶圖的陰影進(jìn)行特征提取并進(jìn)行分類的特征提取方法;Reed等[2]利用馬爾科夫隨機(jī)場(chǎng)(Markov random field,MRF)模型結(jié)合統(tǒng)計(jì)合作蛇形(cooperating statistical snake,CSS)模型的方法對(duì)聲吶圖像進(jìn)行特征提取。Rao等[3]提出了符號(hào)圖案分析(symbol pattern analysis,SPA)方法,利用特定目標(biāo)物的特性回波直方圖對(duì)聲吶圖像中水雷進(jìn)行檢測(cè)。羅進(jìn)華等[4]利用數(shù)學(xué)形態(tài)學(xué)完成了對(duì)聲吶圖像輪廓的提取。李海森等[5]利用尺度不變特征變換(scale invariant feature transform,SIFT)算法實(shí)現(xiàn)對(duì)聲吶序列圖像進(jìn)行特征跟蹤。王力[6]利用相位編組法和 Hough法對(duì)圖像進(jìn)行了直線特征提取和匹配;黃勇[7]對(duì)圖像使用線段檢測(cè)(line segment detection,LSD)方法完成了圖像直線特征提取。

上述方法完成了對(duì)目標(biāo)輪廓提取,但得到的特征均為不規(guī)則特征,后續(xù)圖像處理中并不能很好地利用這類特征。Hough變換原理簡(jiǎn)單,在光學(xué)圖像中直線特征提取結(jié)果較好,但作用于邊緣復(fù)雜圖像時(shí),邊緣點(diǎn)轉(zhuǎn)化會(huì)受到影響從而降低直線特征提取質(zhì)量;LSD算法根據(jù)像素梯度可以很好地提取出一些不明顯的特征,但是會(huì)存在直線特征斷裂的問(wèn)題。針對(duì)此,文中提出了相應(yīng)解決方法,解決了Hough變換中邊緣點(diǎn)轉(zhuǎn)換存在的問(wèn)題以及LSD算法中直線特征斷裂問(wèn)題,改善了提取效果。SIFT算法魯棒性較強(qiáng),利用該方法對(duì)圖像進(jìn)行點(diǎn)特征提取,可以有效了解聲吶圖像點(diǎn)特征特點(diǎn)。

1 側(cè)掃聲吶圖像SIFT特征點(diǎn)提取

SIFT算法通過(guò)建立圖像的尺度空間來(lái)精確定位候選特征點(diǎn)的位置,利用梯度求出特征點(diǎn)的幅值和方向,最后構(gòu)建 128維的特征描述子來(lái)完成SIFT算法[8-10]。

1.1 尺度空間特征點(diǎn)檢測(cè)

SIFT算法在圖像處理過(guò)程中引入合適的尺度參數(shù),通過(guò)不斷改變尺度參數(shù)的值和降采樣得到不同模糊程度和大小的圖像,構(gòu)成金字塔式的尺度空間。高斯卷積核是實(shí)現(xiàn)尺度空間的唯一變換核。圖像I(x,y)在不同尺度下的表現(xiàn)形式為

式中,*表示卷積核與圖像的卷積運(yùn)算。

式中:σ為尺度因子;m和n為卷積核模板大小。

對(duì)于金字塔組數(shù)的確定依賴于原始圖和頂層圖像的大小關(guān)系,且

式中:M和N分別為圖像的長(zhǎng)和寬;t為塔頂圖像最小維度的對(duì)數(shù)。高斯金字塔圖像見圖1。

圖1 側(cè)掃聲吶圖像高斯金字塔Fig.1 Gaussian pyramid of side scan sonar image

為保證所檢測(cè)特征點(diǎn)的魯棒性,圖像沿著尺度軸進(jìn)行差分,用高斯差分(difference of Gaussian,DOG)算子建立的差分金字塔替換高斯金字塔,試驗(yàn)結(jié)果見圖2。

DOG算子表達(dá)式為

差分金字塔完成后,檢測(cè)特征點(diǎn)需要判斷差分金字塔中候選點(diǎn)是否滿足在空間鄰域中屬于極大值或者極小值點(diǎn),若滿足則標(biāo)記為初步特征點(diǎn),若不滿足則摒棄。

圖2 側(cè)掃聲吶圖像高斯差分金字塔Fig.2 Difference of Gaussian(DOG)of side scan sonar image

1.2 特征點(diǎn)篩選

為了提高關(guān)鍵點(diǎn)的穩(wěn)定性,需要對(duì)尺度空間DOG函數(shù)進(jìn)行曲線插值,DOG函數(shù)在尺度空間的Taylor展開式為

對(duì)X求導(dǎo)并使方程等于零,得候選點(diǎn)偏移量

DOG算子如果定義不好,會(huì)使得極值點(diǎn)處產(chǎn)生較強(qiáng)的邊緣響應(yīng),為剔除不穩(wěn)定邊緣點(diǎn),取極值點(diǎn)處的Hessian矩陣,如下

求得H的特征值,最大為α,最小為β,通過(guò)式(9)和式(10)建立關(guān)系。而為最大和最小特征值的比值。

1.3 特征點(diǎn)方向賦值

對(duì)于在 DOG金字塔中檢測(cè)出的特征點(diǎn),采集所在高斯金字塔層的3σ鄰域窗口內(nèi)的所有像素梯度和方向的分布特征,梯度幅值和方向計(jì)算如下

統(tǒng)計(jì)各像素點(diǎn)的方向并以梯度模值為基礎(chǔ)建立方向直方圖,設(shè)定合適的劃分閾值,將方向統(tǒng)計(jì)在各對(duì)應(yīng)的直方圖中。最后將各直方圖值的最大值作為特征點(diǎn)的主方向,圖 3中黃色點(diǎn)狀即為提取的點(diǎn)特征。

圖3 特征點(diǎn)主方向檢測(cè)Fig.3 Main direction detection of feature points

特征點(diǎn)常應(yīng)用在圖像之間的匹配中,SIFT算法為了避免光照和視覺變化對(duì)匹配產(chǎn)生影響,利用了特征向量來(lái)構(gòu)建特征點(diǎn)的描述子,從而提高匹配正確率。

1.4 特征點(diǎn)描述

將圖像X軸旋轉(zhuǎn)到與特征點(diǎn)一致的方向。旋轉(zhuǎn)之后以特征點(diǎn)為中心,取鄰域窗口,統(tǒng)計(jì)領(lǐng)域內(nèi)每個(gè)窗口的方向和幅值。為了保證精度,構(gòu)建128維的描述子。即取特征點(diǎn)為中心的16×16鄰域,統(tǒng)計(jì)每4×4個(gè)像素點(diǎn)的梯度和方向,形成一個(gè) 8維的種子點(diǎn),共形成同類型的種子點(diǎn)16個(gè)。

完成描述子的特征向量后,也就建立起圖像匹配的條件,截取一部分圖像,將歐氏距離作為描述子的度量函數(shù),完成 2張圖像點(diǎn)特征之間的匹配[11-13],試驗(yàn)結(jié)果見圖4。

圖4(a)為隨機(jī)抽樣一致(random sample consensus,RANSAC)算法剔除誤匹配前的結(jié)果,還存在明顯的誤匹配,有 19對(duì)匹配點(diǎn);圖 4(b)是經(jīng)RANSAC算法剔除誤匹配后的結(jié)果,為 18對(duì)匹配點(diǎn),已不存在明顯的誤匹配現(xiàn)象。

圖4 側(cè)掃聲吶圖像特征點(diǎn)匹配Fig.4 Feature points matching of side scan sonar image

2 側(cè)掃聲吶圖像直線特征提取

利用SIFT算法可以有效提取到側(cè)掃聲吶圖像的特征點(diǎn),但特征點(diǎn)之間并沒(méi)有形成有效的信息來(lái)展現(xiàn)圖像的輪廓特點(diǎn)或者區(qū)域的特征信息。由于線特征能夠更準(zhǔn)確描述區(qū)域的特點(diǎn)和輪廓特征,使得直線特征相對(duì)于點(diǎn)特征得到的圖像信息更加豐富。文中將對(duì)側(cè)掃聲吶圖像的線特征提取進(jìn)行了研究。

2.1 改進(jìn)的Hough變換方法設(shè)計(jì)

Hough變換是模式識(shí)別領(lǐng)域中對(duì)二值圖像進(jìn)行直線檢測(cè)的有效方法,它通過(guò)分析邊緣點(diǎn)的共線性來(lái)進(jìn)行直線特征的提取,是一種全局性的檢測(cè)提取方法[14-17]。Hough變換是Paul Hough在1959年對(duì)氣泡室(bubble chamber)照片進(jìn)行機(jī)器分析時(shí)提出的,現(xiàn)在使用的Hough變換是1972年由Richard Duda和Peter Hart所提出,被稱之為“廣義Hough變換(generalized Hough transform,GHT)”。

直線特征的Hough變換主要依賴于2個(gè)坐標(biāo)空間之間的變換[18-20],將一個(gè)(圖像)空間中的直線通過(guò)相應(yīng)數(shù)學(xué)計(jì)算映射到另一個(gè)(參數(shù))坐標(biāo)空間的各點(diǎn)集合,形成峰值,從而把檢測(cè)直線特征問(wèn)題轉(zhuǎn)化為統(tǒng)計(jì)峰值問(wèn)題。

平面區(qū)域內(nèi),1條直線可由2個(gè)不同點(diǎn)A(x1,y1)和B(x2,y2)確定(笛卡爾坐標(biāo)系),即y=kx+q,將直線方程變換得到q=-kx+y。寫成關(guān)于(k,q)的函數(shù)表達(dá)式,簡(jiǎn)稱為(k,q)式。坐標(biāo)系間的變換會(huì)使坐標(biāo)系中的1條直線對(duì)應(yīng)(k,q)式中的1個(gè)點(diǎn)(見圖5(a))。(k,q)式到笛卡爾坐標(biāo)系的轉(zhuǎn)換同樣成立。坐標(biāo)系中有 2個(gè)點(diǎn)(見圖 5(b)),每個(gè)點(diǎn)對(duì)應(yīng)(k,q)式中的 1條直線,不共線的兩點(diǎn)映射在(k,q)式中為相交直線,直線交點(diǎn)橫縱坐標(biāo)分別對(duì)應(yīng)著兩點(diǎn)共線所形成的截距和斜率,多點(diǎn)情況類似,點(diǎn)和線在不同坐標(biāo)系下實(shí)現(xiàn)了轉(zhuǎn)換。

圖5 不同參數(shù)下坐標(biāo)轉(zhuǎn)換Fig.5 Coordinates transformation for different parameters

不過(guò)上述表示方法對(duì)于和y軸垂直的直線并不容易實(shí)現(xiàn),由于此時(shí)斜率為+∞,k和q都不容易表示,因此以極坐標(biāo)的形式進(jìn)行替換。變換后的坐標(biāo)系與笛卡爾坐標(biāo)系的變換和上述方法類似,只不過(guò)將參數(shù)(k,q)變?yōu)?ρ,θ),如圖6所示。笛卡爾坐標(biāo)系與極坐標(biāo)系的轉(zhuǎn)換公式為

式中:ρ代表極徑;θ為極角。極徑是指坐標(biāo)系原點(diǎn)到點(diǎn)所在直線的距離,極角是求距離時(shí),垂直線與x軸所形成的夾角。

圖6 笛卡爾坐標(biāo)系與Hough空間的坐標(biāo)轉(zhuǎn)換Fig.6 Coordinate transformation between Cartesian coordinate and Hough space

這種極坐標(biāo)形式的Hough空間轉(zhuǎn)換不受角度影響,適用性更好。利用Hough變換來(lái)進(jìn)行側(cè)掃聲吶圖像直線特征的提取,首先需要對(duì)聲吶圖進(jìn)行去噪,然后對(duì)圖像進(jìn)行邊緣處理,并在此基礎(chǔ)上進(jìn)行直線特征的提取。二值化邊緣處理的方法有高斯拉普拉斯(Laplacian of Gaussian,LOG)算子、Robert算子及Canny算子等,文中采用Canny算子對(duì)聲吶圖像進(jìn)行處理,邊緣處理見圖7。

圖7 Canny邊緣檢測(cè)Fig.7 Canny edge detection

將邊緣點(diǎn)映射到Hough空間得到一系列由正弦和余弦組合成的曲線,將極坐標(biāo)系按照極徑和極角精度來(lái)劃分方格,每個(gè)方格對(duì)應(yīng) 1個(gè)極徑和極角的坐標(biāo),當(dāng)點(diǎn)映射成曲線時(shí),經(jīng)過(guò)每一格子時(shí)相應(yīng)的坐標(biāo)所對(duì)應(yīng)數(shù)值加 1,依次累積,最終將所有點(diǎn)對(duì)應(yīng)的極坐標(biāo)劃分完畢。統(tǒng)計(jì)每個(gè)方格的累計(jì)數(shù),當(dāng)其大于設(shè)定的閾值時(shí),進(jìn)行保留,并反向映射在笛卡爾坐標(biāo)系中,得到最終的直線特征。

該方法的不足是,需要將所有邊緣點(diǎn)轉(zhuǎn)化完成后再提取直線特征,靈活性較低,且僅能找到直線所在位置。具體改進(jìn)方法如下:

1)首先設(shè)置2個(gè)圖像邊緣掩碼矩陣M1、M2,然后將邊緣點(diǎn)進(jìn)行Hough變換,統(tǒng)計(jì)方格中累加器數(shù)值,當(dāng)最大值達(dá)到設(shè)定值時(shí),進(jìn)行步驟 2),否則繼續(xù)轉(zhuǎn)換;

2)在矩陣M2中找到達(dá)到閾值時(shí)的對(duì)應(yīng)點(diǎn),從當(dāng)前點(diǎn)出發(fā),沿直線方向兩側(cè)尋找隸屬于直線上的點(diǎn),要求兩臨近點(diǎn)之間的距離值要限定在閾值內(nèi),大于設(shè)定閾值時(shí)或者到圖像的邊界為止,進(jìn)行步驟3);

3)對(duì)得到的直線進(jìn)行長(zhǎng)度計(jì)算,若不小于設(shè)定值,判斷為正確的直線;若不是,判斷為錯(cuò)誤直線,進(jìn)行步驟4);

4)對(duì)方格累加器數(shù)值進(jìn)行更新,可考慮以下 2種情況:一種是只將滿足閾值的累加器方格清零,另一種是將檢測(cè)到直線上的點(diǎn)對(duì)應(yīng)的所有累加器方格都清零,同時(shí)將檢測(cè)直線上所有的邊緣點(diǎn)在M1對(duì)應(yīng)位置也清零,不再參與下次循環(huán),但M2中不變,回到步驟1),直到所有邊緣點(diǎn)都計(jì)算完畢。

改進(jìn)之后的方法提取直線特征效果見圖8。

圖8 Hough直線提取結(jié)果對(duì)比Fig.8 Comparison of hough straight line extraction results

從試驗(yàn)結(jié)果可知,基本Hough變換提取的直線特征是貫穿整幅圖像的直線(圖 8(a)),沒(méi)有體現(xiàn)出圖像特點(diǎn);改進(jìn)之后的2種方法都能準(zhǔn)確展現(xiàn)圖像的直線特征;圖 8(b)中的方法僅根據(jù)直線中邊緣點(diǎn)數(shù)量減少滿足閾值的ρ-θ值,所以同一個(gè)點(diǎn)可參與到其他直線特征檢測(cè)中,檢測(cè)到直線特征較多;圖 8(c)中方法會(huì)將直線邊緣點(diǎn)對(duì)應(yīng)在ρ-θ中的所有值都做出相應(yīng)減少,即同一點(diǎn)不再參與到后面的ρ-θ值統(tǒng)計(jì)中,故直線特征數(shù)減少,但從試驗(yàn)結(jié)果看,并不影響圖像的特征描述。

2.2 改進(jìn)的LSD直線特征提取變換方法設(shè)計(jì)

將 LSD應(yīng)用到側(cè)掃聲吶圖像的線特征提取中效果也很理想。與 Hough直線特征提取不同,LSD算法直線特征提取以每個(gè)像素點(diǎn)的梯度和幅值作為基礎(chǔ)進(jìn)行處理[21-23]。

LSD 算法中采用2×2模板對(duì)像素梯度幅值和方向進(jìn)行計(jì)算,如圖9所示。

圖9 像素點(diǎn)位置示意圖Fig.9 Schematic diagram of pixel locations

圖中,(x,y)像素點(diǎn)的梯度大小可按下式求得

其中

選擇較大梯度幅值的像素點(diǎn)作為起始點(diǎn),將梯度方向在一定閾值內(nèi)的相鄰點(diǎn)歸在同一區(qū)域,并將區(qū)域中的所有點(diǎn)作為初始點(diǎn)重復(fù)尋找,直到歸并所有滿足條件的像素點(diǎn)。此過(guò)程即為區(qū)域增長(zhǎng)。通過(guò)區(qū)域增長(zhǎng)過(guò)程得到的區(qū)域方向?yàn)?/p>

式中,θi表示區(qū)域內(nèi)像素點(diǎn)的梯度方向。

提取區(qū)域的直線特征,需要用矩形區(qū)域?qū)λ脜^(qū)域進(jìn)行近似估計(jì)。為了得到估計(jì)矩形的長(zhǎng)度、寬度和中心等,要利用對(duì)像素灰度值的計(jì)算對(duì)中心坐標(biāo)進(jìn)行定位,且

式中:cx和cy表示增長(zhǎng)區(qū)域生成矩形中心點(diǎn)位置的坐標(biāo);g(I)表示像I處像素點(diǎn)的灰度值大小;x(I)和y(I)是指像素點(diǎn)I的坐標(biāo),矩形梯度方向由式(14)求得。通過(guò)計(jì)算確定矩形結(jié)構(gòu)后,將矩形的中軸線作為要提取的直線特征,將其作用于側(cè)掃聲吶圖像的直線特征提取結(jié)果見圖10。

圖10 線段檢測(cè)直線特征提取結(jié)果Fig.10 Straight line feature extraction result of line segment detection(LSD)

可以看到,由LSD算法提取的直線特征較多,但是由于側(cè)掃聲吶和海底地形的特點(diǎn)以及直線相交處會(huì)出現(xiàn)斷裂,使得直線特征長(zhǎng)度較短的數(shù)量增多。對(duì)此,將斷裂的直線特征進(jìn)行擬合,然后根據(jù)圖像直線特征設(shè)置不同的長(zhǎng)度限制閾值對(duì)比擬合前后的效果。擬合過(guò)程如下:

1)隨機(jī)選擇一條直線特征l,求出該點(diǎn)的斜率k和兩端點(diǎn),在余下的直線中尋找和l斜率相近的直線,滿足找到所有符合條件的直線后轉(zhuǎn)步驟2);

2)在滿足條件的直線中依次計(jì)算每條直線兩端點(diǎn)和l兩端點(diǎn)的距離,若其中的 4個(gè)距離存在小于設(shè)定閾值dis的情況,則保留,轉(zhuǎn)步驟3),否則重新尋找;

擬合后的直線特征可有效減少直線特征因相交而出現(xiàn)的斷裂問(wèn)題,也可以將相似直線特征合并。圖 11給出了圖像特征擬合之后的試驗(yàn)結(jié)果(白色線狀即為提取的直線特征)。

圖11 不同閾值下LSD直線特征提取結(jié)果Fig.11 LSD line feature extraction results under different thresholds

圖11(a)是沒(méi)有經(jīng)過(guò)擬合的直線特征,從左至右長(zhǎng)度閾值為15和18,圖11(b)為經(jīng)過(guò)擬合后在對(duì)應(yīng)長(zhǎng)度閾值條件下得到的直線特征。LSD算法中,不同的長(zhǎng)度閾值會(huì)影響直線特征數(shù)量,過(guò)小可能會(huì)受噪聲影響,提取的直線特征數(shù)量過(guò)多,且直線特征不準(zhǔn)確;過(guò)大會(huì)使得檢測(cè)特征數(shù)過(guò)少,不能有效描述圖像特點(diǎn)。具體提取數(shù)量結(jié)果見表1。

表1 試驗(yàn)結(jié)果數(shù)據(jù)列表Table 1 List of experimental results

3 試驗(yàn)結(jié)果分析

文中所用試驗(yàn)圖像為某海域的側(cè)掃聲吶圖像,圖像處理環(huán)境為Windows操作系統(tǒng)下基于Visual Studio 2010開發(fā)環(huán)境C++語(yǔ)言。

根據(jù)Hough變換和LSD方法優(yōu)化前后結(jié)果進(jìn)行對(duì)比來(lái)分析特征提取效果。試驗(yàn)結(jié)果見表1。

將點(diǎn)特征和直線特征的試驗(yàn)結(jié)果對(duì)比可以看出,點(diǎn)特征較多,分布與圖像各區(qū)域,描述圖像信息的能力較弱,常用于圖像之間的點(diǎn)特征匹配。直線特征可很好地描述圖像特征的特點(diǎn),相對(duì)于點(diǎn)特征表現(xiàn)更好。從試驗(yàn)結(jié)果可知,優(yōu)化之后的Hough變換可以根據(jù)圖像特點(diǎn)靈活改變特征長(zhǎng)度,增加了直線特征的數(shù)量,更精確地描述了圖像特點(diǎn)。優(yōu)化之后的LSD算法也有效解決了因直線特征相交而斷裂造成圖像過(guò)多過(guò)短的問(wèn)題。

從表 1中可知,Hough變換優(yōu)化后檢測(cè)到的圖像特征增多,優(yōu)化(1)因?yàn)榭紤]到同一點(diǎn)可以參與到不同直線的檢測(cè)中,所以會(huì)產(chǎn)生一部分差別小的直線特征,數(shù)量相對(duì)優(yōu)化(2)較多,可以根據(jù)需要特征數(shù)量來(lái)選擇合適的優(yōu)化方法。LSD算法中,在同樣長(zhǎng)度閾值篩選下,擬合后的特征數(shù)較多,這是因?yàn)槲磾M合之前直線特征會(huì)因相交斷裂,造成直線特征較短,在篩選中被去除;而擬合時(shí)會(huì)將斷裂的直線特征結(jié)合,保證了特征長(zhǎng)度,可以避免被篩掉。從圖11中可知,擬合后的直線特征在篩選之后數(shù)量增多,特征長(zhǎng)度也相對(duì)較長(zhǎng)。因此文中的優(yōu)化方法在解決直線特征提取的質(zhì)量不高及直線特征斷裂等問(wèn)題的同時(shí),也保證了提取的直線特征能較好地描述聲吶圖像的特點(diǎn)。

4 結(jié)束語(yǔ)

聲吶圖像特征提取一直是國(guó)內(nèi)外水下圖像處理的研究重點(diǎn)。文中在對(duì)側(cè)掃聲吶圖像的特征提取過(guò)程中,通過(guò)對(duì)點(diǎn)、線特征的提取,可加強(qiáng)對(duì)點(diǎn)、線兩種不同特征的認(rèn)識(shí),以對(duì)比圖像特征提取的效果。研究結(jié)果表明,直線特征更能體現(xiàn)出圖像的特點(diǎn),描述的信息更多。文中也說(shuō)明了光學(xué)圖像中常用的直線提取方法也適用于聲吶圖像的直線特征提取。針對(duì)Hough變換提取的線特征不夠理想問(wèn)題,提出的Hough空間轉(zhuǎn)換的優(yōu)化可以提高提取線特征的質(zhì)量;另外針對(duì)LSD出現(xiàn)提取線特征斷裂問(wèn)題,文中也設(shè)計(jì)了線特征擬合的方法進(jìn)行線特征擬合,通過(guò)擬合那些判斷為斷裂的線特征,降低了斷裂線特征的影響。

然而,基于聲吶圖像的特點(diǎn),在某些區(qū)域檢測(cè)到的直線特征比較密集,相似特征數(shù)量太多,在描述圖像特點(diǎn)甚至是圖像的直線特征匹配中存在不足,需要在保證直線特征質(zhì)量的同時(shí)能減少密集區(qū)相似直線特征的數(shù)量,這也是下一步需要進(jìn)行研究的方向。