董富江,袁 淵

(寧夏醫(yī)科大學(xué)理學(xué)院,寧夏 銀川 750004)

1 引言

圖像信息可通過圖像特征得以體現(xiàn)[1],統(tǒng)計(jì)現(xiàn)有的圖像特征,可將其分為以下兩類,第一類為物體形狀、紋理和顏色等全局特征,第二類為斑點(diǎn)和角點(diǎn)等局部特征,全局特征與局部特征相比,具有描述性強(qiáng)的優(yōu)點(diǎn),且提取過程復(fù)雜度較低,局部特征適用于復(fù)雜場(chǎng)景下的圖像識(shí)別[2]。在采集全景圖像時(shí),光照條件和視角均不相同,且容易受到復(fù)雜背景的干擾,增加了提取圖像局部特征點(diǎn)的難度,在此背景下,對(duì)全景視覺圖像局部特征點(diǎn)檢測(cè)方法展開分析和研究具有重要意義。

王麗娜[3]等人首先劃分圖像,針對(duì)劃分得到的若干圖像塊,通過相位一致性中間矩獲得其對(duì)應(yīng)的多矩圖,設(shè)置投票策略,對(duì)多矩圖中存在的特征點(diǎn)展開評(píng)分,選取評(píng)分最高的特征點(diǎn)作為圖像的局部特征點(diǎn)。該方法處理圖像時(shí),容易丟失邊緣細(xì)節(jié)信息,存在邊緣保持能力差的問題。丁國(guó)紳[4]等人在鄰域范圍內(nèi)粗匹配處理圖像像素信息,計(jì)算圖像相似程度,按照從高到低的順序?qū)ο袼嘏判?選取前四組像素點(diǎn),通過匹配校正特征點(diǎn),完成特征點(diǎn)的提取。該方法檢測(cè)特征點(diǎn)所需的時(shí)間較長(zhǎng),且檢測(cè)結(jié)果不準(zhǔn)確,存在檢測(cè)效率低和檢測(cè)準(zhǔn)確率低的問題。

為了解決上述方法中存在的問題,提出復(fù)雜場(chǎng)景下全景視覺圖像局部特征點(diǎn)檢測(cè)方法。

2 全景視覺圖像去噪

采用經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition, EMD)方法將圖像x(t)分解的過程描述為:

(1)

式中,rZ代表剩余項(xiàng);imfi代表分解得到的第i個(gè)IMF分量;Z代表IMF分量的數(shù)量。

圖像經(jīng)過EMD分解后被分解為低頻和高頻系數(shù),經(jīng)統(tǒng)計(jì)發(fā)現(xiàn),噪聲具有高頻特性,因此傳統(tǒng)的EMD方法對(duì)圖像去噪時(shí),通常將圖像中的高頻分量直接丟棄,通過累加分解后的低頻IMF實(shí)現(xiàn)圖像的去噪處理,但這種去噪方式容易降低圖像的完整性,丟失圖像中存在的細(xì)節(jié)信息。

為了解決上述問題,結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解方法和CLEAN算法對(duì)全景視覺圖像展開去噪處理,首先采用經(jīng)驗(yàn)?zāi)B(tài)分解方法[5-6]分解全景視覺圖像,其次計(jì)算IMF分量對(duì)應(yīng)的信息熵,高頻IMF分量的數(shù)量可通過IMF信息熵序列對(duì)應(yīng)的最大值確定,最后通過CLEAN算法抑制高頻IMF分量中存在的噪聲,實(shí)現(xiàn)全景視覺圖像的去噪。

設(shè)Gi代表全景視覺圖像中imf對(duì)應(yīng)的信息熵,可通過下式計(jì)算得到:

(2)

設(shè)gj是由分量信息熵之間的差值構(gòu)成的序列,其表達(dá)式如下:

gj=|Gj+1-Gj|

(3)

假設(shè)信息熵差值序列中存在的第j個(gè)元素為最大值出現(xiàn)的地方,則需要對(duì)經(jīng)驗(yàn)?zāi)B(tài)分解后的第1～j個(gè)IMF分量展開去噪處理。

CLEAN算法屬于頻域?yàn)V波方法[7-8],利用該方法對(duì)上述IMF分量展開去噪處理的具體過程如下:

1)令x=imfi,完成初始化處理;

2)對(duì)x展開傅里葉變換,將其轉(zhuǎn)移到頻域中,建立頻譜X=FFT(x),其中,FFT代表傅里葉變換;

3)將幅度最大值作為目標(biāo),搜索頻譜X中存在的頻率f1,并對(duì)其幅度σ1和相位γ1展開計(jì)算;

4)針對(duì)信號(hào)中存在的幅度最大的諧波分量x1,通過下式對(duì)其展開重構(gòu):

(4)

式中,t=1,2,…,T代表時(shí)間。

(5)

式中,n代表信號(hào)分量的數(shù)量。

對(duì)全景視覺圖像去噪的具體過程如下:

1)采用經(jīng)驗(yàn)?zāi)B(tài)分解方法對(duì)全景視覺圖像展開分解處理,獲得Z個(gè)IMF分量;

2)計(jì)算imfi對(duì)應(yīng)的信息熵值Gi;

3)根據(jù)Gi建立信息熵差值序列,以此確定全景視覺圖像中存在噪聲的IMF分量;

4)引入CLEAN算法對(duì)上述分量展開去噪處理;

5)疊加處理后的分量,實(shí)現(xiàn)全景視覺圖像的去噪處理。

3 局部特征點(diǎn)檢測(cè)

3.1 特征點(diǎn)提取

在HSV顏色空間[9-10]的基礎(chǔ)上多尺度分析全景視覺圖像,消除圖像中存在的冗余信息,提取全景視覺圖像的特征點(diǎn)。

采用二維小波分解方法處理全景視覺圖像Oi(x)的顏色、亮度、紋理和方向等特征信息,獲得上述信息的特征圖像Yi(x):

Yi(x)=WT[Oi(x)]

(6)

式中,WT代表二維小波分解。

設(shè)Di(x)代表上述特征的顯著圖像,可通過二維小波重構(gòu)算法[11-12]重構(gòu)上述特征圖像Yi(x)獲得:

(7)

式中,v(x)代表均值濾波器;h(x)代表高斯濾波器。

通過下式融合處理上述過程獲得的特征顯著圖Di(x),得到全景視覺圖像的局部特征顯著圖LM:

(8)

式中,li代表權(quán)值系數(shù);η代表調(diào)節(jié)系數(shù)。

譜殘差方法的主要作用是抑制圖像中出現(xiàn)頻率較高的特征,保持非常規(guī)特征的敏感性。經(jīng)過傅里葉變換后,圖像振幅譜S(f)對(duì)應(yīng)的頻率與平均值之間成正比,即R[S(f)]∝1/f。

對(duì)數(shù)變換處理圖像的振幅,發(fā)現(xiàn)全局視覺圖像的平均振幅譜對(duì)應(yīng)的對(duì)數(shù)具有一定的局部線性,可利用這個(gè)性質(zhì)獲取全局視覺圖像的顯著區(qū)域。設(shè)T(f)代表全局視覺圖像的譜殘差,可通過下式計(jì)算得到:

T(f)=log[S(f)]-gnlog[S(f)]

(9)

全局視覺圖像的顯著信息存在于譜殘差中,因此傅里葉反變換處理譜殘差可以得到全局視覺圖像的顯著圖像,具體過程為:

1)傅里葉變換處理全景視覺圖像[13-14],獲取全景視覺圖像變換后對(duì)應(yīng)的振幅譜S(f);

2)計(jì)算全景視覺圖像對(duì)應(yīng)的相位譜A(f);

3)根據(jù)上述過程獲取的振幅譜S(f)和相位譜A(f)計(jì)算全景視覺圖像的譜殘差T(f);

4)反傅里葉變換處理圖像的A(f)和T(f),獲得全景視覺圖像的顯著圖像GM:

GM(x)=h(x)G-1{exp[T(f)+A(f)]}-2

(10)

式中,G-1代表反傅里葉變換。

結(jié)合全局特征顯著圖和局部特征顯著圖,獲得全景視覺圖像的最終特征顯著圖FM:

(11)

式中,ι代表調(diào)節(jié)系數(shù),通過上述特征顯著圖,獲得全景視覺圖像的局部特征點(diǎn)。

3.2 局部特征點(diǎn)選取

(12)

式中,δ代表加權(quán)指數(shù)。

通常情況下,信息熵Gi隨著Zλ的增大而增大,通過下式描述兩者之間的關(guān)系

Gβ(f)∝log[Zλ(Ci)/nβ]/(1-β)

(13)

式中,參數(shù)β在區(qū)間(0,1)內(nèi)取值。

設(shè)DU代表特征點(diǎn)在全景視覺圖像中的分布均勻度,DU的值越大,表明特征點(diǎn)在全景視覺圖像中的分布越均勻,相反,DU的值越小,表明特征點(diǎn)聚集在全景視覺圖像中的某個(gè)區(qū)域中,DU可通過下式計(jì)算得到

(14)

設(shè)DD代表特征點(diǎn)的獨(dú)特性,具體指描述符向量空間中全局視覺圖像特征點(diǎn)的分布情況,獨(dú)特性DD越高,表明在全景視覺圖像描述符空間中特征點(diǎn)分布越均勻,獨(dú)特性DD的計(jì)算公式如下:

(15)

設(shè)SE代表特征點(diǎn)對(duì)應(yīng)的覆蓋度,SE越大,表明在全景視覺圖像中特征點(diǎn)的分布范圍越大,SE的表達(dá)式如下:

(16)

式中,M×N代表全景視覺圖像的尺寸;DMST代表特征點(diǎn)圍成的最小凸多邊形對(duì)應(yīng)的面積。

設(shè)Sn代表n個(gè)特征點(diǎn)對(duì)應(yīng)的響應(yīng)值之和,其表達(dá)式如下:

(17)

式中,Te(Ci)代表單個(gè)特征點(diǎn)在全景視覺圖像中對(duì)應(yīng)的響應(yīng)值。

根據(jù)特征點(diǎn)的DU、DD、SE、Sn獲取全景視覺圖像的局部特征點(diǎn)F:

F=w1DU+w2DD+w3SE+w4Sn

(18)

通過上式選取全景視覺圖像中的最優(yōu)局部特征點(diǎn)F,完成復(fù)雜場(chǎng)景下全景視覺圖像局部特征點(diǎn)檢測(cè)。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證復(fù)雜場(chǎng)景下全景視覺圖像局部特征點(diǎn)檢測(cè)方法的整體有效性,需要對(duì)其展開測(cè)試。實(shí)驗(yàn)所用樣本圖像均來自CIFAR-10(https:∥www.cs.toronto.edu/～kriz/cifar.html)數(shù)據(jù)集,該數(shù)據(jù)集由10個(gè)類別的60000個(gè)32×32彩色圖像組成,每個(gè)類共有6000個(gè)圖像。

復(fù)雜場(chǎng)景下采集全景視覺圖像時(shí)容易受到多種因素的影響,導(dǎo)致圖像中存在噪聲斑點(diǎn),現(xiàn)采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)含噪全景視覺圖像展開去噪處理,結(jié)果如圖1所示。

圖1 不同方法的圖像去噪效果

由圖1可知,雖然文獻(xiàn)[3]方法的去噪效果優(yōu)于文獻(xiàn)[4]方法的去噪效果,但是仍然存在部分噪聲斑點(diǎn),而采用所提方法可有效消除全景視覺圖像中存在的噪聲和斑點(diǎn)。說明所提方法的圖像去噪效果更高,有利于提升圖像特征點(diǎn)檢測(cè)效果。

為了客觀評(píng)價(jià)三種方法的去噪效果,引入邊緣保持能力ρEPI和有效視數(shù)φENL作為指標(biāo),對(duì)上述方法的去噪效果展開評(píng)價(jià):

(19)

式中,(xi,yi)代表像素在圖像中對(duì)應(yīng)的坐標(biāo);代表濾波后的圖像;U代表原始圖像;?代表標(biāo)準(zhǔn)差;代表圖像均值。根據(jù)式(19)計(jì)算得出三種方法的圖像去噪結(jié)果,如圖2所示。

圖2 去噪評(píng)價(jià)結(jié)果

根據(jù)圖2可知,所提方法的有效視數(shù)和邊緣保持能力均是最高的,表明所提方法全景視覺圖像去噪后,圖像具有良好的平滑性,且可有效保持圖像的邊緣信息。

現(xiàn)采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法展開全局視覺圖像局部特征點(diǎn)檢測(cè)測(cè)試,測(cè)試上述方法的特征點(diǎn)檢測(cè)準(zhǔn)確率和檢測(cè)效率,測(cè)試結(jié)果如表1所示。

表1 特征點(diǎn)檢測(cè)性能

根據(jù)表1中的數(shù)據(jù)可知,所提方法的圖像特征點(diǎn)檢測(cè)準(zhǔn)確率高達(dá)99.7%,且檢測(cè)特征點(diǎn)用時(shí)最短,表明所提方法具有較高的檢測(cè)效率,因?yàn)樗岱椒ń⒘巳耙曈X圖像的顯著圖像,獲取圖像的特征點(diǎn),并根據(jù)特征點(diǎn)的分布均勻性、獨(dú)特性、覆蓋度和響應(yīng)值和選取最優(yōu)特征點(diǎn),縮短了特征點(diǎn)的提取時(shí)間,提高了檢測(cè)準(zhǔn)確率。

5 結(jié)束語

在圖像處理領(lǐng)域中,局部特征點(diǎn)檢測(cè)具有重要意義,目前全景視覺圖像局部特征點(diǎn)檢測(cè)方法存在去噪效果差、檢測(cè)準(zhǔn)確率低和檢測(cè)效率低的問題,提出復(fù)雜場(chǎng)景下全景視覺圖像局部特征點(diǎn)檢測(cè)方法。首先對(duì)全景視覺圖像展開去噪處理,在此基礎(chǔ)上建立特征顯著圖像,根據(jù)顯著圖像完成局部特征點(diǎn)的檢測(cè)。該方法可有效消除全景視覺圖像中存在的噪聲和斑點(diǎn),在檢測(cè)精度和檢測(cè)效率方面表現(xiàn)出良好的性能。