陳 磊 韓 飛 易文祥
(廣東工業(yè)大學(xué)機(jī)電工程學(xué)院 廣東 廣州 510006)
特征點(diǎn)提取是圖像匹配、識(shí)別以及目標(biāo)跟蹤等諸多計(jì)算機(jī)圖像應(yīng)用的預(yù)處理步驟,而圖像角點(diǎn)是非常有效和穩(wěn)定的一種特征點(diǎn)策略[1]。圖像角點(diǎn)往往是圖像邊緣交叉點(diǎn),局部的梯度劇烈變化點(diǎn)。目前圖像角點(diǎn)檢測(cè)算法有Harris角點(diǎn)[2-3]、SUSAN角點(diǎn)[3-4]、FAST角點(diǎn)[5]。FAST角點(diǎn)精確度高、角點(diǎn)質(zhì)量穩(wěn)定,它基于圖像灰度值操作、算法效率高、計(jì)算簡(jiǎn)單,相比其他特征點(diǎn)。其計(jì)算效率更加突出。但基本的FAST角點(diǎn)不具備尺度不變性,而基于FAST角點(diǎn)改進(jìn)而來的ORB算法[6]和BRISK算法[7]以及Harris-Laplace算法[8]等均是先構(gòu)建多尺度金字塔,然后在尺度空間檢測(cè)角點(diǎn),最后對(duì)所有檢測(cè)到的角點(diǎn)進(jìn)行篩選,以得到尺度不變的特征點(diǎn)[9]。這樣的多尺度分析流程過于冗長(zhǎng)且計(jì)算復(fù)雜,大大降低了算法的實(shí)時(shí)性。在基于圖像邊緣曲率信息的檢測(cè)方法中,李偉生等[10]提出一種基于曲率多尺度的自適應(yīng)角點(diǎn)檢測(cè)方法,利用曲率多項(xiàng)式和構(gòu)造局部曲率顯著度,增強(qiáng)了角點(diǎn)對(duì)圖像尺度、旋轉(zhuǎn)變化的魯棒性。而結(jié)合信息熵的圖像預(yù)處理算法研究也是熱點(diǎn)研究方向,如:周保余等[11]提出基于信息熵的多尺度描述子改進(jìn),通過計(jì)算高斯差分空間內(nèi)多層SIFT描述子,同時(shí)統(tǒng)計(jì)每層特征點(diǎn)的局部信息熵,根據(jù)各層信息熵的總占比進(jìn)行加權(quán)求和以得到最終結(jié)合了多個(gè)尺度層的描述子;蔡青等[12]提出一種基于信息熵的自適應(yīng)尺度活動(dòng)輪廓圖像分割模型,利用圖像信息熵構(gòu)造自適應(yīng)尺度算子,使模型能根據(jù)圖像灰度不均勻的程度自動(dòng)調(diào)節(jié)尺度,提高模型對(duì)灰度不均勻圖像的分割速度;高飛[13]等提出一種基于分塊信息熵和特征尺度的圖像配準(zhǔn)算法,通過對(duì)圖像進(jìn)行分塊,結(jié)合每塊圖像的信息熵,改善了Harris-Laplace算子提取特征點(diǎn)分布過于集中的問題。
本文根據(jù)圖像信息熵與尺度變化的聯(lián)系,提出并擬合了尺度信息熵模型,該模型基于高斯尺度空間,主要通過信息熵進(jìn)行圖像的相對(duì)尺度參數(shù)求解。基本的FAST角點(diǎn)受限于其固定的作用域,不能很好地適應(yīng)圖像的尺度變化,因此本文提出基于尺度信息熵模型的自適應(yīng)作用域的FAST角點(diǎn),以變化的角點(diǎn)算子作用域提高尺度適應(yīng)性。
FAST算法對(duì)每個(gè)像素點(diǎn)周圍離散化的Bresenham圓上的灰度值與該點(diǎn)進(jìn)行閾值比較,以判定是否為角點(diǎn)。最基本的FAST角點(diǎn)是檢測(cè)以3個(gè)像素為半徑的圓周上的16個(gè)像素點(diǎn),如圖1所示,如果連續(xù)n個(gè)點(diǎn)的灰度值都比中心點(diǎn)大或者小的話,則該點(diǎn)就是角點(diǎn),實(shí)際上計(jì)算中需要加上閾值t。根據(jù)不同的n,F(xiàn)AST角點(diǎn)又可以寫為FAST-n,常見的有FAST-9、FAST-10、FAST-11、FAST-12。
圖1 FAST角點(diǎn)示意圖
FAST角點(diǎn)的最大優(yōu)勢(shì)就是其計(jì)算效率,但由于其固定的作用域?qū)е缕洳痪邆涑叨冗m應(yīng)性,目前的FAST角點(diǎn)的多尺度分析方法是在高斯金字塔的各個(gè)尺度層分別提取FAST角點(diǎn),最后累計(jì)所有尺度層的興趣點(diǎn)進(jìn)行響應(yīng)值抑制。FAST角點(diǎn)也作為很多局部特征算法的特征點(diǎn)并加以改進(jìn),例如ORB算法、BRISK算法和FREAK算法均是在FAST角點(diǎn)的基礎(chǔ)上進(jìn)行多尺度改進(jìn)提取特征點(diǎn)。
香農(nóng)(Shannon)為了解決信息的度量問題在1948年提出了信息熵,圖像信息熵反映了圖像平均信息量的大小。
對(duì)一幅圖像f(x,y),其信息熵為:
(1)
式中:k為灰度級(jí)數(shù)目;pi表示灰度為i的像素值出現(xiàn)的概率。
根據(jù)Shannon定理,當(dāng)圖像灰度越均勻,各灰度值概率趨近于相等時(shí),圖像的信息熵越大。當(dāng)圖像尺度發(fā)生變化時(shí),高尺度圖像灰度較平滑,即其相鄰灰度值差異就會(huì)很小,因此圖像梯度值就趨近于相等,其梯度圖像就能反映圖像平均信息量。對(duì)于計(jì)算信息熵,梯度圖像的各點(diǎn)幅值相對(duì)更小,其全局的信息熵結(jié)果變化范圍更集中,更容易實(shí)現(xiàn)數(shù)據(jù)的歸一化。因此本文并不直接對(duì)灰度圖像計(jì)算信息熵,而是以梯度圖像研究圖像尺度變化與信息熵的關(guān)系,具體實(shí)現(xiàn)以一階前向差分進(jìn)行計(jì)算。
本文實(shí)驗(yàn)以高斯模糊G(x,y,σ)模擬圖像的尺度變化建立尺度空間,由于高斯函數(shù)在原點(diǎn)的3σ半徑范圍內(nèi)包含了99%的信息,所以具體的高斯模糊系數(shù)由式(2)決定,以遞增的高斯濾波器尺寸ω表示不斷增大的尺度系數(shù)σ:
ω=3σ×2+1
(2)
根據(jù)式(2)確定尺度系數(shù),具體濾波器尺寸與尺度系數(shù)取值如表1所示。
表1 高斯濾波器尺寸與尺度系數(shù)關(guān)系
本文實(shí)驗(yàn)是在生活環(huán)境下采集實(shí)驗(yàn)圖像,圖2為實(shí)驗(yàn)中采集的部分圖像。
圖2 部分實(shí)驗(yàn)圖像
根據(jù)表1的參數(shù)關(guān)系,對(duì)每幅圖像進(jìn)行10個(gè)尺度系數(shù)的高斯模糊構(gòu)建尺度空間,然后計(jì)算每個(gè)尺度層的梯度圖像和全局信息熵。圖3為圖2中顯示的部分圖像的尺度空間與對(duì)應(yīng)的梯度圖像全局信息熵變化關(guān)系。
圖3 圖2中圖像的高斯濾波器尺寸與梯度圖像信息熵的變化關(guān)系圖
可以看出,實(shí)驗(yàn)圖像在尺度變化下其梯度信息熵與高斯濾波器大小的變化出現(xiàn)了相同的趨勢(shì)。依據(jù)Shannon定理,在圖像發(fā)生尺度變化的過程中,尺度系數(shù)越小越靠近低尺度的圖像,其灰度離散程度越明顯,局部相鄰的灰度差異越大,其梯度圖像的像素值也就越離散,此時(shí)的梯度圖像信息熵變化就越顯著;而當(dāng)尺度系數(shù)不斷增大,濾波器的平滑面積越大,高斯濾波后的圖像灰度值就越趨近于平均值,其梯度圖像各點(diǎn)像素值也就越相似,形成的平滑效果就越微弱,所以其梯度圖像信息熵變化趨勢(shì)就越平坦。
對(duì)尺度系數(shù)與信息熵的變化關(guān)系進(jìn)行模型擬合以得到尺度信息熵模型的數(shù)學(xué)函數(shù)表達(dá)式。經(jīng)過多次實(shí)驗(yàn),本文最終以冪函數(shù)進(jìn)行模型擬合,其函數(shù)類型為:
H=k1ωk2+k3
(3)
式中:k1、k2、k3為三個(gè)系數(shù)。圖4為部分?jǐn)M合實(shí)驗(yàn)中系數(shù)分布情況。
圖4 冪函數(shù)擬合的系數(shù)分布情況
可以看出,冪函數(shù)擬合尺度信息熵模型的三個(gè)系數(shù)值浮動(dòng)情況不一致,k1的離散程度較大,主要分布在-1到-3之間,k2主要分布在0到-1.5之間,而k3擬合值相對(duì)集中,主要以1為中間值小幅波動(dòng)。因此,為保證模型的泛化能力,對(duì)k1、k2的取值以區(qū)間表示,實(shí)際應(yīng)用時(shí)可以根據(jù)經(jīng)驗(yàn)取值,本文則根據(jù)實(shí)驗(yàn)數(shù)據(jù)以平均值進(jìn)行后續(xù)計(jì)算,其中k3取值為1,k1和k2取值結(jié)果如表2所示。
表2 冪函數(shù)擬合模型的系數(shù)取值
因此本文使用冪函數(shù)擬合的尺度信息熵模型表達(dá)式為:
H=-1.9ω-0.84+1
(4)
根據(jù)式(2),有信息熵與尺度系數(shù)的模型為:
H=-1.9(6σ+1)-0.84+1
(5)
根據(jù)單幅圖像的擬合數(shù)據(jù)進(jìn)行分析得知,如果圖像內(nèi)容有較多的噪點(diǎn)區(qū)域,則該圖像的模型擬合效果就會(huì)較差,其模型系數(shù)會(huì)出現(xiàn)較大的波動(dòng)甚至超出最優(yōu)的取值區(qū)間。在得到確定的尺度信息熵模型表達(dá)式后,對(duì)發(fā)生尺度變化的高尺度圖像計(jì)算其梯度圖像的全局信息熵H,根據(jù)式(4)和式(5)便可分別求得該高尺度圖像對(duì)應(yīng)的高斯模糊濾波器大小和尺度系數(shù)。因?yàn)楸疚牡某叨刃畔㈧啬P褪腔谀M的高斯尺度空間擬合得來,所以解得的尺度系數(shù)和高斯濾波器大小都是相對(duì)于該圖像對(duì)應(yīng)的理論上的低尺度圖像而言的。實(shí)際中的圖像會(huì)存在噪聲等因素的干擾,解得的信息熵會(huì)較低,所以實(shí)際計(jì)算當(dāng)中需要對(duì)圖像的梯度信息熵進(jìn)行一定比例的放大再計(jì)算相對(duì)尺度參數(shù)。
圖像發(fā)生尺度變化其實(shí)就是高斯平滑,發(fā)生尺度變化的圖像,局部范圍內(nèi)的灰度值會(huì)更加平滑,鄰域內(nèi)的像素點(diǎn)差異程度減弱,隨著尺度系數(shù)的增加,平滑區(qū)域逐漸增大?;綟AST角點(diǎn)不具備尺度不變性,究其原因,F(xiàn)AST角點(diǎn)是以半徑為3像素的圓周上檢查16個(gè)點(diǎn)與中心點(diǎn)的灰度差異進(jìn)行判斷,固定的角點(diǎn)算子作用域在圖像發(fā)生尺度變化后,不能有效地提取灰度差異性。尺度變化下FAST角點(diǎn)算子作用域如圖5所示。
圖5 尺度變化下FAST角點(diǎn)算子作用域
尺度變化后,F(xiàn)AST角點(diǎn)算子已經(jīng)不能適應(yīng)局部特征的灰度差異,邊緣區(qū)域的灰度變得平均,且亮區(qū)和暗區(qū)過渡緩慢同時(shí)過渡區(qū)域變大,F(xiàn)AST角點(diǎn)的固定圓周很難覆蓋滿足閾值條件的灰度區(qū)域,因此擴(kuò)大其圓周,增大算子作用域是一個(gè)有效的解決方法。本文根據(jù)前面的研究提出基于尺度信息熵的自適應(yīng)作用域的FAST角點(diǎn)算子以適應(yīng)不同尺度的圖像。
自適應(yīng)作用域即計(jì)算圖像的信息熵并通過式(4)得出高斯濾波器尺寸ω,然后以此ω作為FAST角點(diǎn)檢測(cè)作用域的圓周半徑。半徑為ω的作用域同樣根據(jù)bresenham算法確定的離散圓,不同半徑大小的bresenham圓周上分布的像素點(diǎn)數(shù)量和位置均不一樣,具體程序?qū)崿F(xiàn)時(shí),可以根據(jù)不同半徑的bresenham圓建立查詢表方便計(jì)算。
圖6展示了半徑為3、4、5的bresenham圓以及圓周上的像素點(diǎn)位置。表3為不同半徑的bresenham圓周上對(duì)應(yīng)的像素點(diǎn)數(shù)量。
圖6 不同半徑的bresenham圓周
表3 不同半徑的bresenham圓對(duì)應(yīng)像素點(diǎn)數(shù)
本文基于尺度信息熵模型的自適應(yīng)作用域FAST角點(diǎn)的檢測(cè)流程如圖7所示。
圖7 基于尺度信息熵模型的多尺度FAST角點(diǎn)計(jì)算流程
為了驗(yàn)證本文多尺度FAST角點(diǎn)的尺度適應(yīng)性,與基本的FAST角點(diǎn)、多尺度的Harris-Laplace角點(diǎn)和BRISK特征點(diǎn)進(jìn)行角點(diǎn)檢測(cè)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)在發(fā)生尺度變化的圖像集上進(jìn)行角點(diǎn)檢測(cè),4幅圖像的尺度連續(xù)增大,對(duì)不同算法的檢測(cè)效果進(jìn)行對(duì)比。由于FAST角點(diǎn)檢測(cè)效果依賴于閾值的大小,隨著圖像尺度的增大,為了保證顯示效果,對(duì)FAST角點(diǎn)和本文算法的閾值進(jìn)行降低,實(shí)驗(yàn)中3種角點(diǎn)算法檢測(cè)中4幅圖像的閾值設(shè)置為50、40、30、20。根據(jù)基于尺度信息熵模型的多尺度FAST角點(diǎn)算法流程進(jìn)行計(jì)算,本文算法應(yīng)用到4幅圖像上的FAST角點(diǎn)作用域半徑分別為4、6、6、7,實(shí)驗(yàn)中的FAST角點(diǎn)的非極大值抑制范圍也是根據(jù)作用域大小決定的。本文實(shí)驗(yàn)環(huán)境為Intel Core i5和MATLAB 2016b。
圖8-圖11分別為基本FAST角點(diǎn)、Harris-Laplace特征點(diǎn)、BRISK特征點(diǎn)和本文多尺度FAST角點(diǎn)的檢測(cè)效果。圖12為該圖像集在不同算法檢測(cè)的角點(diǎn)數(shù)量統(tǒng)計(jì)。圖中白色點(diǎn)為角點(diǎn),圖9和圖10中白色圓環(huán)則為Harris-Laplace算法和BRISK算法中尺度金字塔檢測(cè)到的特征尺度大小?;綟AST角點(diǎn)隨著圖像尺度增大,檢測(cè)到的有效角點(diǎn)急劇減少,BRISK特征點(diǎn)也存在很大程度的減少,而Harris-Laplace角點(diǎn)隨著尺度增大檢測(cè)數(shù)量相對(duì)穩(wěn)定,能有效適應(yīng)尺度變化,但從效果圖中可以看出存在許多重復(fù)的特征點(diǎn),而且有效角點(diǎn)太少。Harris-Laplace和BRISK算法在多尺度金字塔上進(jìn)行角點(diǎn)檢測(cè),可以看出很多的特征點(diǎn)具有重復(fù)的特征尺度,會(huì)出現(xiàn)很多的冗余點(diǎn)。而本文模型的多尺度FAST角點(diǎn)隨著圖像尺度變化,角點(diǎn)檢測(cè)數(shù)量并沒有出現(xiàn)下降,而且仍然能保持準(zhǔn)確的角點(diǎn)定位,在發(fā)生較大尺度變化的圖像依然能檢測(cè)到大量的有效角點(diǎn)。
圖8 尺度變化下的FAST角點(diǎn)
圖9 尺度變化下的Harris-Laplace角點(diǎn)
圖10 尺度變化下的BRISK特征點(diǎn)
圖11 尺度變化下的多尺度FAST角點(diǎn)
圖12 不同角點(diǎn)算法檢測(cè)的角點(diǎn)數(shù)量
本文的多尺度FAST角點(diǎn)的自適應(yīng)作用域能夠根據(jù)不同尺度的圖像選擇對(duì)應(yīng)大小的作用域。對(duì)發(fā)生尺度變化的圖像,基本的FAST角點(diǎn)半徑為3的圓形作用域不能覆蓋到有效灰度差異的區(qū)域。而本文的尺度信息熵模型可以計(jì)算發(fā)生尺度變化的圖像的相對(duì)高斯模糊器尺寸,以此尺寸參數(shù)作為新的作用域半徑,即自適應(yīng)作用域,這樣就能覆蓋到有效灰度差異的區(qū)域從而檢測(cè)出符合FAST角點(diǎn)策略的特征點(diǎn)。同時(shí)在本文的算法流程中,在已經(jīng)得到的尺度信息熵模型基礎(chǔ)上,對(duì)實(shí)際應(yīng)用中的圖像僅需計(jì)算其梯度圖像信息熵,計(jì)算相對(duì)尺度參數(shù)并在查詢表中獲取適應(yīng)的作用域參數(shù),最后根據(jù)FAST角點(diǎn)策略進(jìn)行角點(diǎn)檢測(cè),相比其他多尺度算法中構(gòu)建尺度金字塔等算法流程,本文算法效率更高,計(jì)算更簡(jiǎn)單。
本文根據(jù)圖像尺度變化和信息熵的變化關(guān)系擬合出了冪函數(shù)表達(dá)式的尺度信息熵模型,并基于該模型提出了多尺度FAST角點(diǎn)。尺度信息熵模型能夠有效地反映圖像的尺度變化與梯度圖像信息熵的函數(shù)關(guān)系,而基于該模型的多尺度FAST角點(diǎn)的自適應(yīng)作用域能夠有效地適應(yīng)發(fā)生尺度變化后的圖像局部區(qū)域的灰度變化,從而提取有效的FAST角點(diǎn),相比基本的FAST角點(diǎn)和其他多尺度角點(diǎn)算法,其尺度適應(yīng)性更好,算法流程更簡(jiǎn)單。同時(shí),本文基于尺度信息熵模型的多尺度改進(jìn)方法,同樣適用于其他具有固定作用域的特征點(diǎn)算法,在圖像多尺度應(yīng)用方向具有很好的使用價(jià)值。本文的尺度信息熵模型會(huì)受到擬合實(shí)驗(yàn)的限制,由于實(shí)驗(yàn)圖像類型不夠全面,模型泛化能力不夠優(yōu)秀,所以為了提高尺度信息熵模型的準(zhǔn)確性還需要進(jìn)行多方面的擬合實(shí)驗(yàn)。