劉文亮　王正勇　卿粼波　滕奇志

(四川大學(xué)電子信息學(xué)院　成都　610065)

?

LBP算法在巖石薄片圖像拼接中的應(yīng)用*

劉文亮王正勇卿粼波滕奇志

(四川大學(xué)電子信息學(xué)院成都610065)

摘要基于SIFT特征點(diǎn)的圖像拼接算法對(duì)受消光性和干涉色影響的巖石薄片正交偏光圖像進(jìn)行拼接時(shí),由于特征信息相似度極高,傳統(tǒng)的BBF-RANSAC算法無(wú)法很好地剔除錯(cuò)誤匹配對(duì),從而導(dǎo)致錯(cuò)誤的拼接結(jié)果。論文將LBP算法引入SIFT特征點(diǎn)描述中,利用SIFT算法對(duì)巖石薄片正交偏光圖像進(jìn)行特征點(diǎn)提取,在特征點(diǎn)描述時(shí),采用隔點(diǎn)計(jì)算特征點(diǎn)周圍像素點(diǎn)的旋轉(zhuǎn)不變均勻LBP特征值,用其替代一階梯度幅值,生成改進(jìn)的SIFT特征點(diǎn)描述向量。實(shí)驗(yàn)結(jié)果表明,論文提出的基于旋轉(zhuǎn)不變均勻局部二值模型的SIFT特征描述子提高了拼接算法的魯棒性和速度。

關(guān)鍵詞巖石薄片; 圖像拼接; LBP; SIFT

Application of LBP Algorithm in Rock Slice Image Stitching

LIU WenliangWANG ZhengyongQING LinboTENG Qizhi

(College of Electronic and Information, Sichuan University, Chengdu610065)

AbstractThe image stitching algorithm based on SIFT features will lead to incorrect results when it is applied to orthogonal polarization core slice image stitching with high similarity of feature information, which are affected by extinction and interference, as the traditional BBF-RANSAC algorithm cannot eliminate false matches well. LBP algorithm is applied to SIFT feature descriptors. Firstly, features of orthogonal polarization rock images are calculated by using SIFT algorithm. Secondly, rotation-invariant uniform LBP values of uniformly-spaced pixels around the features are calculated instead of gradient value, when calculating feature descriptors. Finally, modified SIFT feature descriptors are generated. Experimental results show that the presented modified SIFT feature descriptors can improve the robustness and speed of image stitching algorithm.

Key Wordsrock slice, image stitching, LBP, SIFT

Class NumberTN315

1引言

在石油地質(zhì)勘探中,需要將鉆探設(shè)備鉆井獲取的巖心樣品制成巖石薄片,利用顯微成像技術(shù)和數(shù)字圖像分析技術(shù)獲得巖石樣品的微觀特性[1]。在對(duì)巖石薄片顯微成像的過程中,受目鏡視野范圍和成像設(shè)備靶面的限制,需要對(duì)巖石薄片進(jìn)行多次圖像采集,得到多幅局部視域巖石薄片圖像。通過圖像拼接技術(shù)將所獲得的多幅局部視域巖石薄片圖像拼接成最終的巖石薄片全景圖,將實(shí)物地質(zhì)樣本數(shù)字化,易于管理和實(shí)現(xiàn)永久保存[2]。David Lowe于1999年提出SIFT(Scale Invariant Feature Transform)特征提取算法[3]并于2004年整理和完善[4]。吳曉紅、羅代升于2009年將SIFT特征提取算法引入巖心圖像自動(dòng)配準(zhǔn)[5],實(shí)現(xiàn)了巖心圖像的自動(dòng)拼接。巖石薄片正交偏光圖像是用正交偏光鏡采集的巖石薄片樣品圖像,圖像之間的重合量較小。受到消光性和干涉色的影響,巖石薄片正交偏光圖像特征信息不明顯,而且相似度極高。因此傳統(tǒng)的BBF[6]粗匹配算法做不到有效剔除錯(cuò)誤匹配點(diǎn),正確匹配率偏低,經(jīng)過RANSAC[7]精確匹配之后依然存在錯(cuò)誤匹配對(duì),最終導(dǎo)致拼接失敗。

LBP(local binary patterns)[8]是一種圖像局部紋理特征描述算子,可用來(lái)度量和提取圖像局部紋理信息,具有算法復(fù)雜度低,旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)。最近幾年,人們對(duì)LBP做了多種改進(jìn),例如圓形LBP[8]、對(duì)稱LBP、旋轉(zhuǎn)不變LBP[8]和均勻LBP等。由于其原理簡(jiǎn)單,計(jì)算速度快等特性,已經(jīng)成功應(yīng)用于人臉檢測(cè),表情檢測(cè)等領(lǐng)域。

本文針對(duì)巖石薄片正交偏光圖像的特點(diǎn),結(jié)合LBP算子能夠很好地描述局部紋理特征的優(yōu)勢(shì),將其引入到巖石樣本圖像拼接中。先利用SIFT算法提取圖像的特征點(diǎn),再將旋轉(zhuǎn)不變均勻LBP算子引入到特征點(diǎn)的描述向量中,提高了拼接算法的魯棒性;在不降低正確匹配率的前提下,對(duì)特征點(diǎn)周圍的像素進(jìn)行隔點(diǎn)計(jì)算,提高了拼接算法的速度。實(shí)驗(yàn)表明,相比于傳統(tǒng)的SIFT特征點(diǎn)描述算法,本文提出的基于旋轉(zhuǎn)不變均勻LBP算子的改進(jìn)SIFT算法能提高巖石樣本圖像的匹配率和計(jì)算速度。

2SIFT特征點(diǎn)提取與描述

SIFT算法通過建立尺度空間,尋找其中的極值點(diǎn),獲得極值點(diǎn)的坐標(biāo)、尺度和旋轉(zhuǎn)不變向量等信息,提取圖像的局部特征。SIFT特征提取算法因具有尺度不變性、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。SIFT算法主要步驟如下:

1) 特征點(diǎn)提取。將原始圖像進(jìn)行高斯卷積和降采樣,生成LOG高斯金字塔并通過對(duì)其中每級(jí)中相鄰圖像相減,生成DOG差分金字塔。將DOG差分金字塔中每層的像素點(diǎn)與其上下兩層中對(duì)應(yīng)的3×3大小區(qū)域內(nèi)的像素點(diǎn)比較,判斷是否為極值點(diǎn),并記錄檢測(cè)出的極值點(diǎn)的位置和尺度信息。對(duì)極值點(diǎn)進(jìn)行泰勒展開,計(jì)算特征點(diǎn)坐標(biāo)與極值點(diǎn)坐標(biāo)的偏移量,獲得特征點(diǎn)的亞像素精度坐標(biāo)。去除那些對(duì)比度較低和靠近圖像邊緣的不穩(wěn)定的極值點(diǎn)。

3基于旋轉(zhuǎn)不變均勻LBP特征的描述向量

3.1旋轉(zhuǎn)不變均勻LBP特征

LBP算法用灰度圖像中待計(jì)算像素點(diǎn)的灰度值作為閾值,與其鄰域像素相比較,根據(jù)比較結(jié)果得到二進(jìn)制編碼并轉(zhuǎn)換成十進(jìn)制,來(lái)表述局部紋理特征,計(jì)算公式如下

(1)

(2)

其中,c為待計(jì)算像素點(diǎn),i為其鄰域中的像素點(diǎn);p=8,表示取待計(jì)算像素點(diǎn)的八鄰域。

均勻LBP是指8位二進(jìn)制中數(shù)值跳變的次數(shù)不多于兩次的特征值。據(jù)統(tǒng)計(jì),在實(shí)際應(yīng)用中,LBP特征值絕大部分都是均勻LBP,大約占總數(shù)的85%~90%。均勻LBP總共只有58種,其中跳變次數(shù)為0的有兩種,跳變次數(shù)為1的有0種,跳變次數(shù)為2的有56種?？梢詫⑻兇螖?shù)大于2的歸為一種,因此所有的LBP特征值分成59種,實(shí)現(xiàn)了從256到59的降維作用[9]。均勻LBP計(jì)算公式如下

U(LBPc,p)=|S(gp-gc)-S(g1-gc)|

(3)

(4)

一個(gè)8位二進(jìn)制數(shù)進(jìn)行循環(huán)右移,每移動(dòng)一次就變成一個(gè)和原來(lái)不同的特征值。循環(huán)右移8次后變回原來(lái)的值,其間共產(chǎn)生8種不同的數(shù)值。我們把這8個(gè)值歸為一類,并且用這8個(gè)值中最小的值代替其它7個(gè)數(shù)值。這8個(gè)值不論進(jìn)行循環(huán)左移或循環(huán)右移,其結(jié)果都是這8個(gè)值中的一種,因此可以用最小的值代替。這就是LBP特征值的旋轉(zhuǎn)不變性[8]。LBP特征值可以分為36種旋轉(zhuǎn)不變特征值,實(shí)現(xiàn)了從256到36降維的作用。

根據(jù)旋轉(zhuǎn)不變對(duì)均勻LBP的58種特征值進(jìn)行分類,可分為9種,非均勻LBP特征值算作第10種。計(jì)算公式如下:

(5)

3.2基于旋轉(zhuǎn)不變均勻LBP的描述向量

巖石薄片正交偏光圖像整體亮度較低,由許多大小不等、形狀不規(guī)則的顆粒組成。雖然能從待拼接的巖石薄片正交偏光圖像中提取大量的特征點(diǎn),但是圖像整體相似度極高,基于SIFT算法的128維描述向量不足以區(qū)分不同的特征點(diǎn)。另外,待拼接圖像間的重合量很小,導(dǎo)致正確匹配點(diǎn)在所有特征點(diǎn)中只占很小的比例。采用傳統(tǒng)的BBF-RASANC匹配算法對(duì)特征點(diǎn)進(jìn)行匹配和篩選時(shí),不能實(shí)現(xiàn)完全剔除錯(cuò)誤匹配點(diǎn)對(duì),魯棒性較差,常常導(dǎo)致錯(cuò)誤的拼接結(jié)果。

傳統(tǒng)的SIFT算法在計(jì)算特征點(diǎn)描述向量時(shí),主要計(jì)算像素的一階梯度,統(tǒng)計(jì)特征點(diǎn)周圍一定范圍內(nèi)像素點(diǎn)的梯度大小和方向。本文將式(5)所計(jì)算的旋轉(zhuǎn)不變均勻LBP特征值替代一階梯度幅度值,像素點(diǎn)的方向依然采用原算法中所計(jì)算的一階梯度方向。

一階梯度利用了像素的四鄰域信息,其幅度大小只體現(xiàn)了橫向和縱向灰度差異。局部二值模型利用像素點(diǎn)周圍八鄰域像素,不但計(jì)算了橫向和縱向的差異,而且計(jì)算了±45°的像素差異。和一階梯度相比,旋轉(zhuǎn)不變均勻LBP特征值包含更多的局部紋理信息,因此具有更高的區(qū)分度。利用LBP算子的均勻模式和旋轉(zhuǎn)不變模式降低了LBP特征值的取值范圍。本文將旋轉(zhuǎn)不變均勻LBP特征值替代一階梯度幅度值,生成128維特征點(diǎn)描述向量。然后通過BBF-RANSAC算法能有效地剔除錯(cuò)誤的匹配點(diǎn)對(duì)。

4實(shí)驗(yàn)結(jié)果與分析

4.1BBF粗匹配比較

首先,用SIFT算法對(duì)待拼接的兩幅圖像進(jìn)行特征點(diǎn)提取,得出兩個(gè)特征點(diǎn)集合A和B。再用BBF算法對(duì)集合A建立K-d樹[10],查找集合B中的點(diǎn)bi(i=1,2,3,…)在K-d樹中最近鄰點(diǎn)a1和次最近鄰點(diǎn)a2。計(jì)算a1和a2與bi的歐式距離l1和l2,如果l1和l2的比值小于設(shè)定的閾值γ,則認(rèn)為a1是bi的匹配點(diǎn),否則bi無(wú)匹配點(diǎn)。

選取空間位置關(guān)系分別為左右關(guān)系和上下關(guān)系的兩組巖石薄片正交偏光圖像作為待拼接圖像,四幅圖像大小均為5184×3456。對(duì)第一組呈左右位置關(guān)系的兩幅巖石薄片偏光圖像進(jìn)行兩次降采樣,分別提取出5950個(gè)和5793個(gè)特征點(diǎn)。當(dāng)γ取不同值時(shí),采用原算法和本文改進(jìn)算法計(jì)算特征點(diǎn)描述向量所用的時(shí)間、BBF匹配點(diǎn)對(duì)數(shù)目等信息如表1所示。

表1　原SIFT算法與本文改進(jìn)SIFT算法BBF匹配結(jié)果

在γ<0.49時(shí),傳統(tǒng)的SIFT特征點(diǎn)描述算法的匹配效果如圖1所示,BBF算法總共找到55對(duì)匹配點(diǎn)對(duì),但是其中大部分都是錯(cuò)誤,正確匹配率只有38.2%。同樣在γ<0.49時(shí),采用本文改進(jìn)的描述向量的匹配效果如圖2所示,總共找到了16對(duì)匹配點(diǎn)對(duì),其中13對(duì)匹配正確,正確匹配率達(dá)到了81.3%。通過表1中的數(shù)據(jù)不難發(fā)現(xiàn),在計(jì)算特征點(diǎn)描述符時(shí),本文算法具有較快的計(jì)算速度,所用時(shí)間大約是原算法的1/3。雖然得到的匹配點(diǎn)對(duì)數(shù)量相對(duì)較少,但是其中大部分是正確的匹配點(diǎn)對(duì),正確匹配率較高。

圖1　γ<0.49,原SIFT算法BBF橫向匹配結(jié)果

圖2　γ<0.49,本文改進(jìn)SIFT算法BBF橫向匹配結(jié)果

對(duì)第二組呈上下位置關(guān)系的兩幅巖石薄片正交偏光圖像,采用原算法和本文算法BBF縱向匹配結(jié)果如圖3所示。

圖3　γ<0.49,原算法和本文算法BBF縱向匹配結(jié)果對(duì)比

4.2RANSAC精確匹配比較

用RANSAC算法精確篩選BBF粗匹配后的特征點(diǎn)對(duì),剔除其中錯(cuò)誤的匹配對(duì)。最終提取出不小于4對(duì)匹配點(diǎn)對(duì),利用其中的4對(duì)計(jì)算出單應(yīng)性矩陣完成圖像的拼接。原特征點(diǎn)描述算法和本文改進(jìn)的特征點(diǎn)描述算法經(jīng)BBF-RANSAC算法得出的最終匹配結(jié)果如表2所示。

表2　RANSAC精確匹配結(jié)果

通過對(duì)比可知,使用原SIFT特征點(diǎn)描述算法,γ取不同值時(shí),RANSAC算法始終無(wú)法完全剔除其中的錯(cuò)誤匹配點(diǎn)對(duì),如圖4所示;而采用本文改進(jìn)的算法,γ取不同值時(shí),都能完全剔除其中的錯(cuò)誤匹配點(diǎn)對(duì),如圖5所示。正是原SIFT特征點(diǎn)描述算法產(chǎn)生的難以剔除的錯(cuò)誤匹配點(diǎn)對(duì)常常導(dǎo)致錯(cuò)誤的拼接結(jié)果。由于整體拼接結(jié)果圖尺寸較大且重合量較小,從中難以體現(xiàn)重合區(qū)域匹配差異。將整體拼接結(jié)果圖中相同位置重疊區(qū)域進(jìn)行局部放大,形成圖6中左右兩幅圖。從圖6中左右兩幅圖可以看出,原算法產(chǎn)生明顯的拼接錯(cuò)誤,而本文算法拼接結(jié)果相對(duì)較好。

圖4　γ<0.49,原算法RANSAC橫向匹配結(jié)果

圖5　γ<0.49,本文改進(jìn)算法RANSAC橫向匹配結(jié)果

圖6　原算法和本文算法局部拼接結(jié)果對(duì)比

圖7　γ<0.49,原算法和本文算法RANSAC縱向匹配結(jié)果對(duì)比

對(duì)第二組呈上下位置關(guān)系的兩幅巖石薄片正交偏光圖像采用原算法和本文算法RASANC縱向精確匹配結(jié)果如圖7所示。待拼接多幅局部視域巖石薄片圖像其實(shí)是一個(gè)大小為M×N的圖像陣列,局部圖像之間配準(zhǔn)完成后,還要進(jìn)行捆綁調(diào)整。選擇參考平面的捆綁調(diào)整法是常用的方法,其主要思想是選擇一幅圖像作為參考圖像平面,其他所有圖像都向這幅參考圖像平面變換以得到拼接全景。最后采用多分辨率融合技術(shù)消除拼接縫,生成最終的巖石薄片全景圖。在實(shí)際巖石薄片顯微成像中,采用10倍物鏡進(jìn)行圖像采集時(shí),需要采集100~180幅局部視域圖像。由于最終全景圖像尺寸較大,本文難以展現(xiàn)重合區(qū)域細(xì)節(jié)拼接效果。因此,如圖8所示,本文以2×2共四幅局部巖石薄片圖像為例,展現(xiàn)最終拼接結(jié)果。

圖8　2×2圖像陣列采用本文算法拼接結(jié)果

5結(jié)語(yǔ)

本文針對(duì)傳統(tǒng)SIFT拼接算法不能有效剔除巖石薄片正交偏光圖像中錯(cuò)誤匹配對(duì)和拼接速度較慢等問題,將旋轉(zhuǎn)不變均勻LBP算子引入到特征點(diǎn)描述向量中,替代一階梯度幅值。在不降低正確匹配率的前提下,采用隔點(diǎn)計(jì)算特征點(diǎn)描述向量。實(shí)驗(yàn)結(jié)果表明,相較于傳統(tǒng)的SIFT巖石樣本圖像拼接算法,本文提出的基于旋轉(zhuǎn)不變均勻LBP算子的改進(jìn)SIFT算法能有效提高巖石樣本圖像的匹配率和計(jì)算速度。

參 考 文 獻(xiàn)

[1] 康瑕,滕奇志,唐棠,等.基于聚焦測(cè)度和決策圖的巖石薄片圖像融合[J].計(jì)算機(jī)與數(shù)字工程,2009,37(2):125-128.

KANG Xia, TENG Qizhi, TANG Tang, et al. Rock Thin Section Image Fusion Based on Focus Measure and a Decision Map[J]. Computer & Digital Engineering,2009,37(2):125-128.

[2] 楊玉臣,馬玉忠.巖心圖像掃描技術(shù)的開發(fā)及應(yīng)用[J].錄井技術(shù),2002,13(2):43-46.

YANG Yucheng, MA Yuzhong. Core scanning technology development and application[J]. Mud Logging Technology,2002,13(2):43-46.

[3] Lowe D G. Object Recognition From Local Scale-Invariant Features[C]//PROC. OF THE INTERNATIONAL CONFERENCE ON COMPUTER VISION, CORFU,1999:1150.

[4] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60:91-110.

[5] 吳曉紅,羅代升.基于SIFT特征提取的高清晰巖心圖像自動(dòng)配準(zhǔn)[J].四川大學(xué)學(xué)報(bào):自然科學(xué)版,2009,46(1):124-128.

WU Xiaohong, LUO Daisheng. SIFT-based feature extraction of high-definition core images automatic registration[J]. Journal Sichuan University: Natural Science Edition,2009,46(1):124-128.

[6] Beis J S, Lowe D G. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. IEEE,1997:1000-1006.

[7] Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography[J]. Communications of the ACM,1981,24(6):381-395.

[8] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on,2002,24(7):971-987.

[9] 董文彧,馮瑞,郭躍飛.基于均勻LBP和稀疏編碼的人臉識(shí)別算法[J].計(jì)算機(jī)應(yīng)用與軟件,2015,(1):175-178.

DONG Wenyu, FENG Rui, GUO Yuefei. FACE RECOGNITION BASED ON UNIFORM LBP AND SPARSE CODING[J]. Computer Application and Software,2015,(1):175-178.

[10] 劉宇,熊有倫.基于有界k-d樹的最近點(diǎn)搜索算法[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2008,36(7):73-76.

LIU Yu, XIONG Youlun. Algorithm for searching nearest-neighbor based on the bounded k-d tree[J]. J. Huazhong Uniy. of Sci. & Tech: Natural Sicence Edition,2008,36(7):73-76.

中圖分類號(hào)TN315

DOI:10.3969/j.issn.1672-9722.2016.02.033

作者簡(jiǎn)介:劉文亮,男,碩士研究生,研究方向:圖像采集與圖像處理。王正勇,女,副教授,研究方向:圖像處理、模式識(shí)別、多媒體通信。卿粼波,男,博士,副教授,研究方向:信號(hào)與信號(hào)系統(tǒng)、圖像處理、圖像通信。滕奇志,女,博士,教授,博士生導(dǎo)師,研究方向:數(shù)字圖像處理與模式識(shí)別、計(jì)算機(jī)應(yīng)用與圖像識(shí)別、生物醫(yī)學(xué)圖像等。

基金項(xiàng)目:國(guó)家自然科學(xué)基金項(xiàng)目(編號(hào):61372174)資助。

*收稿日期:2015年8月20日,修回日期:2015年9月30日