張 瀟 熊淑華 卿粼波
(四川大學(xué)電子信息學(xué)院 成都 610065)
?
基于改進(jìn)ORB的低照度巖心熒光圖像拼接技術(shù)*
張瀟熊淑華卿粼波
(四川大學(xué)電子信息學(xué)院成都610065)
傳統(tǒng)的ORB算法對(duì)于特征信息豐富的圖像拼接已經(jīng)有了不錯(cuò)的效果,但是對(duì)于石油地質(zhì)勘探中的巖心圖像,特別是低照度巖心熒光圖像,現(xiàn)有ORB算法誤匹配率較高,從而導(dǎo)致不能有效地進(jìn)行后續(xù)的圖像拼接。針對(duì)該問(wèn)題,論文分析了原ORB算法的缺陷,采用基于人眼視覺(jué)系統(tǒng)的FREAK描述算子改進(jìn)了原ORB算法,并命名為IORB(Improved ORB)算法。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法對(duì)于熒光圖像的拼接在保證時(shí)間代價(jià)的基礎(chǔ)上得到了理想的正確匹配率,并提升了后續(xù)拼接過(guò)程的拼接效果。
巖心熒光圖像拼接; ORB; FREAK
Class NumberTP391.41
在石油地質(zhì)勘探中,巖心是評(píng)價(jià)地層油氣水和研究地質(zhì)結(jié)構(gòu)最直觀的參考資料[1]。但由于巖心掃描儀中線陣CCD成像范圍的限制,需多次采集巖心小圖,再運(yùn)用圖像拼接技術(shù)形成一張完整的巖心大圖[2]。傳統(tǒng)基于SIFT算法和基于SURF算法的圖像拼接技術(shù)應(yīng)用到巖心圖像上已經(jīng)取得理想的拼接效果,但是由于采集到的單幅巖心樣本圖像尺寸比較大的緣故,上述兩種算法時(shí)間代價(jià)非常大,特別是SIFT算法,這在石油地質(zhì)部門(mén)的實(shí)際應(yīng)用中是首要解決的問(wèn)題,因此本文引入了Ethan Rublee等于2011年提出的ORB[3]算法。
該算法在特征信息明顯的圖像匹配中已經(jīng)表現(xiàn)出可觀的時(shí)間性能,并且得到了較為不錯(cuò)的匹配效果。但是當(dāng)運(yùn)用到巖心熒光圖像上時(shí),由于算法中描述算子在特征點(diǎn)描述過(guò)程中的局域缺陷問(wèn)題,從而不能達(dá)到足夠高的正確匹配率,最后導(dǎo)致拼接效果不理想甚至拼接失敗。
針對(duì)上述問(wèn)題,本文提出了一種ORB算法的改進(jìn)算法,該算法在圖像尺度金字塔上通過(guò)FAST算子檢測(cè)特征點(diǎn),然后通過(guò)FREAK算子來(lái)建立描述符,最后采用漢明距離進(jìn)行特征點(diǎn)粗匹配。通過(guò)IORB算法匹配特征點(diǎn)之后,采用RANSAC算法剔除誤匹配點(diǎn)[4],并運(yùn)用多分辨率融合算法[5]對(duì)拼接縫做平滑處理并進(jìn)行圖像融合,最后得到了理想的拼接效果。
在ORB算法中,首先建立尺度空間圖像金字塔,然后在圖像金字塔中使用FAST角點(diǎn)檢測(cè)子定位關(guān)鍵點(diǎn),再通過(guò)BRIEF描述算子在圖像金字塔中描述不同尺度中的關(guān)鍵點(diǎn)特征,最后通過(guò)漢明距離進(jìn)行特征點(diǎn)粗匹配。
2.1特征點(diǎn)檢測(cè)
在ORB算法中,首先構(gòu)建圖像尺度空間金字塔,然后在每層金字塔圖像上采用FAST算子檢測(cè)特征點(diǎn)[7],并且給特征點(diǎn)加上主方向信息,構(gòu)成oFAST(oriented FAST)。
FAST檢測(cè)特征點(diǎn)的步驟為:從圖片中選擇一個(gè)點(diǎn)P,并設(shè)其灰度值為Ip;將該點(diǎn)與以其為中心的圓周上的16個(gè)點(diǎn)相比較,若這16個(gè)點(diǎn)中有N(本文實(shí)驗(yàn)中N取值為9)個(gè)連續(xù)點(diǎn)的灰度值都大于或小于中心點(diǎn)P的灰度值,那么該點(diǎn)就是一個(gè)角點(diǎn)[8]。然后利用Harris角點(diǎn)檢測(cè),從FAST特征點(diǎn)里面選出角點(diǎn)響應(yīng)值最大的N個(gè)點(diǎn)。最后給角點(diǎn)添加主方向信息。對(duì)于任意一個(gè)特征點(diǎn)P來(lái)說(shuō),可以設(shè)點(diǎn)P鄰域像素的灰度矩為
(1)
其中,I(x,y)為點(diǎn)(x,y)的灰度值?;叶染匦脑O(shè)為
(2)
由此可以得出特征點(diǎn)主方向?yàn)?/p>
(3)
2.2特征點(diǎn)描述
ORB采用BRIEF算法來(lái)計(jì)算一個(gè)特征點(diǎn)的描述子,最后將參與計(jì)算BRIEF特征的像素點(diǎn)旋轉(zhuǎn)到角點(diǎn)方向,這種描述子稱為rBRIEF(rotated BRIEF)。
rBRIEF描述子是在圖像高斯平滑后大小為31*31像素塊內(nèi),選取服從N(N一般取256)組高斯分布隨機(jī)測(cè)試點(diǎn),對(duì)這N組測(cè)試點(diǎn)對(duì)進(jìn)行二進(jìn)制差異檢測(cè),其中每個(gè)測(cè)試點(diǎn)是一個(gè)5*5的子窗口[9]。對(duì)于一個(gè)圖像塊p,定義二值化檢測(cè)為
(4)
其中,p(x)是點(diǎn)x處圖像塊p的平均灰度值。當(dāng)選取N組測(cè)試點(diǎn)對(duì)時(shí),求得的描述子為
(5)
rBRIEF使用上文的特征點(diǎn)主方向θ給描述子添加主方向信息,最后得到描述子為
gn(p,θ)=fn(p)|(xi,yi)∈Sθ
(6)
2.3特征點(diǎn)匹配
當(dāng)計(jì)算出描述子后,通過(guò)比較描述子的相似性便可實(shí)現(xiàn)特征點(diǎn)匹配。ORB中采用漢明距離來(lái)表示描述子的相似性。在本文實(shí)驗(yàn)中,采用最近鄰距離和次近鄰距離的比值T來(lái)進(jìn)行特征點(diǎn)粗匹配。當(dāng)T小于閾值w(一般在0.6~0.8之間取值)時(shí),便認(rèn)為最近鄰距離對(duì)應(yīng)的特征點(diǎn)即為粗匹配點(diǎn)對(duì)。
2.4本實(shí)驗(yàn)中ORB算法的缺陷
局部圖像特征描述的核心問(wèn)題在于不變性和可區(qū)分性。由于本文針對(duì)的是低照度巖心熒光圖像,采集頭水平移動(dòng)所采集到的多幅熒光樣本小圖尺寸一致,并且不涉及到圖像旋轉(zhuǎn),同時(shí)考慮到樣本圖像所具有的特征點(diǎn)信息相似度高的特性,局部圖像的特征描述應(yīng)該側(cè)重于可區(qū)分性。
然而特征描述子可區(qū)分性的強(qiáng)弱往往和不變性是矛盾的,也就是說(shuō),一個(gè)具有較高不變性的特征描述子,它區(qū)分局部?jī)?nèi)容的能力就稍弱,ORB算法中的BRIEF正是這樣一個(gè)描述子。該算法通過(guò)構(gòu)建尺度空間金字塔以及添加灰度矩方向的方法分別提升了BRIEF描述子的尺度不變性以及旋轉(zhuǎn)不變性,而描述子的可區(qū)分性表現(xiàn)較差。同時(shí)BRIEF描述子是以圖像塊為基礎(chǔ)的采樣模式,遠(yuǎn)近距離測(cè)試均等,而近距離測(cè)試具有更好的局域性質(zhì)。因此當(dāng)該算法應(yīng)用到低照度巖心熒光圖像上時(shí),出現(xiàn)了誤匹配率較高的現(xiàn)象,并且由于熒光圖像中特征信息相似度極高,在通過(guò)RANSAC算法剔除誤匹配點(diǎn)后仍然存在誤匹配點(diǎn)對(duì),嚴(yán)重影響到了后續(xù)的拼接效果。
因此本文利用FREAK描述子來(lái)進(jìn)行原ORB算法的改進(jìn),該描述子采取了更為接近于人眼視網(wǎng)膜接受圖像信息的采樣模型。
考慮到上述原ORB算法在當(dāng)前應(yīng)用背景下的缺陷,本文采用了FREAK描述子來(lái)進(jìn)行特征點(diǎn)描述,該描述子選取了人眼視網(wǎng)膜接受圖像信息的采樣模型。
3.1FREAK描述算子
人體視覺(jué)系統(tǒng)的視網(wǎng)膜中存在感受光線的區(qū)域,其中感受域被分為:中央凹、旁中央凹、遠(yuǎn)中央凹和周邊區(qū)[10]。在識(shí)別物體時(shí),感受域的四個(gè)區(qū)域完成不同的功能:中央凹區(qū)獲得高精度圖像信息,周邊區(qū)獲得低精度圖像信息。FREAK描述子便是Alexandre Alahi等于2012年基于此原理而提出來(lái)的。在FREAK特征描述中,采樣模式選取了人眼視網(wǎng)膜拓?fù)浣Y(jié)構(gòu)。從圖1中可以看出,離特征點(diǎn)越近,采樣點(diǎn)越密集,反之采樣點(diǎn)越稀疏。每個(gè)采樣點(diǎn)先要進(jìn)行高斯平滑處理,從一定程度上削弱了噪聲的影響。
圖1 FREAK描述子采樣模式
FREAK中通過(guò)采樣點(diǎn)和高斯核卷積之后比較強(qiáng)度值來(lái)構(gòu)造描述符算子。假設(shè)F是二進(jìn)制描述符,那么:
(7)
(8)
2) 然后計(jì)算矩陣D中每列元素的均值,由于矩陣D中的元素都是0/1分布,所以如果計(jì)算某列均值越接近0.5則表明該列具有越高的方差。方差越大表示特征描述信息越多[10];
3) 再利用上面求得的每列的均值進(jìn)行排序,選取均值最接近0.5的那列排在最前面,均值與0.5相差越遠(yuǎn)排在越靠后,由此來(lái)構(gòu)造新的描述符。選取排序后的前Q(本文實(shí)驗(yàn)中Q取值512)列作為新的二進(jìn)制描述符算子。
經(jīng)過(guò)上面的三步后,便可得到了Qbit的二進(jìn)制描述符,這種描述符按照高方差到低方差排列。由于FREAK描述算子同心圓采樣結(jié)構(gòu)使其本身具有了一定的旋轉(zhuǎn)不變性,它拋棄了FAST檢測(cè)算子中灰度矩的方向,同時(shí)對(duì)每個(gè)采樣點(diǎn)進(jìn)行高斯模糊,也使其具有一定的抗噪性能,最后基于視網(wǎng)膜的采樣模式令其克服了BRIEF描述子采樣模式的局域缺陷。由此生成的FREAK特征對(duì)于巖心熒光圖像的特征匹配具有較強(qiáng)的局部可區(qū)分性。
對(duì)于由上面的步驟得到的Q(Q一般取512)bit的二進(jìn)制描述符,在特征點(diǎn)匹配時(shí)采用了一種叫做掃視搜索的匹配方法:先選取描述子的前128bit即16bytes進(jìn)行漢明距離的匹配,構(gòu)成第一級(jí)匹配,若特征點(diǎn)最近鄰距離和次鄰距離的比值T小于設(shè)定的閾值w就進(jìn)行第二級(jí)的比較,以此類推[11]。運(yùn)用這種方法,可以使90%以上的誤匹配描述算子通過(guò)前128bit便可篩除。
3.2IORB算法
改進(jìn)后的IORB匹配算法的流程圖如圖2所示。
圖2IORB算法流程圖
4.1原ORB算法的圖像匹配
在本文實(shí)驗(yàn)中,實(shí)驗(yàn)所用計(jì)算機(jī)處理器為Intel(R) Core(TM) i5-2300 CPU @ 2.80GHz,內(nèi)存為4GB。在特征點(diǎn)匹配這一步驟,分別選取四個(gè)不同的閾值w(0.80、0.75、0.70、0.65)進(jìn)行對(duì)比實(shí)驗(yàn),同一組對(duì)比實(shí)驗(yàn)中閾值w保持一致。圖3、圖4分別是兩組巖心熒光圖像a、b(a、b的尺寸分別為3004*1740、5184*3456)在w=0.75時(shí)的圖像匹配情況。
圖3 w=0.75:ORB算法找出49對(duì)匹配點(diǎn),正確23對(duì)(圖像a)
圖4 w=0.75:ORB算法找出57對(duì)匹配點(diǎn),正確18對(duì)(圖像b)
4.2改進(jìn)后IORB算法的圖像匹配
改進(jìn)后的IORB算法依舊采取了0.80、0.75、0.70、0.65四種不同的閾值w進(jìn)行特征點(diǎn)匹配對(duì)比實(shí)驗(yàn)。圖5、圖6分別是在w為0.75時(shí)的圖像匹配情況。
圖5 w=0.75:IORB算法找出54對(duì)匹配點(diǎn),正確48對(duì)(圖像a)
圖6 w=0.75:IORB算法找出39對(duì)匹配點(diǎn),正確32對(duì)(圖像b)
4.3實(shí)驗(yàn)分析
另外幾組閾值的實(shí)驗(yàn)數(shù)據(jù)以表格的形式呈現(xiàn)在表1中。
從表1可清楚看出,ORB算法和IORB算法都具有很快的計(jì)算速度,這是傳統(tǒng)SIFT算法和SURF算法不能夠達(dá)到的。而且從四組對(duì)比實(shí)驗(yàn)中可以看出改進(jìn)后的IORB算法整體正確匹配率都要比原ORB算法高很多。實(shí)驗(yàn)結(jié)果有效地表明了IORB算法對(duì)于低照度的巖心熒光圖像的圖像匹配具有很好的時(shí)間性能與正確匹配率。
表1 特征點(diǎn)匹配對(duì)比實(shí)驗(yàn)結(jié)果
在本文實(shí)驗(yàn)中,對(duì)于上面的實(shí)驗(yàn)結(jié)果采用RANSAC算法對(duì)提取到的匹配點(diǎn)進(jìn)行再次篩選,得到表2中的RANCAC精確匹配結(jié)果。
表2 RANSAC匹配結(jié)果
從表2可以看出,使用原ORB算法進(jìn)行特征點(diǎn)匹配后,然后再采用RANSAC剔除錯(cuò)誤匹配對(duì),但是結(jié)果顯示四種不同的閾值實(shí)驗(yàn)中基本上都會(huì)存在錯(cuò)誤匹配點(diǎn)對(duì),影響了后續(xù)對(duì)拼接變換矩陣的求解,從而不能達(dá)到理想的拼接結(jié)果。但是使用本文實(shí)驗(yàn)中的IORB算法進(jìn)行特征點(diǎn)匹配之后,再采用RANSAC算法剔除錯(cuò)誤匹配對(duì),四種不同的閾值w均可以達(dá)到100%的正確匹配率,進(jìn)一步證實(shí)了改進(jìn)后的IORB算法對(duì)于匹配率有了明顯的提高。
最后采用多分辨率融合算法對(duì)圖像進(jìn)行平滑拼接,得到了圖7的圖像拼接結(jié)果圖。
圖7 IORB算法的拼接結(jié)果
從圖7中可以看出,運(yùn)用本文IORB圖像匹配算法得到了一個(gè)很好的拼接效果。
針對(duì)ORB算法對(duì)于巖心熒光圖像匹配有著較高誤匹配率的問(wèn)題,本文采用基于人眼視網(wǎng)膜成像模型的FREAK描述子替換原ORB算法中的BRIEF描述子,在保證時(shí)間性能的基礎(chǔ)上,大幅度提高了特征點(diǎn)的匹配率。從整體上來(lái)看,運(yùn)用本文中的IORB算法不僅彌補(bǔ)了SIFT算法和SURF算法時(shí)間代價(jià)大的不足,對(duì)于圖像的匹配也能保證理想的正確匹配率,這對(duì)于特征信息相似度較高的低照度巖心熒光圖像的匹配拼接有著重要的實(shí)際應(yīng)用意義。
[1] 楊玉臣,馬玉忠.巖心圖像掃描技術(shù)的開(kāi)發(fā)及應(yīng)用[J].錄井技術(shù),2002(2):43-46.
YANG Yuchen, MA Yuzhong. Core scanning technology development and application[J]. Mud Logging Technology,2002,13(2):43-46.
[2] 王丹,卿粼波,滕奇志,等.基于SURF-球面模型的巖心圖像拼接[J]. 科學(xué)技術(shù)與工程,2014,36:217-221.
WANG Dan, QING Linbo, HE Haibo. The core images stitch based on SURF-surface model[J]. Science Technology and Engineering,2014,36:217-221.
[3] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//Proceedings of IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press,2011:2564-2571.
[4] 胡明,王正勇,卿粼波,等.一種穩(wěn)健的低照度巖心樣本圖像拼接算法的實(shí)現(xiàn)[J].四川大學(xué)學(xué)報(bào)(自然科學(xué)版),2015(3):547-556.
HU Ming, WANG Zhengyong, QING Linbo, LIU Yue. The realization of a robust stitching algorithm for low illuminated core sample images[J]. Sichuan University(Natural Science),2015(3):547-556.
[5] 劉躍,吳曉紅,王正勇,等.基于多分辨率圖像融合算法的巖心圖像拼接[J].太赫茲科學(xué)與電子信息學(xué)報(bào),2014(2):290-294,298.
LIU Yue, WU Xiaohong, WANG Zhengyong, KONG Ziyang. Core Images Stitching Based on Multi-Resolution Image Fusion Algorithm[J]. Terahertz Electronics Science and Information Technology,2014(2):290-294,298.
[6] Alahi A, Ortiz R, Vandergheynst P. Freak: Fast retina keypoint[C]//Proceedings of the Computer Vision and Pattern Recognition. Providence, USA,2012:510-517.
[7] 張?jiān)粕?鄒崢嶸.基于改進(jìn)ORB算法的遙感圖像自動(dòng)配準(zhǔn)方法[J].國(guó)土資源遙感,2013(3):20-24.
ZHANG Yunsheng, ZOU Zhengrong. The remote sensing image registration method based on improved ORB[J]. Remote Sensing of Land and Resources,2013(3):20-24.
[8] 佘建國(guó),徐仁桐,陳寧.基于ORB和改進(jìn)RANSAC算法的圖像拼接技術(shù)[J].江蘇科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2015(2):164-169.
SHE Jianguo, XU Rentong, CHEN Ning. The stitching technology of image based on ORB and improved RANSAC algorithm[J]. Jiangsu University of Science and Technology (Natural Science),2015(2):164-169.
[9] 曾世聰,郭太良,林志賢.基于ORB和角點(diǎn)方向夾角約束的快速圖像配準(zhǔn)方法[J].電視技術(shù),2015(9):75-79.ZENG Shicong, GUO Tainiang, LIN Zhixian. Fast image registration method based on ORB and corner angle constraint direction[J]. TV Technology,2015(9):75-79.
[10] 王燦進(jìn),孫濤,陳娟.基于FREAK特征的快速景象匹配[J].電子測(cè)量與儀器學(xué)報(bào),2015(2):204-212.
WANG Canjin, SUN Tao, CHEN Juan. Fast scene matching based on FREAK feature[J]. Electronic Measurement and Instrument,2015(2):204-212.
[11] 王宇霞,趙清杰,趙留軍.基于FREAK和P3CA的魯棒目標(biāo)跟蹤[J].計(jì)算機(jī)學(xué)報(bào),2015(6):1188-1201.
WANG Yuxia, ZHAO Qingjie, ZHAO Liujun. Robust tracking based on FREAK and P3CA[J]. Journal of Computers,2015(6):1188-1201.
[12] 索春寶,楊東清,劉云鵬.多種角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測(cè)繪,2014(4):23-26,22.
SUO Chunbao, YANG Dongqing, LIU Yunpeng. Comparison of a variety of angles of SIFT、SURF、BRISK、FREAK algorithm[J]. Beijing Surveying and Mapping,2014(4):23-26,22.
Stitching Technology of Low Illuminated Core Fluorescence Images Based on Improved ORB
ZHANG XiaoXIONG ShuhuaQING Linbo
(College of Electronic and Information, Sichuan University, Chengdu610065)
The traditional ORB algorithm for image stitching has good effect. But for core image of petroleum geology exploration, especially low illuminated core fluorescence image, existing ORB algorithms has higher rate of mistake matching, resulting in not valid for subsequent image stitching. For this problem, this paper analyzes the shortcomings of the original algorithm ORB, and improves the original algorithm ORB by using FREAK description operators what based on the human visual system, and it is named IORB(improved ORB) algorithm. Experimental results show that improved algorithm for image stitching fluorescence gets the ideal correct matching rate in the guaranteed time on the basis of the cost and enhances the effect of the subsequent stitching process of stitching.
stitching of low illuminated core fluorescence images, ORB, FREAK
2016年4月6日,
2016年5月26日
張瀟,男,碩士研究生,研究方向:多媒體通信與信息系統(tǒng)。熊淑華,女,博士,副教授,研究方向:通信與信息處理。卿粼波,男,博士,副教授,研究方向:信號(hào)與信號(hào)系統(tǒng)、圖像處理、圖像通信。
TP391.41
10.3969/j.issn.1672-9722.2016.10.036