林克全,勞衛(wèi)倫（廣州供電局有限公司，510620）

?

基于sift、對(duì)極幾何和ransac配準(zhǔn)的圖像拼接方法

林克全,勞衛(wèi)倫
（廣州供電局有限公司，510620）

摘要：近年來(lái)，全景圖像已經(jīng)得到廣泛的應(yīng)用，越來(lái)越多場(chǎng)景需要全景圖片的展示。本文結(jié)合圖像特征提取及融合技術(shù)，對(duì)在攝像機(jī)不同位移情況下拍攝的照片進(jìn)行拼接。通過(guò)對(duì)不同圖像的sift特征值提取，并結(jié)合對(duì)極幾何和ransac算法對(duì)sift特征值進(jìn)行分析，剔除錯(cuò)誤特征點(diǎn)，進(jìn)行特征點(diǎn)配準(zhǔn)，計(jì)算圖像間的特征配準(zhǔn)及變換矩陣，以提高圖像配準(zhǔn)的準(zhǔn)確度，實(shí)現(xiàn)不同圖像的拼接。

關(guān)鍵詞：圖像拼接；sift特征；對(duì)極幾何；ransac算法

1　概述

圖像拼接技術(shù)的研究是在現(xiàn)實(shí)應(yīng)用的需求下逐漸發(fā)展起來(lái)的。圖像拼接技術(shù)可應(yīng)用于現(xiàn)場(chǎng)環(huán)境的模擬，為用戶提供對(duì)陌生現(xiàn)場(chǎng)環(huán)境的遠(yuǎn)程瀏覽服務(wù)，實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)環(huán)境的查詢、瀏覽和注釋?zhuān)蓮V泛應(yīng)用在供電企業(yè)生產(chǎn)運(yùn)行的不同場(chǎng)景，滿足不同部門(mén)和基層單位的全景現(xiàn)場(chǎng)展示需要，并可作為項(xiàng)目電子化移交的有效補(bǔ)充，也可提供員工培訓(xùn)使用，便于對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行全方位的信息獲取。同時(shí)可以結(jié)合音頻介紹，加強(qiáng)生產(chǎn)辦公場(chǎng)所實(shí)景的電子化和遠(yuǎn)程可視化。

本文結(jié)合sift、對(duì)極幾何、ransac算法構(gòu)建全景圖像拼接方法，找出兩幅圖像之間的特征值，該特征值要具有旋轉(zhuǎn)及尺度不變性，根據(jù)特征值進(jìn)行配準(zhǔn)，使一幅圖像中的點(diǎn)最優(yōu)地映射到另一幅圖像中，形成有效的特征提取及特征配準(zhǔn)算法，提高圖像配準(zhǔn)的準(zhǔn)確度，實(shí)現(xiàn)可廣泛應(yīng)用不同場(chǎng)景的圖像拼接。

2　關(guān)鍵算法簡(jiǎn)介

2.1sift特征

sift算法，即尺度不變特征轉(zhuǎn)換算法，是一種計(jì)算機(jī)視覺(jué)的算法，用來(lái)偵測(cè)與描述影像中的局部性特征，在空間尺度中尋找極值點(diǎn)，并提取出位置、尺度、旋轉(zhuǎn)不變量。該算法主要步驟分為以下三步：

（1）構(gòu)建尺度空間。尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征，通過(guò)高斯卷積核實(shí)現(xiàn)對(duì)二維護(hù)圖像的尺度空間的定義。

其中 G(x,y,σ) 是尺度可變高斯函數(shù)

（2）尋找尺度空間的極值點(diǎn)。在尺度空間中，每一個(gè)采樣點(diǎn)和它所有的相鄰點(diǎn)比較，中間的檢測(cè)點(diǎn)和它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)。 一個(gè)點(diǎn)若在尺度空間本層以及上下兩層的26個(gè)領(lǐng)域中是最大或最小值時(shí)，可判定該點(diǎn)是圖像在該尺度下的一個(gè)特征點(diǎn)。

（3）構(gòu)造極值點(diǎn)描述子。通過(guò)對(duì)尺度空間的極值點(diǎn)周?chē)鷪D像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有獨(dú)特性的向量，在極值點(diǎn)尺度空間內(nèi)4×4的窗口中計(jì)算的8個(gè)方向的梯度信息，共4×4×8=128維向量表征。所有極值點(diǎn)的向量形成sift算法的特征值。

2.2對(duì)極幾何

對(duì)極幾何是描述兩幅圖像之間內(nèi)在關(guān)系的射影幾何，它與具體的景物結(jié)構(gòu)無(wú)關(guān)，僅由攝像機(jī)的內(nèi)參數(shù)以及相對(duì)姿態(tài)來(lái)決定，而兩幅圖像之間的內(nèi)在身影關(guān)系可以通過(guò)基礎(chǔ)矩陣來(lái)體現(xiàn)，可通過(guò)利用基礎(chǔ)矩陣來(lái)剔除錯(cuò)誤匹配點(diǎn)對(duì)。

對(duì)于雙目視覺(jué)系統(tǒng)，即有兩個(gè)攝像機(jī)，定義兩個(gè)攝像機(jī)的光學(xué)中心點(diǎn)為、，在三維空間中存在一個(gè)場(chǎng)景點(diǎn)，這個(gè)點(diǎn)與兩個(gè)攝像機(jī)光學(xué)中心點(diǎn)共同構(gòu)成的平面就是極平面，每個(gè)攝像機(jī)都有一個(gè)圖像平面，分別為Image1和Image2，交Image1 于點(diǎn)，交Image2于點(diǎn)，而連線分別交兩個(gè)圖像平面于和，這兩個(gè)點(diǎn)稱(chēng)為極點(diǎn)，稱(chēng)為基線。極平面與圖像平面相交于兩條極線和，這兩條極線的關(guān)系是對(duì)應(yīng)的，而、、、分別位于和上示。

隨著三維場(chǎng)景點(diǎn)的移動(dòng)，極平面將繞著基線轉(zhuǎn)動(dòng)，這些極平面共同構(gòu)成一個(gè)極平面束，這些極平面與圖像平面所交匯成的極線族分別都交于兩個(gè)極點(diǎn)和。

這個(gè)從點(diǎn)到線的映射關(guān)系稱(chēng)為基礎(chǔ)矩陣F。F可以用一個(gè)秩為2的3階矩陣來(lái)表達(dá)，設(shè)為上的點(diǎn)，那么它在上的對(duì)極線議程由給出，由于的對(duì)應(yīng)點(diǎn)在上，因此有:?？梢钥闯?，基礎(chǔ)矩陣的重要性在于不需要參考攝像機(jī)矩陣，即僅從對(duì)應(yīng)的圖像點(diǎn)對(duì)就能給出一種描述基礎(chǔ)矩陣的方式。

2.3ransac算法

ransac算法的輸入是一組觀測(cè)數(shù)據(jù)，一個(gè)用于解釋觀測(cè)數(shù)據(jù)的參數(shù)化模型以及一些可信的參數(shù)。ransac算法通過(guò)反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集來(lái)達(dá)成目標(biāo).

3　全景圖像拼接方法

本文介紹的全景圖像拼接方法，算法的流程及步驟如下：

（1）攝像機(jī)讀取不同的圖像。

（2）用sift算法分析獲取不同圖像的特征值，采用初始的特征值進(jìn)行匹配，匹配過(guò)程會(huì)存在將大的誤差，匹配結(jié)果并無(wú)法達(dá)到預(yù)期效果。

（3）通過(guò)對(duì)極幾何原理獲取特征點(diǎn)的基礎(chǔ)矩陣，基礎(chǔ)矩陣可以體現(xiàn)圖像之間的對(duì)稱(chēng)映射關(guān)系，能有效地剔除大量外部點(diǎn)，排除大量干擾信息，但仍然無(wú)法排除與重疊區(qū)域存在一樣對(duì)稱(chēng)的離散點(diǎn)，這部分離散點(diǎn)仍會(huì)保留下來(lái)。

（4）為了進(jìn)一步排除這些離散點(diǎn)，通過(guò)ransac算法對(duì)特征點(diǎn)進(jìn)行迭代歸類(lèi)分析，通過(guò)多次迭代尋找全局最優(yōu)值，能有效地剔除這些離散的干擾點(diǎn)，保留最佳的匹配特征值。

（5）通過(guò)特征點(diǎn)的匹配關(guān)系，計(jì)算出圖像間的變換矩陣，利用變換矩陣可以將圖像進(jìn)行拼接。

4　實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出的算法，我們的實(shí)驗(yàn)選取了包括室內(nèi)與室外不同場(chǎng)景、不同光線強(qiáng)度、不同的攝像機(jī)位移和焦距情況下的圖像進(jìn)行圖像拼接。實(shí)驗(yàn)結(jié)果證明本文的算法具有較好的魯棒性，能有效地匹配不同圖像間的特征，所提取的圖像特征具有尺度不變性、灰度不變性、位移不變性。但該算法目前尚未優(yōu)化圖像的合成效果，在圖像拼接后，未將不同圖像進(jìn)行灰度統(tǒng)一調(diào)整，尺寸統(tǒng)一調(diào)整。

5　結(jié)論

本文主要研究將sift、對(duì)極幾何和ransac配準(zhǔn)算法用于全景圖像的拼接中，用基礎(chǔ)矩陣和ransac算法對(duì)sift初始特征值進(jìn)行優(yōu)化，提取出圖像覆蓋的圖像特征點(diǎn)，通過(guò)這些特征點(diǎn)進(jìn)行圖像融合。該方法經(jīng)實(shí)驗(yàn)驗(yàn)證，能有效地進(jìn)行全景圖像融合，具有較好的魯棒性，圖像拼接效果良好，為運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)技術(shù)等圖像處理領(lǐng)域的全景圖像應(yīng)用奠定扎實(shí)的基礎(chǔ)，也能應(yīng)用于供電企業(yè)生產(chǎn)運(yùn)行的不同現(xiàn)場(chǎng)場(chǎng)景模擬，提供員工遠(yuǎn)程場(chǎng)景的培訓(xùn)使用，具有良好的應(yīng)用推廣前景。

參考文獻(xiàn)

[1] 崔得龍，弓云峰，左敬龍.基于改進(jìn)SIFT的圖像拼接算法.電子設(shè)計(jì)工程.2013, 21(2):34-37

[2] 勞衛(wèi)倫.基于智能視頻監(jiān)控技術(shù)的電力系統(tǒng)異常場(chǎng)景檢測(cè).電子技術(shù)與軟件工程.2015,2:90-91.

[3] David G.Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004, 60(2):91-110

[4] 鐘健. 基于對(duì)極幾何的圖像匹配研究.中南大學(xué).2010

[5] 許斌，李忠科，孫玉春. 對(duì)極約束下的相位相關(guān)圖像匹配算法.計(jì)算機(jī)應(yīng)用研究.2014, 31(2):615-618

[6] CS Chen，YP Hung，JB Cheng. RANSAC-based DARCES: a new approach to fast automatic registration of partially overlapping range images. Pattern Analysis and Machine Intelligence. 1999, 21(11):1229-1234

林克全（1986-），男，廣東人，工程師，碩士（已畢業(yè)），從事電力信息化項(xiàng)目建設(shè)工作。

勞衛(wèi)倫（1979-），男，廣東人，高級(jí)工程師，博士，從事電力信息化項(xiàng)目建設(shè)工作。

Image mosaic method based on SIFT, Epipolar Geometry and RANSAC

Lin Kequan,Lao Weilun
（Guangzhou Power Supply Bureau Co. Ltd.,Guangzhou,Guangdong ,510620,China）

Abstract：In recent years,the panoramic image has been widely used.More and more scenes need to be displayed in a panoramic picture.This paper applies image feature extraction and fusion technology for mosaicking images taken under the conditions of different displacement of the camera. This paper extracts the SIFT features of different images, and analyzes the features based on epipolar geometry and RANSAC algorithm to discard false matches and find more matches. Therefore, the feature registration and transformation matrix are calculated to improve the accuracy of image registration and image mosaic.

Keywords：image mosaicking; SIFT features; Epipolar Geometry;RANSAC algorithm

作者簡(jiǎn)介