韶阿俊，錢(qián)惟賢，顧國(guó)華，李 超，毛 晨

?

基于計(jì)算集成成像的圖像配準(zhǔn)算法研究

韶阿俊，錢(qián)惟賢，顧國(guó)華，李 超，毛 晨

（南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，江蘇 南京 210014）

計(jì)算集成成像是目前三維重構(gòu)與顯示領(lǐng)域的主流研究方向，是一種基于透鏡陣列來(lái)獲取和重現(xiàn)目標(biāo)場(chǎng)景三維的技術(shù)，針對(duì)集成成像采集的子圖特征點(diǎn)匹配問(wèn)題，傳統(tǒng)的圖像匹配方法匹配點(diǎn)少、耗費(fèi)時(shí)間長(zhǎng)、容易產(chǎn)生局部極值等問(wèn)題。為了獲取更多的匹配點(diǎn)，在原有SIFT配準(zhǔn)算法基礎(chǔ)上進(jìn)行了適當(dāng)?shù)母倪M(jìn)，實(shí)現(xiàn)集成成像稠密的圖像配準(zhǔn)，較大地縮短了配準(zhǔn)時(shí)間。

集成成像；三維重構(gòu)；圖像匹配；SIFT

0 引言

計(jì)算集成成像（Computational Integral Imaging，CII）技術(shù)[1]是一種使用微透鏡陣列或針孔陣列來(lái)捕捉來(lái)自不同方向光線(xiàn)的3D成像技術(shù)，作為一種新型的“真三維”自由立體成像技術(shù)，是目前三維重構(gòu)探測(cè)領(lǐng)域的主流研究方向，并且對(duì)于三維重構(gòu)實(shí)時(shí)性具有很重要的意義，在醫(yī)療成像、工業(yè)探傷等領(lǐng)域也具有非常廣闊的應(yīng)用前景。

CII技術(shù)重點(diǎn)及難點(diǎn)在于圖像的配準(zhǔn)技術(shù)[2]，圖像配準(zhǔn)在一些圖形分析任務(wù)中是一個(gè)至關(guān)重要的部分，是集成成像、圖像融合、目標(biāo)檢測(cè)等應(yīng)用中基本的預(yù)處理步驟。圖像配準(zhǔn)是將不同時(shí)間、不同觀點(diǎn)或者由不同傳感器所獲取同一場(chǎng)景的兩幅或兩幅以上的圖像匹配、疊加的過(guò)程[3]。根據(jù)配準(zhǔn)過(guò)程中所采用的圖像信息的不同，一般可以分為基于灰度統(tǒng)計(jì)和基于特征這兩種方法。前者通過(guò)統(tǒng)計(jì)灰度信息來(lái)處理圖像，但對(duì)于相關(guān)性較弱的圖像卻難以解決，同時(shí)由于其遍歷整個(gè)圖像時(shí)間消耗過(guò)大，難以得到實(shí)際應(yīng)用，如歸一化互相關(guān)（normalized cross correlation method，NCC）；后者則需要找出兩幅圖像之間的共同特征結(jié)構(gòu)并提取出來(lái)，該方法計(jì)算量小、適應(yīng)性強(qiáng)、算法效率以及精度高，對(duì)復(fù)雜形變不敏感，是目前圖像配準(zhǔn)研究領(lǐng)域中的主流方法，得到了廣泛的應(yīng)用[4]。

現(xiàn)如今，特征點(diǎn)提取比較常用的算子有Harris、SUSAN（Smallest Univalue Segment Assimilating Nucleus，最小核值相似區(qū)）[5]、SIFT（Scale In variant Feature Transform，尺度不變特征轉(zhuǎn)換）等算法。Harris適用于角點(diǎn)數(shù)目較多且光源復(fù)雜的情況下。在沒(méi)有圖像尺度變化的條件下，Harris角點(diǎn)檢測(cè)對(duì)圖像的旋轉(zhuǎn)變化、視角變化以及圖像噪聲具有比同類(lèi)檢測(cè)算子更好的穩(wěn)定性。然而Harris角點(diǎn)檢測(cè)對(duì)圖像的尺度變化非常的敏感，小的尺度變化就會(huì)造成Harris角點(diǎn)出現(xiàn)復(fù)現(xiàn)率快速下降的問(wèn)題。對(duì)于透鏡陣列的單元圖像，我們?cè)趯ふ颐恳粋€(gè)透鏡匹配點(diǎn)時(shí)發(fā)現(xiàn)，其對(duì)應(yīng)點(diǎn)十分稀疏，對(duì)于三維恢復(fù)來(lái)說(shuō)造成了巨大的困難[6]。SUSAN角點(diǎn)檢測(cè)的一個(gè)突出優(yōu)點(diǎn)就是對(duì)局部的噪聲不敏感，抗干擾能力強(qiáng)。然而SUSAN角點(diǎn)檢測(cè)與Harris檢測(cè)面臨同樣的問(wèn)題，檢測(cè)角點(diǎn)主要存在于灰度變化值變化比較大的部分，并且角點(diǎn)數(shù)量較少。對(duì)于許多在線(xiàn)系統(tǒng)，實(shí)時(shí)性往往需要擺在一個(gè)十分重要的位置，Lowe在前人研究的基礎(chǔ)上，提出了SIFT算法[7]。SIFT算法完整地把斑點(diǎn)檢測(cè)和特征矢量生成、特征匹配搜索等步驟結(jié)合在一起同時(shí)對(duì)其進(jìn)行適當(dāng)優(yōu)化，因此達(dá)到了接近實(shí)時(shí)的運(yùn)算速度。

本文根據(jù)集成成像過(guò)程中光照和噪聲對(duì)于單元圖像質(zhì)量的影響，提出了改進(jìn)的SIFT算法，引入了相機(jī)光軸的旋轉(zhuǎn)角度和傾斜角度兩個(gè)新的參量，實(shí)現(xiàn)了全尺度不變的特征點(diǎn)匹配。實(shí)驗(yàn)證明該算法在保證實(shí)時(shí)性的前提下，提取了更多稠密的特征點(diǎn)，為目標(biāo)識(shí)別與追蹤、三維重構(gòu)等問(wèn)題提供了很大的便利。

1 SIFT算法特征匹配

SIFT是一種檢測(cè)與描述圖像局部特征的方法。特征的類(lèi)型一般包括點(diǎn)、塊、邊緣等，SIFT主要檢測(cè)塊狀特征。該算子具有非常突出的特點(diǎn)，主要通過(guò)圖像的尺度空間提取特征，所提取的局部特征對(duì)于圖像有一定的尺度不變性，特別在圖像旋轉(zhuǎn)變換、尺度縮放、放射變換等方面保持不變性。因此較好地解決了圖像因場(chǎng)景部分遮掩、視點(diǎn)變化、旋轉(zhuǎn)縮放所引起的圖像變形等問(wèn)題。該算法一般包括4個(gè)步驟：①建立完整尺度空間，進(jìn)行極值點(diǎn)檢測(cè)；②確定關(guān)鍵點(diǎn)主方向，保證描述子旋轉(zhuǎn)不變性；③提取特征描述符，保證矢量旋轉(zhuǎn)不變性。④特征點(diǎn)匹配。

1.1 極值點(diǎn)檢測(cè)

在尺度空間下檢測(cè)極值點(diǎn)，可以保證匹配的縮放不變性[8]。尺度空間的構(gòu)造可用如下公式表示：

(,,)=(,,)*(,) (1)

式中：(,,)為高斯濾波函數(shù)；(,)為圖像；(,,)為尺度空間，是圖像(,)與高斯差分核的卷積；(,)為像素坐標(biāo)；為尺度空間因子；(,,)為尺度空間。

極值點(diǎn)的檢測(cè)是在DoG（Difference of Gaussian）金字塔上進(jìn)行檢測(cè)的，這樣可以保證檢測(cè)到穩(wěn)定的極值點(diǎn)。由于生成尺度空間時(shí)，對(duì)圖像進(jìn)行高斯模糊時(shí)候采用了降采樣處理，因此從下到上尺度依次減小，如圖1所示，類(lèi)似于金字塔形狀，因此稱(chēng)為金字塔，公式表示如下：

(,,)＝[(,,)－(,,)]*(,)＝

(,,)－(,,) (3)

圖1 DoG金字塔的構(gòu)造過(guò)程

在生成的DoG金字塔中，從第2層開(kāi)始，每個(gè)像素點(diǎn)與上下層及周?chē)偣?6個(gè)像素點(diǎn)比較像素值，如果是最大或者最小值，則標(biāo)注為極值點(diǎn)，如圖2所示。

圖2 DoG金字塔特征點(diǎn)檢測(cè)

由對(duì)比得到的局部極值位置就是圖像特征點(diǎn)所處的位置和其相對(duì)應(yīng)的尺度，于是為了得到更準(zhǔn)確的特征點(diǎn)，我們可以借助曲面擬合的方法對(duì)特征點(diǎn)進(jìn)行更精確的定位，同時(shí)還需要對(duì)一些對(duì)比度相對(duì)較低的點(diǎn)以及邊緣響應(yīng)點(diǎn)進(jìn)行排查并剔除。

1.2 確定關(guān)鍵點(diǎn)主方向

為了保證描述子的旋轉(zhuǎn)不變性，需要對(duì)特征關(guān)鍵點(diǎn)指定一個(gè)主方向，這里我們利用特征點(diǎn)鄰域像素的梯度直方圖來(lái)計(jì)算極值點(diǎn)的主方向，從而確保算子具備旋轉(zhuǎn)不變性。

(,)＝tan－1[((,＋1)－(,－1)]/

[((＋1,)－(－1,)] (6)

式(5)、式(6)分別為()處梯度的模值和方向公式。其中，是每個(gè)特征點(diǎn)各自所在的尺度。實(shí)際計(jì)算過(guò)程中，在以特征點(diǎn)為中心的領(lǐng)域窗口內(nèi)進(jìn)行采樣，并用梯度方向直方圖統(tǒng)計(jì)鄰域像素的梯度方向[9]。通常，為了增強(qiáng)匹配的魯棒性，我們指定一個(gè)特征點(diǎn)具有多個(gè)方向：一個(gè)主方向，一個(gè)以上輔方向。

1.3 提取特征描述符

圖3 特征點(diǎn)描述子構(gòu)造

1.4 特征點(diǎn)匹配

兩幅相似圖像的128維SIFT特征矢量形成后，為了判定兩幅圖像中關(guān)鍵點(diǎn)的相似性，我們將采用關(guān)鍵點(diǎn)特征向量的歐式距離作為判定度量。然而由于遮擋等原因，匹配過(guò)程中可能出現(xiàn)較多錯(cuò)誤匹配情況，所以我們必須采取一些措施以降低錯(cuò)配率。但是因?yàn)樘卣鼽c(diǎn)具有較強(qiáng)的獨(dú)特性，它的匹配點(diǎn)對(duì)于特征向量的歐式距離就會(huì)較大，所以每對(duì)匹配特征點(diǎn)的特征向量歐式距離加閾值的方法用在這里其實(shí)并不是特別適合。于是我們提出一種相對(duì)有效的方法：在匹配時(shí)比較與關(guān)鍵點(diǎn)的特征向量最近和第二近的關(guān)鍵點(diǎn)。例如，我們可以取圖像a中的一個(gè)關(guān)鍵點(diǎn)，并在圖像b中尋找與圖像a中歐式距離最近的兩個(gè)關(guān)鍵點(diǎn)并且進(jìn)行排序，在這兩個(gè)關(guān)鍵點(diǎn)中，如果最近距離與第二近距離的比值小于設(shè)定的比例閾值，則默認(rèn)這兩個(gè)關(guān)鍵點(diǎn)是一對(duì)匹配點(diǎn)，具體的表達(dá)式如下：

通過(guò)大量的實(shí)驗(yàn)我們可以觀察到，如果降低閾值，匹配點(diǎn)數(shù)目則會(huì)相應(yīng)的減少，但卻更加穩(wěn)定。Lowe在實(shí)現(xiàn)過(guò)程中推薦?。?.8，此時(shí)雖然會(huì)去掉約5%的正確匹配，但同時(shí)會(huì)去掉約90%的錯(cuò)誤匹配[10]。

2 改進(jìn)的SIFT算法

當(dāng)兩個(gè)相對(duì)空間位置的元素圖像變化較小，光強(qiáng)度也足夠好時(shí)，SIFT算法在圖像配準(zhǔn)方面性能很好。然而對(duì)于一組在弱光和低分辨率的圖像，我們可以通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)得到的匹配點(diǎn)過(guò)于稀疏。如圖4所示。

圖4 SIFT匹配點(diǎn)（包括錯(cuò)誤匹配點(diǎn)）

僅僅靠含有錯(cuò)誤匹配點(diǎn)的65組匹配點(diǎn)，根本無(wú)法滿(mǎn)足三維重構(gòu)基礎(chǔ)應(yīng)用要求，于是我們引入了改進(jìn)的SIFT算法。

本文所引用的算法是通過(guò)模擬成像時(shí)傳感器的姿態(tài)來(lái)解決拍攝時(shí)帶來(lái)的仿射變形，其最顯著的一點(diǎn)就是進(jìn)一步增強(qiáng)了算法的仿射不變性[11]。如此看來(lái)，該算法模擬了3個(gè)參量：尺度、相機(jī)經(jīng)度角和緯度角（相當(dāng)于傾斜角），除此之外還規(guī)范了其他3個(gè)參數(shù)（平移和轉(zhuǎn)動(dòng)）。因而該算法為全尺度不變算法，ASIFT（Affine Scale Invariant Feature Transform）[12]。該算法大致匹配過(guò)程如圖5。

圖5 仿射空間

圖A和圖B為兩幅存在近似仿射變形的圖像，模擬所有相機(jī)光軸扭曲所造成的變化。如果將圖A和圖B進(jìn)行匹配，SIFT算法不容易識(shí)別具有仿射變形的圖像，因而配準(zhǔn)點(diǎn)稀少。ASIFT算法通過(guò)將圖像A的成像姿態(tài)進(jìn)行精確模擬成圖G的近似正視角度的成像狀態(tài)，將圖像B以同樣的原理模擬成H，然后再將圖G和圖H進(jìn)行符合一定準(zhǔn)則的配準(zhǔn)。由于圖G和圖H是接近正面拍攝的角度，因此仿射變形的程度基本一致，更容易匹配。在一系列變換中，圖C和圖E是圖像A經(jīng)過(guò)模擬姿態(tài)角后生成的影像，圖D和圖F是圖像B經(jīng)過(guò)模擬姿態(tài)角后生成的影像。但是實(shí)際上，這些影像也是可以進(jìn)行相互匹配的，圖G和圖H是仿射變形后可以到達(dá)最優(yōu)匹配結(jié)果。因此選擇圖G和圖H的成像姿態(tài)作為最后的仿射變換模型。

由此可以看出，ASIFT算法的實(shí)現(xiàn)需要解決以下2個(gè)問(wèn)題：

1）確定傳感器的視角關(guān)系：當(dāng)傳感器在拍攝對(duì)象上方的不同視角獲取子圖時(shí)，傳感器的光軸一般會(huì)發(fā)生改變，造成圖像上局部區(qū)域存在仿射變形。為了模擬所有可能的仿射變形，ASIFT算法在SIFT算法基礎(chǔ)上引入兩個(gè)新的參數(shù)來(lái)衡量傳感器的視角位置。

首先，我們假設(shè)一個(gè)矩陣為仿射變換矩陣（的行列式為正，且不存在相似矩陣），將其分解成：

式中：l＞0，f?[0, p]。式(8)的幾何過(guò)程可以由圖6解釋?zhuān)琭, q＝arccos1/t。分別代表相機(jī)光軸的經(jīng)度和緯度；右上角的平行四邊形表示攝像機(jī)的位置；u代表被拍攝的物體，可以看作為一個(gè)平坦的物理對(duì)象；第3個(gè)角y表示相機(jī)旋轉(zhuǎn)的參數(shù)；l為縮放倍數(shù)；f表示攝像機(jī)環(huán)繞自身光軸的旋轉(zhuǎn)角度。

本文介紹的ASIFT算法引入兩個(gè)全新的參數(shù)即為角和角，用這兩個(gè)參數(shù)來(lái)衡量傳感器在不同視角與正視角的關(guān)系，為了圖像的配準(zhǔn)，通過(guò)分別模擬待配準(zhǔn)圖像與正視角圖像的數(shù)學(xué)關(guān)系來(lái)實(shí)現(xiàn)。

2）模擬仿射不變性：ASIFT算法通過(guò)引入?yún)?shù)角和角來(lái)模擬由于傳感器光軸的方向改變而引起的局部仿射變形。因此可以在橫向角和縱向角上進(jìn)行足夠精確的采樣間隔以實(shí)現(xiàn)完全的仿射不變性。該方法主要過(guò)程有以下步驟：

圖7 采樣參數(shù)f,q＝arccos1/t。黑點(diǎn)為采樣點(diǎn)。沿Y軸的半球體透視圖（只顯示了t＝2, 2,4）

③采用SIFT算法對(duì)所有模擬傾斜后的圖像進(jìn)行匹配比較，匹配原則在1.4節(jié)中有所敘述。

由此可以看出改進(jìn)的算法在以足夠的精度模擬攝相機(jī)光軸的經(jīng)度角與緯度角，從而能夠更好地抵抗圖像間的仿射變換。實(shí)現(xiàn)了特征點(diǎn)的提取與匹配的稠密化。

3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文所述算法的圖像匹配方法的可行性與可靠性，本文采用來(lái)自美國(guó)亞利桑那大學(xué)3DVIS實(shí)驗(yàn)室的圖像進(jìn)行實(shí)驗(yàn)。同時(shí)，文中我們使用IBM X230（CPU i7-3520M，8G內(nèi)存），64位操作系統(tǒng)作為實(shí)驗(yàn)平臺(tái)。

在實(shí)驗(yàn)中，我們用圖8作為實(shí)驗(yàn)圖像組。

圖8 實(shí)驗(yàn)圖像

剪切為同樣大小的單元圖像之后，對(duì)圖像9我們分別采用Harris角點(diǎn)檢測(cè)和NCC相結(jié)合的算法、SIFT和ASIFT算法提取匹配點(diǎn)[14]。得到的匹配圖如下，由圖10、圖11、圖12可以看出各算法得到對(duì)匹配效果圖。

圖9 平移仿射變換的原始圖

圖10 Harris＋NCC相結(jié)合的算法得到的匹配點(diǎn)

圖11 SIFT算法得到的匹配點(diǎn)

圖12 ASIFT算法得到的匹配點(diǎn)

針對(duì)圖9中單獨(dú)的兩幅腎臟單元圖，我們分別采用Harris＋NCC、SIFT、ASIFT算法進(jìn)行圖像配準(zhǔn)，得到初始匹配點(diǎn)及匹配時(shí)間的對(duì)比表格，如表1所示。

表1 Harris＋NCC、SIFT和ASIFT匹配實(shí)驗(yàn)數(shù)據(jù)

由表1可以看出，本文所采用的ASIFT算法相對(duì)于Harris＋NCC和SIFT算法獲得了更多的匹配點(diǎn)，且縮短了匹配時(shí)間，匹配效果明顯改善。

將初始匹配點(diǎn)作為輸入，使用RANSAC（Random Sample Consensus，隨機(jī)抽樣一致）算法對(duì)Harris＋NCC、SIFT和ASIFT進(jìn)行精確匹配，可以看出改進(jìn)的ASIFT算法較Harris＋NCC和SIFT算法在檢測(cè)精度上明顯提高，見(jiàn)表2。

表2 SIFT和ASIFT算法的匹配精度

由對(duì)比可以發(fā)現(xiàn)ASIFT算法匹配點(diǎn)明顯比Harris＋NCC和SIFT算法稠密的多，呈現(xiàn)數(shù)倍差距，匹配精度有較大幅度的提高。

我們由此得出結(jié)論：針對(duì)具有仿射變換的集成成像圖像序列，ASIFT算法無(wú)論從匹配點(diǎn)數(shù)量和還是精確度方面都成倍的超過(guò)Harris＋NCC和SIFT算法。這為后續(xù)的三維重建工作奠定了更為良好的基礎(chǔ)。

最后我們利用MeshLab恢復(fù)出圖像的三維效果圖，得到了非常好的效果，如圖13所示，是在不同視角下得到的三維效果對(duì)比圖。

圖13 三維效果圖

4 結(jié)論

文中引入了相機(jī)光軸的旋轉(zhuǎn)角度和傾斜角度兩個(gè)新的參量，實(shí)現(xiàn)了全尺度不變的特征點(diǎn)匹配。提出了全新改進(jìn)的ASIFT算法，相對(duì)于Harris+NCC和SIFT算法，該算法在保證實(shí)時(shí)性的前提下，提取了更多稠密的特征點(diǎn)，縮減了配準(zhǔn)時(shí)間，具有較高的檢測(cè)精度。這種算法對(duì)于計(jì)算集成成像三維重構(gòu)實(shí)時(shí)性具有很重要的意義，在醫(yī)療成像、工業(yè)探傷等領(lǐng)域也具有非常廣闊的應(yīng)用前景。

[1] Lippmann G. La photographic intergrale[J].1908, 146: 446-451.

[2] 徐晶. 基于微透鏡陣列的集成成像和光場(chǎng)成像研究[D]. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 201l: 1-21

[3] 陳顯毅. 圖像配準(zhǔn)技術(shù)及其MATLAB編程實(shí)現(xiàn)[M]. 北京: 電子工業(yè)出版社, 2009: 1-10.

[4] Wang F, Vemuri B C, Rao M. Cumulative residual entropy, a new measure of information & its application to image alignment[J]., 2003, 86(1): 112-114.

[5] 王永明, 王貴錦. 圖像局部不變性特征與描述[M]. 北京: 國(guó)防工業(yè)出版社, 2010: 65-134.

[6] 毛晨, 錢(qián)惟賢, 顧國(guó)華, 等. 基于雙邊濾波的Harris角點(diǎn)檢測(cè)[J]. 紅外技術(shù), 2014, 36(10): 812-815.

[7] LOWE D G. Object recognition from local scale-invariant features [C]//: [s.n.]1999,7 (2):1150-1157．

[8] 馬莉, 韓燮. 主成分分析法(PCA)在SIFT匹配算法中的應(yīng)用[J]. 電視技術(shù), 2012, 36(1): 129-132.

[9] 王世亮, 楊帆, 張志, 等. 基于目標(biāo)紅外特征與SIFT特征相結(jié)合的目標(biāo)識(shí)別算法[J]. 紅外技術(shù), 2012, 34(9): 503-507.

[10] 朱富國(guó). 圖像寬基線(xiàn)匹配與攝像機(jī)三維姿態(tài)估計(jì)算法研究[D]. 北京: 北京郵電大學(xué), 2011: 12-14.

[11] MOREL J M, YU G. ASIFT: a new framework for fully affine in variant mage comparison[J].2009, 2(2):438-469.

[12] Yu G, Morel J M. A fully affine invariant image comparison method[C]()2009: 1597-1600.

[13] David G Lowe. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[14] Matas J, Chum O, Urban M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]., 2004, 22(10): 761-767.

Image Registration Algorithm Research Based on Computational Integral Imaging

SHAO A-jun，QIAN Wei-xian，GU Guo-hua，LI Chao，MAO Chen

(,,210014,)

Computational Integral Imaging（CII） technology is one of the main research directions in the field of 3D reconstruction and display. It is one kind of technologies based on lens array which is to obtain and reconstruct the goal 3D scene. According to feature point matching problem in integral imaging sub-graphs, the traditional method of image matching is not good enough because of poor matching points, huge time consumption in gand producing local minima. In order to get more matching points, we make the appropriate improvement in original image registration algorithm based on SIFT. It realizes dense image registration and shortens the time consumption.

computational integral imaging，3D reconstruction，image registration，SIFT

TP391

A

1001-8891(2015)05-0398-06

2014-11-05；

2015-02-04.

韶阿俊（1990-），男，碩士，主要從事圖像處理、三維重構(gòu)等方面研究。E-mail：sailor-jack@163.com。

國(guó)家自然科學(xué)基金，編號(hào)：61271332；江蘇省“大人才高峰”支持計(jì)劃，編號(hào)：2010-DZXX-022。