王天也，王紹舉

(1. 中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2. 中國科學(xué)院大學(xué)，北京 100049)

1 引言

圖像拼接技術(shù)在計算機(jī)視覺、遙感觀測、航天探索、軍事偵查、醫(yī)學(xué)圖像處理等領(lǐng)域都有廣泛的應(yīng)用并且具有良好的研究前景[1]。在安防監(jiān)控領(lǐng)域，圖像拼接技術(shù)同樣扮演著重要角色[2]。圖像拼接主要分為圖像配準(zhǔn)和圖像融合兩個主要部分[3]，在圖像配準(zhǔn)中目前應(yīng)用較為廣泛的是基于點(diǎn)特征的配準(zhǔn)方法[4]，其中應(yīng)用最為廣泛的包括Lowe D.G.提出的SIFT[5]算法，Bay H 等提出了SURF[6]算法，Rublee等人提出的ORB算法，其中ORB算法的計算速度較前兩者有明顯的速度優(yōu)勢，為了提高圖像拼接的實(shí)時性，本文選取了ORB算法進(jìn)行圖像配準(zhǔn)，并使用漸入漸出的位置加權(quán)算法進(jìn)行圖像融合。

目前ORB算法應(yīng)用圖像拼接的文獻(xiàn)比較多，但針對夜晚局部對比度高圖像拼接的研究很少。文獻(xiàn)[7]提出了基于物理模型與改進(jìn)邊界約束的低照度增強(qiáng)算法，實(shí)現(xiàn)了夜晚圖像的拼接，雖然拼接圖像的視覺效果良好，但復(fù)雜度較高，很難保證拼接的流暢性。

使用ORB特征對夜晚圖像進(jìn)行特征提取時，由于存在燈光的因素會導(dǎo)致局部區(qū)域的亮度和對比度較高，這部分區(qū)域的Harris響應(yīng)值相對較高，容易計算出大量的特征點(diǎn)，而其它對比度相對較差的區(qū)域難以提取出足夠數(shù)量的特征點(diǎn)，根據(jù)局部區(qū)域進(jìn)行匹配計算出的透視變換矩陣很難反映出兩幅圖像整體的變換關(guān)系，使得后續(xù)的圖像拼接效果不好，雖然可以使用更為復(fù)雜的圖像融合算法改進(jìn)這一缺陷，但明顯提高了算法的復(fù)雜度，增加了圖像融合算法時間消耗，不利于視頻圖像的拼接。

本文采用直方圖均衡化的方法對圖像進(jìn)行預(yù)處理，使得采集到原始夜間圖像中對比度較差的部分對比度提高，而原始圖像中對比度較高的燈光區(qū)域?qū)Ρ榷冉档汀８鶕?jù)預(yù)處理前后的圖像分別做圖像配準(zhǔn)，共同計算透視變換矩陣，可得到更準(zhǔn)確的透視變換關(guān)系，從而獲得更好的圖像拼接效果。

2 基于ORB算法的圖像拼接

2.1 ORB算法

ORB算法是由Rublee等人于2011年提出的特征點(diǎn)檢測算法[8]。該算法由o-FAST特征點(diǎn)和rBRIEF描述子組成。

2.1.1 o-FAST特征點(diǎn)

FAST(Features from Accelerated Segment Test)算法是由Rosten和Drummond于2006年提出，并于2010年修改發(fā)表的一種特征點(diǎn)檢測算法。其中對于FAST特征點(diǎn)的定義為：像素的灰度值和相鄰連續(xù)若干像素灰度值的差大于給定閾值的點(diǎn)，稱為FAST角點(diǎn)[9]。

FAST通過計算角點(diǎn)Harris響應(yīng)值的方法可也為特征點(diǎn)提供特征性度量方法，采用建立3層高斯圖像金字塔的方法增加尺度不變性，使用灰度質(zhì)心法，通過計算像素點(diǎn)與鄰域像素點(diǎn)的像素矩得到這一區(qū)域的質(zhì)心，定義特征的方向?yàn)樵撓袼攸c(diǎn)與質(zhì)心連線構(gòu)成的向量的方向，為特征點(diǎn)的主方向，使特征點(diǎn)具有旋轉(zhuǎn)不變性。

2.1.2 rBRIEF描述子

BRIEF(Binary Robust Independent Eleme-ntary Features)描述子是由Michael Calonder[10]于2010年提出的二進(jìn)制碼串描述子。

首先，在以特征點(diǎn)P為圓心，d為半徑的鄰域內(nèi)做圓O，在圓O內(nèi)隨機(jī)選取256個像素對P1(A，B)、P2(A，B)…PN(A，B)，定義二值τ

(1)

為了解決特征的旋轉(zhuǎn)不變性，ORB算法采用o-FAST特征點(diǎn)的主方向作為BRIEF描述子的主方向，將旋轉(zhuǎn)后的描述子記為steerd BRIEF。

由于steerd BRIEF的PCA分解具有特征分布方差小，各成分相關(guān)性大，均值靠左，內(nèi)外點(diǎn)有重疊區(qū)域的特點(diǎn)[11]， ORB算法采用貪婪搜索的方法搜索所有的二值測試，從中篩選出類內(nèi)方差大，相關(guān)性低的采樣點(diǎn)對，最終提取出的BRIEF特征稱為rBRIEF特征。

2.2 特征匹配

本文使用了Knn算法進(jìn)行特征匹配，并使用RANSAC算法計算透視變換矩陣。

2.2.1 Knn匹配算法

K最近鄰算法[12](K-Nearest Neighbors Algorithm，KNN)的核心思想是針對某一特征點(diǎn)，分別在另一特征空間中搜索相似程度最高的前K個特征點(diǎn)作為候選特征。

本文采取K=2的Knn算法，針對每個特征點(diǎn)分別得到最優(yōu)特征匹配和次優(yōu)特征匹配，兩者的距離分別記為d1和d2，根據(jù)兩者的比率t篩選每個特征點(diǎn)匹配對，比率過大的匹配被認(rèn)為是誤匹配。

2.2.2 RANSAC算法

RANSAC算法的輸入是一些測試數(shù)據(jù)，其中包括一些噪聲和誤差太大的點(diǎn)，通過反復(fù)從數(shù)據(jù)中選擇隨機(jī)的離散子集，以不斷迭代的方式篩選內(nèi)點(diǎn)[11]。

本文使用RANSAC算法的目的主要是通過不斷迭代的過程篩選掉對計算透視變換矩陣影響過大的點(diǎn)。

計算方法如下公式

(2)

其中(x’，y’)和(x，y)表示一組特征點(diǎn)對。

透視變換矩陣為

(3)

2.3 圖像融合算法

本文采用了位置加權(quán)融合算法。位置加權(quán)融合算法是一種漸入漸出的融合算法，該算法對融合的過渡區(qū)域像素值進(jìn)行計算時，對兩幅圖像的像素值進(jìn)行加權(quán)平均確定每一幅圖像貢獻(xiàn)的像素比例。加權(quán)函數(shù)如下所示

(4)

其中，I1(x，y)表示源圖像R1的像素值，I2(x，y)表示源圖像R2的像素值w1，w2分別表示各自所占的權(quán)重，具體的權(quán)值選擇與圖像的距離成比例，由1逐漸過渡到0。具體的權(quán)值如下

(5)

其中，D表示當(dāng)前像素點(diǎn)與重疊區(qū)域左邊緣的距離，W為重疊區(qū)域的總寬度。

采用這種漸入漸出的拼接融合方法，計算速度快，可以使過渡區(qū)域更加平滑，但是在配準(zhǔn)不是很精確的情況下會出現(xiàn)重影的現(xiàn)象[12]。

3 改進(jìn)的拼接算法

首先使用了基于ROI(感興趣區(qū)域)的匹配方法，對兩幅圖像百分之五十的部分進(jìn)行特征匹配，有效的減少了誤匹配的數(shù)量，提高算法的速度。

其次，由于ORB算法的特征點(diǎn)提取方法由FAST特征點(diǎn)改進(jìn)而來，在使用進(jìn)行FAST-9特征點(diǎn)求其特征時，其邊緣響應(yīng)較為嚴(yán)重，而且沒有特征點(diǎn)的度量方法。所以O(shè)RB算法在實(shí)際提取特征點(diǎn)過程中首先計算每個特征點(diǎn)的Harris響應(yīng)值，通過響應(yīng)值的大小對候選特征點(diǎn)進(jìn)行排序，作為候選特征點(diǎn)，再通過搜索局部最大極值和抑制非極大值的方法，進(jìn)一步篩選特征點(diǎn)。通過這一流程提取出的特征點(diǎn)具有相對集中的特點(diǎn)。

使用原始圖像進(jìn)行匹配后的特征都集中在包含燈光的對比度較高的區(qū)域，而從其它區(qū)域提取的特征相對較少，由此得到的透視變換矩陣不能反映整幅圖像的映射關(guān)系。

本文使用了直方圖均衡化進(jìn)行預(yù)處理，直方圖均衡化是廣泛使用的圖像增強(qiáng)算法，基本思想是把原始圖像的直方圖根據(jù)其概率分布函數(shù)改變?yōu)榫鶆虻闹狈綀D[13]。其優(yōu)點(diǎn)是處理速度快，可以對圖像低對比度的區(qū)域進(jìn)行對比度增強(qiáng)。

經(jīng)過直方圖均衡后，原圖像較暗部分的細(xì)節(jié)變得更清晰，在進(jìn)行特征點(diǎn)檢測時Harris響應(yīng)值較高的候選點(diǎn)區(qū)域發(fā)生變化，因此可以獲得同一圖像的其它區(qū)域高質(zhì)量匹配點(diǎn)對。

最后，把直方圖均衡化前后分別得到的匹配對放在一起，使用RANSAC算法計算透視變換矩陣。這樣得到的結(jié)果更能準(zhǔn)確的反映兩幅圖像的透視變換關(guān)系，具體流程如下圖所示。

圖1 傳統(tǒng)拼接和改進(jìn)的拼接流程圖

4 實(shí)驗(yàn)結(jié)果與分析

本文使用VS2010開發(fā)環(huán)境結(jié)合OpenCV 2.3.1進(jìn)行實(shí)驗(yàn)，拼接圖為兩幅大小為1080*1440的夜景圖像，分別對比使用SIFT算法、SURF算法、ORB算法和改進(jìn)后的ORB拼接算法實(shí)驗(yàn)效果。

本實(shí)驗(yàn)使用的拼接原圖如下所示：

圖2 原圖

改進(jìn)的ORB算法首先對原始圖像進(jìn)行直方圖均衡，對圖像低對比度的區(qū)域進(jìn)行對比度拉伸，結(jié)果如下圖所示：

圖3 直方圖均衡化后的結(jié)果

接下來對原圖和直方圖均衡化后的圖像分別進(jìn)行特征匹配。由于直接使用ORB等特征進(jìn)行匹配存在較高的誤匹配率，因此還需要使用knn算法進(jìn)行圖像的精匹配。下圖是使用ORB算法和knn算法的匹配結(jié)果：

圖4 使用knn算法進(jìn)行篩選后的匹配圖

同樣使用ORB算法以及knn算法對直方圖均衡后的圖像進(jìn)行匹配，由于均衡化后的圖像高對比度的區(qū)域發(fā)生變換，由ORB算法的原理，可以得到其它區(qū)域的匹配對。得到的結(jié)果如下所示：

圖5 直方圖均衡化后的配準(zhǔn)圖

分別對比四種匹配算法的匹配總對數(shù)、精匹配對數(shù)、正確匹配對數(shù)和正確率。其中精匹配中knn算法閾值的選取為0.7。通過匹配對兩點(diǎn)連線的斜率不超過正負(fù)0.1為正確性的評判標(biāo)準(zhǔn)計算正確率，得到的數(shù)據(jù)如下表所示：

表1 配準(zhǔn)效果對比表

由表中數(shù)據(jù)對比可知，各種算法經(jīng)過精匹配后得到的特征點(diǎn)正確率較高，說明了knn算法進(jìn)行篩選的必要性。SIFT算法和SURF算法能比ORB算法提取出更多的特征點(diǎn)對數(shù)，改進(jìn)的ORB算法可以彌補(bǔ)ORB算法在提取特征對數(shù)量上的不足。

為了研究特征點(diǎn)在圖中的分布情況，分別把圖像分成10*10和100*100為單位的像素塊，由于僅對圖像50%區(qū)域匹配，所以分別分成80塊和7776塊，通過統(tǒng)計各類算法可以覆蓋像素塊的個數(shù)，體現(xiàn)匹配的特征點(diǎn)對的覆蓋率。

表2 配準(zhǔn)特征的覆蓋率比較

由上表數(shù)據(jù)可以反映特征點(diǎn)在圖像中的分布情況，覆蓋律越高的特征點(diǎn)分布越廣泛，越能準(zhǔn)確的計算圖像間整體的透視變換關(guān)系。

接下來對各種算法各流程消耗的時間進(jìn)行統(tǒng)計：

表3 各算法消耗時間比較

由表可見，SIFT算法在提取特征上消耗大量的時間，SURF算法有很大的進(jìn)步，而ORB算法更快。

下面分別對比單位時間每種算法能提取的精匹配對數(shù)和單位時間匹配對數(shù)對圖像的覆蓋率來對比各算法的效率：

表4 各算法效率比較

SIFT算法雖然能提取出大量的特征點(diǎn)，但是消耗的時間最多，效率最低；SURF算法同樣可以提取出較多特征點(diǎn)，并且效率較高；ORB算法雖然提取的特征較少，但是因?yàn)楹臅r極少，所以效率最高，但缺點(diǎn)是提取的特征太過集中；改進(jìn)的ORB算法同樣具有較高的效率，同時可以使提取的特征分布較廣，使得整體的特征點(diǎn)更具有質(zhì)量。

改進(jìn)的拼接算法整合直方圖均衡前后分別得到的匹配對，使用RANSAC算法計算透視變換矩陣，然后進(jìn)行拼接，最后得到的結(jié)果如圖6所示。

圖6 改進(jìn)的拼接圖

下面根據(jù)細(xì)節(jié)放大圖對比分析改進(jìn)前后拼接算法的結(jié)果。

圖7 細(xì)節(jié)放大圖

由圖可以發(fā)現(xiàn)，原算法得到的拼接圖由于透視變換矩陣計算不準(zhǔn)確，會發(fā)生重影的現(xiàn)象，而改進(jìn)的算法對透視變換矩陣計算更加準(zhǔn)確，可以很好的消除這一現(xiàn)象。

實(shí)現(xiàn)圖像拼接的目的主要是完成圖像的無縫融合，而目前的客觀評價指標(biāo)大多是針對圖像本身的質(zhì)量進(jìn)行評價，對于無縫的定義只用從人眼主觀來判斷分析，所以本文拼接實(shí)驗(yàn)的主觀分析來作為拼接結(jié)果好壞的指標(biāo)。

5 結(jié)語

實(shí)現(xiàn)圖像拼接，其核心是計算出準(zhǔn)確的透視變換矩陣，準(zhǔn)確的透視變換矩陣可以為為后續(xù)的圖像融合減少不必要的計算，使得算法具有更高的實(shí)時性。本文使用基于直方圖均衡的改進(jìn)匹配算法，通過增加在增強(qiáng)圖像對比度條件下匹配對的方式，解決了夜晚圖像易受到燈光因素干擾，特征點(diǎn)匹配集中，透視變換矩陣計算不準(zhǔn)的問題，從而優(yōu)化了圖像拼接的質(zhì)量。