楊英杰 楊 帆 曾慶喜

改進(jìn)同余變換不變特征的視頻拼接算法

楊英杰1楊 帆1曾慶喜2

1(東北電力大學(xué)信息工程學(xué)院 吉林 吉林 132012)

2(南京航空航天大學(xué)車輛工程系 江蘇 南京 210096)

視頻拼接的平滑過(guò)渡問(wèn)題，是圖像處理的難點(diǎn)，為很好地解決這一問(wèn)題，提出一種基于Sobel算子改進(jìn)的同余變換不變特征CIF(Congruence transformation Invariant Feature)的視頻拼接算法。在圖像配準(zhǔn)階段，采集視頻序列的關(guān)鍵幀，首先運(yùn)用改進(jìn)的CIF算法提取特征點(diǎn)并匹配，然后基于RANSAC算法，估算并優(yōu)化空間變換矩陣。在圖像融合階段，采用動(dòng)態(tài)連接縫調(diào)整算法與色調(diào)正?；惴▍f(xié)同工作，以消除圖像重合區(qū)域的重影與色差。實(shí)驗(yàn)表明，該算法不僅能夠?qū)崿F(xiàn)視頻的實(shí)時(shí)拼接，還能很好解決視頻拼接的平滑過(guò)渡問(wèn)題。

視頻拼接 同余變換不變特征算法 Sobel算子 特征點(diǎn)對(duì) 動(dòng)態(tài)連接縫調(diào)整算法 圖像色調(diào)正?；惴?/p>

0 引 言

視頻拼接是將具有重疊部分的圖像拼接在一起，得到一幅完整的圖像，以達(dá)到實(shí)現(xiàn)定點(diǎn)全方位瀏覽的目的，多應(yīng)用于大視場(chǎng)監(jiān)控、航空測(cè)繪、實(shí)景地圖、物聯(lián)網(wǎng)以及游戲畫(huà)面虛擬情景模擬等大型運(yùn)動(dòng)場(chǎng)景的再現(xiàn)，因而成為近年來(lái)國(guó)內(nèi)研究的熱點(diǎn)。

視頻拼接是以圖像拼接為基礎(chǔ)的。圖像拼接主要包括兩個(gè)流程：圖像配準(zhǔn)與圖像融合[1]。其中圖像配準(zhǔn)主要涉及空間變換矩陣(也稱單應(yīng)矩陣)的求解。圖像融合主要將圖像拼接為一幅平滑無(wú)縫的全景圖像。將不同的圖像配準(zhǔn)方法歸類，主要可以分為三種：基于灰度信息的方法，基于變換域的方法，以及基于特征的方法[1,2]。其中，基于特征的圖像配準(zhǔn)方法因其較好的時(shí)效性，正確率以及魯棒性最為常用。對(duì)此，國(guó)內(nèi)外研究已有很多算法，如：由D G Lowe提出的SIFT算法[3]以及Herbert Bay等人提出的在SIFT算法基礎(chǔ)上改進(jìn)的SURF算法[4]是較為常見(jiàn)的算法。Dianyuan Han分別在PC上基于SIFT算法[5]以及在手持電腦上基于SURF算法[6]實(shí)現(xiàn)了高大樹(shù)木全景圖像的拼接。雖然SIFT與SURF算法的描述能力強(qiáng)，但由于計(jì)算復(fù)雜度較高，通常效率較低。再如，由Rosten E等人最早提出了一種加速分割檢測(cè)特征FAST(Features from Accelerated Segment Test)算法[7,8]。此后，由Rublee E等人在FAST的基礎(chǔ)上又進(jìn)行了改進(jìn)，結(jié)合方向性特征算子BRIEF[10]，提出了ORB算法[9]。最近，Tian Fang等運(yùn)用ORB算法進(jìn)行圖像拼接，并結(jié)合改進(jìn)的圖像融合算法處理全景圖像的邊緣平滑過(guò)渡問(wèn)題[11]。通常，ORB算法要快于SURF與FAST算法，但原理仍然較為復(fù)雜。而Takayuki Nakamura等提出的同余變換不變特征CIF算法[12]，其雖然簡(jiǎn)化了描述子(16維向量)，提高了計(jì)算速度，但缺點(diǎn)在于，CIF算法原本用于機(jī)器人自動(dòng)尋址領(lǐng)域，而非圖像處理領(lǐng)域，其描述子是通過(guò)某一特征點(diǎn)與其周圍具有序列的點(diǎn)求得的，而圖像中的像素點(diǎn)是沒(méi)有特定序列的。因此，為了將其引入圖像處理中，還需對(duì)其做進(jìn)一步的改進(jìn)。

針對(duì)上述問(wèn)題，本文提出了一種基于Sobel算子改進(jìn)的CIF算法，首先提取并匹配特征點(diǎn)，計(jì)算其空間變換矩陣(也稱單應(yīng)矩陣)，然后采用動(dòng)態(tài)連接縫調(diào)整算法與色調(diào)正常化算法處理圖像融合處的平滑過(guò)渡問(wèn)題。

1 改進(jìn)的CIF特征值提取與匹配

視頻拼接如果對(duì)視頻流的每幀計(jì)算單應(yīng)矩陣，存在準(zhǔn)確性下降和無(wú)法實(shí)時(shí)拼接的問(wèn)題。大型場(chǎng)景中攝像頭位置通常是相對(duì)固定的，實(shí)際上只需提取視頻流中尚無(wú)運(yùn)動(dòng)物體的背景幀計(jì)算對(duì)應(yīng)的單應(yīng)矩陣即可[14]。這里將這些背景幀稱為“關(guān)鍵幀”。結(jié)合前述圖像拼接的一般步驟，視頻拼接主要流程如圖1所示。

圖1 視頻拼接主要流程

由圖1可知，視頻拼接求解單應(yīng)矩陣的第一步便是特征點(diǎn)的提取。

1.1 CIF基本算法

CIF是全局掃描中特征點(diǎn)的描述子。它是由特征點(diǎn)及其周圍的點(diǎn)集求得，其表示了某點(diǎn)附近的二維形狀。通常，一個(gè)全局掃描的CIF特征向量的生成，可以分為以下四個(gè)步驟：

(1) 確定特征點(diǎn)。定義特征點(diǎn)為全局掃描中梯度變化較大的點(diǎn)。掃描點(diǎn)pi的梯度是以計(jì)算連接pi與pi+α兩點(diǎn)之間的線段的梯度為基礎(chǔ)的。在一個(gè)有限半徑的鄰域中，pi+α是pi的鄰域中立pi最遠(yuǎn)的點(diǎn)。梯度ηi表示為：

(1)

線段梯度的變化率是在一個(gè)掃描點(diǎn)pi處基于梯度ηi與ηi+1計(jì)算得到的，如下式所示：

θi=ηi+1-ηi

(2)

如果線段梯度的變化率大于閾值thresh，就得到了特征點(diǎn)pi。

(2) 建立局部坐標(biāo)系。定義一個(gè)局部坐標(biāo)系Σpi，原點(diǎn)就是特征點(diǎn)pi，x軸方向是ηi-1與ηi的平均值。y軸是與x軸垂直的。特征點(diǎn)pi的CIF描述子是相對(duì)于局部坐標(biāo)系Σpi來(lái)表示的。所以，在坐標(biāo)系因方向變換而產(chǎn)生的同余變換的前提下，CIF描述子是不變的。

(3) 繪制有向線段?？紤]到CIF描述子是由特征點(diǎn)pi周圍的M個(gè)最鄰近點(diǎn)計(jì)算得到的，具體說(shuō)是由連接特征點(diǎn)pi與鄰域掃描點(diǎn)的線段的梯度直方圖統(tǒng)計(jì)得到的。為此，定義了兩種相對(duì)于局部坐標(biāo)系Σpi的線段。第一種是有向線段SP，它以特征點(diǎn)為起點(diǎn)，以周圍M個(gè)鄰近點(diǎn)為終點(diǎn)；第二種是有向線段SD，它是以一個(gè)掃描點(diǎn)pi為起點(diǎn)，以掃描點(diǎn)pi+n為終點(diǎn)，n為不小于1的整數(shù)。

(4) 建立直方圖。直方圖由有向線段SP與有向線段SD構(gòu)成，分別用來(lái)統(tǒng)計(jì)分布在八個(gè)統(tǒng)計(jì)區(qū)間內(nèi)的有限線段條數(shù)，每個(gè)統(tǒng)計(jì)區(qū)間的大小為π/4。將統(tǒng)計(jì)直方圖合并組成16維向量，前8維代表SP線段的分布情況，后8維代表SD線段的分布情況。這16維向量就是特征點(diǎn)pi的CIF描述子。

1.2 基于Sobel算子改進(jìn)的CIF算法

CIF基本算法在提取特征點(diǎn)時(shí)涉及到某一點(diǎn)鄰域中最遠(yuǎn)點(diǎn)以及鄰域中的最近M個(gè)點(diǎn)，而在圖像中，某一點(diǎn)鄰域最遠(yuǎn)點(diǎn)以及最近M個(gè)點(diǎn)都不是唯一的。這里引入Sobel算子對(duì)其進(jìn)行改進(jìn)。Sobel算子同樣涉及梯度計(jì)算，它與CIF基本算法提取特征點(diǎn)核心思想兼容。

在數(shù)字圖像梯度的基礎(chǔ)上，由Sobel提出一種將方向差分運(yùn)算與局部平均相結(jié)合的方法，Sobel算子通過(guò)2個(gè)3×3的模板，對(duì)圖2所示的圖像中同樣大小窗口進(jìn)行卷積，分別求得x方向與y方向的偏導(dǎo)數(shù)，從而得到圖像的梯度。

圖2 像素點(diǎn)a4及其上下左右八鄰域

Sobel算子是一種梯度幅值，其描述為：

(3)

其中的偏導(dǎo)數(shù)sx與sy用下式計(jì)算：

sx=(a0+2a3+a6)-(a2+2a5+a8)sy=(a0+2a1+a2)-(a6+2a7+a8)

(4)

Sobel算子，sx和sy可用卷積模板來(lái)實(shí)現(xiàn)：

(5)

通常，將式(3)近似表示為：

(6)

基于Sobel算子改進(jìn)的CIF算法同樣分為四個(gè)步驟：

(1) 確定特征點(diǎn)?？紤]到圖像中每一個(gè)像素點(diǎn)的相鄰點(diǎn)不止一個(gè)，這里不使用相鄰像素點(diǎn)的梯度差值，而是運(yùn)用式(6)計(jì)算圖像中每個(gè)像素點(diǎn)的梯度幅值mag(▽f)，如果這個(gè)矢量幅度大于預(yù)設(shè)的閾值threshhold，則定義該點(diǎn)為特征點(diǎn)pi。

(2) 建立局部坐標(biāo)系。與CIF基本算法同理，定義一個(gè)局部坐標(biāo)系Σpi，原點(diǎn)就是特征點(diǎn)pi，x軸方向與pi的Sobel算子計(jì)算得到的梯度方向一致，y軸與x軸垂直且向上，設(shè)梯度方向是Φ(x,y)，下式表示了其求解方法。

(7)

局部坐標(biāo)系如圖3所示。

圖3 局部坐標(biāo)系Σpi

(3) 繪制有向線段。圖像中距離特征點(diǎn)最近的M個(gè)像素點(diǎn)一定分布在其周圍固定位置，這樣不能反映特征點(diǎn)附近二維形狀信息。使用Sobel算子提取的特征點(diǎn)，通常位于圖像邊緣。因此，取特征點(diǎn)pi及鄰域最近10個(gè)特征點(diǎn)(即M=10)求解圖像中的CIF描述子，既能避免最近的M個(gè)像素點(diǎn)位置固定的問(wèn)題，還能反映該特征點(diǎn)周圍的二維形狀信息。這里以特征點(diǎn)pi為起點(diǎn)，10個(gè)特征點(diǎn)為終點(diǎn)，繪制有向線段SP。如圖4所示。

圖4 SP線段示意

在第(1)步中確定的特征點(diǎn)，不具有如同CIF基本算法中的特定序列。因此，在圖像中需要舍棄規(guī)定特征點(diǎn)特定序列的有向線段SD。

(4) 建立直方圖。實(shí)際上，建立局部坐標(biāo)系之后，求解SP線段的分布直方圖可以簡(jiǎn)化為求解其余特征點(diǎn)分布的直方圖。如圖5所示，直方圖的橫坐標(biāo)表示梯度方向-π～π。梯度的范圍被平均分為十六個(gè)統(tǒng)計(jì)區(qū)間，每個(gè)統(tǒng)計(jì)區(qū)間的大小為π/8。統(tǒng)計(jì)特征點(diǎn)pi與其它特征點(diǎn)的夾角落在每一個(gè)區(qū)間的個(gè)數(shù)。將統(tǒng)計(jì)的直方圖分布組成16維向量，其中每一維代表落入某一區(qū)間含有特征點(diǎn)夾角的數(shù)量，這16維向量就是特征點(diǎn)pi的CIF描述子。其中，SP表示有向線段之一，θ表示有向線段與x軸的夾角。

圖5 改進(jìn)CIF有向線段生成與直方圖統(tǒng)計(jì)

1.3 特征點(diǎn)粗匹配與單應(yīng)矩陣求解

定義輸入幀特征點(diǎn)為qj，(其中j=1～Ni，且Ni表示輸入幀中特征點(diǎn)的數(shù)量，i表示input frame輸入幀)，參考幀特征點(diǎn)為pi(其中i=1～Nr且Nr表示參考幀中特征點(diǎn)的數(shù)量，r表示reference frame參考幀)，如果參考幀中的特征點(diǎn)pi與輸入幀的特征點(diǎn)qj匹配，那么它們的CIF描述子應(yīng)該是相似的。

定義輸入幀特征點(diǎn)qj與參考幀特征點(diǎn)pi的CIF描述子分別為hi與hj，定義輸入幀與參考幀之間CIF描述子的相似度量為Cij，它是16維向量的歐式距離，即：

(8)

式中，Cij表示特征點(diǎn)qj與 pi之間的相似性度量，hk表示CIF描述向量第k維的值。于是，可以將輸入幀中的每一個(gè)特征點(diǎn)qj與參考幀中對(duì)應(yīng)的特征點(diǎn)pi兩兩作比較，即比較兩兩特征點(diǎn)之間的相似度量。

遍歷輸入幀特征點(diǎn)與參考幀特征點(diǎn)pi的相似度量Cij(i=1～Nr)，尋找對(duì)應(yīng)于特征點(diǎn)qj的最小相似度量Cj-min,為：

Cj-min=min{ C1j,c2j,…,CNrj}

(9)

隨后，根據(jù)一定策略求解相似度閾值T，其作用在于初步排除不在重疊區(qū)域的點(diǎn)對(duì)(不匹配點(diǎn)對(duì))。受不同環(huán)境影響，固定閾值會(huì)導(dǎo)致匹配結(jié)果不準(zhǔn)確，因此求解相似度閾值T的策略如下：

(1) 遍歷輸入幀每個(gè)特征點(diǎn)的最小相似性度量Cj-min,，找出其中的最大值M，如式(10)所示：

M=max{C1-min,C2-min,C3-min,…,CNi-min}

(10)

(2) 根據(jù)第一步求得的最大值M，求解相似度閾值T，如式(11)所示：

T=k×M

(11)

其中，k是在區(qū)間(0,1]的常量，k取值0.25時(shí)，處理效果較好。

將輸入幀中每一個(gè)特征點(diǎn)qj的最小相似度量Cj-min,與相似度量閾值T作比較，如果小于閾值T，則認(rèn)為此特征點(diǎn)與參考幀中的特征點(diǎn)匹配，且同在重疊區(qū)域中，反之則排除不在重疊區(qū)域中的點(diǎn)對(duì)。

遍歷完輸入幀特征點(diǎn)對(duì)之后，如果在匹配點(diǎn)對(duì)中，包含相同的參考幀特征點(diǎn)，則舍棄相似度量較大的一對(duì)。這是為了防止輸入幀中不同特征點(diǎn)與參考幀中同一個(gè)特征點(diǎn)產(chǎn)生的重復(fù)配對(duì)。特征點(diǎn)粗匹配算法過(guò)程如圖6所示。

圖6 特征點(diǎn)粗匹配過(guò)程

隨機(jī)抽樣一致RANSAC(RANdom SAmple Consensus)[13]算法最早由Fisher和Bolles提出，它是一種從一組包含異常值的觀測(cè)數(shù)據(jù)集中估計(jì)數(shù)學(xué)模型的方法，同時(shí)也是一種迭代方法，通過(guò)反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集來(lái)優(yōu)化單應(yīng)矩陣。假設(shè)點(diǎn)(x,y)經(jīng)過(guò)空間變換矩陣H變換到點(diǎn)(x′,y′)，那么，由齊次坐標(biāo)的性質(zhì)可知，點(diǎn)(x,y)和點(diǎn)(x′,y′)之間的關(guān)系由式(12)表示：

(12)

在視頻拼接過(guò)程中，由式(12)可知，可以選擇4對(duì)匹配特征點(diǎn)使用直接線性變換來(lái)計(jì)算得到一個(gè)待修正的單應(yīng)矩陣H。

RANSAC在評(píng)估單應(yīng)矩陣的過(guò)程中具有很好的魯棒性，這里它采用了一組隨機(jī)抽樣的特征點(diǎn)對(duì)(用來(lái)事先計(jì)算單應(yīng)矩陣的4對(duì)點(diǎn)對(duì)除外)去評(píng)估變換矩陣，之后找到一個(gè)與匹配特征點(diǎn)對(duì)相符程度最高的單應(yīng)矩陣。

按設(shè)定的有限次數(shù)，重復(fù)執(zhí)行這個(gè)評(píng)估過(guò)程，每次產(chǎn)生的單應(yīng)矩陣，要么因?yàn)榕c之相符的特征點(diǎn)對(duì)太少而被舍棄，要么因?yàn)楸痊F(xiàn)有單應(yīng)矩陣相符的點(diǎn)對(duì)更多而替換現(xiàn)有的單應(yīng)矩陣。

在完成以上步驟之后，視頻流的每一幀中每個(gè)像素的坐標(biāo)投影只需與優(yōu)化之后的單應(yīng)矩陣進(jìn)行一次乘法即可，從而大幅降低了坐標(biāo)變換的計(jì)算量。

2 圖像融合

通過(guò)上述操作，將輸入幀的平面投影到參考平面，就可在視頻幀之間的重合區(qū)域中根據(jù)連接縫的位置進(jìn)行融合。在視頻拼接中，如果一個(gè)運(yùn)動(dòng)物體從視頻幀之間一條固定的連接縫的一邊穿越到另一邊，可能會(huì)引起移動(dòng)物體上的重影。因此，在這種情況下，連接縫的位置應(yīng)該能夠動(dòng)態(tài)改變。動(dòng)態(tài)連接縫調(diào)整算法由以下步驟組成。

首先，求得不同視頻幀重疊區(qū)域中每個(gè)像素點(diǎn)鄰域的灰度差異之和，并根據(jù)像素點(diǎn)的坐標(biāo)建立重疊區(qū)域灰度差異表。其中，每一個(gè)權(quán)值Diff(x,y)是重合區(qū)域點(diǎn)(x,y)鄰域灰度差異值之和。如式(13)，BL和BR表示不同幀的灰度值，它們是計(jì)算不同像素塊的灰度而不是單獨(dú)的像素，這樣可以減少由不同物體具有相同顏色而引起的誤差。

(13)

(14)

其次，根據(jù)灰度差異表能夠找出當(dāng)前幀中差異最小的路徑。其表明在這條路徑上的元素有著更高的相似度。式(14)表示了利用遞歸方法獲得每一幀的差異最小路徑，其中W(x,y)表示始于一幀重疊區(qū)域頂端到點(diǎn)(x,y)的最小差異路徑。如圖7所示，R表示重疊區(qū)域的寬度；I表示輸入視頻的寬度；A(A′)、B(B′)、C(C′)、D(D′)、E(E′)表示的是出現(xiàn)在路徑上的兩幀對(duì)應(yīng)的重合點(diǎn)。

圖7 在重疊區(qū)域找到最好的連接縫

最后，考慮視頻幀數(shù)較多，對(duì)每一幀計(jì)算不同閾值耗時(shí)較長(zhǎng)，因此將當(dāng)前幀連接縫的差異值與預(yù)設(shè)的閾值N作比較，如果當(dāng)前差異值大于預(yù)設(shè)的閾值N，則用當(dāng)前幀中新的連接縫來(lái)替代前一幀的連接縫。否則保持原連接縫不變。其中，預(yù)設(shè)閾值N取0.75時(shí)，處理效果較好。這種機(jī)制是為了防止由于快速變換連接縫而引起的當(dāng)前全景視頻的閃爍。動(dòng)態(tài)連接縫調(diào)整算法過(guò)程如圖8所示。

圖8 動(dòng)態(tài)連接縫調(diào)整算法

考慮到不同攝像頭設(shè)置，或者因?yàn)橥饨绻饩€強(qiáng)度不同引起的不同曝光時(shí)間，同一物體在不同視頻幀中色調(diào)可能不一樣?？偟膩?lái)說(shuō)，嚴(yán)重的色差會(huì)導(dǎo)致在拼接結(jié)果中出現(xiàn)明顯的連接縫。為了解決這個(gè)問(wèn)題，運(yùn)用一種基于特征的色調(diào)正?；椒▉?lái)修正不同視頻幀之間的色調(diào)失配，使得在圖像的拼接處的顏色達(dá)到一種自然過(guò)渡的效果。

為此，通過(guò)運(yùn)用視頻幀之間匹配點(diǎn)對(duì)的RGB數(shù)據(jù)，求解一個(gè)線性方程參數(shù)來(lái)尋找能夠使特征點(diǎn)的RGB值具有相近的關(guān)系。具體算法如式(15)所示。

(15)

式中，參數(shù)α是比例因子，而β則是微調(diào)常量。通過(guò)該色調(diào)正?；惴ǎ軌虻玫骄哂邢嗤伾牟煌唇右曨l幀，從而降低了圖像融合時(shí)的誤差。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)場(chǎng)景選在了地下停車場(chǎng)，攝像頭設(shè)置如圖9所示。

圖9 攝像頭布局示意圖

考慮到停車場(chǎng)攝像頭布置的一般情況，要達(dá)到視頻拼接的技術(shù)要求，相鄰攝像頭之間至少應(yīng)有20%的重疊區(qū)域。本實(shí)驗(yàn)中一個(gè)攝像頭監(jiān)控約四個(gè)車位的區(qū)域(每個(gè)攝像頭視角約120°，監(jiān)控區(qū)域涵蓋了車位旁的車道)，據(jù)此，攝像頭與攝像頭之間至少要有一個(gè)車位的重疊區(qū)域，才能滿足拼接的基本要求。

主機(jī)參數(shù)配置如表1所示。

表1 主機(jī)配置

如圖10所示，選取三個(gè)視頻采集點(diǎn)的背景幀作為關(guān)鍵幀，選取中間幀作為參考幀。圖11是運(yùn)用改進(jìn)CIF算法中利用Sobel算子提取特征點(diǎn)之后的圖像處理效果。為了突出特征點(diǎn)的位置，按二值化處理，將梯度幅值大于100的點(diǎn)置為白色，其余置為黑色。放大圖片，從中可以明顯看出特征點(diǎn)的位置基本處在物體的邊緣處，除有少量干擾像素外，其保留了圖像中的絕大部分邊緣信息。

圖10 三個(gè)視頻采集點(diǎn)的關(guān)鍵幀

圖11 特征點(diǎn)二值化后的圖像

圖12給出了特征點(diǎn)對(duì)的粗匹配結(jié)果。其中不難看出，大部分點(diǎn)對(duì)都出現(xiàn)在重疊區(qū)域內(nèi)，并且在邊緣處，但也有少數(shù)匹配點(diǎn)對(duì)出現(xiàn)在了重疊區(qū)域之外。

圖12 特征點(diǎn)對(duì)粗匹配結(jié)果

圖13顯示的是用RANSAC算法迭代優(yōu)化后的圖像拼接處理效果。經(jīng)過(guò)優(yōu)化，避免了誤匹配特征點(diǎn)給單應(yīng)矩陣的正確計(jì)算帶來(lái)的干擾。

圖13 RANSAC迭代優(yōu)化結(jié)果

在圖像融合的過(guò)程中，分別采用了三種不同的策略來(lái)進(jìn)行處理后的效果對(duì)比。

策略1使用了固定的連接縫來(lái)進(jìn)行視頻拼接，如圖14(a)所示，當(dāng)汽車穿過(guò)重疊區(qū)域時(shí)，可以看到拼接效果中，重疊區(qū)域汽車尾部產(chǎn)生了明顯的重影。

策略2使用了動(dòng)態(tài)連接縫調(diào)整算法，但不使用色調(diào)正?；椒▉?lái)進(jìn)行視頻拼接。如圖14(b)所示，汽車尾部的重影消失了，但是如圖中虛線部分所圈出的，在連接縫左右，色調(diào)差異較為明顯，突出了連接縫的位置，但由于沒(méi)有使用色調(diào)正常化算法，拼接效果并不平滑。

策略3使用了所有算法。如圖14(c)所示，可以看到拼接結(jié)果既沒(méi)有策略1出現(xiàn)的重影，也沒(méi)有策略2中較為明顯的連接縫。拼接結(jié)果較為平滑，效果較好。

圖14 不同拼接策略產(chǎn)生的不同拼接效果

為評(píng)價(jià)改進(jìn)算法在實(shí)時(shí)性方面的性能，考慮到實(shí)驗(yàn)結(jié)果具有可比性。特在同一臺(tái)主機(jī)上，針對(duì)不同視頻采樣點(diǎn)，采用不同算法，分別進(jìn)行了特征點(diǎn)的提取與匹配時(shí)間的實(shí)驗(yàn)，最終平均時(shí)間統(tǒng)計(jì)結(jié)果如表2所示。從實(shí)驗(yàn)結(jié)果可明顯看出，ORB算法快于SURF算法，而改進(jìn)CIF算法速度要略快于ORB算法。

表2 平均處理時(shí)間比較 單位：ms

4 結(jié) 語(yǔ)

在CIF算法的基礎(chǔ)上，改進(jìn)后的CIF視頻拼接融合算法靈活運(yùn)用了Sobel算子，成功地將CIF引入到圖像的特征點(diǎn)提取與描述過(guò)程中，通過(guò)平均處理時(shí)間比較，改進(jìn)的CIF算法的提取速度比傳統(tǒng)ORB算法耗時(shí)縮短了(9.2-7.9)/9.2≈15%，與SURF算法相比縮短了(34.3-7.9)/34.3≈77%。在匹配時(shí)間上，改進(jìn)的CIF算法與ORB相比，耗時(shí)縮短了(8.3-6.7)/8.3≈19%，與SURF相比縮短了(12.4-6.7)/12.4≈45%。尤其在此基礎(chǔ)上，又運(yùn)用動(dòng)態(tài)連接縫隙調(diào)整算法，消除了重影，同時(shí)采用色調(diào)正?；惴ǎ蛊唇雍蟮膱D像色調(diào)表現(xiàn)得更加自然，明顯提高了圖像拼接的質(zhì)量。

[1] Fei Lei,Wenxue Wang.A Fast Method for Image Mosaic Based on SURF[C]//Proc.of the 9th Conference on Industrial Electronics and Applications.IEEE Press,2014:79-82.

[2] Ying Zhang,Lei Yang,Zhujun Wang.Research on Video Image Stitching Technology Based on SURF[C]//Proc. of 2012 Fifth International Symposium on Computational Intelligence and Design.IEEE Press,2012:335-338.

[3] David G Lowe.Object Recognition from Local Scale-Invariant Features[C]//Proc. of the International Conference on Computer Vision.IEEE Press,1999-9.

[4] Herbert Bay,Andreas Ess,Tinne Tuytelaars,et al.Speeded-Up Robust Features (SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-389.

[5] Dianyuan Han.A Standing Tree Image Mosaic Algorithm Based on SIFT[C]//Proc. of 2012 International Conference on Computer Science and Electronics Engineering.IEEE Press,2012:353-356.

[6] Dianyuan Han.A Method to Standing Tree Image Mosaic Based on SURF in Pocket PC[C]//Proc. of 2012 International Conference on Computer Science and Electronics Engineering.IEEE Press,2012:330-333.

[7] Rosten E,Drummond T.Machine Learning for High Speed Corner Detection[C]//Proc. of the 9th European Conference on Computer Vision.IEEE Press,2006:430-443.

[8] Rosten E,Porter R,Drummond T.Faster and Better:A Machine Learning Approach to Corner Detection[J].IEEE Trans. on Pattern Analysis and Machine Intelligence,2010,32(1):105-119.

[9] Rublee E,Rabaud V,Konolige K,et al.ORB:An Efficient Alternative to SIFT or SURF[C]//Proc. of International Conference on Computer Vision.IEEE Press,2011:2564-2571.

[10] Calonder M,Lepetit V,Strecha C,et al.Brief:Binary Robust Independent Elementary Features[C]//Proc. of European Conference on Computer Vision.IEEE Press,2010.

[11] Tian Fang,Shi Ping.Image Mosaic Using ORB Descriptor and Improved Blending Algorithm[C]//Proc.of the 7th International Congress on Image and Signal Processing.IEEE Press,2014:693-698.

[12] Takayuki Nakamura,Yuuichi Tashita.Congruence Transformation Invariant Feature Descriptor for Robust 2D Scan Matching[C]//Proc of International Conference on Systems,Man,and Cybernetics.IEEE Press,2013:1648-1653.

[13] 湯伯超.基于SIFT算法的圖像特征描述方法研究[D].廣州:廣東工業(yè)大學(xué),2012.

[14] 劉暢,金立左,費(fèi)樹(shù)岷,等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理,2014,29(1):126-133.

[15] 任結(jié),周余,余耀,等.基于ORB自然特征的AR實(shí)時(shí)系統(tǒng)實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究,2012,29(9):3594-3596.

[16] 時(shí)磊,謝曉芳,喬勇軍,等.基于SURF算法的人臉跟蹤技術(shù)研究[J].計(jì)算機(jī)仿真,2010,27(12):227-231.

[17] 劉永,王貴錦,姚安邦,等.基于自適應(yīng)幀采樣的視頻拼接[J]清華大學(xué)學(xué)報(bào):自然科學(xué)版,2010,50(1):108-112.

[18] 劉明杰,任帥,金城.基于自適應(yīng)投影矩陣的實(shí)時(shí)視頻拼接算法[J].計(jì)算機(jī)應(yīng)用與軟件,2012,29(5):81-85.

[19] 苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學(xué)報(bào),2009,30(4):858-861.

[20] 張春雨,王文,邱亞特,等.視頻拼接中最優(yōu)自適應(yīng)單應(yīng)性矩陣求解算法[J].吉林大學(xué)學(xué)報(bào):工學(xué)版,20013,43(4):1116-1120.

[21] 吳健,蘭時(shí)勇,黃飛虎.一種多路快速視頻拼接系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2014,40(2):208-211.

[22] 趙斌,陳輝,董穎.一種基于壓縮域的視頻拼接方法[J].計(jì)算機(jī)應(yīng)用,2007,27(11):2781-2785.

VIDEO STITCHING ALGORITHM BASED ON IMPROVED CONGRUENCE TRANSFORMATION INVARIANT FEATURE

Yang Yingjie1Yang Fan1Zeng Qingxi2

1(CollgeofInformationEngineering,NortheastDianliUniversity,Jilin132012,Jilin,China)2(DepartmentofVehicleEngineering,NanjingUniversityofAeronauticsandAstronautics,Nanjing210096,Jiangsu,China)

Smooth transition of video stitching is a nodus in image processing, in order to better solve this problem, the paper puts forward a video stitching algorithm which is based on CIF(Congruence transformation Invariant Feature) improved by Sobel operator. In the stage of image registration, we collected the key frames in video sequence, and extracted the features by using improved CIF algorithm firstly and matched them with key frames. Then, based on RANSAC algorithm we estimated and optimised the matrix of space transformation. In the stage of image blending, we used the dynamic adjusting algorithm of connect seam and colour tone normalisation algorithm to work collaboratively so as to eliminate the ghosting problem and colour differences in overlapped area between two parts of the image. Experiments showed that the proposed algorithm can achieve real-time video stitching, and can also resolve the smooth transition of video stitching.

Video stitching Congruence transformation invariant feature Sobel operator Feature points pair Dynamic adjusting algorithm of connect seam Image tone normalisation algorithm

2014-12-28。中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)(NS20130 16)；南京航空航天大學(xué)研究生創(chuàng)新基地(實(shí)驗(yàn)室)開(kāi)放基金項(xiàng)目(kfjj201464)。楊英杰，副教授，主研領(lǐng)域：計(jì)算機(jī)技術(shù)應(yīng)用。楊帆，碩士生。曾慶喜，講師。

TP391.4

A

10.3969/j.issn.1000-386x.2016.04.046