閆 巖 李 楊

(91245部隊(duì) 葫蘆島 125000)

基于改進(jìn)快速魯棒特征的實(shí)時(shí)視頻拼接研究*

閆 巖 李 楊

(91245部隊(duì) 葫蘆島 125000)

針對(duì)視頻拼接對(duì)實(shí)時(shí)性要求較高的實(shí)際,提出了基于SURF算法的改進(jìn)圖像配準(zhǔn)算法。首先匹配視頻首幀圖像并限定特征點(diǎn)的提取區(qū)域,其次采用最近鄰和次近鄰算法完成圖像特征的粗匹配,最后通過(guò)最外側(cè)匹配點(diǎn)檢測(cè)圖像重疊區(qū)域,并在該區(qū)域內(nèi)完成后續(xù)視頻幀的計(jì)算。仿真結(jié)果表明,改進(jìn)的SURF算法顯著降低了運(yùn)算量、提高了匹配速度,可以完成實(shí)時(shí)視頻的生成。

視頻拼接; SURF; 圖像配準(zhǔn); 圖像融合

1 引言

視覺(jué)是人們獲取現(xiàn)實(shí)世界客觀信息最直接也是最廣泛的方式。伴隨多媒體技術(shù)的發(fā)展,人們可以通過(guò)使用諸如攝像機(jī)、攝像頭等設(shè)備獲取視頻的方式來(lái)感知世界。然而,單個(gè)視頻采集設(shè)備只能獲取較小視角的景象,即便可以通過(guò)調(diào)節(jié)焦距增大視野,也會(huì)降低拍攝圖像的分辨率,影響圖像質(zhì)量。通常,人們需要獲取大視角范圍的景象,而應(yīng)用視頻拼接技術(shù)可以達(dá)到此目的。它是指利用若干設(shè)備采集多幅局部視頻圖像,并將這些圖像拼成一幅全景視頻的技術(shù)[1],近年來(lái)已被廣泛應(yīng)用于軍事圖形圖像、虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像分析以及遙感圖像處理等重要領(lǐng)域。

相比于前景分離的視頻拼接算法,基于圖像拼接的視頻拼接算法更加穩(wěn)定[2]。而在圖像處理領(lǐng)域,圖像配準(zhǔn)又是圖像拼接的核心步驟,通常使用的方法是基于圖像特征的配準(zhǔn)。其中具有不變量特征的特征提取技術(shù)使用范圍最為廣泛[3]。

SIFT(Scale Invariant Feature Transform)和SURF(Speeded Up Robust Feature)是最經(jīng)典的不變量特征算法。同基于區(qū)域的圖像配準(zhǔn)算法相比,D.G. Lowe提出的SIFT算法將特征匹配和提取等過(guò)程有機(jī)結(jié)合,有效降低了算法的復(fù)雜度,加快了運(yùn)行速度[2～4]。然而,該算法必須依賴(lài)于專(zhuān)用圖形處理設(shè)備或硬件加速設(shè)備,否則無(wú)法實(shí)現(xiàn)實(shí)時(shí)處理的效果。Bay[2～3,5]等人提出的快速魯棒特征算法(SURF)是在SIFT算法的基礎(chǔ)上發(fā)展而來(lái),該算法兼具效率高、速度快的特點(diǎn),并具有良好的魯棒性和穩(wěn)定性。但是視頻拼接與圖像拼接又存在很大不同,其對(duì)實(shí)時(shí)性的要求更高。所謂實(shí)時(shí)性是指視頻拼接系統(tǒng)能實(shí)時(shí)完成視頻圖像采集、圖像拼接、輸出顯示的全過(guò)程(每秒可以采集、拼接并完成輸出不少于24幀圖像)。盡管SURF算法的穩(wěn)定性較好、魯棒性較強(qiáng),但如果圖像中含有較多的紋理特征信息,則會(huì)檢測(cè)出較多的特征點(diǎn),消耗更多的匹配時(shí)間,增加匹配難度,同時(shí)也無(wú)法保證變換矩陣參數(shù)的準(zhǔn)確性,無(wú)法滿(mǎn)足實(shí)時(shí)視頻拼接的需求。因此,需要對(duì)算法進(jìn)行改進(jìn)。

本文圍繞基于圖像拼接算法的實(shí)時(shí)視頻拼接進(jìn)行研究,針對(duì)應(yīng)用算法要兼具實(shí)時(shí)性和較快運(yùn)行效率的要求,改進(jìn)了基于SURF算法的圖像配準(zhǔn),增加了自適應(yīng)算法,精確定位特征點(diǎn)提取范圍的同時(shí)改進(jìn)了特征描述符,減小了維度。文中以雙路網(wǎng)絡(luò)攝像頭作為視頻采集設(shè)備同時(shí)采集視頻圖像,通過(guò)對(duì)視頻圖像幀進(jìn)行特征匹配和圖像融合后在PC機(jī)上完成視頻拼接實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明改進(jìn)后的SURF特征提取算法能加快視頻拼接速度,實(shí)時(shí)生成清晰的寬場(chǎng)景視頻。

2 SURF算法

基于圖像拼接的視頻拼接算法中,特征提取和匹配消耗的時(shí)間最多。SURF之所以運(yùn)算速度較快,很大程度上取決于積分圖像的建立。積分圖像[6]是對(duì)原始圖像進(jìn)行積分計(jì)算得到的圖像,它的每一點(diǎn)可表示為原圖像從原點(diǎn)到該點(diǎn)的矩形區(qū)域的像素和,在對(duì)整幅圖像進(jìn)行積分圖像遍歷后,原始圖像中的任意矩形區(qū)域的像素和就可通過(guò)加減運(yùn)算完成,而與矩形面積無(wú)關(guān),并且面積越大,計(jì)算速度越快。此外,它采用箱式濾波器來(lái)近似高斯核函數(shù)[6],極大提升了算法的運(yùn)算效率。因此,本文選用SURF算法來(lái)進(jìn)行圖像配準(zhǔn),為了將其應(yīng)用于實(shí)時(shí)視頻拼接中,文中對(duì)其進(jìn)行了改進(jìn)。

3 本文算法

SURF算法實(shí)現(xiàn)圖像配準(zhǔn)主要有三個(gè)步驟,即特征點(diǎn)檢測(cè)、特征點(diǎn)描述(為特征點(diǎn)添加描述器)和特征點(diǎn)匹配。與原SURF算法先對(duì)整幅圖像提取特征點(diǎn)后再在整幅圖像區(qū)域內(nèi)進(jìn)行特征匹配的方法不同[7],本文匹配視頻首幀圖像,根據(jù)獲取的特征匹配對(duì)提取重合區(qū)域,對(duì)于后續(xù)視頻幀的匹配,不再進(jìn)行全圖的特征檢測(cè),而是分別在兩輸入幀對(duì)應(yīng)的重合區(qū)域進(jìn)行特征檢測(cè),以降低算法的運(yùn)算時(shí)間。通常,兩視頻圖像的重疊區(qū)域所占比例為30%～50%,所以只需在一定范圍內(nèi)進(jìn)行特征點(diǎn)提取即可。具體操作步驟如下。

3.1 SURF特征點(diǎn)檢測(cè)

3.1.1 尺度空間構(gòu)建

SURF算法引入了箱式濾波器和積分圖像,通過(guò)擴(kuò)大箱式濾波器模板的尺寸,可計(jì)算出Hessian矩陣[3,5～6](SURF算法的核心)行列式的響應(yīng)圖像,利用非極大值抑制算法對(duì)3×3×3空間進(jìn)行處理,可將不同尺度條件下的特征點(diǎn)進(jìn)行求解。本文將尺度空間劃分為4組[8],并用尺寸逐漸增加的濾波模板逐一濾波處理原始圖像,選擇的基本尺度間隔為6的倍數(shù),下一層尺度間隔為基本尺度間隔的2倍,以保證在擴(kuò)大模板尺寸時(shí),矩形尺寸放大的數(shù)量為整數(shù)個(gè)像素,并且中心像素始終為模板中心,同時(shí)不同組之間會(huì)發(fā)生重疊,目的是將全部可能出現(xiàn)的尺度覆蓋。初始濾波模板的尺寸選擇為9×9。

3.1.2 特征點(diǎn)定位

在構(gòu)建好尺度空間金字塔的基礎(chǔ)上,要進(jìn)一步確定某一特定尺度下的局部極值。通常Hessian矩陣的特征值用H矩陣的近似判別式可表示為[3,6]

Det(Happrox)=DxxDyy-(0.9Dxy)2

(1)

如果式(1)的值為正,那么該點(diǎn)是最大值或最小值。在獲取極值點(diǎn)之后,對(duì)3×3×3的鄰域進(jìn)行非極大值抑制處理,選取比相鄰的26個(gè)像素點(diǎn)的響應(yīng)值都大的點(diǎn)作為特征點(diǎn)。之后,再對(duì)尺度空間做插值處理,進(jìn)而可計(jì)算出特征點(diǎn)的實(shí)際位置和尺度值。

3.2 SURF特征點(diǎn)描述

3.2.1 確定主方向

SURF算法作為一種高魯棒性的局部特征點(diǎn)檢測(cè)器,利用積分圖像來(lái)生成特征矢量,為保證特征矢量具有旋轉(zhuǎn)不變性,可利用Haar小波算法為每個(gè)特征點(diǎn)設(shè)置相應(yīng)的主方向。確立主方向的流程如下[6,9]:

1) 將特征點(diǎn)作為圓心,6s(s表示特征點(diǎn)的尺度值)為半徑做圓,對(duì)圖像X、Y方向上全部特征點(diǎn)的Haar小波響應(yīng)向量進(jìn)行計(jì)算(Haar小波的邊長(zhǎng)設(shè)置為4s),并給每個(gè)方向上的向量賦高斯權(quán)重,對(duì)于方向貢獻(xiàn)度大、與圓心距離近的特征點(diǎn),這里賦以更大的權(quán)重。

2) 用圓心角為π/3的扇形窗口繞圓心旋轉(zhuǎn),遍歷整個(gè)圓形區(qū)域,可得6個(gè)扇形區(qū)域,如圖1所示。計(jì)算出每個(gè)區(qū)域內(nèi)各特征點(diǎn)的Haar小波向量的矢量和,最終可得6個(gè)方向矢量。

3) 將幅值最大的方向矢量作為主方向。

圖1 特征點(diǎn)主方向確定圖

3.2.2 生成描述符

文獻(xiàn)[10]中SURF算法以特征點(diǎn)為中心,沿主方向構(gòu)造一個(gè)邊長(zhǎng)為20s的正方形窗口,同時(shí)將該窗口16等分。對(duì)于每個(gè)大小為5s×5s的子窗口,分別計(jì)算每個(gè)子窗口在水平和垂直方向上的Haar小波響應(yīng),得到小波系數(shù)dx和dy,再以特征點(diǎn)為中心,對(duì)dx和dy進(jìn)行高斯加權(quán)計(jì)算,最后將各子區(qū)域的小波響應(yīng)和響應(yīng)的絕對(duì)值相加,統(tǒng)計(jì)每個(gè)子塊的響應(yīng)值,可得各子塊的四維特征描述符:

(2)

其維度為4×4×4=64。由于本文是以提高拼接效率,達(dá)到視頻拼接的實(shí)時(shí)性為目的,因此文中對(duì)其進(jìn)行改進(jìn)。如圖2所示,方法是將每個(gè)子窗口的邊長(zhǎng)增加為10s×10s,子窗口的數(shù)量減少為2×2,這樣特征向量的維數(shù)就減少為2×2×4=16,維數(shù)的降低意味著算法的運(yùn)算效率會(huì)顯著增加。

圖2 特征描述符的改進(jìn)

3.3 SURF特征粗匹配

特征匹配的任務(wù)是對(duì)兩幅圖像中的特征點(diǎn)進(jìn)行查找,找出對(duì)應(yīng)關(guān)系以建立變換矩陣。實(shí)際上,特征匹配是利用距離函數(shù)對(duì)特征點(diǎn)進(jìn)行檢索,通過(guò)計(jì)算兩幅圖像中特征點(diǎn)間的距離,將距離最小的特征點(diǎn)看作是潛在的匹配點(diǎn)對(duì)。通常,兩特征點(diǎn)的相似性度量可以利用歐氏距離進(jìn)行計(jì)算。

(3)

式中:n表示特征向量的維數(shù),Xik表示待匹配左圖里第i個(gè)特征描述子的第k個(gè)元素,Xjk表示待匹配右圖中第j個(gè)特征描述子的第k個(gè)元素。

本文對(duì)兩幅圖像中已檢測(cè)到的特征點(diǎn)進(jìn)行粗匹配,先根據(jù)拉普拉斯響應(yīng)正負(fù)號(hào)將特征點(diǎn)分為兩組,選取具有相同符號(hào)的特征點(diǎn),然后建立K-d樹(shù)在其中一幅圖像的特征點(diǎn)中查找另一幅圖像中與它距離最近的特征點(diǎn)和次近特征點(diǎn),最后利用式(4)在對(duì)應(yīng)的組中分別使用最近鄰和次近鄰比值匹配法進(jìn)行特征點(diǎn)匹配,認(rèn)為比值小于某一閾值范圍內(nèi)的特征點(diǎn)是正確匹配的特征點(diǎn)。

(4)

式中:閾值設(shè)置在0.5～0.8。

3.4 RANSAC提純并求取變換矩陣

假設(shè)基準(zhǔn)集{pi},i=1,2,…,n和{qi},i=1,2,…,m分別為原圖像和對(duì)應(yīng)圖像的特征點(diǎn)描述子集,利用K-d樹(shù)搜索算法,任意qj都存在一個(gè)距離最小的pi與之對(duì)應(yīng),數(shù)據(jù)匹配對(duì)(pi,qj)就是由pi和qj所組成。盡管數(shù)據(jù)匹配對(duì)的兩個(gè)數(shù)據(jù)點(diǎn)具有最近的距離,然而卻無(wú)法保證其對(duì)應(yīng)的圖像區(qū)域完全相同。如果qj同時(shí)與多個(gè)特征點(diǎn)距離相近,qj的匹配結(jié)果也可能錯(cuò)誤。因此,需要對(duì)粗匹配的結(jié)果進(jìn)行檢驗(yàn)并提純。在局部特征匹配中有多種提純匹配對(duì)的方法,為去除誤匹配點(diǎn),本文選擇RANSAC[11]一致性提純法進(jìn)行匹配對(duì)的提純并計(jì)算變換矩陣H[6]。

圖3 特征點(diǎn)提取范圍

在完成3.1～3.4的操作步驟之后,分別選取兩幅圖像中與中間距離最大的特征點(diǎn),選取該點(diǎn)位置作為重疊區(qū)域的最邊緣。如圖3所示,如果(a,a′)，…，(f,f′)為兩視頻首幀圖像檢測(cè)到的匹配點(diǎn),分別選取兩幅圖像中與中間距離最大的匹配點(diǎn)(c,c′)和(d,d′),過(guò)c點(diǎn)和d點(diǎn)對(duì)圖像進(jìn)行分割,可劃分兩個(gè)視頻重疊區(qū)域的范圍,再分別計(jì)算該區(qū)域長(zhǎng)度和圖像總長(zhǎng)的百分比,取此范圍作為視頻后續(xù)幀特征點(diǎn)檢測(cè)的范圍。對(duì)于后續(xù)的連續(xù)幀,重復(fù)算法過(guò)程。

4 圖像融合處理

在視頻圖像采集的過(guò)程中,由于無(wú)法保證采集設(shè)備參數(shù)的絕對(duì)一致,并且視頻拍攝的角度、視野、光照也存在差異,待拼接圖像的重疊區(qū)域會(huì)存在顯著不同。如果對(duì)配準(zhǔn)后的圖像直接疊加,圖像的拼接位置就會(huì)出現(xiàn)顯著的拼接縫,而圖像融合能實(shí)現(xiàn)拼接圖像的平滑過(guò)渡和無(wú)縫連接,通常使用的方法有直接平均法,加權(quán)平均法、多頻段融合法和漸入漸出法等[3,6～7],為確保實(shí)時(shí)視頻拼接系統(tǒng)具有較高的拼接速度和質(zhì)量,本文采用漸入漸出法進(jìn)行圖像融合。

5 實(shí)驗(yàn)結(jié)果及分析

5.1 檢測(cè)視頻首幀圖像重疊區(qū)域?qū)嶒?yàn)

圖4～圖6是應(yīng)用文中算法對(duì)獲取的風(fēng)景視頻第一幀圖像進(jìn)行特征匹配并計(jì)算重疊面積的過(guò)程?？梢钥闯?根據(jù)匹配后的特征點(diǎn)計(jì)算的重疊面積與實(shí)際重疊區(qū)域幾乎一致。

圖4 風(fēng)景視頻第一幀圖像

圖5 匹配后的風(fēng)景視頻第一幀圖像

圖6 風(fēng)景視頻第一幀圖像檢測(cè)的重疊區(qū)域

5.2 視頻幀配準(zhǔn)實(shí)驗(yàn)

圖7～圖8是利用原SURF算法和本文算法進(jìn)行特征匹配的實(shí)驗(yàn)結(jié)果。表1是應(yīng)用兩種算法進(jìn)行特征匹配的對(duì)比結(jié)果?？梢钥闯?應(yīng)用改進(jìn)后的SURF算法,計(jì)算所得的誤匹配數(shù)據(jù)明顯減少,同時(shí)匹配的運(yùn)算時(shí)間大幅度降低。

圖7 原SURF特征點(diǎn)提純匹配

圖8 改進(jìn)SURF特征點(diǎn)提純匹配表1 特征點(diǎn)匹配比對(duì)表

算法粗匹配點(diǎn)數(shù)提純后點(diǎn)數(shù)誤匹配點(diǎn)數(shù)匹配時(shí)間/msSURF612338189改進(jìn)SURF2619793

5.3 實(shí)時(shí)視頻拼接實(shí)驗(yàn)

圖9是視頻第100幀的拼接效果,表2為25幀/秒速率的圖像拼接耗時(shí)。結(jié)合圖表分析,盡管首幀拼接耗時(shí)較多,然而后續(xù)幀拼接的時(shí)間較少,并且系統(tǒng)具有一定的魯棒性,能獲得較為平滑、自然的拼接效果,滿(mǎn)足實(shí)時(shí)性要求。

圖9 第100幀圖像拼接結(jié)果

表2 拼接耗時(shí)

6 結(jié)語(yǔ)

本文對(duì)實(shí)時(shí)視頻拼接技術(shù)的相關(guān)理論進(jìn)行了研究,提出了一種基于改進(jìn)SURF的實(shí)時(shí)視頻拼接方法。實(shí)驗(yàn)結(jié)果表明,改進(jìn)的SURF在特征提取速度方面有了很大提升,并且不影響拼接效果,具有非常好的實(shí)用性。

[1] ZOU Xiaochun, HE Mingyi. A robust Mosaic Panorama technique for video[C]//2nd International Conference on Computer Engineering and Technology,2010:641-644.

[2] 首照宇,歐陽(yáng)寧,張華俊.基于SURF和動(dòng)態(tài)ROI的實(shí)時(shí)視頻拼接[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(3):998-1003. SHOU Zhaoyu, OUYANG Ning, ZHANG Huajun. Research on real-time video stitching based on SURF and Dynamic ROI[J]. Computer Engineering and Design,2013,34(3):998-1003.

[3] 朱琳,王瑩,劉淑云.基于改進(jìn)快速魯棒特征的圖像快速拼接算法[J].計(jì)算機(jī)應(yīng)用,2014,34(10):2944-2947. ZHU Lin, WANG Ying, LIU Shuyun. Fast image stitching algorithm based on improved speeded up robust feature[J]. Journal of Computer Applications,2014,34(10):2944-2947.

[4] LOWE D G. Object recognition from local scale-invariant features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision. Piscataway: IEEE Press,1999:1150-1157.

[5] BAY H, ESS A, TUYTELAARS T, et al. SURF: speeded up robust features[J]. Computer Vision and Image Understanding,2008,110(3):346-359.

[6] 汪前進(jìn),朱斌,李存華.基于特征點(diǎn)的圖像拼接方法的研究[J].南京師范大學(xué)學(xué)報(bào),2016,16(3):48-53. WANG Qianjin, ZHU Bin, LI Cunhua. Research and Application of Image Stitching Method Based on Feature Points[J]. Journal of Nanjing Normal University,2016,16(3):48-53.

[7] Szeliski R. Video mosaics for virtual environments[J]. Computer Graphics & Appliations IEEE,1996,16(2):22-30.

[8] EL-Saban M. Depth adaptive video stitching[C]//Proc of 17th IEEE international conference on image processing.[s.l.]:[s.n.],2010:1193-1196.

[9] 陳學(xué)濤,穆春陽(yáng),馬行.基于SURF和改進(jìn)RANSAC的視頻拼接算法[J].現(xiàn)代電子技術(shù),2016,39(10):44-48. CHEN Xuetao, MU Chunyang, MA Xing. Video stitching algorithm based on SURF and improved RANSAC[J]. Modern Electronics Technique,2016,39(10):44-48.

[10] 苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學(xué)報(bào),2009,30(4):857-861. MIAO Ligang. Image mosaicing and compositing algorithm for video surveillance[J]. Chinese Journal of Scientific Instrument,2009,30(4):857-861.

[11] 曹毓,馮瑩,楊云濤.RANSAC直線(xiàn)估計(jì)方法在路面三維點(diǎn)云優(yōu)化中的應(yīng)用[J].紅外與激光工程,2012,41(11):3108-3112. CAO Yu, FENG Ying, YANG Yuntao. Application of line estimation algorithm based on RANSAC in road points cloud optimization[J]. Infrared and Laser Engineering,2012,41(11):3108-3112.

Real-time Video Stitching Based on Improved Speeded Up Robust Feature Algorithm

YAN Yan LI Yang

(No. 91245 Troops of PLA, Huludao 125000)

This article presents an improved image registration algorithm that is based on SURF to solve the real-time problem in video stitching area. First, it registers the first frame of video image and restricts the extraction area of feature points. Then it matches the feature points based on the nearest neighbor and second neighbor algorithm. At last, it finishes the calculations about the subsequent frames of the image overlapping area which is detected by the lateral matching points.

video mosaic, SURF, image registration, image fusion Class Number TP301; TP751

2016年10月4日,

2016年11月26日

國(guó)家自然科學(xué)基金:廣義測(cè)不準(zhǔn)原理及其應(yīng)用研究(編號(hào):61002052),基于調(diào)制解調(diào)的圖像多分辨率分解方法(編號(hào):61273262)資助。

閆巖,男,碩士,助理工程師,研究方向:遙測(cè)系統(tǒng),圖形圖像,虛擬現(xiàn)實(shí)。李楊,男,工程師,研究方向:光學(xué)測(cè)量。

TP301; TP751

10.3969/j.issn.1672-9722.2017.04.028