摘 要： 在傳統(tǒng)的視頻拼接算法中，配準(zhǔn)的誤差和運(yùn)動(dòng)的物體都會(huì)使拼接結(jié)果產(chǎn)生鬼影，而復(fù)雜的融合算法又難以滿(mǎn)足實(shí)時(shí)性要求。針對(duì)上述問(wèn)題，以平行光軸且光心位于同一水平基線(xiàn)位置的雙目相機(jī)采集的視頻圖像為研究對(duì)象，提出一種基于限定區(qū)域和SURF算法的視頻拼接方法。針對(duì)采集到的具有20%～30%重疊感興趣區(qū)域（ROI）的視頻圖像，每24幀設(shè)置一個(gè)關(guān)鍵幀，僅對(duì)關(guān)鍵幀的ROI區(qū)域采用SURF算法尋找特征匹配點(diǎn)對(duì)。然后采用改進(jìn)的RANSAC算法篩選單應(yīng)性變換矩陣H，對(duì)非關(guān)鍵幀直接采用此單應(yīng)性變換矩陣H進(jìn)行圖像融合。實(shí)驗(yàn)結(jié)果表明，采用關(guān)鍵幀計(jì)算特征點(diǎn)的方式得到的視頻拼接效果能夠很好地消除鬼影，同時(shí)也能夠保證視頻融合的實(shí)時(shí)性。

關(guān)鍵詞： 視頻拼接； ROI； 關(guān)鍵幀； RANSAC

中圖分類(lèi)號(hào)： TN911.72?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）10?0044?05

Video stitching algorithm based on SURF and improved RANSAC

CHEN Xuetao， MU Chunyang， MA Xing

（Institute of Information and Communication Technology， Beifang University of Nationalities， Yinchuan 750021， China）

Abstract： In the traditional video stitching， the calibration error and the motion of an object may cause the ghost shadows in stitching results. In addition， the complex fusion algorithm can’t meet the real?time requirement. In order to solve the above problems， the video images acquired by binocular camera that has a parallel optical axis and its optic center is at the same horizontal baseline are studied， and a new method of real?time video stitching based on limited region and SURF algorithm is put forward in this paper. A key frame is set per 24 frames for the video images with 20%～30% overlap area in ROI area. the SURF algorithm is used to look for the feature matching point pairs in the ROI overlap area of key frame only. The homography transformation matrix H is selected with the improved RANSAC algorithm， and then the image fusion is executed for non?key frames by using the transformation matrix H directly. The experiment results show that the video stitching algorithm proposed in this paper can eliminate the ghost shadows well， also can ensure the real?time performance of video.

Keywords： video stitching； ROI； key?frame； RANSAC

0 引 言

人們獲取信息的方式多種多樣，例如通過(guò)觸覺(jué)、視覺(jué)、嗅覺(jué)和聽(tīng)力等，其中視覺(jué)是最直接也是最廣泛的獲取信息的方式之一。在現(xiàn)代社會(huì)中，人們通過(guò)視覺(jué)獲取大量有用信息。由于人的視角或者機(jī)器的視角范圍有限，因此，對(duì)多個(gè)視頻進(jìn)行拼接并形成大視角范圍的圖[1]，這有著非常重大的研究意義。視頻拼接技術(shù)在許多方面有著重要的應(yīng)用，例如環(huán)境監(jiān)測(cè)[2]、監(jiān)控系統(tǒng)[3]和生物工程[4]等。

當(dāng)前視頻拼接的方法多種多樣，文獻(xiàn)[5]采用一種改進(jìn)的快速檢測(cè)Harris算子，結(jié)合捆綁調(diào)整進(jìn)行全局調(diào)整方法，能夠得到很好的拼接效果。文獻(xiàn)[6]提出了基于圖像分塊和鄰近角點(diǎn)剔除策略的自適應(yīng)Harris角點(diǎn)檢測(cè)算法，該算法能很好地適應(yīng)圖像拼接。文獻(xiàn)[7]對(duì)圖像進(jìn)行SIFT 特征提取并進(jìn)行粗匹配，再用RANSAC方法剔除誤匹配點(diǎn)獲得變換單應(yīng)陣，最后用查表法投影圖像，最終實(shí)現(xiàn)融合拼接。文獻(xiàn)[8]在SIFT提取不變特征向量過(guò)程中加入Harris算子，運(yùn)用KLT跟蹤算法，精確特征點(diǎn)的位置，提高了圖像拼接的穩(wěn)健性和快速性。文獻(xiàn)[9]提出基于SURF和動(dòng)態(tài)ROI方法的視頻圖像快速拼接方法，獲得較清晰的寬敞景視頻?；谝陨纤幸曨l拼接方法，有的算法比較復(fù)雜，運(yùn)算量巨大，會(huì)消耗大量時(shí)間，不利于實(shí)時(shí)視頻拼接；有的算法拼接效果不是很理想，會(huì)產(chǎn)生明顯的鬼影，影響了拼接效果。針對(duì)上述2個(gè)問(wèn)題，在SURF算法的基礎(chǔ)上，提出了改進(jìn)的拼接算法，最終效果比較理想。

1 視頻拼接算法分析

在這里，首先設(shè)定平行光軸且光心位于同一水平基線(xiàn)位置的雙目相機(jī)采集到圖像的重疊部分在20%～30%之間。由于人眼的視覺(jué)暫留現(xiàn)象這里引入關(guān)鍵幀，既每24幀視頻設(shè)置一個(gè)關(guān)鍵幀，關(guān)鍵幀和非關(guān)鍵幀采取不同的算法步驟。整個(gè)算法流程可分為A、B、C和D四個(gè)部分，如圖1所示。

圖1中：A部分主要是獲取視頻文件并且設(shè)置一些參數(shù)；B部分是對(duì)關(guān)鍵幀在重疊區(qū)域的ROI中用SURF算法生成特征描述算子，從而生成匹配點(diǎn)對(duì)；C部分是用改進(jìn)的RANSAC算法篩選匹配點(diǎn)對(duì)并生成最終的變換矩陣H；D部分是圖像幀的融合形成拼接圖像。

當(dāng)獲取雙目相機(jī)采集到的視頻數(shù)據(jù)之后，對(duì)于第一幀視頻，在前面限定的ROI區(qū)域內(nèi)，利用SURF算法找出兩幀的特征匹配點(diǎn)對(duì)，再利用改進(jìn)的RANSAC算法篩選出單應(yīng)性變換矩陣H，之后在變換矩陣H基礎(chǔ)上利用融合算法拼接兩幀圖像形成拼接圖，而對(duì)于非關(guān)鍵幀，在此直接采用前面利用SURF算法對(duì)關(guān)鍵幀處理后生成的變換矩陣H來(lái)融合。

1.1 SURF算法分析

SURF算法由Herbert Bay等提出的具有尺度和旋轉(zhuǎn)不變性的算法[10] ，其具體步驟如下：

式中，[α]為權(quán)系數(shù)，這里根據(jù)計(jì)算取[α]=0.9，可以根據(jù)此特征值的符號(hào)將所有點(diǎn)分類(lèi)。

（2） 利用Hessian矩陣公式計(jì)算兩幀圖像中的限定區(qū)域ROI中所有點(diǎn)的特征值。在不同尺度空間下的高斯濾波圖像中，將像素點(diǎn)[I（x，y）]的特征值與三維空間下該點(diǎn)周?chē)吧舷聝蓪庸?6個(gè)點(diǎn)的特征值進(jìn)行比較，把其中最大值或者最小值保留下來(lái)，作為一個(gè)特征點(diǎn)。

（3） 根據(jù)特征點(diǎn)的Harr小波特性，統(tǒng)計(jì)出每一個(gè)特征點(diǎn)的主方向。以特征點(diǎn)[I（x，y）]為中心，以6s（s為特征點(diǎn)所在的尺度）為半徑，統(tǒng)計(jì)出圓中60°扇形區(qū)域的所有特征點(diǎn)的Harr小波特征總和，然后以一定角度旋轉(zhuǎn)，遍歷整個(gè)圓形區(qū)域，把最后得到的Harr小波特征總和最大值的扇形區(qū)域的方向作為特征點(diǎn)[I（x，y）]的主方向。

（4） 在前述基礎(chǔ)上構(gòu)建特征描述算子。以特征點(diǎn)[I（x，y）]為中心，以上一步求出的主方向?yàn)榉较?，?gòu)建一個(gè)邊長(zhǎng)為20s（s為特征點(diǎn)所在的尺度）的正方形區(qū)域，并把該正方形均分成16個(gè)小區(qū)域，并統(tǒng)計(jì)每一個(gè)小區(qū)域中25個(gè)像素點(diǎn)的Harr小波特征，分別求出水平方向、垂直方向、水平方向絕對(duì)值、垂直方向絕對(duì)值之和，由此可以生成一個(gè)64維的特征向量描述子。

（5） 最后，生成了每幀圖像ROI區(qū)域的所有特征點(diǎn)描述算子的兩個(gè)集合，A和B，可以尋找出特征匹配對(duì)。這里采用歐式距離法，即選取集合A中的一個(gè)特征向量，采用遍歷法，利用式（3）計(jì)算其與集合B中距離最近的兩個(gè)點(diǎn)，如果次近距離除以最近距離小于一定閾值，則判定為匹配點(diǎn)對(duì)：