河南中光學(xué)集團有限公司 秦建峰 侯米娜 劉 洋

多光電跟蹤儀視頻拼接算法設(shè)計與實現(xiàn)

河南中光學(xué)集團有限公司 秦建峰 侯米娜 劉 洋

視頻圖像拼接是一種低成本獲取寬視角場景的方法，在軍事和民用領(lǐng)域都具有很強的應(yīng)用價值。以要地防御監(jiān)控為背景，設(shè)計和實現(xiàn)了一種基于圖像特征的多光電跟蹤儀視頻拼接算法。該算法對同步獲取的多路視頻圖像用SIFT算法提取特征點，并采用RANSAC算法進行特征點匹配；然后計算仿射變換矩陣進行圖像融合；最后由并行處理得到的多幅融合圖像再次融合得到拼接結(jié)果。實驗結(jié)果表明，視頻拼接速率可達20fps,具有一定的實時性和魯棒性。

視頻拼接；SIFT特征；RANSAC；圖像融合

1.引言

視頻圖像拼接是一種低成本獲取寬視角場景的方法，是視頻圖像處理領(lǐng)域的研究熱點之一，在軍事和民用領(lǐng)域都具有很強的應(yīng)用價值。

目前視頻拼接是基于圖像拼接實現(xiàn)的，圖像拼接包括圖像配準和圖像融合兩個部分：

（1）圖像配準：常用的圖像配準算法有基于特征的圖像配準算法和基于灰度的圖像配準算法?；谔卣鞯呐錅仕惴ò℉arris算法、SIFT算法和SURF算法[1]等。該類算法具有計算量小，對圖像的灰度和噪聲的影響不敏感，魯棒性和穩(wěn)健性高的特點?；诨叶鹊膱D像算法有歸一化互相關(guān)法、相位相關(guān)法、以及互信息法[2]等，該類算法計算量大、復(fù)雜度高，對目標場景要求高；

（2）圖像融合：常用的圖像融合算法有加權(quán)平均法和中值濾波法[3]。加權(quán)平均算法簡單易實現(xiàn)，中值濾波法計算量大。

本文設(shè)計和實現(xiàn)了一種多光電跟蹤儀視頻圖像拼接的方法。該方法采用SIFT算法和RANSAC算法進行特征提取和匹配，完成圖像配準過程；用加權(quán)平均法完成圖像融合過程，進而實現(xiàn)視頻拼接。為加快拼接速度，本文采用一次配準（特征提取、特征匹配和仿射變換矩陣計算等配準過程只計算一次）、多次圖像融合的方法，達到了較好的加速效果。

2.拼接原理與關(guān)鍵算法

要地防御系統(tǒng)中目標多樣且位置不定，如何在全局場景中包含人、車、物是目前的一個研究熱點和難點。全景拼接無疑是一種很好的實現(xiàn)路徑，本文探討了一種全景拼接的方法，在保障實時性的前提下，實現(xiàn)快速的全景拼接，并取得較好的拼接效果。

多光電跟蹤儀視頻拼接基本步驟：1）獲取多光電跟蹤儀的視頻圖像，并進行特征點提取及匹配，根據(jù)匹配的特征點計算仿射變換矩陣；2）利用上一步計算的矩陣進行圖像拼接處理，實時顯示拼接圖像。本文假定四個光電跟蹤儀C1～ C4依次排開，同步獲取四幀圖像I1～I4。為保證圖像拼接的實時性，實現(xiàn)圖像快速拼接，本文將多臺光電跟蹤儀分成若干小組，先進行組內(nèi)拼接再進行組間拼接，并結(jié)合多線程技術(shù)加快處理速度，圖1給出了多光電跟蹤儀視頻圖像拼接方案。其中對兩幅圖像進行兩幅圖像拼接流程如圖2所示，包括特征提取、特征匹配和仿射變換矩陣計算、圖像融合等步驟。

圖1 多光電跟蹤儀圖像拼接方案

圖2 兩幅圖像拼接流程

2.1 特征提取

特征提取是進行圖像拼接的前提和基礎(chǔ)。如何提取到合適的特征點以保證圖像能夠拼接且拼接正確，是本步驟需要解決的問題。本文對四個光電跟蹤儀同步采集的圖像I1～ I4采用SIFT算法提取特征點集P1～P4。SIFT算法是由David G.Lowe于1999年提出[4]，由于該算法在特征提取時，在特征點細節(jié)上進行了特殊處理，使得的提出來的特征點具有魯棒性高，穩(wěn)定性強的特性。SIFT算法的主要步驟包括：

1）尺度空間極值檢測；

2）特征點定位；

3）特征點方向確定；

4）特征點描述。最終生成的特征點包含特征的坐標、尺度和方向信息[5]。

2.2 特征匹配

對需要拼接的兩幅圖像I1和I2，對其SIFT特征點集P1和P2進行匹配的過程如下：

1）粗匹配：對P1中的的每個特征點a，在P2中查找a對應(yīng)的最近鄰特征點b1以及次近鄰特征點b2，如果dist(a,b1)/dist(a,b2)

2）精匹配：經(jīng)粗匹配得到的特征點對集合S1中包含虛假匹配，為解決該問題使用RANSAC方法[7]。根據(jù)對極幾何約束關(guān)系，任意匹配點對(a,b)滿足aTFb=0，其中F為基本矩陣，F(xiàn)是一個3×3的秩2奇異方陣，具有7個自由度。求解基礎(chǔ)矩陣可采用的是改進的8點法[8]。本文采用RANSAC方法來精確估計兩幅圖像之間的基本矩陣F[9]，同時剔除S1中的虛假匹配得到兩幅圖像的匹配點對S。

2.3 仿射變換

由RANSAC算法得到兩幅圖像I1和I2的匹配點對集合S后，通過S可以計算圖像I1和I2的仿射變換[10]，公式如下：

其矩陣表示為：

其中a，b，c，d表示旋轉(zhuǎn)、縮放系數(shù)。e，f表示平移系數(shù)。(x,y)和(x′,y′)表示S中的一對匹配點。仿射變換矩陣M包含了6個參數(shù)，因此至少需要不共線的3對匹配點才能確定一個仿射變換M，因此|S|≥3（|S|表示S中點對的數(shù)目）。當(dāng)|S|>3時，可以用最小二乘法來求仿射變換M。

圖3 圖像融合示意圖

2.4 圖像融合

得到兩幅圖像之間的仿射變換后，本文采用加權(quán)平均法進行圖像融合[11]。其公式如下：

其中：I1(x,y)、I2(x,y)分別表示經(jīng)過上步驟仿射變換的第I1幅圖像和第I2幅圖像；I(x,y)表示融合后的圖像；R3=I1∩I2，R1=I1-R2，R2=I2-R3。是加權(quán)系數(shù)，為重疊區(qū)域?qū)挾鹊牡箶?shù)。圖像融合示意圖如3所示。

3.實驗結(jié)果與分析

為了驗證本文提出的算法的有效性，使用Visual Studio開發(fā)平臺，結(jié)合Opencv開源庫，用C++語言實現(xiàn)。在白天自然光照下，使用四臺光電跟蹤儀同步錄制視頻流捕獲四幀圖像I1～I4。如圖4所示。

圖4 光電跟蹤儀同步獲取的4幅視頻幀圖像

圖5 特征提取和特征匹配結(jié)果

圖6 多光電跟蹤儀視頻拼接結(jié)果

圖5給出了經(jīng)SIFT算法提取的特征點和RANSAC方法匹配結(jié)果，其中圖(a)表示圖像I1和I2的特征點提取及匹配，圖(b)表示圖像I2和I3的特征點及匹配結(jié)果，圖(c)表示圖像I3和I4的特征點提取及匹配。圖像I1～I4拼接結(jié)果如圖6所示。

4.結(jié)束語

本文以要地防御監(jiān)控系統(tǒng)場景全景拼接為背景，設(shè)計并實現(xiàn)了多光電跟蹤儀的視頻拼接算法。該算法包括特征提取、特征匹配、仿射變換、圖像融合等部分。特征點提取使用SIFT方法，特征匹配采用RANSAC參數(shù)估計方法，圖像融合采用加權(quán)平均法。實驗結(jié)果表明，視頻拼接速率可達20fps。為了進一步提高拼接的實時性，可以通過NIVIDA公司提供的GPU加速技術(shù)來進行算法優(yōu)化。

[1]邱建國,張建國,李凱.基于Harris與Sift算法的圖像匹配方法[J].測試技術(shù)學(xué)報,2009,23(03):271-274.

[2]魏曉敏.圖像配準算法研究與系統(tǒng)設(shè)計實現(xiàn)[D].南京航空航天大學(xué),2010.

[3]牛凌宇.多源遙感圖像數(shù)據(jù)融合技術(shù)綜述[J].空間電子技術(shù),2005,(01):1-5+10.

[4]P.Schwind,S.Suri,P.R.A.Siebert.Applicability of the SIFT operator to geometric SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.

[5]D.G.Lowe.Distinctive image feature from scaleinvariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6]劉相濱,鄒北驥,孫家廣.基于邊界跟蹤的快速歐氏距離變換算法[J].計算機學(xué)報,2006,(02):317-323.

[7]苗學(xué)健.全景圖像拼接技術(shù)關(guān)鍵技術(shù)研究[J].通訊世界,2016,(21):227-228.

[8]Richard I.Hartley.In defense of the8-point Algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997,19(6):580-593.

[9]崔久林.視頻圖像目標提取技術(shù)的研究[D].長春:長春理工大學(xué),2006.

[10]R.Lin,H.B.Huang,R.C.Sun,L.N.Sun.An invariant interest point detector under image affine transformation[J].Journal of Central South University,2015,22(03):914-921.

[11]Y.Q.Zhao,Q.Pan,H.C.Zhang.Adaptive polarization image fusion based on regional energy dynamic weighted average[J].Optoelectronics Letters,2005,03:70-73.

秦建峰（1980－），男，大學(xué)本科，現(xiàn)供職于河南中光學(xué)集團有限公司，研究領(lǐng)域為視頻監(jiān)控、圖像處理、安防系統(tǒng)集成。