方趙林，彭 潔，葛春霞，秦緒佳

(浙江工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

基于改進加權(quán)算法的實時圖像數(shù)據(jù)融合研究

方趙林，彭 潔，葛春霞，秦緒佳

(浙江工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

在三維重建、多維數(shù)據(jù)融合和信息可視化分析等領(lǐng)域中，針對實時視頻圖像數(shù)據(jù)拼接融合的過程中常出現(xiàn)的拼接縫隙問題，提出了一種改進的加權(quán)融合實時圖像拼接方法.該方法將視頻拼接問題轉(zhuǎn)化為視頻對應(yīng)幀圖像的融合問題，通過利用SURF算法對特征數(shù)據(jù)點進行提取與匹配，對圖像使用RANSAC算法和LM算法求其幾何變換矩陣，再根據(jù)變換矩陣進行圖像插值拼接，對拼接線區(qū)域圖像內(nèi)容進行加權(quán)處理完成視頻圖像融合.在進行圖像融合處理時，提出了基于拼接線一側(cè)加權(quán)融合和基于原圖內(nèi)容的加權(quán)融合算法.實驗結(jié)果表明：該方法實現(xiàn)的拼接融合速度快、效果較好，適用于對速度和拼接效果均有要求的場景視頻拼接和實時數(shù)據(jù)呈現(xiàn).

視頻拼接；加權(quán)融合；實時；無縫拼接

在對信息化系統(tǒng)產(chǎn)生的多維數(shù)據(jù)進行融合的過程中，常需要處理實時圖像數(shù)據(jù)的拼接融合問題.圖像拼接是指把具有重疊區(qū)域的兩幅或多幅小視域的圖像拼接成一幅無縫隙的大視域圖像[1]，其中待拼接圖像可以是同一場景在不同時間、角度、信息采集系統(tǒng)上獲得，這一技術(shù)被廣泛地用在數(shù)據(jù)分析、數(shù)字視頻、虛擬現(xiàn)實技術(shù)等領(lǐng)域.由于視頻是由大量靜態(tài)的圖像數(shù)據(jù)拼接而成，因此視頻拼接的核心是圖像拼接[2].縱觀現(xiàn)有的關(guān)于圖像拼接的研究，常規(guī)的圖像拼接方法為滿足觀測的需要，主要注重拼接質(zhì)量，而忽視了拼接實時性[3].然而，與圖像拼接的相比，視頻拼接更看重實時性.由于視野范圍、光照變化和尺度縮放等因素會影響獲取的視頻質(zhì)量，所以視頻拼接的研究重點是在確保視頻拼接有高效的實時性的同時還具有較好的拼接效果.針對動態(tài)視頻拼接技術(shù)，一般利用LM算法計算待配準(zhǔn)圖像之間的幾何變換關(guān)系，然后利用變換關(guān)系進行視頻幀圖像的配準(zhǔn)與拼接[4].2001年Hsu等[5]提出了一種將運動物體和場景分離技術(shù)統(tǒng)一起來的視頻圖像拼接算法，該算法通過Melin變換計算運動參數(shù)，利用幀差法檢測出運動物體，對視頻幀圖像拼接，并將分離出的運動物體合成到拼接視頻序列中.2009年Lin等[6]提出一種基于HashMap的特征匹配的快速視頻拼接算法，該算法先采用具有旋轉(zhuǎn)不變特性的SURF特征檢測算法檢測特征點，然后進行HashMap的特征匹配，提高了特征匹配的速度.針對虛擬漫游系統(tǒng)的實時視頻拼接，陳夏艷等[7]提出通過提取場景的距離特征，利用序貫相似性檢測算法來確定出圖像的重疊區(qū)域.同時為提高圖像拼接質(zhì)量，可先進行消除鏡頭畸變，再對圖像拼接融合[8].針對視頻圖像的全景拼接，范菁等[9]提出基于顯著性區(qū)域來生成帶約束關(guān)鍵幀的全景圖，并利用CUDA進行優(yōu)化.在拼接融合領(lǐng)域，一般的拼接方法均是對重疊區(qū)域進行加權(quán)融合，其融合效果較差.目前較好的融合方法是基于最佳縫合線方法[10]，但最佳縫合線方法往往計算量大，不適合視頻實時拼接融合.針對實時視頻拼接，通過深入研究，使用基于拼接線一側(cè)的加權(quán)融合算法和基于原圖內(nèi)容的加權(quán)融合算法，較好地克服了傳統(tǒng)加權(quán)融合算法中出現(xiàn)拼接線的不足，實現(xiàn)對圖像的高質(zhì)量、快速度的融合拼接.

1 視頻圖像實時拼接

大場景的視頻拼接應(yīng)用中，常采用多系統(tǒng)進行數(shù)據(jù)采集，然后拼接成一個大場景的視頻.在同一環(huán)境中，數(shù)據(jù)采集位置通常固定不動，每對圖像拼接幀間的變換矩陣是相同的.因此，一般只需選擇一對拼接幀來計算拼接矩陣，其他幀對與此類似，直到達(dá)到實時拼接同步播放的效果.

1.1SURF算子

SURF算子在SIFT算子的基礎(chǔ)上進行了改進[11]，它對關(guān)鍵點周圍的局部領(lǐng)域信息進行統(tǒng)計，將其作為局部特征來描述，而這種特征跟尺度大小是沒關(guān)系的，是一種基于尺度不變特征的圖像局部描述算子.

1.1.1 尺度空間的生成

在生成金字塔尺度空間時，SURF需不斷增大盒子濾波器模板和積分圖像，計算Hessian矩陣響應(yīng)來快速生成尺度空間.構(gòu)建尺度空間需使用Hessian矩陣探測器檢測斑點，通過高斯LaplacianLog探測器的響應(yīng)值進行判斷否存在斑點.當(dāng)斑點的形狀和通過Laplacian函數(shù)生成的形狀趨勢基本一致時，并且利用圖像和高斯二階導(dǎo)數(shù)卷積得到的Laplacian響應(yīng)值也達(dá)到最大，便可判定其為斑點.在斑點檢測過程中，關(guān)鍵點在于使用高斯二階微分計算得出Hessian矩陣，其定義為

(1)

這里，假設(shè)p(x,y)表示任一像素點位置，σ為高斯卷積尺度參數(shù)，那么圖像中的Hessian矩陣可表示為

(2)

1.1.2 定位極值點

為了在圖像及不同尺寸中找出極值點的精確位置，采用3×3×3鄰域的非極大值抑制.通過計算圖像像素點的Det(H)值可以初步確定圖像的局部極值點位置，將該點鄰域周圍26個點的Det(H)值與該點的Det(H)進行比較，發(fā)現(xiàn)均比該點大，則可初步確定該點為初始特征點.具體判定過程如圖1所示.

圖1 極值點判定Fig.1 Extremum point decision

1.1.3 確定特征點主方向

以特征點為中心，從其不同方向中選取一個作為主方向，即使發(fā)生旋轉(zhuǎn)，特征向量仍保持一定的穩(wěn)定性.通過引入Harr小波[12]，計算出特征點在x和y方向上的梯度響應(yīng)值，確定其主方向.假設(shè)特征點所在的尺度空間單位大小用s表示，以樣本的特征點為圓心畫一個半徑為6 s的圓形范圍，取所有Harr小波尺寸不大于4 s特征點的梯度響應(yīng)值.此外，特征點權(quán)值應(yīng)根據(jù)特征點到圓心的距離來判定，距離圓心越近其權(quán)值越大，反之越小.為保證整個圓形區(qū)域都包括在內(nèi)，設(shè)置了6個60°的扇形窗口，分別計算各扇形窗口的Harr小波響應(yīng)值的累加和(mw,θw)，計算公式為

(3)

(4)

通過累加6個扇形區(qū)域的矢量和得到mw，則mw最大的區(qū)域的方向就是最終主方向，其中，主方向θ可確定為

θ={θw|max(mw)}

(5)

1.1.4 生成SURF特征點描述符

確定了特征點的主方向后，需生成SURF特征點的具體描述符.首先把特征點作為中心，沿主方向在中心位置處選取20 s×20 s的正方形窗口區(qū)域，并在區(qū)域內(nèi)計算Harr小波梯度響應(yīng)值.計算響應(yīng)值過程中，首先將20 s×20 s的大窗口區(qū)域劃分為4×4個子窗口，然后在各個子窗口內(nèi)，分別計算在x和y方向的Harr小波梯度響應(yīng)值dx和dy.最后計算各個窗口在x軸和y軸的Harr小波響應(yīng)值dx和dy的累加值以及在x軸和y軸的圖像灰度值變化極性的信息|dx|和|dy|的累加值.最終各子窗口均得到一個四維特征矢量V，也稱為特征點描述符，具體表示為

V=(∑dx,∑|dx|,∑dy,∑|dy|)

(6)

由上，在20 s×20 s的正方形窗口區(qū)域內(nèi)共生成的特征描述符有4×4×4=64位.而且當(dāng)圖像發(fā)生旋轉(zhuǎn)、分辨率變化和受光照不均時生成的SURF特征描述符均具有穩(wěn)定性.

1.2RANSAC配準(zhǔn)

對于兩個特征點描述符間，使用SURF算法計算其歐氏距離，假設(shè)某個特征點描述符為qi，與qi的歐氏距離由近至遠(yuǎn)的特征描述符分別記為qi1和qi2.當(dāng)r0=qi/qi1與r1=qi/qi2的比值小于閾值，說明匹配正確，即將點(qi,qi1)看做輸入圖像的成功匹配點.雖然該方法方便快捷，但有一定的弊端，它會產(chǎn)生誤匹配，通過RANSAC算法得到圖像變換矩陣H將會有效減少誤匹配的點對，具體流程如下:

1)首先隨機選取4組匹配點作為一個隨機樣本并計算該樣本的幾何變換矩陣H，然后計算與H變化趨勢一致且距離不大于d的匹配點數(shù)，即內(nèi)點數(shù).在經(jīng)過多次采樣之后，如果內(nèi)點數(shù)不相等，則選擇內(nèi)點數(shù)最多的變換矩陣H作為變換矩陣的初值，否則選擇內(nèi)點標(biāo)準(zhǔn)差最小的變換矩陣H作為變換矩陣的初值.

2)通過將幾何變換矩陣H迭代，為全部內(nèi)點重新估計H，利用LM算法使代價函數(shù)達(dá)到最小化.

3)使用上一步得到的變換矩陣H定義附近搜索的區(qū)域，進而達(dá)到使特征點精確匹配的效果.

4)重復(fù)迭代步驟2，3直到匹配點數(shù)目穩(wěn)定為止.

2 改進的加權(quán)融合算法

進行圖像融合操作，關(guān)鍵要處理好多圖像間的重疊區(qū)域，使形成一幅完整平滑的大視域圖像.在實時視頻拼接的過程中，視頻融合不僅要求滿足最基本的畫面質(zhì)量，還要求滿足一定的實時性.因此改進的加權(quán)融合算法的目標(biāo)就是在不改變?nèi)诤腺|(zhì)量的同時，盡量縮短融合拼接的時間開銷.

2.1 融合插值思想

進行圖像融合操作的前提是圖像配準(zhǔn)，圖像配準(zhǔn)首先對配準(zhǔn)圖像進行平移、縮放、旋轉(zhuǎn)等幾何空間變換的處理，同時計算從配準(zhǔn)圖像空間投影到基準(zhǔn)圖像空間的變換矩陣.由于經(jīng)過空間變換后的配準(zhǔn)圖像會丟失部分圖像信息，這會直接導(dǎo)致圖像失真或是模糊不清，為改善這一狀況，采取圖像插值技術(shù)對原圖進行處理.在一般的應(yīng)用中，線性插值技術(shù)不但能夠滿足圖像高質(zhì)量的基本需求，而且算法簡單，運行速度相對較快；而非線性插值技術(shù)雖然可以滿足圖像高質(zhì)量的需求，但是算法復(fù)雜，運行速度相對慢，所以該算法并不適宜用在對時間要求比較嚴(yán)格的場景中.

傳統(tǒng)的圖像拼接算法一般在圖像配準(zhǔn)后使用漸入漸出式加權(quán)平均融合算法[13]和雙線性插值算法來完成圖像拼接的基本融合過程.加權(quán)融合算法的公式為

(7)

式中：d1(x,y)，d2(x,y)分別為加權(quán)系數(shù)，兩者和等于1.上述組合算法僅適用某些拼接的場景，但當(dāng)某些圖像的空間幾何變換較大時，仍舊會存在一條較明顯的拼接縫.

傳統(tǒng)的加權(quán)融合算法的優(yōu)點是算法簡單、運行速度快，常適用在對時間要求嚴(yán)格的場景中，但該算法運行過程中偶爾會出現(xiàn)不穩(wěn)定，圖像有鋸齒狀拼接線的現(xiàn)象.針對加權(quán)融合算法中出現(xiàn)的拼接線現(xiàn)象，提出了一種基于拼接線一側(cè)的加權(quán)融合和基于原圖內(nèi)容的加權(quán)融合的改進算法.該算法證實了雙線性插值算法并沒有完全解決邊緣不平滑的問題，從而解釋了拼接線出現(xiàn)的原因，進而提出了利用拼接線一側(cè)的內(nèi)容和原圖內(nèi)容重新對拼接線進行插值的一種改進的算法.

2.2 基于拼接線一側(cè)的加權(quán)融合算法

基于拼接線一側(cè)的加權(quán)融合算法具體思路如下：計算拼接后圖像的拼接線的位置，然后在加權(quán)融合時，若遇到拼接線像素點，則將參考圖像的像素點的值直接賦值給對應(yīng)的拼接線像素點上，否則就利用傳統(tǒng)的加權(quán)融合算法處理.之所以將參考圖像的像素點的內(nèi)容直接賦值給拼接線像素點，是因為參考圖像的內(nèi)容較真實且未做過任何的幾何變換，而經(jīng)過圖像變換的配準(zhǔn)圖像的邊緣處(即拼接線)存在不平滑的現(xiàn)象，因此在對拼接線處進行的加權(quán)平均融合時僅取參考圖像一側(cè)的像素點，舍棄誤差較大的配準(zhǔn)圖像的邊緣.由于在進行視頻拼接時，圖像除了拼接線處，其他區(qū)域基本不受光照等因素的影響，因此在使用加權(quán)融合算法對拼接線處進行平滑性的過渡處理后，不會出現(xiàn)因二次插值引起再次出現(xiàn)拼接線的現(xiàn)象.該算法的具體步驟如下：

1) 計算拼接線.由于在視頻拼接過程中，經(jīng)過幾何變換后圖像的邊緣線仍是直線，所以加權(quán)融合算法中出現(xiàn)的拼接線也一定是直線.本算法假設(shè)拼接線的方程式是y=kx+b，首先對原圖像的4個頂點進行圖像變換，然后對產(chǎn)生的新頂點坐標(biāo)進行計算便可得到該拼接線的方程.

2) 選擇合適的閾值判定.確定了拼接線方程之后，接下來重點是尋找該拼接線內(nèi)的像素點，假設(shè)某像素點的坐標(biāo)為(i,j)，判定該像素點是否在拼接線內(nèi)，其公式為

|j-(ki+b)|<θ

(8)

其中：θ代表要判定的像素點是否在拼接線內(nèi)的閾值，其取值范圍為[1,2]，θ值不能太大也不能太小.若θ過小，拼接線不能完全覆蓋鋸齒區(qū)域；若θ過大，拼接線區(qū)域過大可能會導(dǎo)致產(chǎn)生新的拼接線.因此，選擇一個合適的閾值是尋找拼接線內(nèi)像素點的關(guān)鍵.

3) 在拼接線區(qū)域選擇一側(cè)圖像內(nèi)容.如果像素點在拼接線區(qū)域內(nèi)，就把參考圖像的像素直接賦值給與拼接結(jié)果圖對應(yīng)的拼接線像素點，如果不在拼接線區(qū)域內(nèi)，則按照傳統(tǒng)的加權(quán)融合算法對圖像進行圖像融合操作.

2.3 基于原圖內(nèi)容的加權(quán)融合算法

基于原圖內(nèi)容的加權(quán)融合算法的具體思路，首先利用原圖像對配準(zhǔn)后圖像的邊緣處進行插值處理，接著再對邊緣插值后的配準(zhǔn)圖像和參考圖像進行傳統(tǒng)的加權(quán)平均融合處理.該算法在消除配準(zhǔn)圖像邊緣的鋸齒誤差的基礎(chǔ)上進行加權(quán)融合，由于對原圖進行插值后可能會出現(xiàn)新的拼接縫，這種做法能對新拼接縫進行加權(quán)融合，大大降低了新拼接線出現(xiàn)的概率.該算法的具體步驟如下：

1) 計算拼接線.

2) 選擇合適的閾值判定.

3) 對拼接線處進行原圖內(nèi)容插值.如果像素點在在拼接線區(qū)域內(nèi)，即在配準(zhǔn)圖像的邊緣處，則可以利用圖像變換矩陣的逆運算，把原圖位置的像素點值賦值給與之對應(yīng)的配準(zhǔn)圖像上的點.

4) 加權(quán)融合兩幅圖像.對配準(zhǔn)圖像進行原圖內(nèi)容插值操作后，再將其與參考圖像進行漸入漸出式加權(quán)平均融合處理，就得到由兩幅圖像融合拼接而成的無縫隙的整體圖像.

3 實驗結(jié)果及分析

通過使用Visualstudio2010軟件在PC機上對算法進行了實現(xiàn).圖2為輸入視頻，圖3(a～c)為分別采用傳統(tǒng)加權(quán)融合算法、基于拼接線一側(cè)加權(quán)融合算法和基于原圖內(nèi)容的加權(quán)融合算法對圖2的兩個輸入視頻進行拼接后的融合效果圖，其中劃線方框內(nèi)出現(xiàn)的虛線是拼接產(chǎn)生的拼接縫隙.圖3中第2行是第1行圖中劃線方框部分的局部放大圖.

圖2 輸入視頻Fig.2 Input videos

圖3 不同加權(quán)融合算法的視頻拼接結(jié)果Fig.3 Videos stitching result with different weighted fusion algorithms

通過對比觀察圖3中的融合效果圖，尤其是各融合圖中的畫框區(qū)域，我們發(fā)現(xiàn)改進后加權(quán)融合算法不但具有融合效果較好、明顯消除拼接線和拼接區(qū)域的圖像亮度一致等優(yōu)勢，而且沒有造成因二次插值導(dǎo)致的新拼接線現(xiàn)象的出現(xiàn).此外，由于計算拼接線的時間是線性時間，而且在對圖像重疊區(qū)域加權(quán)融合時僅需增加判斷像素點是否在拼接線區(qū)域內(nèi)這一步.表1數(shù)據(jù)說明基于拼接線一側(cè)的加權(quán)融合算法在提高了圖像融合效果的同時幾乎沒有增加額外時間.而基于原圖內(nèi)容的加權(quán)融合算法由于采用了漸入漸出式加權(quán)平均融合處理，運行代價略有增加，但整合效果更好.

表1 不同加權(quán)融合算法性能分析

Table 1 Performance analysis of different weighted fusion algorithms

融合方法運行時間/s傳統(tǒng)加權(quán)融合算法0．029基于拼接線一側(cè)加權(quán)融合算法0．033基于原圖內(nèi)容的加權(quán)融合算法0．040

可見，基于拼接線一側(cè)的加權(quán)融合算法和基于原圖內(nèi)容的加權(quán)融合算法，改進了傳統(tǒng)的加權(quán)融合算法，融合效果好、速度快，非常適用在實時視頻拼接中.

4 結(jié) 論

基于SURF特征匹配算法提出并改進了傳統(tǒng)的加權(quán)融合視頻拼接方法，通過提取圖像的SURF特征點，進行特征匹配以及計算特征點的幾何變換矩陣來求得輸入圖像的重疊區(qū)域，最后利用提出的改進算法進行圖像融合.對于要求速度快且融合質(zhì)量比傳統(tǒng)融合方法略高的應(yīng)用，可采用基于拼接線一側(cè)的加權(quán)融合算法，對于要求融合質(zhì)量高的場合，可采用基于原圖內(nèi)容的加權(quán)融合算法.對于數(shù)據(jù)采集面固定的視頻，只要取一個視頻對應(yīng)幀來計算變換矩陣，其他視頻幀的拼接變換采用同一變換矩陣，然后進行加權(quán)融合，可達(dá)到實時拼接和融合.實驗證明，改進加權(quán)融合算法在實時視頻拼接的圖像融合過程中耗時較少，并且可得到的拼接效果良好的實時視頻.

[1] ZOMET A, LEVIN A, PELEG S, et al. Seamless image stitching by minimizing false edges[J]. IEEE transactions on image processing,2006,15(4):969-977.

[2] LI Jing, XU Wei, ZHANG Jianguo, et al. Efficient video stitching based on fast structure deformation[J]. IEEE transactions on cybernetics,2015,45(12):2707-2719.

[3] 王小強,陳臨強,梁旭.實時全自動視頻拼接方法[J].計算機工程,2011,37(5):291-292.

[4] SZELISKI R. Video mosaics for virtual environments[J]. Computer graphics & applications,1996,16(2):22-30.

[5] HSU C T, TSAN Y C. Mosaics of video sequences with moving objects[J]. Signal processing-image communication,2004,19(1):81-98.

[6] LIN Wu, HONG Jingxin, ZHANG Hao, et al. A fast feature-based video mosaic[C]//6th International Symposium on Multispectral Image Processing and Pattern Recognition. YiChang: SPIE,2009:49-55.

[7] 陳夏艷,伍先達(dá).基于距離特征的自適應(yīng)閾值視頻拼接算法[J].模式識別與人工智能,2010,23(5):727-730.

[8] 劉暢,金立左,費樹岷，等.固定多攝像頭的視頻拼接技術(shù)[J].數(shù)據(jù)采集與處理,2014,29(1):126-133.

[9] 范菁,吳佳敏,葉陽，等.帶顯著性區(qū)域約束的高效視頻全景拼接方法[J].浙江工業(yè)大學(xué)學(xué)報,2015,43(5):479-486.

[10] 秦緒佳,王琪,王慧玲，等.序列遙感圖像拼接的最佳縫合線融合方法[J].計算機科學(xué)，2015,42(10):306-310.

[11] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up robust features (SURF)[J]. Computer vision & image understanding,2008,110(3):346-359.

[12] JIN G, YAN Y, WANG W, et al. Optical harr wavelet transform for image feature extraction[C]//International Conference on Mathematical Imaging: Wavelet Applications in Signal and Image Processing. San Diego: SPIE,1993:371-380.

[13] BERT P J, ADELSON E H. A multiresolution spline with application to image mosaics[J].ACM transactions on graphics，1997,2(4):217-236.

(責(zé)任編輯：劉 巖)

Improved weighted algorithm for real-time image fusion

FANG Zhaolin, PENG Jie, GE Chunxia, QIN Xujia

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

In various fields including 3D reconstruction, multidimensional data fusion and information visualization, in the stitching process of real-time video data, the splicing gap problem often appears. An improved weighted fusion algorithm for real-time video stitching is presented. In this algorithm, the problem of video stitching is transformed into the corresponding frame images stitching. The image stitching algorithm is based on SURF (Speed Up Robust Features). Firstly, SURF is used for extracting and matching feature points. Then, the geometric transform matrix of image based on RANSAC(Random Sample Consensus) algorithm and LM (Levenberg-Marquard) algorithm is calculated. Interpolation operation is performed for stitching the images with the transform matrix. Finally, the image content of the stitching region is weighted to complete the stitched image fusion. In the fusion process, the merging line side based weighted fusion and image content based weighted fusion methods are proposed. Experimental results show that the proposed fusion algorithm has the advantages of fast processing speed and good effect, and it is suitable for the scene video stitching and real-time data presentation with requirement of the stitching speed and the effect.

videos stitching; weighted fusion; real-time; seamless stitching

2016-12-28

國家自然科學(xué)基金資助項目(61672462)；浙江省科技計劃資助項目(2016C33165)；浙江省高校實驗室工作研究項目(ZD201608)；浙江省教育技術(shù)研究規(guī)劃課題(2016JB005)

方趙林(1972—)，男，浙江諸暨人，高級工程師，研究方向為圖像數(shù)據(jù)處理、網(wǎng)絡(luò)技術(shù)及應(yīng)用，E-mail：fzl@zjut.edu.cn.

TP391

A

1006-4303(2017)03-0325-05