陶 清 凌朝東

[關鍵字] 圖像配準；圖像融合；工控機

1 引言

全景視頻拼接系統(tǒng)是將擁有重疊區(qū)域的多個相機采集的視頻圖像進行特征點檢測和圖像變換，完成圖像配準和邊緣融合，從而實現(xiàn)一幅超大分辨率的全景圖[1]。其廣泛應用于城市廣場、軍用全景作戰(zhàn)平臺、綜合交通樞紐、X射線醫(yī)療影像等領域。

在基于灰度模板、特征點和變換域這三類圖像配準算法中，基于灰度的方法易受非線性光照、拍攝位置等影響，基于傅立葉變換在旋轉、縮放和平移過程中會引入大量誤差，而采用基于特征的圖像配準方法[2]、SIFT特征檢測法[3]在抗干擾、尺度大小和光照等方面魯棒性好。

本文提出一種全景視頻圖像拼接系統(tǒng)的方案，通過上位機進行圖像拼接控制，將多個攝像頭采集的視頻圖像，進行圖像配準和圖像融合。通過網(wǎng)絡將生成的變換參數(shù)傳送給工控機，工控機嵌入IPC視頻拼接處理器作為輸入，多路IPC視頻拼接處理器完成圖像的旋轉、平移、縮放和切割處理，并進行全景顯示。

2 圖像配準

2.1 特征提取

SIFT（Scale Invariant Feature Transform）尺度不變特征變換[4]，SIFT特征檢測算法包括尺度空間構建、空間極值檢測、特征方向提取、描述關鍵點[5]。由圖像與高斯核卷積得到圖像的尺度空間：

L(x,y,σ)=G(x,y,σ)*I(x,y) (1)

以DOG（Difference of Gaussian）差分高斯極值作為判斷依據(jù)，將濾波后的兩幅圖像相減得到DOG圖，通過高斯金字塔相鄰尺度圖像層之間作差構造DOG金字塔，在DOG圖像中，若像素點是本層圖像和相鄰層圖像的周圍26個像素DOG局部的極值，則判為候選特征點。

2.2 特征向量生成

根據(jù)上述方法得到SIFT候選特征點集合X0，為了后面進行精確的特征點匹配，需要剔除不穩(wěn)定的關鍵點，主要是對比度較低和靠近圖像邊緣的點。剔除后，對特征點進行描述，通過特征點鄰域像素的梯度分布確定，對平滑圖像上每一個點L(x,y)的梯度求模m(x,y)與方向角θ(x,y)，由表達式（2）得到

對于每一個特征點，利用直方圖方式統(tǒng)計鄰域像素梯度分布，尋找峰值最大的角度作為該特征點方向。在構造特征點描述符時，將特征點鄰域劃分成4鄰域，通過直方圖按8個方向統(tǒng)計得到周圍4鄰域分別8個方向的向量信息，共4×8維作為該特征點描述符向量。當劃分為16鄰域則可得到128維SIFT描述符。

2.3 特征點匹配

保存好128維特征描述符后，采用K-D樹對向量加快匹配過程，利用最鄰近查詢算法在K-D樹中快速查找。為了提高匹配的準確度，通過距離比值法初步篩選匹配對，隨機抽樣一致性算法深入剔除誤匹配對。

距離比值法：計算出特征點與最鄰近距離N1和次鄰近距離N2，若兩者比值小于一個THR常數(shù)（這里設為0.8）則認為是特征點，否則剔除。

隨機抽樣一致性算法：通過采樣和驗證，將一組待驗證數(shù)據(jù)輸入?yún)?shù)化模型，反復迭代修改驗證模型，得出最優(yōu)參數(shù)化數(shù)學模型，即3*3的單應矩陣H，通過如下公式完成幾何變換。

3 圖像融合

配準后的圖像融合采用多分辨率融合法實現(xiàn)，它是以金字塔的結構來描述圖像，在不同分辨率的圖像中，存在不同的融合帶，分別建立待融合圖像的拉普拉斯金子塔LA,LB，構建權重W和高斯金字塔圖像GW，然后通過下式得到各層（k）拉普拉斯金字塔圖像，最后由各層拉普拉斯金字塔得到融合圖像。

4 系統(tǒng)設計

全景拼接系統(tǒng)是一套軟硬件相結合的復雜系統(tǒng)。如圖1所示：

圖1 全景圖像拼接方案框圖

網(wǎng)絡交換機將多個攝像頭、工控機和IPC視頻拼接處理器連接在同一局域網(wǎng)內，工控機得到視頻碼流，經(jīng)VLC解碼后獲取攝像頭采集的圖像，圖像配準和圖像融合的相關參數(shù)計算由PC端編寫控制程序實現(xiàn)，保存到SD卡里，并通過網(wǎng)絡通信將生成的變換參數(shù)下發(fā)給工控機，IPC處理器將視頻圖像進行圖像處理和顯示。采用軟硬件相協(xié)調，發(fā)揮各自資源優(yōu)勢，最終實現(xiàn)全景視頻實時拼接。

工控機采用C/S架構，優(yōu)勢互補，加速算法運算速率，減小通信開銷[6]?？蛻舳嘶谂錅嗜诤纤惴ㄍ瓿蓤D像的參數(shù)調整，將變換參數(shù)保存在SD卡，并傳遞給服務器端進行視頻圖像平移、旋轉、縮放和裁剪，嵌入IPC視頻拼接處理器作為其輸入源。圖2為工控機軟件操作流程，表1是實驗設備。

圖2 軟件操作流程

表1 實驗設備

5 測試結果和分析

實驗測試環(huán)境是VS2010搭載OpenCv2.4.4。對全景系統(tǒng)進行圖像配準算法和融合算法的功能驗證。工控機經(jīng)過VLC視頻解碼[7]后，采集到5個攝像頭的圖像如圖3所示。

圖3 各攝像頭采集的圖像組

這里以圖3（2）、（3）為例，圖 4(1)、(2)分別為圖3(2)、(3)的SIFT特征檢測結果圖。

圖4 SIFT特征檢測結果圖

圖5 (1)是關鍵點經(jīng)過距離比值法挑選后的結果圖，圖5(2)是經(jīng)過RANSAC算法剔除后的結果圖。表2距離比值法和RANSAC算法篩選匹配對比較。

圖5 篩選后的結果圖

通過隨機抽樣一致性（RANSAC）算法對兩幅圖像的特征匹配點對進行誤匹配剔除，簡化后結果如下：

圖像配準需要將第二張圖片按照第一張基準圖片的尺寸、角度等形態(tài)信息基于單應矩陣進行透視變換匹配，把多幅圖像轉換至同一水平線上，圖6為圖像融合后的全景拼接圖。完成5路攝像頭的視頻圖像采集和圖像預處理需要0.06916秒，大約14幀左右，少于25幀每秒。實時性提升是進一步努力的方向。

表2 距離比值法和RANSAC算法篩選匹配對比較

6 結論

圍繞著全景拼接方案，本文介紹了基于SIFT配準算法和多分辨率融合法的基本理論。然后提出了以工控機為核心的視頻圖像拼接方案，并通過Visual Studio 2010+OpenCv[8]平臺實現(xiàn)和驗證。實驗結果表明：基于SIFT的檢測和多分辨率融合法的可行性高，能得到較佳的全景拼接圖，并對比出RANSAC算法篩選匹配對優(yōu)于距離比值法。

圖6 全景圖