姜幸儉，李霆

（五邑大學，江門 529000）

0 引言

全景圖是一種在各方向上全視角展示周圍物理空間樣貌的圖像，圖像拼接技術將多張具有重疊區(qū)域的圖像合成大畫幅、廣視角的全景圖，是計算機圖像圖形處理研究中的熱點領域。全景圖廣泛應用于基于圖像的3D場景建模和繪制[1]。

文獻[2]將圖像拼接流程概括為兩個主要步驟，第一步：圖像的配準和扭曲；第二步：尋找拼接縫隙并提供平滑的過渡。在標準鏡頭的情況下，文獻[3]采用SIFT特征點結合RANSAC篩選同一平面特征點計算多組單應性矩陣，通過縫隙誤差最小來選擇合適的單應性矩陣，將單應性矩陣的方法用于生成全景圖的情況中，無法避免累積誤差的問題。針對魚眼鏡頭，文獻[4]先將魚眼圖像轉換到縱向壓縮的柱面投影下，然后計算單應性矩陣拼接全景圖像，并且在漫游系統(tǒng)中展示，該方法中使用了Bundle adjustment平攤累積誤差到每個鏡頭[5]，但單應性矩陣引入的累積誤差并沒有消除，在漫游系統(tǒng)中可以看到首尾兩張魚眼圖像完全沒有重疊。文獻[6]對雙魚眼鏡頭的三星Gear設備提出了一種兩步配準方法，首先將魚眼圖像通過等距直角投影模型映射，手動選取匹配特征點，對匹配點求解仿射變換，評估歸一化互相關參數(shù)求最優(yōu)拼接參數(shù)?，F(xiàn)有的商業(yè)軟件，例如PTGUI在計算全景圖時，對不同鏡頭采用相同的參數(shù)，并不符合實際的鏡頭模型。

最佳拼接縫隙的尋找是圖像拼接中重要的環(huán)節(jié)，文獻[7]使用動態(tài)規(guī)劃的方法尋找重疊區(qū)域的拼接縫隙解決了相鄰圖像重疊區(qū)域存在運動物體的問題，但該方法易陷入局部最優(yōu)。文獻[8]在待拼接圖像上以圖像梯度建立無向圖用網絡最大流圖切割尋找拼接縫隙，在消除鬼影和重影任務上取得了很好的效果。

圖像融合主要有三種方法：線性融合、多分辨率融合、基于光流的方法[9]也被使用在圖像拼接中。線性融合算法實時性好，但對存在的鬼影和重疊現(xiàn)象消除效果不明顯。多分辨率方法能夠消除小的拼接縫隙、且對兩張照片的過渡處理效果好，但復雜度高，需要時間長。光流法計算每一個像素周圍匹配的像素，消除拼接縫隙效果是最好，但容易出現(xiàn)形變，且計算時間長。

綜上所述，針對魚眼鏡頭生成全景圖過程中不同鏡頭采用相同參數(shù)進行優(yōu)化有重影的問題，本文擬采用鏡頭參數(shù)單獨優(yōu)化方法進行解決。

1 全局幾何參數(shù)優(yōu)化

一張高質量拼接全景圖像應具備以下兩個條件[10]：①幾何結構上，拼接原圖像對應點周圍幾何結構最相似。②顏色強度上，每個像素周圍區(qū)域顏色過渡均勻。

1.1 映射多項式建立

從魚眼鏡頭的像素坐標系映射到單位球坐標系下映射關系如圖1所示。

圖1 像素坐標系到單位球坐標系

通過相鄰圖像之間的匹配特征點計算魚眼圖像的全局幾何變換參數(shù)。魚眼圖像到全景圖的映射方式主要有兩種：正向映射，從魚眼圖映射到全景圖像上；反向映射，從全景圖坐標計算魚眼圖像坐標。在圖像拼接映射過程中，為了避免全景圖像素的缺失，默認采用反向映射方式，但在魚眼鏡頭參數(shù)計算過程中采用正向映射的方式來進行特征點映射。

下面建立魚眼鏡頭像素坐標系與單位球面坐標系的映射關系。根據圖1（a）將魚眼圖像素坐標系(u,v)歸一化到相機坐標系(xn,yn)。

式（1）中( )cx,cy為魚眼鏡頭主點像素坐標，r為魚眼圖有效像素半徑。

考慮鏡頭在生產過程中由于生產精度或裝配誤差，導致魚眼鏡頭成像沒有嚴格按照投影模型。引入徑向畸變多項式擬合誤差如公式（2）。為了保持圖像的均勻性，僅保留b和d項，并且讓畸變系數(shù)之和為1保證原圖像不會在映射過程中出現(xiàn)縮放而損失圖像信息。

式（2）中rsrc表示魚眼鏡頭相機坐標系的實際坐標，rdst為理想坐標值。

根據圖2（b），可以看出光線從半球面經過折射投射到傳感器平面上，根據視場角關系計算出當前像素的入射角，從而將魚眼圖上的像素映射到單位球面上。用θ表示入射角，φ表示y軸坐標與x軸的夾角，可以計算出單位球面坐標( )Sx,Sy,Sz。

式（3）中，魚眼鏡頭的視場角（Field Of View，F(xiàn)OV），入射角θ的范圍是[0 ,π] ，y軸與x軸夾角φ的范圍是[-π,π]。球面坐標采用右手坐標系。

此時已經將單張魚眼圖映射到單位球上，想要獲取一個完全沒有視差的圖像需要保持不同鏡頭之間光心處于同一個位置上，但在實際情況中這個條件難以滿足，所以不同相機之間存在一個相對的外參矩陣，由旋轉矩陣和平移矩陣構成，本文在假設相機之間光心重合的條件下進行計算，所以不同鏡頭之間只有旋轉矩陣，沒有平移矩陣。使用歐拉角旋轉規(guī)范，θxθyθz分別為沿著對應軸旋轉的角度，將每個鏡頭旋轉到真實的鏡頭方向。

1.2 魚眼鏡頭參數(shù)的優(yōu)化

以上公式建立了從魚眼圖像素坐標映射到單位球坐標系下的多項式，將相鄰圖像匹配點對映射到單位球上，取匹配點對的球面中值作為優(yōu)化目標，以中值和匹配點之間的歐氏距離作為目標函數(shù)進行優(yōu)化，單獨優(yōu)化每個鏡頭的參數(shù)。如公式（4）。

經過上述映射變換之后，通過優(yōu)化公式（4）可以得到每個鏡頭在幾何結構上最優(yōu)的參數(shù)。原始魚眼圖像經過全局幾何變換之后，得到一個初步的全局配準圖像，但在相鄰圖像重疊區(qū)域由于光心不一致等問題仍會存在局部瑕疵。

2 最佳縫合線的計算和融合

2.1 最佳縫合線的計算

依次尋找有序的全景圖序列S1,S2,…Sn之間重疊部分的縫合線。將相鄰兩張全景圖映射為一張帶權無向圖表示圖G中全部像素的集合，作為圖的頂點，E表示圖G中連接像素的邊的集合。建立圖割問題尋找最佳的拼接縫隙，代價函數(shù)表示為公式（5），圖割問題具體求解方式不在本文討論范圍之內，僅設計求解方程。

為了獲得顏色上的相似性，以相鄰圖像相同位置顏色的歐氏距離作為邊的大小。根據式（6）計算差值圖。

相鄰兩張全景圖像相同位置像素的有效性可以分為三種情況：都有效、半有效以及都無效，如圖2所示。

圖2 相鄰全景圖的像素有效性

根據式（7），第一項建立每個像素頂點和終端頂點的連接T-link。根據像素在原始圖像的有效性可以分為兩種情況。

第二項建立相鄰頂點之間邊的連接懲罰項。

至此，建立了相鄰圖像尋找最佳縫隙的代價函數(shù)。使用文獻[11]最大流方法對方程求解，可得到顏色上最相近的拼接縫隙。

2.2 多分辨率融合

在獲得最佳拼接參數(shù)和拼接縫隙之后，對相鄰全景圖依次進行融合拼接[12]。由于不同鏡頭之間會存在曝光差異，采用多分辨率融合，保證過渡處的自然，并且該方法能處理拼接縫隙處細小的結構誤差存在。多分辨率拼接的具體步驟如下：

Step1對待融合相鄰全景圖像根據拼接縫隙生成每張圖像的mask圖像。再根據全景圖尺寸生成一張存儲最終結果圖的result圖像。

Step2假設金字塔層數(shù)為L，對待融合全景圖做L層的拉普拉斯金字塔，對應的mask做L層的高斯金字塔，此時每層mask金字塔的像素值為待融合全景圖每層的權值，此外結果圖也做L層的高斯金字塔。

Step3根據融合權值mask金字塔的大小將待融合全景圖累加到每層的result層上，獲得待重構的result拉普拉斯金字塔。

Step4從結果圖拉普拉斯金字塔恢復出原尺寸大小的最終融合圖。

3 實驗結果分析

實驗設備使用四個魚眼鏡頭，正方形排列，每個鏡頭約200度視場角。由圖3可以看出，鏡頭光心沒有重疊，一定存在視差。

圖3 實驗使用設備

待優(yōu)化變量為鏡頭像素坐標中心(Cx,Cy)、視場角FOV、畸變系數(shù)b。對比實驗選取特征豐富的場景，在相同匹配特征點的情況下，對比不同鏡頭相同參數(shù)和不同參數(shù)下的拼接結果。

表1 多鏡頭統(tǒng)一參數(shù)優(yōu)化結果

表2 多鏡頭獨立參數(shù)優(yōu)化結果

表1和表2是同樣的鏡頭，在同一組特征點下，統(tǒng)一參數(shù)和獨立參數(shù)的優(yōu)化結果。

圖4 不同鏡頭采用相同參數(shù)時拼接結果

圖5 采用不同鏡頭參數(shù)時拼接結果

對比圖4、圖5，圖4是對不同的4個鏡頭采用相同的參數(shù)進行優(yōu)化得到的結果，圖中紅框部分是不同鏡頭重疊區(qū)域的拼接縫隙，根據下方細節(jié)圖可以明顯看出，在重疊區(qū)域并不能完全對齊，在每條拼接縫隙處都存在一定程度的錯切。在圖5的相同位置沒有錯切問題。

4 結語

針對魚眼圖片拼接成全景圖過程中，多鏡頭參數(shù)優(yōu)化的時，對不同鏡頭采用相同的參數(shù)，改進為單獨優(yōu)化每個鏡頭的參數(shù)。魚眼圖像全局幾何變換之后使用圖割法尋找最佳縫合線生成全景圖像，最后使用多分辨率融合獲得一張無縫隙的全景圖像。本文的方法通用性較強，適用于各種魚眼鏡頭合成全景圖像。實驗證明，此方法在多鏡頭不同參數(shù)情況下，能夠獲得更好的結果。

對于魚眼圖像上特征點的提取及匹配是未來主要工作方向，現(xiàn)有的特征點匹配方法直接從魚眼圖像上只能獲取極少正確的匹配點對。