韓宣宗

摘要：針對貴陽龍洞堡國際機場大場景的高清全景圖生成需求，提出了一種基于SURF特征與動態(tài)規(guī)劃拼接縫的全景圖生成方法。首先利用柱面投影來保持各通道視頻在重疊區(qū)內(nèi)成像的視覺一致性，設(shè)計了一種基于RANSAC與特征點的魯棒變換模型估計算法，可以消除局部配準(zhǔn)誤差導(dǎo)致的累計誤差;然后使用動態(tài)規(guī)劃算法通過HIS色彩空間和梯度空間求解拼接縫，從而實現(xiàn)相鄰圖像的縫合;最后在縫合線兩邊采用基于三角函數(shù)的融合算法實現(xiàn)圖像平滑過渡，最終生成高清晰度高分辨率的全景圖。實驗結(jié)果表明，提出的方法在滿足圖像無縫拼接的前提下，可消除重疊區(qū)域內(nèi)的重影問題，并大幅度提高拼接速度。

關(guān)鍵詞：SURF特征;圖像拼接;圖像配準(zhǔn);圖像融合

中圖分類號：TP311 ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）25-0197-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

貴陽龍洞堡國際機場自T2航站樓建成以后，原有塔臺位置已無法完整對全機場航班?？课恢眠M(jìn)行監(jiān)控，為解決管制員對停機位、航空器信息的可視化管理，貴州空管分局構(gòu)建了基于全景圖像拼接的全景監(jiān)控系統(tǒng)，實現(xiàn)了管制員對全機場范圍內(nèi)航空器的監(jiān)視和指揮。在貴陽龍洞堡國際機場，全景圖像的拼接由B、C子廊間的多個攝像頭拍攝的有重疊區(qū)域的圖像進(jìn)行拼接，通過對圖像內(nèi)部幾何細(xì)節(jié)進(jìn)行比對，使用標(biāo)準(zhǔn)圖形耦合算法實現(xiàn)圖像有去重和接合，并最終形成寬視角的場內(nèi)監(jiān)視圖像。目前常用的圖像匹配算法可分為兩類：Domain switch的圖像耦合匹配方式[1]，Timestamp switch的圖像匹配方式[2]。常見的圖形特征包括了SURF特征、FAST特征和Harr特征[3]等。本文中構(gòu)建的貴陽機場全景視頻監(jiān)視系統(tǒng)即采用了SURF特征圖像匹配算法進(jìn)行全景視圖的構(gòu)建，有效地提升了貴陽機場管制運營效率。

貴陽機場全景視圖由5套攝像機圖形拼接而成，通過對B、C子廊停機坪、跑道位置的圖形圖像攝影并進(jìn)行光照同步和柱面投影變換，抽取出內(nèi)部的SURF特征點陣，通過變換后坐標(biāo)系的圖像匹配算法RANSAC[4] 進(jìn)一步進(jìn)行整體優(yōu)化，最終實現(xiàn)5個圖像的數(shù)字匹配模型矩陣。通過對于該反向映射矩陣進(jìn)行拼接運算，可實時的實現(xiàn)圖像有快速擬合與計算，最終基于拼接縫算法實現(xiàn)圖像的整體融合，生成龍洞堡機場全景視頻監(jiān)視圖。

1 轉(zhuǎn)換模型分析

1.1 柱面投影及半徑分析

本文采用攝像機采用扇形布局形式，多個采集到的圖像在同一位置點攝取，但其柱面投影平面仍存在著差異性，因此直接對重合區(qū)域進(jìn)行融合時，場內(nèi)航班滑行時仍然會產(chǎn)生重影和三維位置倒換問題?；跈C場內(nèi)部各子廊的實際情況，全景拼接圖需要將子廊本身存在的寬度進(jìn)行縮減，減少無效圖像區(qū)域的面積，但同時又要保證遠(yuǎn)端圖形的依賴約束關(guān)系，此時在進(jìn)行拼接時，應(yīng)通過柱面坐標(biāo)投景方式，將多個攝像頭傘形而已獲取到的圖像進(jìn)行重新定位[5]。在進(jìn)行柱面投影時，當(dāng)新坐標(biāo)不在整數(shù)坐標(biāo)上時，需要進(jìn)行插值，常用的有最近鄰插值、雙線性插值和三次多項式插值，本文考慮到航班運行過程中速度是動態(tài)變化的，對于實時性要求較高，因此擬采用雙線性插值方式進(jìn)行插值計算，本系統(tǒng)中攝像機的投影半徑[f]使用迭代法進(jìn)行確認(rèn)，其利用了相位相關(guān)法[6]。算法通過采集機場各區(qū)域動態(tài)圖像中存在重疊飛行區(qū)圖像的部分像素，采取下列步驟進(jìn)行投影半徑的計算和評估：

步驟1：用相位相關(guān)法求得相鄰圖像間水平偏移量[li]（[1≤i≤n]），[n]為采集圖像的數(shù)量;

步驟2：初始化參數(shù)：[L=i=1n2li]，[f0=L2π]，[flow=f02]，[fhigh =f0]，[k=0];

步驟3：計算[w=i=1n2tan-1lifk];

步驟4：若[|w-2π|≥ε]且[w<2π]：[fhigh =fk]，若[|w-2π|≥ε]且[w≥2π]：[flow=fk];

令[k=k+1]，[fk=（fhigh+flow）/2 ]，回到步驟3繼續(xù)執(zhí)行。

當(dāng)[|w-2π|<ε]時執(zhí)行步驟5;

步驟5：確認(rèn)圖像半徑[f=fk];

1.2 分析構(gòu)建RANSAC與SURF特征的變換模型

目前龍洞堡機場每天起降航班量超過300個架次，因此航班在滑行和起飛過程中圖像變化速度較快，為提升圖像變換模型的匹配效率，全景視圖的生成無須提取圖像的所有SURF特征進(jìn)行匹配，通過采用方法為根據(jù)最終圖像400萬像素的特點，選取適當(dāng)?shù)膮^(qū)域Ri和Ri+1，再提取粗匹配區(qū)域的SURF特征。SURF特征包括仿射和光照雙重不易失性，同時對圖像匹配具有很強的適應(yīng)性，具有高效準(zhǔn)確的優(yōu)點。本系統(tǒng)內(nèi)部基于五套攝像頭圖像生成最終全景視圖，其運用的參數(shù)投影方式將原有坐標(biāo)點由X=（x，y，1）轉(zhuǎn)換為[X'=（x'，y'，1）]。具體公式為：

在本坐標(biāo)系中，包括：

（1）縮放旋轉(zhuǎn)因子：h11，h12，h21，h22

（2）仿射變換因子：h13

（3）水平方向的平移因子：h23

（4）垂直方向的平移因子：h31，h32

通過大量的實驗發(fā)現(xiàn)，鄰接點重疊區(qū)域較多的圖像在特征匹配后產(chǎn)生的圖像，會伴隨著參與融合的攝像機圖像的增加而產(chǎn)生指數(shù)增長的誤差，其對最終的合成圖像質(zhì)量影響較大。同時，由于圖形融合模型多個參數(shù)的二階矩陣參數(shù)基于最優(yōu)線性評估，在有大量誤差匹配區(qū)域時，可能導(dǎo)致錯誤的數(shù)據(jù)匹配模型，因此本處調(diào)序了一套基于RANSAC（Random Sample Consensus）的變換模型參數(shù)估計的魯棒算法，其步驟闡述如下：

步驟1：對圖像區(qū)域Pi和Pi+1 的SURF特征進(jìn)行分析，使用FANN[7]算法對圖形重合像素點進(jìn)行特征向量匹配，此時可得到n（n>4）個匹配像素對。

步驟2：從n對像素對應(yīng)點中以m以參數(shù)多重提取像素對，需要保證其中至少3個點為不同軸位置，不然重新提取;

步驟3：對[m（m>4）]對匹配點進(jìn)行線性建模，可產(chǎn)生一個基于2m個像素配對點的關(guān)系數(shù)據(jù)模型參數(shù)集[{h11，h12，...，h32}]。通過此參數(shù)集可生成線性方程組[AM=b]，對模型參數(shù)進(jìn)行最小二乘法計算變換，可得到：

在每次采樣過程中，當(dāng)采集到[m]對匹配點時，以p表示出現(xiàn)內(nèi)點的概率，以[β]表示[m]對匹配點中任意一對匹配點出現(xiàn)內(nèi)點的概率。

步驟6：場內(nèi)攝像機采集到的圖像基于多個平面構(gòu)成，需要通過柱面投影變換模型進(jìn)行柱面坐標(biāo)系下的圖像分析[6]，柱面坐標(biāo)系的半徑應(yīng)采用等距離匹配法[5] 標(biāo)注。然后利用多個內(nèi)點集合，確立圖像矩陣，采用最小二乘法實現(xiàn)參數(shù)變換。

步驟7：通過多維圖像矩陣求得的多重圖像融合參數(shù)后，可利用參數(shù)集對任兩幅圖像的變換進(jìn)行計算，設(shè)場內(nèi)多個攝像頭取得圖像的參數(shù)集為[M21 、M32、M43...Mn（n-1）]，依據(jù)下列公式可進(jìn)行多維圖像的變換參數(shù)累計重疊內(nèi)點的計算：

[Mk1=1Mk1（3，3）Mk（k-1）M（k-1）（k-2）...M21M11 （1≤k≤N）] ? （7）

當(dāng)最終結(jié)果顯示為M11（為3×3的單位陣）時，該圖像不做任何變換，實際上這種情況是不可能發(fā)生的。Mk1（3，3）求解出的最終結(jié)果不可能為1，因此需要通過歸并化處理對故需要對Mk1（3，3）常數(shù)進(jìn)行整合，即通過公式右側(cè)數(shù)量與Mk1（3，3）相除，可以實現(xiàn)最終結(jié)果為1，即最終圖像的整合。

2 基于動態(tài)規(guī)劃縫合線與三角函數(shù)融合的全景圖生成

多個場內(nèi)圖像匹配以后，可以進(jìn)行場內(nèi)全景視圖的拼接融合，為減少航班在拼接區(qū)域的重影和三維倒置情況，系統(tǒng)應(yīng)在保持色度、亮度一致協(xié)調(diào)的基礎(chǔ)上，設(shè)計一種基于HIS色域的多重分量動態(tài)融合拼接線模型實現(xiàn)多個圖像的拼接[8-10] 。HIS色彩空間由顏色的亮度、色度、飽和度構(gòu)成，在圖像拼接領(lǐng)域，通過使用色度H和飽和度S的對比來控制實現(xiàn)區(qū)域內(nèi)色彩的重疊性。機場全景圖生成后，B、C子廊與跑道間的攝像機最終成像仍然存在著較大的視覺區(qū)域，特別是動態(tài)航班滑行時，這主要是由于光線在多重角度照射產(chǎn)生的柱面投影有較大差異導(dǎo)致，本系統(tǒng)針對此情況進(jìn)行了一系列改進(jìn)，即向[Noverlap]領(lǐng)域擴張，進(jìn)行多維三角轉(zhuǎn)換融合，以最終加強圖像整體平滑過渡效果，相關(guān)函數(shù)如下公式所示：

3 實驗與結(jié)果

實驗平臺配置如下：CPU：AMD R3500，內(nèi)存：32G DDR4，硬盤：三星1T M.2 NVME，顯卡：NVIDIA GTX 2060，攝像頭：?？低?00萬高清攝像機（型號：DS-4CD854F-E）。

在貴陽機場范圍內(nèi)，在C子廊頂部構(gòu)建了一套包括5個高清攝像機的攝像頭組合，實現(xiàn)對管制盲區(qū)的全覆蓋視頻投影，攝像頭之間保證了大于250個像素點的重合區(qū)域。

由于我們不知道圖像間的真實變換參數(shù)，無法直接定量分析圖像匹配的幾何誤差，最快速有效的方法采用圖像配準(zhǔn)中參與變換模型計算的匹配點對間的均方根誤差RMSE（Root Mean Square Error）和平均絕對誤差MAD（Mean Absolute Error）作為精度評定指標(biāo)，分析函數(shù)如下：

圖像I1，I2通過矩陣變換，可得到矩陣M，而圖像I1，I2在兩圖圖形銜接部分通過坐標(biāo)x1i，x2i進(jìn)行重疊對應(yīng)，以最終實現(xiàn)圖像拼接顯示，而銜接部分的合計重疊坐標(biāo)數(shù)量以m變量代表。在本圖中，可得到MAD=0.372，RMSE=0.264，圖形拼接配對精度較高，相關(guān)誤差控制在10個像素點的范圍內(nèi)，可以滿足民航業(yè)機場視頻監(jiān)控需求。

4 結(jié)論

本文基于SURF特征與拼接縫的全景視圖生成方法的實驗與應(yīng)用，將機場場內(nèi)多個攝像頭圖像間的變換模型進(jìn)行了自動化的統(tǒng)計合成，對于攝像機不需要太多的技術(shù)參數(shù)要求，僅在攝像機安裝時保證多個攝像頭圖形有一定的圖形重合區(qū)域，本系統(tǒng)應(yīng)用了四路400萬像素的廣視角高清攝像機，并結(jié)合CUDA加速技術(shù)進(jìn)行了整體的圖像融合算法的優(yōu)化和整合，在保證管制員視覺管制的要求下，保證了實時的圖像拼接能力，大幅提升了貴陽機場場面管制效率。

參考文獻(xiàn)：

[1] Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation，and scale-invariant image registration[J].IEEE Transactions on ImageProcessing，1996，5（8）：1266-1271.

[2] Brown M，Lowe D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，2007，74（1）：59-73.

[3] Bay H，TuytelaarsT，GoolL.SURF：speeded up robust features[J].Computer Vision - ECCV 2006： 404-417.

[4] ChoiS，KimT，YuW.Performance evaluation of RANSAC family[C]//Procedings of the British Machine Vision Conference，2009.

[5]Jang K H，Jung S K，LeeM.Constructing cylindrical panoramic image using equidistant matching[J].Electronics Letters，1999，35（20）：1715-1716.

[6]Shum H Y， Szeliski R. Construction and refinement of panoramic mosaics with global and local alignment[C]//Computer Vision， 1998. Sixth International Conference on. IEEE， 1998： 953-956.

[7]Muja M， Lowe D G.Fast approximate nearest neighbors with automatic algorithm configuration[C]//International Conference on Computer Vision Theory and Applications （VISSAPP09）. 2009：331-340.

[8] Xing C， Wang J， Xu Y. An optimal seam line based mosaic method for uav sequence images [J].

[9] Duplaquet， Marie-Lise. Building large image mosaics with invisible seam lines [C]//Proc of the SPIE 3387.Aeorsenee.Orlnado，1998： 369- 377.

[10] Efros A A，F(xiàn)reeman W T.Image quilting for texture synthesis and transfer[C]//Proceedings of the 28th annual conference on Computer graphics and interactive techniques - SIGGRAPH '01.Not Known.NewYork：ACMPress，2001：341-346.

【通聯(lián)編輯：光文玲】