覃江穎，明飛雄，李 明

（1.武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079；2.自然資源部重慶測繪院，重慶 400015）

當前，無人機圖像配準有很多成熟可靠的方法。在理想情況下，這些方法可以實現(xiàn)亞像素圖像配準。在這種好的情況下，大多數(shù)拼接方法都可以達到出色的圖像拼接效果。但是，由于外部不利因素的影響，特別是低空無人機兩張或多張圖像難以完全自動配準。因此，需要在圖像鑲嵌階段進行補救，也就是說，要確定如何無縫生成最終的拼接圖像，需要使用一些技術來使最終的拼接圖像沒有拼接縫、重影等拼接痕跡。本文主要針對這一環(huán)節(jié)，進行了圖像拼接的相關算法和技術的分析與研究。目前，該研究領域主要有2 種解決方案，它們是基于像素的圖像拼接方法和基于拼接線的圖像拼接方法[1-3]。前者是圖像配準后兩幅圖像重疊區(qū)域像素的混疊和相加（最簡單的方法是獲取重疊區(qū)域中對應圖像像素的平均值。然而，簡單的像素值平均方法容易受到多種因素的影響，例如曝光差異、匹配誤差和場景運動。大量參考文獻涉及了這些問題，例如，中值濾波用于去除運動物體，像素加權平均用于處理圖像中心和邊緣附近的像素，以避免圖像色差的影響[1-4]。然而，這些改進的方法往往會導致拼接圖像出現(xiàn)模糊和重影問題，使加權平均法的權重系數(shù)難以掌握）。后者是基于拼接線的圖像拼接方法（首先構建能量代價函數(shù)模型，然后計算能量代價函數(shù)的最小值。在相鄰圖像的重疊區(qū)域中尋找最優(yōu)的拼接線，并且該拼接線處于兩幅圖像完全配準的位置。最優(yōu)拼接線將重疊區(qū)域分成兩部分，確定不同區(qū)域填充像素的來源。這條線兩側的圖像差異極少，從而可以有效避免鋸齒、重影和錯位等問題，實現(xiàn)拼接圖像的無縫過渡）。目前商業(yè)軟件中主要使用的是第二種策略?；趧討B(tài)規(guī)劃的優(yōu)化理論提出了一種非常有代表性和簡單的動態(tài)規(guī)劃方法，用于搜索最佳拼接線。在該策略中，無論過程的初始狀態(tài)和最后一個決策如何，下一個狀態(tài)或決策必須是最優(yōu)的。因此，將動態(tài)規(guī)劃的思想應用到拼接線的搜索中，就是將拼接線在重疊區(qū)域的分布作為一個優(yōu)化問題。而將一維動態(tài)規(guī)劃搜索問題擴展到雙通道搜索，并引入光流場來增強圖像幾何信息能優(yōu)化拼接線搜索約束。但是基于動態(tài)規(guī)劃的搜索過程很容易陷入局部最優(yōu)解，在調整系數(shù)和鄰域范圍的選擇上存在不確定因素。由于使用動態(tài)規(guī)劃來獲得局部最優(yōu)拼接線并不能達到最優(yōu)的效果，因此許多研究人員研究了如何使用新的搜索策略來獲得全局最優(yōu)拼接線。近年來，已經(jīng)出現(xiàn)了一些算法來很好地實現(xiàn)這一目的。其中，基于圖割（Graph Cuts）的最優(yōu)拼接線搜索算法是最具代表性的一種[5]。它通過在拼接線兩側尋找最優(yōu)拼接紋理來合成最佳拼接線，可以解決動態(tài)規(guī)劃在圖像拼接中的弊端。

基于上述內容，本文針對低空無人機圖像無縫拼接中存在的問題，首先介紹和分析了當前多種圖像拼接策略中的圖像拼接方法。接著在圖像配準的基礎上，通過引入圖像的全局光流場，增強圖像中幾何結構信息的約束，并提出了一種新的基于圖像顏色域的圖割能量代價函數(shù)模型，實現(xiàn)了在相鄰圖像重疊區(qū)域中尋找最佳拼接線的算法。

1 拼接圖像配準

實驗無人機圖像已經(jīng)進行了預處理，且使用了更加高效的SURF算子進行圖像配準，在SURF算法的計算中，為了進一步提高其計算速度，并保持其精度，本文采用了Hessian 矩陣的匹配加速方法。另外，通過基于投影變換模型的RANSAC算法對最近鄰匹配算法得到的誤配點進行剔除，提高了特征匹配的魯棒性[6-7]。通過以上處理，完成無人機圖像配準后，可以將所有待拼接的圖像轉換為統(tǒng)一的坐標系，然后選擇合適的投影模型進行圖像拼接。

2 基于圖割的經(jīng)典拼接方法

在著名的開源計算機視覺算法庫（OpenCV）中，基于圖割的代表性經(jīng)典拼接線搜索方法主要分為兩種：一種是利用顏色域像素的差異信息構建圖割能量代價函數(shù)；另一種是在前一種方法的基礎上，加入梯度信息的約束，同時考慮色彩強度和梯度強度等信息。從以往文獻的回顧和討論來看，現(xiàn)有的無人機圖像拼接方法在算法有效性和效率上都有提升的空間。同時，由于OpenCV 是一個非常通用且具有代表性的最新計算機視覺圖像處理集成函數(shù)庫，因此，本文將使用OpenCV 中這2 種具有代表性的基于圖割的最優(yōu)拼接線搜索方法作為對比實驗方法來評估本文提出的策略的有效性和效率。

3 具有光流場全局約束的圖割拼接方法

通常情況下，相鄰的無人機圖像會具有相同的局部信息，例如相同風格的建筑物，但相鄰圖像的尺度信息可能并不完全相同。同時，不同無人機圖像的視角也會存在差異。如果不考慮圖像信息中的上述情況，很可能會出現(xiàn)幾何錯位或由于拼接圖像中的遮擋而丟失建筑物信息。由于很多拼接方法仍然依靠局部信息來求解目標能量代價函數(shù)的偽全局解，因此它們實質上忽略了圖像拼接問題本身在數(shù)學建模過程中的不準確性，導致創(chuàng)建的目標能量代價函數(shù)不能完全表達需要解決的問題。對此，本文在現(xiàn)有方法的基礎上，設計了一種具有更全面的全局約束的無人機圖像拼接方法。新方法在現(xiàn)有Graph Cuts方法的基礎上引入了全局光流場的概念，以約束由于透視成像、幾何畸變，特別是建筑物引起的投影誤差等引起的像素幾何錯位，實現(xiàn)無人機圖像無縫拼接。

3.1 光流場

本文為了更好地考慮相鄰低空無人機圖像重疊區(qū)域的圖像結構信息，將重疊區(qū)域像素的光流值作為構建拼接線能量代價的約束條件。光流是由觀察者和場景之間的相對運動引起的視覺場景中物體、表面和邊緣的表觀運動模式。Lucas-Kanade 算法和Horn-Schunk 算法是2 種具有代表性的計算方法，它們分別用于計算圖像部分像素的運動（稱為稀疏光流）和圖像所有像素的運動（稱為密集光流）[8-9]。本文構建的能量代價函數(shù)需要相鄰無人機圖像重疊區(qū)域內每個像素點的光流值。因此，使用密集光流方法來計算它們。Horn 和Schunck 提出的Horn-Schunk 算法是一種非常流行的密集光流方法，易于計算。它可以獲得重疊區(qū)域中每個像素的光流值。公式（1）是其函數(shù)表達。

式中，F(xiàn)為光流值；u、v為像素在圖像坐標系x、y軸方向的位移；T為參考圖像；I為當前圖像；a為權重因子；ux、vx、uy、vy分別為u和v在x和y方向上的一階導數(shù)。

3.2 圖像重疊區(qū)域圖的構建

圖是具有權重的有向結構，通常由一些節(jié)點和有向邊表示。在本文中，這些節(jié)點是圖像像素。圖是現(xiàn)實世界的直觀表示，它由一個節(jié)點集和在一定規(guī)則下連接兩個節(jié)點的邊集組成，即源和匯2個位于端點的特殊節(jié)點。在圖像處理應用中，許多能量最小化問題可以通過求解圖中的最大流最小切割問題來近似。將在2 幅無人機圖像的重疊區(qū)域中尋找最優(yōu)接縫線的問題轉化為圖割能量代價函數(shù)的最小能量求解問題。由于圖割的最優(yōu)拼接線搜索算法是基于圖結構的。因此，在尋找拼接線之前，需要將圖像像素轉換為圖結構。在本文的無人機圖像拼接算法中，相鄰的無人機圖像和圖結構示意圖如圖1所示。圖1a是無人機圖像拼接的示意圖，其中待拼接的右圖像與坐標變換后的左圖像的拼接線位于重疊區(qū)域。圖1a中的紅色實線是示例拼接線。根據(jù)圖1a的這種布局，本文構造了一個圖結構，圖的一部分如圖1b所示。假設左圖像和右圖像的重疊區(qū)域只有9個像素，重疊區(qū)域的每個像素都被視為圖結構中的一個節(jié)點。然后，可以用圖1b 中從1～9的9個圓來表示圖中的9個節(jié)點，相鄰的2個節(jié)點形成一條邊，都有加權值。如圖1b 中的綠線所示。非重疊區(qū)域的節(jié)點（即左圖像和右圖像的灰色部分）與重疊區(qū)域的節(jié)點之間也存在加權邊緣，如圖1b中的黑線所示。

圖1 拼接示意圖與圖的結構

3.3 圖割能量代價函數(shù)

綜上所述，相鄰兩幅圖像的重疊區(qū)域可以構造出一個圖結構。在圖結構中，最關鍵的部分是加權邊的定義，它定義了能量代價函數(shù)的具體形式。圖割的一般能量代價函數(shù)由數(shù)據(jù)項（data）和平滑項（smooth）組成，分別對應于圖割切割中邊的權重。其一般表達式如圖（2）所示。

式（3）是本文提出的基于圖割的能量代價函數(shù)定義。與上述其他能量函數(shù)相比，最大的差異是本文的能量代價函數(shù)添加了全局光流場。這樣在現(xiàn)有的Graph Cuts 算法的基礎上，可以更好地考慮幾何信息約束，解決透視成像引起的圖像拼接中的幾何畸變問題等。

式中，V(*)為像素差異產(chǎn)生的灰度差異函數(shù)；flow(*)為相鄰無人機圖像重疊區(qū)域的光流場函數(shù)；D(*)為數(shù)據(jù)項；fp、fq為分配給像素p、q的標簽；O為重疊區(qū)域中的相鄰像素；P 為圖像中的所有像素。像素灰度差異函數(shù)不僅需要反映相鄰圖像同一位置像素的差異信息，還需要引入局部信息增強算法的魯棒性。結合本文圖像拼接問題的特殊性，不宜在圖的每個節(jié)點上加上個體差異數(shù)據(jù)項。同時，由于尋找拼接線的本質是圖像固有屬性的差異信息，而不是某個標簽的直接概率問題。因此，本文算法的所有能量項都反映在圖中相鄰邊的權重上。通過上面基于圖割的能量代價函數(shù)的定義，一個真實的圖像拼接線搜索問題已經(jīng)用一個數(shù)學模型進行了表達。而能量函數(shù)值的最小化過程就是尋找最佳拼接線的過程。在具體求解過程中，本文使用最大流/最小割算法來求解能量代價函數(shù)的最小化問題。

4 實驗結果和分析

為了驗證提出的本文方法（方法c）的有效性，選取兩組來自不同地點、不同飛行高度和相機的無人機航拍圖像對進行測試。并將測試結果與前文提及的OpenCV 中的開源拼接線搜索方法進行比較。在比較方法中，一種是基于圖割的顏色域圖像拼接方法（方法a），另一種是基于圖割的顏色域+梯度域圖像拼接方法（方法b）。本文使用基于OpenCV 開源庫的Visual C++對所提出的算法進行編程。實驗計算機環(huán)境為Windows 7操作系統(tǒng)，32 GRAM，Intel Core 7（3.6 GHZ，四核）CPU。本文的實驗數(shù)據(jù)分為2 組。分別是由DJ-Phantom4 標配相機在武漢大學停車場采集的飛行高度約為115 m 的影像對，和在中國嘉善縣別墅區(qū)利用ILCE-QX1 相機飛行高度約150 m 獲取的影像對。

圖2 和圖3 的a、b、c 分別是方法a、b、c 的實驗結果。首先，從圖2 的局部放大視圖中可以很容易地發(fā)現(xiàn)，圖2的橢圓框中，在圖2a和2b中紅色拼接線兩側有明顯的道路標線和車位拼接錯位，而圖2c僅僅有輕微的車位錯位。圖3 中也可以輕易發(fā)現(xiàn)方法c 幾乎不存在可見的道路錯位，沒有出現(xiàn)方法b 中的房屋結構信息丟失，同樣也沒有圖3a 和3b 中綠地中的人行道消失。這表明本文提出的方法在實驗中實現(xiàn)了無縫拼接，無論是在空曠的停車場，還是密集別墅區(qū)域的低空無人機圖像中幾乎都實現(xiàn)了無痕融合的拼接效果。

圖2 停車場影像對拼接實驗結果對比

圖3 別墅區(qū)影像對拼接實驗結果對比

評價圖像拼接算法優(yōu)劣，除了拼接效果外，拼接效率也很重要，特別是對于低空無人機圖像拼接來說，我們不僅想要得到好的拼接質量，還希望能快速甚至實時處理。從表1統(tǒng)計的每種方法的計算時間可以看到本文算法的時間效率高出其他開源算法一個數(shù)量級以上，取得了令人滿意的效率。

表1 三種方法的實驗執(zhí)行效率

5 結語

本文提出了一種新的無人機圖像顏色域無縫拼接方法，并將其與OpenCV 中的其他種代表性的方法進行了實驗比較。實驗對比結果證明了所提方法在無縫拼接效果和時間效率方面的有效性和優(yōu)越性。在本研究中，基于圖割的最優(yōu)拼接線搜索的研究是主要創(chuàng)新。圖割是Boykov 提出的一系列能量優(yōu)化理論。本文通過研究如何利用無人機圖像構建圖結構并定義圖結構中邊的權重，將最優(yōu)拼接線的搜索問題轉化為圖割的能量最小化問題。同時，在基于圖割的能量函數(shù)構建中，考慮到像素級差異信息在顏色域的限制，通過引入圖像全局光流場信息，更加關注圖像的幾何結構信息在最優(yōu)接縫線搜索中的影響。最終，提出并實現(xiàn)了一個更完整的具有全局約束的低空無人機圖像拼接理論。