唐甜甜，陳炳才，2，寧 芊

(1.新疆師范大學(xué) 計算機(jī)科學(xué)技術(shù)學(xué)院，烏魯木齊 830002;2.大連理工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024)

0 引言

無人機(jī)遙感作業(yè)相對于傳統(tǒng)航空遙感作業(yè)成本較低[1]，同時，由于無人機(jī)便于運(yùn)輸、起降和著陸，使無人機(jī)的遙感操作更加靈活，能夠快速、實時獲取小面積、分散作業(yè)區(qū)域的圖像，使用該技術(shù)能夠改善獲取時間長、圖像缺乏靈活性等問題[2]。無人機(jī)遙感影像幾何校正與拼接技術(shù)是快速獲得完整監(jiān)視區(qū)域影像的關(guān)鍵，通過參數(shù)聯(lián)合獲取圖像外部定位元素，能夠快速對圖像進(jìn)行定位[3]。

傳統(tǒng)方法通常采用基于圖像匹配的方法對無人機(jī)遙感影像進(jìn)行拼接，利用所提取匹配信息建立影像間最佳轉(zhuǎn)換模型，完成影像間的對齊；影像配準(zhǔn)后對其進(jìn)行拼接平滑處理，使合成影像色澤一致。盡管新技術(shù)對尺度變化具有良好的魯棒性，但是當(dāng)圖像之間存在較大未知畸變時，上述方法就不再適用于這種情況。因此，提出基于控制點(diǎn)配準(zhǔn)算法的無人機(jī)遙感影像自動無縫拼接技術(shù)，解決上述傳統(tǒng)技術(shù)存在的問題，即使在影像間存在較大未知變量時，也能保證良好拼接結(jié)果。

1 無人機(jī)遙感影像獲取

根據(jù)生態(tài)環(huán)境監(jiān)測標(biāo)準(zhǔn)選擇的無人機(jī)機(jī)長1.8 m、翼展2.4 m，最大飛行時間3.5 h、最高水平飛行速度145 km/h；最高限制2 500 km/h，擬載入此類無人機(jī)遙感設(shè)備可替換可見光CCD成像設(shè)備，其主要目的是作為遙感監(jiān)測平臺[4-5]。

無人機(jī)影像成像原理如圖1所示。

圖1 無人機(jī)影像成像原理

所用無人機(jī)遙感系統(tǒng)主要包括空中、地面和數(shù)據(jù)處理3個部分，其中空中部分主要是將提前規(guī)劃好的航線上傳到無人機(jī)控制器之中[6]。因為無人機(jī)實時控制和接收飛行姿態(tài)數(shù)據(jù)會影響遙感圖像的顯示，因此使用監(jiān)測器監(jiān)測無人機(jī)飛行狀態(tài)，當(dāng)數(shù)據(jù)可以可靠地傳送時，一些控制參數(shù)就會發(fā)生變化；地面部分主要是航路規(guī)劃設(shè)計，統(tǒng)計單幅圖像重疊率、航跡數(shù)、轉(zhuǎn)彎角度等參數(shù)，顯示地面控制面板和數(shù)據(jù)接收情況；數(shù)據(jù)處理部分，需要考慮通過預(yù)設(shè)的航跡自動采集圖像，實現(xiàn)圖像快速處理[7-9]。

無人機(jī)遙感圖像采集方法主要是自動定點(diǎn)拍攝，以無人機(jī)為基礎(chǔ)，通過數(shù)據(jù)采集、數(shù)據(jù)解包和數(shù)據(jù)傳輸3個環(huán)節(jié)，實現(xiàn)了通信數(shù)據(jù)實時下載[10]。無人機(jī)遙感系統(tǒng)上端接口為地面測控系統(tǒng)數(shù)據(jù)通訊接口，所有采集到的數(shù)據(jù)都是由地面測控系統(tǒng)向外分發(fā)的。全部數(shù)據(jù)分發(fā)后，從管道服務(wù)器數(shù)據(jù)流中檢索出地面?zhèn)鬏斝诺罉?biāo)志，并下載，存入硬件包中。在遙感傳輸過程中實時顯示相關(guān)信息，并在遙感通信接口上實現(xiàn)數(shù)據(jù)傳輸，數(shù)據(jù)將以圖像格式文件形式存儲[11]。

2 基于控制點(diǎn)配準(zhǔn)算法的圖像配準(zhǔn)

為了減少圖像配準(zhǔn)過程復(fù)雜性，在圖像配準(zhǔn)中采用了基于控制點(diǎn)配準(zhǔn)算法。在所采集到的控制點(diǎn)中，可能存在兩幅圖像非重疊區(qū)域或者只在其中一幅圖像的控制點(diǎn)，所以要排除這些控制點(diǎn)[12]。該方法通過設(shè)置閾值，將不具有良好匹配關(guān)系的控制點(diǎn)剔除，篩選出相對穩(wěn)定且易于識別的控制點(diǎn)。計算最鄰近域和次鄰域的比值來選擇易于識別的控制點(diǎn)，如果比值小于設(shè)定的閾值，則說明該控制點(diǎn)有效，將其保留，否則將其剔除。具體步驟如下：

1)從兩個影像中至少選擇4對控制點(diǎn)相對應(yīng)，在粗匹配圖像中隨機(jī)抽取4對控制點(diǎn)，以確定是否有3對有一條線，如果有，則丟棄這組匹配點(diǎn)，否則，需再次隨機(jī)選擇，直到?jīng)]有3對匹配點(diǎn)對匹配為止。

2)將所選的4對控制點(diǎn)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理，其中包括圖像坐標(biāo)平移和縮放。數(shù)據(jù)標(biāo)準(zhǔn)化處理不僅能提高結(jié)果準(zhǔn)確性，而且對任意坐標(biāo)原點(diǎn)的變化是具有不變性的，能夠徹底消除坐標(biāo)變換對圖像配準(zhǔn)的影響。

(1)

式(1)中,scale表示變換尺度，計算公式如下所示：

(2)

(3)

式中,n表示變換次數(shù)。

(4)

(5)

變換矩陣是一個齊次矢量方程，因此三維空間矢量方向一致，由此說明H是一個線性解。

1)粗配準(zhǔn)。依據(jù)此設(shè)計粗配準(zhǔn)和細(xì)配準(zhǔn)，其中粗配準(zhǔn)以檢測重疊區(qū)域為主,無人機(jī)由于受到天氣、氣流等因素影響，實際航向始終與預(yù)定航向有一定航測偏差，使重疊圖像呈現(xiàn)出不同形狀。這就使得兩幅圖像重疊區(qū)域難以確定，因此，必須通過粗配準(zhǔn)進(jìn)行匹配。

粗配準(zhǔn)注意事項如下所示：

(1)為避免計算過程繁瑣，應(yīng)提前確定重疊區(qū)域，降低不匹配率，保證配準(zhǔn)質(zhì)量。

(2)通過上述檢測步驟，能夠快速確定相鄰圖像之間匹配關(guān)系。若圖像失真過高，或因意外情況而造成航線模糊，應(yīng)避免人工干預(yù)，使用人工自動計算方法。

(3)對于不同模式匹配，在對時間要求過高的情況下，需達(dá)到一定的匹配精度。

2)精配準(zhǔn)。由于粗配得到的結(jié)果僅僅是兩幅圖像之間控制點(diǎn)對應(yīng)關(guān)系，無法用于記錄影像細(xì)節(jié)。如果在粗匹配后直接拼接圖像，則結(jié)果將在影像出現(xiàn)錯位現(xiàn)象。因此，在完成粗配準(zhǔn)后，進(jìn)入精細(xì)匹配階段。

精配準(zhǔn)注意事項如下所示：

(1)選擇穩(wěn)定且顯著的控制點(diǎn)，增強(qiáng)區(qū)分能力；

(2)遵守配準(zhǔn)均勻性；

(3)選擇的控制點(diǎn)要方便匹配，為后續(xù)影像拼接提供幫助。

3 自動無縫拼接技術(shù)實現(xiàn)

3.1 最佳拼接線搜索

根據(jù)幾何坐標(biāo)信息，確定圖像間的交疊區(qū)域，尋找最優(yōu)拼接線；通過動態(tài)規(guī)劃方法，確定重疊區(qū)域后，在其內(nèi)部尋找最優(yōu)無縫拼接線，并確定最佳縫線標(biāo)準(zhǔn)。

在此基礎(chǔ)上，從重疊區(qū)域生成差值影像，再從差值影像中尋找最優(yōu)無縫拼接線，可減小兩幅原始圖像在拼接線上不同影像點(diǎn)間色差和結(jié)構(gòu)差異。

1)強(qiáng)度初始化:像素對應(yīng)的無縫拼接線的強(qiáng)度值為每一像素判據(jù)值，無縫拼接線當(dāng)前控制點(diǎn)對應(yīng)其所在的列值；

2)擴(kuò)展:比較標(biāo)準(zhǔn)的三個像素數(shù)值，添加當(dāng)前控制點(diǎn)強(qiáng)度值，通過比較相應(yīng)像素點(diǎn)最小強(qiáng)度來確定實際擴(kuò)展方向，并更新圖像拼接線列值點(diǎn)；

3)最佳縫合線確定:在所有無縫拼接線中，找出強(qiáng)度值最小的線，控制像素點(diǎn)的色差和結(jié)構(gòu)達(dá)到統(tǒng)一。

3.2 消除拼接縫

搜索出最優(yōu)無縫拼接線后，按照該線拼接影像。由于影像之間色調(diào)不同，如果在影像拼接時采用最優(yōu)無縫拼接線作為邊界，則影像的內(nèi)容將直接從影像兩面提取出來。使用最佳的拼接線為中心，設(shè)置有一定寬度緩沖帶，將其與影像的交疊區(qū)域緩沖后，消除明顯縫隙，從而使最優(yōu)無縫拼接線的信息能夠在影像間順利過渡。

使用加權(quán)平均融合法，將兩幅影像重疊區(qū)域的像素值乘以各自權(quán)值，再疊加平均融合，由此獲取的重疊區(qū)域加權(quán)融合結(jié)果：

(6)

公式(6)中：ω1、ω2分別表示兩幅影像重疊區(qū)域各自權(quán)值，且滿足：

ω1+ω2=1

(7)

使用該方法能夠快速得到結(jié)果，通過權(quán)值融合，使重疊區(qū)域色調(diào)平滑過渡，能消除較為明顯的拼接縫。

3.3 無縫拼接

影像拼接分為無人機(jī)運(yùn)行航線拼接和側(cè)面拼接兩個步驟。通過航線拼接生成航向拼接序列影像；通過側(cè)面拼接將不同路徑對應(yīng)的航線拼接，最終生成無縫拼接影像。具體拼接過程如下所示：

1)將最優(yōu)無縫拼接線作為邊界，只取兩幅影像的內(nèi)容，即最優(yōu)無縫拼接線相鄰影像內(nèi)容；

2)以所拼接生成的影像為左影像，以航線影像為右影像，根據(jù)最優(yōu)無縫拼接線拼接相鄰影像；

3)重復(fù)步驟1)～2)，直之航線圖像全部拼接完畢，最終生成拼接影像。

4 實驗結(jié)果與分析

在面對基于控制點(diǎn)配準(zhǔn)算法的無人機(jī)遙感影像自動無縫拼接技術(shù)研究過程中，充分考慮算法優(yōu)劣及使用效果，做了驗證實驗，并以此為基礎(chǔ)得到驗證結(jié)論。

4.1 實驗步驟和方法

分別設(shè)計實驗平臺、實驗對象及實驗參數(shù)，選取無人機(jī)遙感影像圖，選取圖像的相同特征匹配控制點(diǎn)，采用不同方法匹配控制點(diǎn)，測試不同方法的影像分辨率及拼接效果。

4.1.1 實驗平臺

使用C++語言，調(diào)用opencv庫函數(shù)作為實驗影像處理的接口函數(shù)。在Windows7 Ultimate操作系統(tǒng)支持下，將影像傳入到CPU為Intel Core2 i5-430M的計算機(jī)之中，使用NVIDIA GeForce GT 420M顯卡將影像處理結(jié)果顯示在界面上，最后再利用MATLAB R2008b工具統(tǒng)計結(jié)果，待實驗完成后再轉(zhuǎn)向C/C++開發(fā)平臺。

4.1.2 實驗對象

實驗研究主要針對無人機(jī)遙感影像拼接，因此選取了某村莊的遙感影像圖，如圖2所示。

圖2 遙感影像圖

通過低空遙感飛行調(diào)查該區(qū)域格局，分別從兩條飛行帶上相鄰影像圖像中選取至少15～25對相同特征控制點(diǎn)，如圖3所示。

圖3 相鄰影像圖像相同特征控制點(diǎn)選取

4.1.3 實驗參數(shù)說明

對該地區(qū)航拍影像相關(guān)參數(shù)說明如表1所示。

表1 該地區(qū)航拍影像相關(guān)參數(shù)說明

4.2 控制點(diǎn)匹配

為了改善控制點(diǎn)分布不均勻情況，需將重疊區(qū)域分塊處理，之后再提取控制點(diǎn)，并將分塊中心加入控制點(diǎn)序列中，得到的控制點(diǎn)匹配結(jié)果如圖4所示。

圖4 控制點(diǎn)匹配結(jié)果示意圖

將分塊中心作為控制中心，能夠改善無控制點(diǎn)分布情況，在沒有控制點(diǎn)分布區(qū)域通過所有連接線建立起來的匹配信息，可確定區(qū)域格局情況。

4.3 影像分辨率檢測

匹配控制點(diǎn)后，分兩次檢測影像分辨率，第一次檢測結(jié)果如圖5所示。

圖5 第一次檢測結(jié)果

采用的原始影像分辨率為3 455*2 302，設(shè)縮放因子為0.2，那么第一次檢測到的影像分辨率為690*460，得到平移參數(shù)為(156，40)，旋轉(zhuǎn)參數(shù)為2.5°。

第二次檢測到的圖像如圖6所示。

圖6 第二次檢測結(jié)果

第二次檢測的影像，無縮放因子，分辨率為1 000*800，平移參數(shù)為(15,5)，旋轉(zhuǎn)參數(shù)為0°。

結(jié)合這兩次檢測結(jié)果，給出了如表2所示匹配數(shù)據(jù)。

表2 匹配數(shù)據(jù)

結(jié)合圖6、7和表2可得到較為精確數(shù)據(jù)匹配關(guān)系。

4.4 拼接效果分析

分別使用基于圖像匹配方法和基于控制點(diǎn)配準(zhǔn)算法拼接無人機(jī)遙感影像，拼接效果如圖7所示。

圖7 兩種技術(shù)拼接效果對比分析

由圖7可知，使用基于圖像匹配方法出現(xiàn)明顯的拼接縫隙，在縫隙處容易丟失影像信息，因此，使用該技術(shù)拼接效果較差。而使用基于控制點(diǎn)配準(zhǔn)算法沒有明顯的拼接縫隙，獲取的影像信息較為完整，由此可知，使用該技術(shù)拼接效果較好。

5 結(jié)束語

5.1 結(jié)論

研究了一種基于控制點(diǎn)配準(zhǔn)算法的無人機(jī)遙感影像自動無縫拼接技術(shù)，在特征點(diǎn)檢測過程中，通過控制點(diǎn)配準(zhǔn)算法檢測關(guān)鍵點(diǎn)，獲得關(guān)鍵點(diǎn)主要方向，在匹配速度相當(dāng)情況下，獲取精準(zhǔn)匹配結(jié)果。使用該技術(shù)即使在無地面控制點(diǎn)情況下，也可通過基于特征點(diǎn)匹配獲取一幅良好無縫拼接影像，避免使用傳統(tǒng)技術(shù)相對復(fù)雜且不定性的測量技術(shù)。通過該技術(shù)得到的主要研究結(jié)論如下所示：

1)通過控制點(diǎn)配準(zhǔn)算法，消除影像邊緣因相機(jī)鏡頭而引起的畸變問題，能夠獲取真實影像外方位元素；

2)使用該拼接技術(shù)，與傳統(tǒng)技術(shù)相比，拼接精度獲得了提高；

3)解決了影像上拼接錯位問題，避免拼接影像重疊，通過融合處理得到良好拼接消縫效果。

5.2 展望

由于無人機(jī)機(jī)艙空間有限，只能搭載質(zhì)量較輕的普通功能終端，而這種終端測量結(jié)果與理想測量結(jié)果還是存在一定差距的，達(dá)不到高精準(zhǔn)測繪精度要求。如果將性能好的功能終端與無人機(jī)遙感集成在一起，可以很大程度地提高影像拼接效果。