王 飛，高小偉，高 寧，趙建華，吳合風(fēng)，孟慶輝

(1. 國(guó)家海洋環(huán)境監(jiān)測(cè)中心，遼寧 大連 116023； 2. 國(guó)家海洋局海域管理技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116023； 3. 航天圖景(北京)科技有限公司，北京 101300)

面向海洋應(yīng)用的無(wú)人機(jī)遙感圖像配準(zhǔn)研究

王 飛1,2，高小偉3，高 寧1,2，趙建華1,2，吳合風(fēng)3，孟慶輝1,2

(1. 國(guó)家海洋環(huán)境監(jiān)測(cè)中心，遼寧 大連 116023； 2. 國(guó)家海洋局海域管理技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116023； 3. 航天圖景(北京)科技有限公司，北京 101300)

在海洋應(yīng)用中，大面積水體的同名點(diǎn)匹配相比陸地更加困難，制約了無(wú)人機(jī)遙感圖像的配準(zhǔn)精度和收斂速度。本文提出了一種改進(jìn)算法適用于海洋無(wú)人機(jī)遙感應(yīng)用，采用主成分分析(PCA)和水體閾值方法去除水體，獲得圖像中非水體區(qū)域的分塊圖像，然后利用仿射-尺度不變特征變換算法(ASIFT)進(jìn)行圖像的特征點(diǎn)提取和重疊圖像非水體區(qū)域的同名點(diǎn)匹配。通過(guò)海島、海岸線的無(wú)人機(jī)遙感試驗(yàn)結(jié)果表明，基于改進(jìn)算法，在不增加時(shí)間開(kāi)銷的情況下，可以增加30%～50%的同名點(diǎn)數(shù)量，精度提高約5%～10%。文中方法適應(yīng)用于海洋無(wú)人機(jī)遙感的序列圖像配準(zhǔn)，為海島、海岸線的遙感監(jiān)測(cè)提供了有效的技術(shù)支持。

無(wú)人機(jī)；遙感；海洋應(yīng)用；海島監(jiān)測(cè)；序列圖像配準(zhǔn)

在海洋應(yīng)用中，對(duì)于海島、海岸帶的及時(shí)監(jiān)測(cè)是一項(xiàng)重要任務(wù)。常規(guī)的人工測(cè)量或船載作業(yè)方式受制于距離遠(yuǎn)、地勢(shì)復(fù)雜、工作量大等問(wèn)題；衛(wèi)星遙感經(jīng)常受到云層遮擋影響，而且分辨率和重訪周期等也存在不足；而航空遙感受到航空管制和轉(zhuǎn)場(chǎng)等限制、飛行成本較高、受云霧天氣的影響，導(dǎo)致空間信息的更新緩慢。近年來(lái)，無(wú)人機(jī)遙感技術(shù)發(fā)展迅速，在遙感領(lǐng)域中獲得較為廣泛的應(yīng)用，成為衛(wèi)星遙感與航空遙感的有力補(bǔ)充。在海洋應(yīng)用中，無(wú)人機(jī)遙感的快速響應(yīng)，靈活機(jī)動(dòng)、高分辨率、高效率等特征，隨著其航行時(shí)間、操控性能和傳感器的進(jìn)一步提升，能夠滿足海島、海岸線觀測(cè)的任務(wù)需求，具有廣泛的應(yīng)用空間[1-2]。但是由于無(wú)人機(jī)遙感圖像存在大量海面場(chǎng)景，且由于海風(fēng)等因素的作用，海面變化較大，同名點(diǎn)提取的誤差相比陸地圖像大量增加，使得光束法平差的精度較低甚至迭代無(wú)法收斂，嚴(yán)重制約無(wú)人機(jī)遙感技術(shù)在海洋監(jiān)測(cè)中的應(yīng)用，亟待解決。

基于圖像點(diǎn)特征的同名點(diǎn)提取算法，首先找出特征點(diǎn)，然后依據(jù)特征信息進(jìn)行匹配，如通過(guò)Harris算子中的一階差分矩陣[3-4]，可以精確地獲取圖像上紋理變化的角點(diǎn)，但是Harris算子只能提取像素級(jí)匹配點(diǎn)。FAST算法[5]計(jì)算效率高，在角點(diǎn)特征提取的過(guò)程中，表現(xiàn)出很強(qiáng)的抗噪聲能力。SIFT[6-7]是一種提取局部特征的算法，通過(guò)利用二維高斯函數(shù)，在尺度空間上尋找極值點(diǎn)，提取位置、尺度、旋轉(zhuǎn)不變量，獲得特征點(diǎn)的方向描述子。為了提高匹配效率，將主成分分析(principal component analysis,PCA)應(yīng)用于對(duì)描述子向量的降維，改進(jìn)SIFT算法，形成PCA-SIFT[8]算法。SURF[8]采用卷積方法和Hessian矩陣，改進(jìn)SIFT算法，同樣提升了特征匹配的效率。Morel和YU提出了仿射-尺度不變特征變換算法(affine-sift,ASIFT)[9-10]，該算法可以抵抗強(qiáng)仿射，不僅在低重疊度影像上能夠提取足夠的特征，而且提取的特征類似于SIFT特征，可以參與光束法平差進(jìn)行全局一致性約束處理，有效提高同名點(diǎn)匹配的精度。ASIFT算法已經(jīng)成功應(yīng)用于陸地上空的無(wú)人機(jī)遙感觀測(cè)，但是目前少有其對(duì)于海洋觀測(cè)的應(yīng)用。

在實(shí)際遙感拍攝獲得的無(wú)人機(jī)海洋監(jiān)測(cè)圖像中，由于海面波浪的影響，短時(shí)間內(nèi)海面圖像的紋理特征容易發(fā)生較大的變化，從而造成大面積水體存在的像對(duì)間同名點(diǎn)的錯(cuò)誤匹配。因此，本文提出一種通過(guò)去除水體的無(wú)人機(jī)遙感圖像配準(zhǔn)方法，提取非水體區(qū)的特征點(diǎn)，并進(jìn)行重疊圖像非水體區(qū)的同名點(diǎn)匹配算法。首先利用PCA主成分分析和水體閾值方法去除水體，獲得圖像中非水體區(qū)域的分塊圖；然后利用ASIFT算法進(jìn)行分塊圖像的特征點(diǎn)提取和重疊圖像非水體區(qū)域的同名點(diǎn)匹配?；陉懙氐姆謮K圖像，可以增加特征點(diǎn)提取的個(gè)數(shù)，提高同名點(diǎn)匹配的數(shù)量和精度。而且由于圖像大小的縮小，計(jì)算時(shí)間略有下降，與去除水體的時(shí)間相抵消，改進(jìn)算法不增加時(shí)間開(kāi)銷；改進(jìn)算法能夠提高無(wú)人機(jī)遙感技術(shù)在海洋監(jiān)測(cè)中的應(yīng)用效果。

1 原理和算法

在無(wú)人機(jī)海洋遙感過(guò)程中，由于大面積水體的存在，Harris、SIFT等圖像同名點(diǎn)匹配算法的效果較差，像對(duì)間自動(dòng)提取的同名點(diǎn)數(shù)量通常小于20個(gè)，難以滿足區(qū)域網(wǎng)平差所需要的同名數(shù)數(shù)量?；贏SIFT的同名點(diǎn)匹配算法，由于其設(shè)計(jì)的過(guò)程中考慮各種仿射變換后的結(jié)果，因此可以抵抗強(qiáng)仿射，并在低重疊度影像上能夠提取足夠的特征(通常大于100個(gè))，從而滿足區(qū)域網(wǎng)平差的需要。對(duì)于海洋無(wú)人機(jī)遙感而言，由于存在大面積水體的影響，ASIFT算法獲得的水面紋理特征不容易進(jìn)行成功匹配，影響其同名點(diǎn)的匹配精度和數(shù)量。

因此，本文首先對(duì)無(wú)人機(jī)遙感獲得的序列圖像進(jìn)行水體去除，然后針對(duì)海島、海岸線等陸地進(jìn)行特征點(diǎn)提取與同名點(diǎn)匹配，改進(jìn)直接配準(zhǔn)的同名點(diǎn)匹配精度，技術(shù)路線如圖1所示。在技術(shù)實(shí)現(xiàn)上，首先進(jìn)行特征點(diǎn)提取和匹配，然后在極幾何約束和單應(yīng)性約束的基礎(chǔ)上，利用RANSAC算法對(duì)特征點(diǎn)進(jìn)行粗差點(diǎn)剔除。遙感圖像處理中常用的水陸場(chǎng)景分離，一般利用到近紅外波段提取歸一化水體指數(shù)等信息，但是由于載重等條件的限制，無(wú)人機(jī)遙感器一般采用數(shù)碼相機(jī)進(jìn)行遙感監(jiān)測(cè)，只具有紅綠藍(lán)3個(gè)波段。因此，本文采用主成分分析算法獲得彩色圖像的主成分信息，然后基于水陸閾值進(jìn)行水陸場(chǎng)景的分離，從而去除水體，生成沒(méi)有水體的分塊圖像，用于后續(xù)的特征點(diǎn)提取與同名點(diǎn)匹配。

圖1 面向海洋應(yīng)用的無(wú)人機(jī)遙感圖像配準(zhǔn)技術(shù)路線

1.1 水體去除

基于遙感圖像的水陸場(chǎng)景分離也是當(dāng)前研究的熱點(diǎn)問(wèn)題之一[11]。由于無(wú)人機(jī)遙感圖像通常只有紅綠藍(lán)3個(gè)波段，缺少近紅外波段，無(wú)法利用常用的歸一化水體指數(shù)進(jìn)行水體識(shí)別。同時(shí)，在圖像分割過(guò)程中，由于近海的海浪較多，利用分割算法進(jìn)行圖像分割的效果也較差，相對(duì)耗時(shí)。因此，本文采用主成分分析算法獲得彩色圖像的主成分信息，然后基于水陸閾值進(jìn)行水陸場(chǎng)景的分離，從而去除水體，生成沒(méi)有水體的分塊圖像。

主成分分析方法常用于高光譜遙感圖像的降維處理，也有利于無(wú)人機(jī)遙感圖像的二值化處理和空間信息提取[12]。主成分分析通過(guò)多變量線性變換將多維遙感數(shù)據(jù)按照信噪比大小進(jìn)行排列，可以獲得不相關(guān)的主成分，從而在一定程度上壓縮信息。主成分分析方法降維后的第一主分量包括了絕大部分的遙感圖像數(shù)據(jù)信息，特別是空間信息。主成分分析能夠有效處理多分量數(shù)據(jù)，將一組互相相關(guān)的變量變換成一組新的互相無(wú)關(guān)的幾個(gè)綜合變量，具有降維效率高等特點(diǎn)。

首先計(jì)算無(wú)人機(jī)遙感圖像R、G、B這3個(gè)波段的相關(guān)矩陣，然后由相關(guān)矩陣計(jì)算出特征值λ1和特征向量φi(i=1,2,…,n)，將特征值按照大小次序排列，最后基于第i波段數(shù)據(jù)di計(jì)算第一主分量圖像PC1，即

(1)

海域上空的無(wú)人機(jī)遙感圖像，經(jīng)過(guò)主成分分析后，可以獲得差異明顯的水陸場(chǎng)景，然后利用簡(jiǎn)單的閾值方法，可以快速地進(jìn)行水陸場(chǎng)景的分離。根據(jù)陸地區(qū)域在圖像中的最大最小坐標(biāo)，考慮海岸與海水的灰度差異較小，向外擴(kuò)展10%的寬高，獲得分塊圖像。

1.2 同名點(diǎn)匹配

利用ASIFT算法獲取關(guān)鍵點(diǎn)的特征信息。基于特征信息的配準(zhǔn)方法提取的是圖像不變特征作為配準(zhǔn)信息，這些不變特征指圖像變化(如旋轉(zhuǎn)、縮放和仿射變換等)在局部區(qū)域內(nèi)仍保持穩(wěn)定的特征及對(duì)這些特征的描述信息。常用的圖像不變特征有尺度不變特征(如Dog關(guān)鍵點(diǎn)等)和仿射不變特征(如Harris-Affine等)。ASIFT算法是對(duì)SIFT算法的改進(jìn)算法，通過(guò)不同仿射情況的遍歷而形成的一種完全仿射不變的圖像匹配方法。ASIFT算法對(duì)于縮放、旋轉(zhuǎn)、平移，以及相機(jī)軸向角都具有不變性。相比SIFT算法，ASIFT算法更加適用于具有低重疊度的無(wú)人機(jī)遙感圖像間的同名點(diǎn)匹配，特別是拍攝角度變化的情況。同時(shí)，對(duì)于大面積水體存在的像對(duì)，也可以將其視為陸地具有較低重疊度的情況，因此，ASIFT算法也具有相應(yīng)的優(yōu)勢(shì)。

A=HλR1(ψ)TtR2(φ)=

(2)

通過(guò)模擬所有可能由視角變化而引起的仿射畸變，獲取仿射變換參數(shù)。首先對(duì)圖像進(jìn)行仿射變換，得到所有可能仿射變換下的模擬圖像。然后利用SIFT算子，開(kāi)展圖像的特征提取和同名點(diǎn)匹配，得到粗匹配的同名點(diǎn)對(duì)。下一步依據(jù)坐標(biāo)唯一性、斜率約束以及極線約束剔除錯(cuò)誤的匹配點(diǎn)，進(jìn)一步通過(guò)RANSAC算法[13]刪除外點(diǎn)來(lái)達(dá)到特征點(diǎn)精確匹配的目的。最后采用幾何糾正模型進(jìn)行粗差分離，分離出殘差最大點(diǎn)，獲得最佳的匹配點(diǎn)對(duì)。通過(guò)上述一系列步驟后，可以大幅提高特征點(diǎn)對(duì)匹配的準(zhǔn)確率，進(jìn)而保證求解的變換模型參數(shù)的準(zhǔn)確性。

圖2 仿射變換后的模擬圖像

2 試驗(yàn)分析

本文以低空飛行(300～500 m)的無(wú)人機(jī)遙感圖像為例，首先在圖像中搜索所有同名點(diǎn)，進(jìn)一步獲取圖像中所有的全局同名點(diǎn)。如圖3所示，圖像大小為4288×2848像素，原始分辨率為0.1 m。圖像中存在面積水體，圖(a)占到85%左右，圖(b)占到70%左右。

圖3 無(wú)人機(jī)海洋遙感實(shí)驗(yàn)圖像對(duì)

利用主成分分析，獲得圖像的第一主分量，如圖4所示。本文設(shè)置水陸分離閾值為30，大于閾值的為陸地，小于閾值的為海面?；陉懙氐淖畲笞钚∽鴺?biāo)，獲得如圖4虛線所示的陸地外接區(qū)域。由于海岸線如巖石、沙灘等地物與海面的差異較小，因此將陸地外接區(qū)域擴(kuò)展10%，生成如實(shí)線所示區(qū)域，作為匹配區(qū)域。水體去除算法大約耗時(shí)2 s。

圖4 基于閾值的主成分分析圖像分塊

利用CPU多核并行的ASIFT算法分別獲得圖對(duì)的特征點(diǎn)22 458個(gè)和25 231個(gè)，消耗時(shí)間共23 s。直接基于全圖匹配的初始同名點(diǎn)為144個(gè)，而去除水體后匹配獲得的同名點(diǎn)為198個(gè)。采用RANSAC去除粗差，以模型誤差0.05為閾值，得到小于閾值的精確同名點(diǎn)。如圖5和圖6所示，直接基于全圖匹配的同名點(diǎn)為131個(gè)，正確匹配率為91%，而去除水體后匹配獲得的同名點(diǎn)為193個(gè)，正確匹配率為97.5%。直接匹配和去除水體后匹配分別耗時(shí)51和50 s。相比較而言，這組圖像直接利用SIFT算法沒(méi)有獲得足夠的同名點(diǎn)(5個(gè))。

圖5 水平方向上的算法對(duì)比

本文基于5組無(wú)人機(jī)遙感圖像進(jìn)行試驗(yàn)分析，統(tǒng)計(jì)每組圖像拼接后的精度，并比較算法消耗的時(shí)間(見(jiàn)表1)。其中，匹配精度指的是初始同名點(diǎn)的正確匹配率，計(jì)算所耗時(shí)間包括所有步驟的時(shí)間總和。由于匹配過(guò)程沒(méi)有采用GPU顯卡加速等技術(shù)，使得時(shí)間開(kāi)銷較大，而水體去除一般消耗時(shí)間較少，因此幾乎可以忽略不計(jì)。

圖6 垂直方向上的算法對(duì)比

方法組號(hào)初始匹配點(diǎn)正確同名點(diǎn)正確匹配率/(%)總耗時(shí)/s直接ASIFT方法114413191.074215614089.778312311791.976417616789.879518817591.076去除水體后ASIFT方法119819397.575222021597.777318717895.277423322194.879521320294.877

從表1可以看出，本文在去除水體的基礎(chǔ)上進(jìn)行特征點(diǎn)提取和匹配的方法能夠得到更多的同名點(diǎn)數(shù)量和較高的正確匹配精度。基于改進(jìn)算法，在不增加時(shí)間開(kāi)銷的情況下，可以增加30%～50%的同名點(diǎn)數(shù)量，精度提高約5%～10%。

3 結(jié) 論

本文提出了一種面向海洋應(yīng)用的無(wú)人機(jī)序列遙感圖像同名點(diǎn)匹配方法，可以增加同名點(diǎn)數(shù)量、提高同名點(diǎn)匹配精度。通過(guò)主成分分析結(jié)合水體閾值的方法去除水體，獲得圖像中非水體區(qū)域的分塊圖像，然后利用ASIFT方法進(jìn)行分塊圖像的特征點(diǎn)提取和重疊圖像非水體區(qū)域的同名點(diǎn)匹配。本文方法適用于無(wú)人機(jī)長(zhǎng)序列遙感圖像的海島、海岸線監(jiān)測(cè)，在大面積水體存在的情況下仍然可以獲得大量高精度同名點(diǎn)，并且取得較好的效果。需要指出的是雖然ASIFT算法結(jié)果精確，但是相對(duì)耗時(shí)，后續(xù)可以利用GPU并行加速進(jìn)行優(yōu)化，以提高其應(yīng)用能力。

[1] 郭忠磊, 翟京生, 張靚, 等. 無(wú)人機(jī)航測(cè)系統(tǒng)的海島礁測(cè)繪應(yīng)用研究[J]. 海洋測(cè)繪, 2014, 34(4): 55-57.

[2] 麻德明, 鄧才龍, 徐文學(xué), 等. 無(wú)人機(jī)遙感系統(tǒng)在岸線勘測(cè)中的應(yīng)用[J]. 海洋開(kāi)發(fā)與管理, 2015, 32(4): 45-48.

[3] HARRIS C.A Combined Corner and Edge Detector[C]∥Proceedings of Alvey Vision Conference. Manchester:[s.n.], 1988:147-151.

[4] 謝東海, 詹總謙, 江萬(wàn)壽. 改進(jìn)Harris算子用于點(diǎn)特征的精確定位[J]. 測(cè)繪地理信息, 2003, 28(2): 22-23.

[5] ROSTEN E, DRUMMOND T. Fusing Points and Lines for High Performance Tracking[C]∥Tenth IEEE International Conference on Computer Vision.Washington, DC, USA: IEEE Computer Society, 2005:1508-1515.

[6] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60 (2): 91-110.

[7] 吳俁, 余濤, 謝東海, 等. 高分辨率多光譜遙感圖像的自動(dòng)配準(zhǔn)[J]. 紅外與激光工程, 2012, 41(12): 3285-3290.

[8] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up Robust Features(SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[9] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[10] 宋耀鑫, 張丹丹, 唐伶俐,等. 基于ASIFT算法的低重疊度無(wú)人機(jī)影像拼接方法[J]. 遙感技術(shù)與應(yīng)用, 2015, 30(4): 725-730.

[11] 唐為林. 基于紋理分析的遙感圖像水陸場(chǎng)景分類[D]. 武漢：華中科技大學(xué), 2012.

[12] 田野, 趙春暉, 季亞新. 主成分分析在高光譜遙感圖像降維中的應(yīng)用[J]. 哈爾濱師范大學(xué)自然科學(xué)學(xué)報(bào), 2007, 23(5): 58-60.

[13] FISCHLER M A, BOLLES R C. A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

RemoteSensingImageRegistrationofUnmannedAerialVehicleforMarineApplications

WANG Fei1,2，GAO Xiaowei3，GAO Ning1,2，ZHAO Jianhua1,2，WU Hefeng3，MENG Qinghui1,2

(1. National Marine Environment Monitor Center, Dalian 116023, China; 2. Key Laboratory of State Oceanic Administration Management Technology, Dalian 116023, China; 3. Space GeoData (Beijing) Co. Ltd., Beijing 101300, China)

In marine applications, large water areas lead to more difficulties compared to land on the corresponding point matching, which restricts the UAV remote sensing image registration precision and convergence speed. This paper proposes an improved algorithm for the marine UAV remote sensing applications. First, remove water using principal component analysis (PCA) and water threshold method, and obtain the block image without water. Then, feature points extraction and the corresponding points matching of these block images were performed using the affine scale invariant feature transform algorithm (Affine-Sift, ASIFT). The experiment results show that the improved algorithm can increase 30%～50% points, the accuracy increases by about 20%, and time is not increased. This method is suitable for the sequence of UAV remote sensing image registration on the marine, and it can provide effective technical support for the remote sensing monitoring of island and coastline.

UAV；remote sensing；marine application；island monitoring；registration of image sequences

王飛，高小偉，高寧,等.面向海洋應(yīng)用的無(wú)人機(jī)遙感圖像配準(zhǔn)研究[J].測(cè)繪通報(bào)，2017(11)：123-127.

10.13474/j.cnki.11-2246.2017.0361.

P23

A

0494-0911(2017)11-0123-05

2017-07-18

海洋公益性行業(yè)科研專項(xiàng)(201405028)；國(guó)家海洋局海域管理重點(diǎn)實(shí)驗(yàn)室基金(201509)

王 飛(1982—)，男，碩士，工程師，主要從事海域無(wú)人機(jī)遙感監(jiān)測(cè)及數(shù)據(jù)處理工作。E-mail：16464392@qq.com