劉 通, 胡 亮, 王永軍, 初劍峰

(1. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130012； 2. 長春市公安局 網(wǎng)安支隊(duì), 長春 130051)

衛(wèi)星遙感技術(shù)廣泛應(yīng)用于軍事偵察、 地表分析和資源勘察等領(lǐng)域. 在衛(wèi)星遙感圖像的處理過程中, 由于單幅圖像的視角有限, 因此常需要將兩幅或多幅圖像進(jìn)行拼接以獲取更寬廣視野的圖像. 遙感影像拼接也稱為影像鑲嵌, 是指對(duì)兩幅或兩幅以上含有重疊區(qū)域的圖片, 將相同部分交疊在一起, 而其他部分保持不變, 從而合并成一幅整體圖片. 衛(wèi)星遙感影像拼接的關(guān)鍵在于： 1) 如何使計(jì)算機(jī)識(shí)別出不同遙感圖像中的相同部分； 2) 在拍攝過程中, 由于相機(jī)的移動(dòng)不能做到完全穩(wěn)定, 兩幅圖片的相同區(qū)域也會(huì)存在平移、 縮放、 扭曲變形等問題, 因此需要對(duì)圖片進(jìn)行調(diào)整, 使對(duì)應(yīng)部分達(dá)到理想效果.

目前主流的衛(wèi)星遙感圖像拼接方法是以尺度不變特征轉(zhuǎn)換(scale-invariant feature transform, SIFT)為代表的傳統(tǒng)經(jīng)典算法[1-4], 該方法基于尺度不變性, 包括圖像配準(zhǔn)和幾何變換兩部分. 圖像配準(zhǔn)是指在每幅圖像中檢測(cè)出特征關(guān)鍵點(diǎn)及其局部特征描述子[5], 以此實(shí)現(xiàn)圖像中特征點(diǎn)的匹配; 幾何變換是指對(duì)圖像進(jìn)行一定的變形, 使對(duì)應(yīng)特征點(diǎn)在最大程度上達(dá)到重合. 以SIFT為代表的傳統(tǒng)方法在一定程度上對(duì)圖像匹配進(jìn)行了較好的實(shí)現(xiàn), 但該方法也存在不足. 如果遙感影像來自不同視角的衛(wèi)星, 而視角差別又較大時(shí), 圖像中的物體可能會(huì)發(fā)生較大形變. 在這種情況下, 傳統(tǒng)方法通常不能獲得正確的拼接效果. 近年來, 隨著人工智能與深度學(xué)習(xí)的發(fā)展, 深度學(xué)習(xí)在計(jì)算機(jī)視覺應(yīng)用方面取得了優(yōu)異的成績[6]. 因此本文考慮通過引入深度學(xué)習(xí)實(shí)現(xiàn)衛(wèi)星遙感圖像拼接.

本文采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)模型[7]代替SIFT經(jīng)典方法實(shí)現(xiàn)圖像配準(zhǔn)與幾何變換, 設(shè)計(jì)一種卷積神經(jīng)網(wǎng)絡(luò)模型, 并通過人工合成圖像對(duì)的方法生成適用于它的訓(xùn)練數(shù)據(jù)集. 該模型可以端到端地進(jìn)行訓(xùn)練以學(xué)習(xí)圖像配準(zhǔn)的能力, 并取代SIFT方法估計(jì)出圖像的幾何變換參數(shù). 相比于傳統(tǒng)方法, 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)發(fā)生較大形變的衛(wèi)星遙感圖像具有更好的拼接效果.

1 預(yù)備知識(shí)

1.1 衛(wèi)星遙感圖像拼接傳統(tǒng)方法

目前通常采用SIFT算法及其改進(jìn)算法進(jìn)行衛(wèi)星遙感圖像的拼接, 如加速魯棒性特征(speeded up robust features, SURF)算法, 這些算法的原理基本一致, 拼接方法一般分為圖像配準(zhǔn)和幾何變換兩部分.

1) 圖像配準(zhǔn)： 選擇一種特征檢測(cè)器(如SIFT特征檢測(cè)器), 通過特征檢測(cè)器可從一幅圖像中提取出關(guān)鍵點(diǎn)(標(biāo)準(zhǔn)局部特征). 首先, 將特征檢測(cè)器分別作用于要匹配的兩幅圖像, 提取出兩幅圖像各自的關(guān)鍵點(diǎn)集; 其次, 分別對(duì)兩個(gè)關(guān)鍵點(diǎn)集計(jì)算描述子——選擇同類型的描述子提取器(如SIFT描述子提取器), 由此獲得兩幅圖像各自關(guān)鍵點(diǎn)集對(duì)應(yīng)的局部描述子; 然后選擇一種匹配器, 通過將兩幅圖各自的描述子集合輸入匹配器, 得到一組初步的試探性匹配結(jié)果; 最后對(duì)初步匹配結(jié)果進(jìn)行篩選, 只保留高質(zhì)量的匹配, 刪除低質(zhì)量的匹配, 并按照匹配程度由高到低排序.

2) 幾何變換： 即通過旋轉(zhuǎn)和平移使兩幅圖像的對(duì)應(yīng)特征點(diǎn)達(dá)到重合. 通過兩幅圖像中相對(duì)應(yīng)的特征關(guān)鍵點(diǎn), 找出兩幅圖像相同部分的幾何變換參數(shù)(如Homography矩陣), 一般采用的方法是隨機(jī)抽樣一致性(random sample consensus, RANSAC)算法或Hough投票法[8].

利用經(jīng)典方法實(shí)現(xiàn)的衛(wèi)星遙感圖像拼接效果一般較好, 但也有失效或出現(xiàn)較大誤差的情況, 通常是由于圖像中主體對(duì)象的外觀描繪發(fā)生了較大變化. 遙感影像常來自不同視角的衛(wèi)星, 當(dāng)視角存在較大差異時(shí), 圖像中的物體難免發(fā)生較大形變. 在這種情況下, 傳統(tǒng)方法通常不能獲得正確的拼接效果.

1.2 卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域, 在行人檢測(cè)[9]、 對(duì)象分類[10]、 圖像分割[11]等領(lǐng)域都有優(yōu)異表現(xiàn). 深度學(xué)習(xí)已被用于學(xué)習(xí)功能強(qiáng)大的圖像特征[12-14]. 相比于經(jīng)典方法, 深度學(xué)習(xí)對(duì)外觀變化具有更高的魯棒性[15]. 卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)領(lǐng)域應(yīng)用廣泛, 其具有可實(shí)現(xiàn)提取特征、 降維、 加速、 減少運(yùn)算、 提高泛化能力和包容形變等諸多優(yōu)點(diǎn), 相比全連接網(wǎng)絡(luò)運(yùn)算量小很多, 因此可用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征. 本文采用深度學(xué)習(xí)的方法, 設(shè)計(jì)一種卷積神經(jīng)網(wǎng)絡(luò)模型并進(jìn)行訓(xùn)練, 代替經(jīng)典方法實(shí)現(xiàn)對(duì)衛(wèi)星遙感圖像的拼接.

2 模型設(shè)計(jì)

2.1 網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

英國牛津大學(xué)視覺幾何組(visual geometry group, VGG)提出了一種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型VGG-Net, 其是在ImageNet[16]上進(jìn)行訓(xùn)練用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)模型. VGG-Net使用5個(gè)卷積組, 一般有11～19層, VGG-Net模型的幾種常見結(jié)構(gòu)如圖1所示. 其中具有16層的結(jié)構(gòu)稱為VGG-16模型, 它是VGG-Net的經(jīng)典模型之一. VGG-16模型的5個(gè)卷積組層數(shù)分別是2,2,3,3,3, 共有13層卷積層. 數(shù)字16表示13層卷積層與3層全連接層, 不包括下采樣層(即池化層).

圖1 VGG-Net結(jié)構(gòu)Fig.1 Structure of VGG-Net

在圖1中, 每個(gè)卷積層后邊的括號(hào)內(nèi)都注明了該層所采用的卷積核大小與輸出通道數(shù). 例如, (3-64)表示采用的卷積核大小為3×3, 輸出通道數(shù)為64. 圖1第二列中11層結(jié)構(gòu)出現(xiàn)的局部響應(yīng)標(biāo)準(zhǔn)化(local response normalization, LRN)是一種用于防止數(shù)據(jù)過擬合的函數(shù). 由于本文研究采用的是16層結(jié)構(gòu), 故不對(duì)LRN進(jìn)行說明.

VGG-Net原本用于圖像分類, 但其卷積層部分能很好地對(duì)圖像特征進(jìn)行提取. 與以AlexNet為代表的其他架構(gòu)相比, VGG-Net的層數(shù)更多, 通道數(shù)也更多, 因此可達(dá)到更高和更細(xì)顆粒度的準(zhǔn)確性, 可提取更多有效信息, 非常適合遙感衛(wèi)星圖像這類包含豐富細(xì)節(jié)的高分辨率圖像.

本文參考VGG-16的架構(gòu)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò). 在VGG-16的結(jié)構(gòu)中, 全連接層部分對(duì)圖像特征提取未發(fā)揮作用, 因此只需使用其卷積層部分即可. 考慮到權(quán)重因子過多會(huì)減慢計(jì)算速度, 因此本文未將13個(gè)卷積層全部使用, 而是權(quán)衡后截取到第10個(gè)卷積層. 在每組卷積層結(jié)束后都進(jìn)行一次批量標(biāo)準(zhǔn)化, 此外還在全連接層前添加一個(gè)Dropout函數(shù)以防止過擬合.

2.2 回歸網(wǎng)絡(luò)設(shè)計(jì)

在回歸網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上, 本文在最后添加兩個(gè)全連接層, 第一層設(shè)置1 000個(gè)神經(jīng)元接收卷積層的輸出, 最后一層的神經(jīng)元設(shè)置為8, 這是因?yàn)楸疚南氲玫降膸缀巫儞Q參數(shù)是由8個(gè)數(shù)構(gòu)成的4×2矩陣. 這樣設(shè)置的目的是將兩幅衛(wèi)星遙感圖像拼接在一起, 使相同部分完全重合. 實(shí)際上, 僅通過移動(dòng)幾乎不可能使兩幅圖像的共同區(qū)域完全重合, 這是因?yàn)樵讷@得不同圖像時(shí)一定會(huì)有條件差異. 遙感圖像可能來自于不同衛(wèi)星, 導(dǎo)致兩幅圖像必然存在視角上的差異, 即使是由同一衛(wèi)星獲得的兩幅圖像, 由于拍攝時(shí)間、 拍攝角度、 拍攝距離遠(yuǎn)近等因素的變化, 也會(huì)使兩幅衛(wèi)星遙感圖像的坐標(biāo)系出現(xiàn)差異, 將導(dǎo)致圖像中拍攝對(duì)象的形狀發(fā)生一定的變化. 在這種情況下, 無法直接對(duì)衛(wèi)星遙感圖像完成拼接, 必須先對(duì)圖像做幾何變換, 將兩幅遙感圖像調(diào)整到同一坐標(biāo)系下, 才能完成后續(xù)的圖像拼接.

對(duì)于要進(jìn)行匹配的兩幅圖像, 通過單應(yīng)性矩陣可以將一幅圖像中每個(gè)位置上的點(diǎn)映射到另一幅圖像的對(duì)應(yīng)位置上. 如果用IA和IB表示兩幅圖像, 則IA中位于(x,y,1)處的點(diǎn)通過單應(yīng)性矩陣進(jìn)行幾何變換后將映射到IB中位于(x′,y′,1)處的點(diǎn), 如圖2所示.

單應(yīng)性矩陣是一種常用的幾何變換方法, 其一般形式是一個(gè)3×3矩陣, 表示為

(1)

其能將一幅圖像中每個(gè)位置(x,y)上的點(diǎn)映射到另一幅圖像的對(duì)應(yīng)位置(x′,y′)上, 表示為

(2)

單應(yīng)性矩陣除這種3×3矩陣的形式外, 還有一種4×2矩陣形式, 其為基于角點(diǎn)位置變化得到的[17], 如圖3所示.將視角1得到的圖像記為圖A, 視角2得到的圖像記為圖B. 在這種情況下, 圖A中四邊形的4個(gè)角點(diǎn)映射為圖B中的一個(gè)四邊形.

圖2 同一對(duì)象在不同視角下的位置對(duì)應(yīng)關(guān)系Fig.2 Position correspondence of same object in different perspectives

圖3 4個(gè)角點(diǎn)在不同視角圖像中的映射Fig.3 Mapping of four corner points in images from different perspectives

(3)

單應(yīng)性矩陣的這兩種形式是等效的, 一旦知道兩幅圖像中4個(gè)角點(diǎn)的偏移量, 即可將H4points轉(zhuǎn)換為3×3的H矩陣.由于單應(yīng)性矩陣的4×2形式表示的是4個(gè)角點(diǎn)的偏移量, 而通過偏移量可直觀查看網(wǎng)絡(luò)模型估計(jì)出的結(jié)果, 因此本文以4×2形式單應(yīng)性矩陣的值作為模型的回歸結(jié)果.

3 模型訓(xùn)練

3.1 損失函數(shù)

訓(xùn)練模型包含數(shù)據(jù)集與標(biāo)簽集.對(duì)于神經(jīng)網(wǎng)絡(luò)模型, 輸入為一組圖像IA和IB, 而輸出為IA到IB的幾何變換參數(shù), 即單應(yīng)性矩陣H.因此, 所需的數(shù)據(jù)集應(yīng)該是由大量圖像對(duì)構(gòu)成的, 而數(shù)據(jù)對(duì)之間對(duì)應(yīng)的單應(yīng)性矩陣H已知, 實(shí)驗(yàn)中需要用矩陣H作為標(biāo)簽集.但在機(jī)器學(xué)習(xí)領(lǐng)域廣泛采用的數(shù)據(jù)集中并沒有這種形式的數(shù)據(jù)集.本文的方法是： 選擇一個(gè)圖片數(shù)據(jù)集, 使用隨機(jī)生成的單應(yīng)性矩陣H對(duì)數(shù)據(jù)集中的圖片進(jìn)行變換, 并將變換后的圖像與原圖像組成一對(duì), 即得到了訓(xùn)練的特征值, 而隨機(jī)生成的單應(yīng)性矩陣則作為訓(xùn)練的真實(shí)標(biāo)簽值, 記為HGT.回歸網(wǎng)絡(luò)產(chǎn)生8個(gè)數(shù)字, 即模型估計(jì)出的8個(gè)偏移量, 將其與HGT中的8個(gè)數(shù)字進(jìn)行比較, 計(jì)算它們的歐氏距離, 作為模型的損失函數(shù).

歐氏距離是指m維空間中兩個(gè)點(diǎn)之間的距離.以二維空間為例, 若點(diǎn)A為(x1,y1), 點(diǎn)B為(x2,y2), 則A,B兩點(diǎn)間的歐氏距離計(jì)算公式為

(4)

其中d表示二維空間中點(diǎn)A與點(diǎn)B之間的歐氏距離.若以三維空間為例, 點(diǎn)A為(x1,y1,z1), 點(diǎn)B為(x2,y2,z2), 則A,B兩點(diǎn)間的歐氏距離計(jì)算公式為

(5)

其中d表示三維空間中點(diǎn)A與點(diǎn)B之間的歐氏距離.推廣到n維空間, 若點(diǎn)A為(p1,p2,…,pn), 點(diǎn)B為(q1,q2,…,qn), 則A,B兩點(diǎn)間的歐氏距離計(jì)算公式為

(6)

即

(7)

其中d(A,B)表示n維空間中點(diǎn)A與點(diǎn)B之間的歐氏距離.

本文設(shè)計(jì)的回歸網(wǎng)絡(luò)輸出4×2形式單應(yīng)性矩陣中的8個(gè)數(shù)字, 將其與真實(shí)單應(yīng)性矩陣中的8個(gè)數(shù)字比較, 計(jì)算他們的歐氏距離作為損失函數(shù). 模型通過使用反向傳播和隨機(jī)梯度下降(stochastic gradient descent, SGD)最大程度地減小損失函數(shù), 以學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的權(quán)重.

3.2 訓(xùn)練數(shù)據(jù)

訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型通常需要大量數(shù)據(jù), 但現(xiàn)有的公共數(shù)據(jù)集中符合實(shí)驗(yàn)要求的類型較少, 即以發(fā)生幾何變換的一對(duì)圖像作為特征, 以它們的幾何變換關(guān)系作為標(biāo)簽. 因此, 需通過自行合成數(shù)據(jù)進(jìn)行訓(xùn)練. 本文實(shí)驗(yàn)的方法是： 下載一個(gè)圖像數(shù)據(jù)集, 然后對(duì)其中的圖像數(shù)據(jù)做隨機(jī)幾何變換, 即在一定范圍內(nèi)隨機(jī)生成一個(gè)單應(yīng)性矩陣H, 并通過H將數(shù)據(jù)集中的原圖像做幾何變換, 將變換后的圖像與原圖像構(gòu)成一個(gè)圖像對(duì), 作為訓(xùn)練的特征值, 而隨機(jī)生成一個(gè)單應(yīng)性矩陣H即為與其對(duì)應(yīng)的特征值. 將該操作應(yīng)用于下載圖像數(shù)據(jù)集中的每張圖像, 即得到了實(shí)驗(yàn)需要的整個(gè)數(shù)據(jù)集.

本文采用PASCAL VOC數(shù)據(jù)集, 對(duì)其圖像進(jìn)行處理后用于訓(xùn)練. PASCAL VOC原是一個(gè)用于目標(biāo)檢測(cè)和分割模型的數(shù)據(jù)集, 共包括14 961張JPG格式的圖片. 事實(shí)上, 任何數(shù)量足夠多的數(shù)據(jù)集都可使用這種合成數(shù)據(jù)集方法用于訓(xùn)練. 在尺寸大小滿足要求的前提下, 可以將任意一張圖像經(jīng)過處理后作為訓(xùn)練樣本, 通過該方法可以根據(jù)需要收集盡可能多的訓(xùn)練實(shí)例, 也可以在訓(xùn)練達(dá)到一定程度后更換新的圖像數(shù)據(jù)集進(jìn)行訓(xùn)練, 使模型更好地學(xué)習(xí)不同類型的圖像特征, 甚至可以自行拍攝照片, 經(jīng)過處理后的照片同樣可以作為模型訓(xùn)練的數(shù)據(jù)集. 合成訓(xùn)練數(shù)據(jù)過程如下.

步驟1) 為減少計(jì)算量, 首先將圖像轉(zhuǎn)換為單通道灰度圖. 參考VGG-16模型的輸入要求, 實(shí)驗(yàn)中使用的并不是原始尺寸的圖像, 而是在原圖像上隨機(jī)裁剪出一個(gè)224×224尺寸的正方形部分, 將該正方形部分的圖像記為A, 將其作為訓(xùn)練輸入特征的圖像對(duì)之一.

步驟2) 記錄下A的4個(gè)角點(diǎn)位置, 然后選定一個(gè)范圍對(duì)4個(gè)角點(diǎn)進(jìn)行隨機(jī)位移, 本文設(shè)隨機(jī)范圍為[-56,56]. 通過4對(duì)點(diǎn)橫縱坐標(biāo)的8個(gè)偏移量, 可得到一個(gè)單應(yīng)性矩陣H.該算法可通過OpenCV軟件庫中的getPerspectiveTransform( )實(shí)現(xiàn).

步驟3) 求出矩陣H的逆矩陣H′, 然后將H′應(yīng)用于原始尺寸的灰度圖, 以產(chǎn)生幾何變換后的新圖像.在新圖像中找到與矩形A相同的位置, 裁剪出一個(gè)與A尺寸相同的224×224的正方形部分, 將該正方形部分的圖像記作B, 將其作為訓(xùn)練輸入特征圖像對(duì)中的另一個(gè)元素.

步驟4) 將兩個(gè)224×224×1的正方形灰度圖A和B堆疊, 生成一個(gè)224×224×2的圖像, 將其作為輸入卷積神經(jīng)網(wǎng)絡(luò)模型的特征值, 并將步驟2)中的8個(gè)偏移量作為訓(xùn)練的標(biāo)簽值.

由于本文實(shí)驗(yàn)設(shè)計(jì)的模型輸入要求為224×224×2, 不同于VGG-16模型要求的224×224×3, 因此不能直接載入VGG-16模型訓(xùn)練好的權(quán)重, 而需要從頭開始訓(xùn)練模型. 為減少訓(xùn)練中的計(jì)算量, 本文實(shí)驗(yàn)對(duì)模型做進(jìn)一步修改, 在對(duì)圖片進(jìn)行卷積提升通道數(shù)過程中, 通道數(shù)達(dá)到128時(shí)保持這一通道數(shù)不變. 如果繼續(xù)擴(kuò)大通道數(shù)到256甚至512, 或許能使模型具有更好的學(xué)習(xí)能力, 但更大的計(jì)算量會(huì)使訓(xùn)練模型花費(fèi)更多的時(shí)間. 本文最終設(shè)定128通道數(shù), 而不再繼續(xù)擴(kuò)大. 經(jīng)過調(diào)整后最終確定的模型結(jié)構(gòu)如圖4所示, 每個(gè)卷積層后都有一個(gè)ReLU激活函數(shù)(未標(biāo)出).

圖4 修改后的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.4 Modified CNN architecture

本文實(shí)驗(yàn)選擇Adam優(yōu)化器對(duì)模型進(jìn)行訓(xùn)練, 動(dòng)量設(shè)為0.9, 學(xué)習(xí)速率設(shè)為0.005. 初步設(shè)定訓(xùn)練50 000輪, 每輪在訓(xùn)練集中隨機(jī)選擇5 000個(gè)樣本進(jìn)行訓(xùn)練, 每次批量傳入50個(gè)樣本. 50 000輪訓(xùn)練完畢后, 將學(xué)習(xí)速率減小為0.000 5, 再次訓(xùn)練50 000輪, 使模型最終達(dá)到收斂.

4 實(shí) 驗(yàn)

4.1 與SIFT拼接方法的對(duì)比

本文實(shí)驗(yàn)設(shè)計(jì)的模型實(shí)現(xiàn)了圖像拼接的圖像配準(zhǔn)與幾何變換, 即該模型具備了和傳統(tǒng)SIFT方法同樣的能力. 為檢驗(yàn)訓(xùn)練后模型對(duì)圖像的拼接效果, 將其與傳統(tǒng)經(jīng)典算法進(jìn)行比較. 本文選擇SIFT+RANSAC的經(jīng)典算法進(jìn)行比較, 以幾何變換部分所得到的單應(yīng)性矩陣的歐氏距離作為評(píng)價(jià)指標(biāo). 將隨機(jī)生成的單應(yīng)性矩陣作為真實(shí)值, 首先計(jì)算模型估計(jì)所得值與真實(shí)值的誤差(計(jì)算結(jié)果保留4位小數(shù)), 再計(jì)算經(jīng)典算法所得值與真實(shí)值的誤差, 然后對(duì)兩種方法所得誤差進(jìn)行對(duì)比. 為對(duì)兩種方法做出綜合性評(píng)價(jià), 需在整個(gè)數(shù)據(jù)集上進(jìn)行統(tǒng)計(jì), 得出各自的平均誤差.

對(duì)于經(jīng)典算法, 計(jì)算誤差值時(shí)選擇3×3單應(yīng)性矩陣比4×2單應(yīng)性矩陣更方便. 因此為便于對(duì)比, 在計(jì)算誤差值時(shí), 先將模型估計(jì)值與真實(shí)值都轉(zhuǎn)換為3×3單應(yīng)性矩陣形式再計(jì)算歐氏距離. 這樣可以更直觀地對(duì)兩種方法進(jìn)行比較. 通過以3×3單應(yīng)性矩陣的歐氏距離作為誤差, 對(duì)整個(gè)PASCAL VOC數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)后可得: 模型估計(jì)的平均誤差為61.060 4, 經(jīng)典SIFT算法的平均誤差為75.111 5. 因此, 本文模型的效果更好.

模型訓(xùn)練完畢后, 需要檢驗(yàn)?zāi)Ｐ蛯?duì)圖像的處理效果. 由于模型最終完成了圖像配準(zhǔn)與幾何變換兩個(gè)步驟, 因此不但可以通過誤差值進(jìn)行評(píng)價(jià), 還可以直接從視覺效果上進(jìn)行對(duì)比觀察. 為驗(yàn)證模型對(duì)不同圖像的適用能力, 選用不同于訓(xùn)練數(shù)據(jù)集的其他數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).

選取dogs-vs-cats數(shù)據(jù)集進(jìn)行檢驗(yàn). 從數(shù)據(jù)集中隨機(jī)抽取一幅圖片, 并隨機(jī)生成一個(gè)單應(yīng)性矩陣H以對(duì)其做幾何變換, 組成一對(duì)圖像. 分別用CNN模型與傳統(tǒng)SIFT方法計(jì)算這對(duì)匹配圖像的幾何變換參數(shù), 即單應(yīng)性矩陣. 將CNN模型得到的單應(yīng)性矩陣記為Hcnn, 將傳統(tǒng)SIFT算法得到的單應(yīng)性矩陣記為Hsift. 不同算法在dogs-vs-cats數(shù)據(jù)集上的幾何變換效果如圖5所示, 其中： 圖5(A)為隨機(jī)抽取的原始圖像, 其中方框部分即本文隨機(jī)選定的區(qū)域, 隨機(jī)移動(dòng)它的4個(gè)角點(diǎn)可得真實(shí)單應(yīng)性矩陣HGT; 圖5(B)為通過真實(shí)單應(yīng)性矩陣HGT對(duì)原始圖像選定區(qū)域做幾何變換后的效果, 它使原圖發(fā)生了扭曲; 圖5(C)為用CNN模型對(duì)圖像對(duì)做匹配, 預(yù)測(cè)得到單應(yīng)性矩陣Hcnn, 通過Hcnn對(duì)原始圖像選定區(qū)域做幾何變換后的效果; 圖5(D)為用SIFT方法對(duì)圖像對(duì)做匹配, 計(jì)算得到單應(yīng)性矩陣Hsift, 通過Hsift對(duì)原始圖像選定區(qū)域做幾何變換后的效果.

圖5 不同算法在dogs-vs-cats數(shù)據(jù)集上的幾何變換效果Fig.5 Geometric transformation effects of different algorithms on dogs-vs-cats data set

由圖5可見, 與圖5(B)的真實(shí)變換效果相比, 本文方法圖像與其更接近. 即使不借助計(jì)算得出的誤差數(shù)值, 僅憑視覺觀察也可見圖5(C)與圖5(B)的差異更小, 兩幅圖方框內(nèi)的區(qū)域基本一致, 而圖5(D)中方框的右下角已經(jīng)擴(kuò)大到了邊界外. 圖5(C)計(jì)算得到的歐氏距離誤差為7.785 3, 圖5(D)圖像計(jì)算得到的歐氏距離誤差為31.290 7, 對(duì)比可知, 本文圖像的誤差更小, 卷積神經(jīng)網(wǎng)絡(luò)模型得到的單應(yīng)性矩陣Hcnn與真實(shí)值HGT更接近.

為實(shí)驗(yàn)的嚴(yán)謹(jǐn)性, 本文在數(shù)據(jù)集上進(jìn)行了多次測(cè)試, 模型預(yù)測(cè)的效果普遍強(qiáng)于傳統(tǒng)SIFT方法. 測(cè)試結(jié)果如圖6～圖8所示. 圖6為在dogs-vs-cats數(shù)據(jù)集上隨機(jī)抽取3張圖像進(jìn)行測(cè)試的結(jié)果. 此外, 為驗(yàn)證模型對(duì)不同圖像的適應(yīng)能力, 分別在COCO2017數(shù)據(jù)集和ImageNet ILSVRC2012數(shù)據(jù)集上進(jìn)行測(cè)試, 每個(gè)數(shù)據(jù)集隨機(jī)選擇3張圖片進(jìn)行測(cè)試, 測(cè)試結(jié)果如圖7和圖8所示.

圖6 不同算法在dogs-vs-cats數(shù)據(jù)集上3次測(cè)試的幾何變換效果Fig.6 Geometric transformation effects of different algorithms are tested three times on dogs-vs-cats data set

由圖6～圖8可見, 相比于SIFT方法, CNN模型實(shí)現(xiàn)的幾何變換效果與真實(shí)幾何變換效果更接近, 其歐氏距離誤差值也普遍小于SIFT方法, 與視覺觀感一致. 在ImageNet ILSVRC2012數(shù)據(jù)集的第三個(gè)示例中, 即圖8的最后一組圖像中觀察到： 此時(shí)SIFT方法所得結(jié)果的誤差在數(shù)值上其實(shí)略小于CNN模型所得結(jié)果的誤差——CNN模型的歐氏距離誤差值為30.535 3, 而SIFT方法的歐氏距離誤差值只有29.375 7, 但在視覺效果上可明顯看出, 仍然是第三列圖像與第二列的真實(shí)結(jié)果更接近, 即CNN模型比SIFT方法得到的效果更好. 這是因?yàn)楸疚氖峭ㄟ^比較3×3形式的單應(yīng)性矩陣的歐氏距離計(jì)算誤差的, 因此需要比較9對(duì)數(shù)字. 當(dāng)通過預(yù)測(cè)或計(jì)算得到的矩陣中的大部分?jǐn)?shù)值與真實(shí)矩陣數(shù)值非常接近, 但有單一或少量數(shù)值偏差較大時(shí), 就會(huì)導(dǎo)致數(shù)值偏差較小而視覺上形狀差異更大的情況. 因此歐氏距離應(yīng)該作為衡量誤差參考的一個(gè)相對(duì)標(biāo)準(zhǔn)而不是絕對(duì)標(biāo)準(zhǔn), 還應(yīng)該對(duì)比視覺效果做綜合性的評(píng)價(jià). 同時(shí)從這種特殊情況也可知, 當(dāng)SIFT方法的歐氏距離誤差接近甚至低于CNN模型時(shí), CNN模型依然能得到更好的綜合效果.

仍以3×3單應(yīng)性矩陣的歐氏距離作為誤差, 分別在dogs-vs-cats測(cè)試集、 COCO2017測(cè)試集和ImageNet ILSVRC2012驗(yàn)證集上統(tǒng)計(jì)兩種方法的平均誤差進(jìn)行對(duì)比. 在dogs-vs-cats測(cè)試集上, CNN模型估計(jì)的平均誤差為63.247 3, 經(jīng)典SIFT算法的平均誤差為74.709 3; 在COCO2017測(cè)試集上, CNN模型估計(jì)的平均誤差為61.690 7, 經(jīng)典SIFT算法的平均誤差為74.957 7; 在ImageNet ILSVRC2012驗(yàn)證集上, CNN模型估計(jì)的平均誤差為61.622 6, 經(jīng)典SIFT算法的平均誤差為75.201 7. 因此, 在這幾個(gè)數(shù)據(jù)集上得到的數(shù)據(jù)較穩(wěn)定, 與之前在訓(xùn)練集上的所得結(jié)果基本一致, 波動(dòng)較小. 說明CNN模型的平均誤差穩(wěn)定小于SIFT方法的平均誤差, CNN模型能更好地實(shí)現(xiàn)圖像配準(zhǔn)和幾何變換, 即對(duì)圖像具有更好的拼接能力.

4.2 衛(wèi)星遙感圖像拼接實(shí)際效果

本文實(shí)驗(yàn)使用卷積神經(jīng)網(wǎng)絡(luò)模型代替?zhèn)鹘y(tǒng)SIFT方法實(shí)現(xiàn)衛(wèi)星遙感圖像拼接, 克服了傳統(tǒng)算法不適用于較大形變的缺點(diǎn). 下面通過一組視角差異較大的衛(wèi)星遙感圖像進(jìn)行測(cè)試, 分別使用這兩種方法對(duì)其進(jìn)行拼接, 對(duì)比它們的拼接效果. 圖9為一組來自不同視角的衛(wèi)星遙感圖像, 分別用CNN模型和傳統(tǒng)SIFT方法對(duì)這兩幅圖像進(jìn)行拼接, 拼接效果如圖10所示. 由圖10可見, CNN模型明顯優(yōu)于傳統(tǒng)SIFT方法. CNN模型實(shí)現(xiàn)了遙感圖像拼接, 而傳統(tǒng)的SIFT方法出現(xiàn)了明顯的錯(cuò)誤, 右側(cè)上方的深色道路與中間扇形建筑物的邊緣都出現(xiàn)了兩次. 實(shí)驗(yàn)中多次選取來自不同視角的衛(wèi)星遙感圖像進(jìn)行拼接測(cè)試, CNN模型均優(yōu)于SIFT方法的圖像拼接能力. 因此, 相比于經(jīng)典方法, 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)外觀變化具有更高的健壯性, 在圖像發(fā)生較大形變的條件下也能取得較好的拼接效果.

綜上所述, 在衛(wèi)星遙感圖像的拼接技術(shù)中, 傳統(tǒng)方法存在不適用于在不同視角下發(fā)生較大形變圖像的缺點(diǎn). 為解決該問題, 本文采用深度學(xué)習(xí)方法代替?zhèn)鹘y(tǒng)方法, 實(shí)現(xiàn)了該條件下的衛(wèi)星遙感圖像拼接. 設(shè)計(jì)了一種端到端的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu), 其可通過訓(xùn)練學(xué)習(xí)圖像間的特征與對(duì)應(yīng)關(guān)系, 實(shí)現(xiàn)圖像配準(zhǔn)并得到單應(yīng)性矩陣, 完成圖像的拼接. 由于模型的訓(xùn)練過程不依賴于傳統(tǒng)方法中對(duì)圖像特征點(diǎn)和描述子的提取, 而是以卷積提取的特征圖作為圖像特征, 因此能較好改善形變較大時(shí)特征提取不準(zhǔn)確的情況. 對(duì)比實(shí)驗(yàn)結(jié)果表明, 卷積神經(jīng)網(wǎng)絡(luò)模型相比于傳統(tǒng)方法對(duì)衛(wèi)星遙感圖像拼接能力更好.