王子奇，李華旺，3

（1.中國科學(xué)院微小衛(wèi)星創(chuàng)新研究院，上海 201204；2.中國科學(xué)院大學(xué)，北京 100049；3.上?？萍即髮W(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201210）

0 引言

遙感技術(shù)作為重要的對地觀測手段，被廣泛應(yīng)用于環(huán)境保護、城市規(guī)劃、交通導(dǎo)航等領(lǐng)域。近年來，隨著人類對太空的不斷探索，越來越多的高質(zhì)量遙感圖像被采集利用。為在大規(guī)模遙感圖像庫中快速、準(zhǔn)確地檢索到所需圖像，并獲取遙感圖像所示區(qū)域經(jīng)緯度等地理信息，本文提出了一種基于知識圖譜的遙感圖像檢索定位方法，并將此方法應(yīng)用于基于視覺的衛(wèi)星自主導(dǎo)航中。

基于視覺的衛(wèi)星自主導(dǎo)航，是一種將捕獲的遙感圖像與事先存儲的圖像進行匹配，進而計算出衛(wèi)星相對位姿信息的自主導(dǎo)航方法，因其價格低廉、自主性強等優(yōu)點被廣泛關(guān)注。其中，如何快速、準(zhǔn)確地在數(shù)據(jù)庫中檢索出帶有準(zhǔn)確經(jīng)緯度信息圖像的過程，稱為基準(zhǔn)圖像，是基于視覺的衛(wèi)星自主導(dǎo)航方法的重要組成部分。

目前主流的圖像檢索方法是基于內(nèi)容的圖像檢索，主要包括特征提取與相似性度量兩部分。特征提取影響著圖像檢索的精度，而相似性度量則決定了圖像檢索的效率。針對特征提取，TAJERIPOUR 等提出了一種將圖像顏色、紋理和形狀信息融合在一起的新特征；SAYKOL 等結(jié)合了圖像的距離直方圖、角度直方圖、顏色直方圖，提出了一種不僅具有旋轉(zhuǎn)、平移、縮放不變性，而且提取速度也很快的新特征。

近年來，為了提取圖像的更深層特征，越來越多的研究人員將深度學(xué)習(xí)應(yīng)用于圖像檢索領(lǐng)域。KRIZHEVSKY 等設(shè)計了一個很深的自編碼神經(jīng)網(wǎng)絡(luò)，將圖像映射為一個二進制的特征串，圖像檢索的準(zhǔn)確率有所提高；ZHAO 等將深度卷積神經(jīng)網(wǎng)絡(luò)和哈希函數(shù)相結(jié)合共同學(xué)習(xí)特征來表征圖像，該特征蘊含了深層的圖像信息。特征提取的目的是用特征來表征圖像，那么相似性度量就是如何利用這些特征，在數(shù)據(jù)庫中高效地檢索出最相似的數(shù)據(jù)。在海量遙感圖像庫中，通過遍歷即線性檢索方法檢索圖像不能滿足時間需求，哈希學(xué)習(xí)是目前比較常用的解決方案。哈希學(xué)習(xí)會將特征映射成高維的哈希碼，使相似的特征映射后得到的哈希碼仍然相似。根據(jù)哈希碼對圖像進行分組，只在哈希碼相同的組內(nèi)進行檢索，雖然縮小了檢索空間，提高了檢索速度，卻存在哈希碼過長等問題。

針對這些問題，本文提出了一種基于知識圖譜的遙感圖像檢索定位方法。充分利用遙感圖像所蘊含的地理信息代替哈希函數(shù)進行分組。根據(jù)遙感圖像所示區(qū)域的類別（如城市、森林），對遙感圖像進行分組。再根據(jù)各類別的代表（如北京、上海作為城市的代表），對組內(nèi)的圖像進一步分組。最后在每一個子分組中用節(jié)點代表遙感圖像，根據(jù)圖像之間的相似關(guān)系和地理位置在節(jié)點間添加關(guān)系構(gòu)建知識圖譜。在圖中檢索代替線性檢索，進一步縮小檢索空間。將此方法應(yīng)用于衛(wèi)星自主導(dǎo)航領(lǐng)域，不僅加快了衛(wèi)星位姿計算的速度，準(zhǔn)確率也有所提高。

1 研究方法

1.1 遙感圖像特征提取

目前比較成熟的圖像特征包括SIFT、SURF、LBP等特征?？紤]到要將方法應(yīng)用于航天領(lǐng)域還存在星載計算機算力不足、實時性要求較高及所捕獲的遙感圖像存在平移、旋轉(zhuǎn)等問題，決定使用提取速度較快且具有尺度和旋轉(zhuǎn)不變性的SIFT 特征與BOVW 相結(jié)合的方式來表征圖像。

SIFT 特征是一種具有尺度和旋轉(zhuǎn)不變性的局部特征，會在整幅圖像中檢索特征點形成特征描述子來表征圖像。首先，通過下采樣和高斯濾波構(gòu)造圖像DOG 金字塔以保證特征的尺度不變性；其次，在DOG 金字塔中檢索極值點，極值點即為特征點；最后，根據(jù)特征點鄰域像素的梯度方向，尋找特征點的主方向，將主方向旋轉(zhuǎn)到統(tǒng)一方向以保證旋轉(zhuǎn)不變性后，生成特征描述子。由于SIFT 特征是局部特征，所以在圖像中檢索到多少個極值點就會生成多少個特征描述子，特征維度過高。為了加快計算速度，采用BOVW 的方式對特征進行降維。

視覺詞袋模型（BOVW）最早應(yīng)用于自然語言處理和信息檢索領(lǐng)域，是一種用一組單詞來表征文檔或者句子的模型。而將該模型應(yīng)用于圖像領(lǐng)域則變成用一組特征來表征圖像。首先，在所有遙感圖像中提取特征點；其次，對全部特征點進行

K

-means 聚類。根據(jù)特征點到聚類中心的距離對特征空間進行劃分，落在同一范圍的特征點視為同一類別；最后，統(tǒng)計每張圖像各類別特征數(shù)量，歸一化后作為圖像的特征。該特征將用于后續(xù)的知識圖譜搭建和圖像檢索定位工作。

1.2 圖式知識圖譜的構(gòu)建與檢索方法

在基于視覺的衛(wèi)星自主導(dǎo)航方法中進行遙感圖像檢索，是為了快速準(zhǔn)確地獲取衛(wèi)星所在區(qū)域如經(jīng)緯度等地理信息，需要在遙感圖像庫中檢索出與所捕獲的遙感圖像最為相似的、具有準(zhǔn)確經(jīng)緯度信息的基準(zhǔn)圖像。為了加快圖像檢索定位的速度，縮小檢索空間，并且充分利用遙感圖像所蘊含的地理語義信息，本文提出了一種通過對地表區(qū)域進行劃分，將遙感圖像根據(jù)所示區(qū)域分組，縮小檢索空間的遙感圖像檢索定位方法。為此，本文構(gòu)建了一種分層的知識圖譜結(jié)構(gòu)。

根據(jù)地表類別將整片區(qū)域分成包括城市、森林、水域等在內(nèi)的幾大類別，分別對應(yīng)著知識圖譜第1 層節(jié)點；第2 層節(jié)點則進一步細分各類別的區(qū)域范圍，挑選各類別的經(jīng)典代表，以各代表為中心將區(qū)域進行互不重疊的分割。以城市為例，挑選北京、上海等城市，將城市區(qū)域進一步分組，換而言之就是通過知識圖譜前2 層，將整片區(qū)域根據(jù)地表區(qū)域的類別和各類別的代表劃分成互不重疊的小區(qū)域；第3 層節(jié)點則代表上一層節(jié)點所對應(yīng)區(qū)域的遙感圖像。這些遙感圖像大小相同、互不重疊并且覆蓋整片小區(qū)域。每張圖像均對應(yīng)一個節(jié)點，再根據(jù)遙感圖像的相似度和地理位置，在第3 層節(jié)點間建立關(guān)系，形成圖結(jié)構(gòu)，完成知識圖譜的構(gòu)建。

實驗中，我們使用上述SIFT+BOVW 方法對第2 層、第3 層節(jié)點所對應(yīng)的遙感圖像提取特征作為節(jié)點的屬性。計算全部遙感圖像特征均值，以均值作為屬性，在第3 層中添加一個中心節(jié)點作為檢索的起始節(jié)點。對于第3 層中任意2 個節(jié)點，如果所代表的遙感圖像所示區(qū)域在地理位置上相鄰或者圖像間的相似度超過一定閾值，則在節(jié)點間添加關(guān)系。常見的圖像相似度計算方法如下：

式中：

x

、

y

為2 張遙感圖像特征串；

n

為特征串長度；

x、y

為對應(yīng)特征串的第

i

位。

式（1）為歐氏距離公式，式（2）為余弦相似度公式。綜合考慮計算速度與性能，本文使用歐式距離來度量2 張圖像的相似度。構(gòu)成的知識圖譜結(jié)構(gòu)如圖1 所示。

圖1 圖結(jié)構(gòu)知識圖譜示意圖Fig.1 Graph structure of the knowledge graph

圖1 中最內(nèi)層節(jié)點為第1 層節(jié)點，包括山脈、城市等幾大類別。中間層節(jié)點為各類別的經(jīng)典代表。最外層節(jié)點為第3 層節(jié)點，代表上層節(jié)點所示區(qū)域的遙感圖像，其中與上層節(jié)點直接相連的即為中心節(jié)點。

在遙感圖像的檢索過程中，首先對捕獲的大尺度遙感圖像進行語義分割。實驗中使用速度較快的U-Net進行。統(tǒng)計圖像中城市、森林等類別所占比例，按照占比最高的類別進入知識圖譜第2層。提取遙感圖像特征，與第2 層節(jié)點所存儲的特征進行相似度計算，進入最相似的第3 層節(jié)點。將遙感圖像分割成與基準(zhǔn)圖像相同大小的圖像塊后，分別以中心節(jié)點作為起始位置進行檢索。與鄰域內(nèi)的節(jié)點計算相似度并沿著特征最相似的方向移動，直到無法繼續(xù)移動，獲取對應(yīng)的基準(zhǔn)圖。檢索算法偽代碼如算法1。

輸入：feature遙感圖像特征；center中心節(jié)點編號

輸出：number 模板圖像編號

1.3 鏈?zhǔn)街R圖譜的構(gòu)建與檢索方法

本文除了上述的圖式知識圖譜之外，還提出了鏈?zhǔn)街R圖譜用作對照實驗。知識圖譜前2 層構(gòu)建方法與圖式知識圖譜相同，只是將第3 層節(jié)點根據(jù)特征排列成有序鏈而非圖結(jié)構(gòu)。

同樣的對每一張遙感圖像提取特征。通過聚類將圖像特征分類，將圖像分組。根據(jù)分組對特征的每一位計算方差，計算式如下：

方差能反映出一組數(shù)據(jù)與平均值的偏離程度，而且方差越大該位特征所隱含的信息就越多，區(qū)分度也就越高。為了減少特征的匹配次數(shù)，將特征串的每一位特征按照方差從大到小重新排列，為每張圖像形成新的特征串，對所有新形成的特征串降序排列形成鏈?zhǔn)浇Y(jié)構(gòu)，如圖2 所示。

圖2 鏈?zhǔn)浇Y(jié)構(gòu)知識圖譜示意圖Fig.2 Chain structure of the knowledge graph

圖2 所示的知識圖譜與圖1 所示的知識圖譜基本相同，差別在于圖1 中第3 層節(jié)點為圖結(jié)構(gòu)，而圖2 中節(jié)點為鏈?zhǔn)浇Y(jié)構(gòu)。

使用與圖檢索相同的方法進入知識圖譜第3 層后，將特征與幾個聚類中心計算相似度，根據(jù)最相似的中心對特征進行重排。檢索時將特征分段，如128 位特征8 位1 組分為16 組。使用二分查找，在第一組即方差最大的8 位特征中搜索最相似的節(jié)點作為檢索的起始位置。隨后將使用的特征擴展到兩組16 位，在以起始節(jié)點為中心的鄰域內(nèi)檢索最相似的特征串并進行移動。逐步擴展特征位數(shù)，縮小鄰域范圍，重復(fù)上述步驟直到節(jié)點不再移動，或者相似度超過一定的閾值，該節(jié)點即為檢索結(jié)果。詳細的檢索算法偽代碼如算法2。

輸入：feature 遙感圖像特征；centers 聚類中心節(jié)點特征；features 全部節(jié)點特征

輸出：number 模板圖像編號

2 數(shù)據(jù)準(zhǔn)備與評價標(biāo)準(zhǔn)

2.1 原始數(shù)據(jù)

實驗中我們使用谷歌地球提供的16 級空間分辨率為4 m 的遙感圖像瓦片作為原始數(shù)據(jù)。將瓦片組合切割成大小為512×512 的圖像塊。這些互相不重疊并且覆蓋整片檢索區(qū)域的圖像塊將作為檢索的基準(zhǔn)圖。

使用MySQL 存儲遙感圖像，存儲著遙感圖像的編號作為主鍵、原始圖像、經(jīng)緯度等基礎(chǔ)信息。使用Neo4j 存儲知識圖譜，保存了與MySQL 中相同的遙感圖像編號及遙感圖像特征。將2 個數(shù)據(jù)庫結(jié)合使用，在Neo4j 中根據(jù)特征檢索圖像，獲得目標(biāo)圖像編號后，從MySQL 中返回相對應(yīng)的遙感圖像及其經(jīng)緯度等信息。

2.2 測試數(shù)據(jù)

從遙感圖像數(shù)據(jù)集中隨機選取1 000 張與基準(zhǔn)圖像具有相同分辨率和大小的遙感圖像作為測試集。

考慮到在衛(wèi)星自主導(dǎo)航過程中所捕獲的遙感圖像存在平移、旋轉(zhuǎn)、噪聲等情況，分別對測試集圖像進行上述變化，用來檢驗所提出方法的有效性，原始圖像與變換后的圖像如圖3 所示。

圖3 原始數(shù)據(jù)與測試數(shù)據(jù)Fig.3 Original data and test data

2.3 評價標(biāo)準(zhǔn)

本文提出的基于知識圖譜的遙感圖像檢索定位方法，是為了在衛(wèi)星自主導(dǎo)航中準(zhǔn)確、快速地定位遙感圖像所示區(qū)域的地理信息。追求的是捕獲遙感圖像與檢索結(jié)果在地理位置上重疊或相鄰，而不僅僅是檢索出幾張類別相同或者比較相似的遙感圖像，所以傳統(tǒng)的圖像檢索評價標(biāo)準(zhǔn)不適用于本次實驗。

為了檢驗文中方法的有效性，實驗中將圖像的經(jīng)緯度及中心點之間的距離作為評價依據(jù)。由于圖像存在平移、旋轉(zhuǎn)等情況，所以如果測試圖像與檢索結(jié)果所示的區(qū)域在地理位置上相鄰，即兩者中心點的距離小于512 個像素，根據(jù)圖像分辨率，兩者的實際距離在2 km 以內(nèi)，則認為檢索結(jié)果正確。準(zhǔn)確率的計算式如下：

式中：

A

為準(zhǔn)確率；

S

為總樣本數(shù)；

T

為檢索正確的樣本數(shù)。

3 結(jié)果與分析

3.1 實驗1

實驗中，分別使用原始圖像、噪聲圖像、平移圖像、旋轉(zhuǎn)圖像4 個測試集來測試方法的性能，噪聲強度、平移的距離、旋轉(zhuǎn)角度均隨機生成。2 種方法與線性檢索方法在4 種測試集下的準(zhǔn)確率見表1。

表1 檢索準(zhǔn)確率Tab.1 Retrieval accuracy

表中可見，上述變化均會對檢索的準(zhǔn)確率造成影響。線性檢索方法會與全部的圖像特征計算相似度，可以在一定程度上抵抗特征變化。然而測試集中存在一些所示區(qū)域為海洋、沙漠的圖像，這些圖像所提取出的特征不具有差異性。

由于鏈?zhǔn)綑z索只會跟鄰域內(nèi)的節(jié)點計算圖像的相似程度，所以相比與線性檢索方法更容易陷入局部最優(yōu)的狀況，從而導(dǎo)致檢索出錯。而圖檢索中每個節(jié)點與更多的節(jié)點相連，而且相連的節(jié)點只是特征間的歐氏距離更小，特征并不完全相似，在一定程度上解決了局部最優(yōu)的問題，所以檢索的準(zhǔn)確率更高。

測試集中還存在著一些特殊的遙感圖像，這些圖像雖然能提取出特征，但是特征分布與其他圖像差別很大，也就是在節(jié)點間添加相似關(guān)系時，該節(jié)點與任何其他節(jié)點的相似程度都低于閾值導(dǎo)致和任何其他節(jié)點間都不存在相似關(guān)系，以至于檢索錯誤。這也是在檢索原始圖像時，圖檢索方法的準(zhǔn)確率要低于其他2 種方法的原因。

3.2 實驗2

本部分實驗進一步測試了2 種方法在應(yīng)對不同強度噪聲和不同距離位移時圖像檢索的準(zhǔn)確率。由于圖檢索方法考慮了圖像地理位置之間的關(guān)系，如圖4 和圖5 所示，圖檢索方法能更好地對抗由噪聲和位移所造成的特征突變。

圖4 噪聲強度與準(zhǔn)確率曲線圖Fig.4 Curves of noise intensity and accuracy

圖5 位移距離與準(zhǔn)確率曲線圖Fig.5 Curves of displacement distance and accuracy

3.3 實驗3

由于本文中所提出的遙感圖像檢索定位方法將應(yīng)用于衛(wèi)星自主導(dǎo)航領(lǐng)域，所以系統(tǒng)的實時性也是一個重要的因素。同樣對平均數(shù)據(jù)庫讀寫次數(shù)、平均相似度計算次數(shù)、與檢索1 000 張遙感圖像所需消耗的時間這3 種方法進行了統(tǒng)計，見表2。由表2 知，文中的2 種檢索方法均有效減少了檢索遙感圖像所消耗的時間，提高了系統(tǒng)的實時性。

表2 平均檢索時間Tab.2 Average search time

雖然線性檢索方法會一次性讀取數(shù)據(jù)庫中全部的節(jié)點信息，卻需要與全部節(jié)點進行相似度計算，所以檢索速度較慢。而圖檢索方法檢索每張圖像平均需要讀取數(shù)據(jù)庫3.2 次，需要與656 個節(jié)點特征計算相似度。鏈?zhǔn)綑z索方法檢索每張圖像平均需要讀取數(shù)據(jù)庫4.6 次，需要與2 355 個節(jié)點特征計算相似度。雖然數(shù)據(jù)庫讀寫次數(shù)更多，但是相似度計算次數(shù)更少，檢索速度有所提高。除此之外，圖檢索方法只檢索與節(jié)點直接相連的鄰居節(jié)點，相鄰即相似。而在鏈?zhǔn)綑z索方法中，節(jié)點成鏈?zhǔn)脚帕?，為了防止局部最?yōu)的問題，需要在多跳鄰居內(nèi)進行檢索，這會導(dǎo)致檢索時間增加，并且知識圖譜中關(guān)系越多，這種檢索速度的差距就越明顯。因此圖檢索方法的檢索速度要優(yōu)于鏈?zhǔn)綑z索方法。

4 結(jié)束語

本文將知識圖譜的方法運用到了遙感圖像檢索領(lǐng)域，以真實的遙感圖像作為基準(zhǔn)圖，構(gòu)建了鏈?zhǔn)浇Y(jié)構(gòu)、圖結(jié)構(gòu)2 種知識圖譜。采用上述2 種方法，對原始圖像、噪聲圖像、位移圖像和旋轉(zhuǎn)圖像的檢索準(zhǔn)確率與檢索時間進行統(tǒng)計分析，2 種方法均有效地提高了檢索效率。將方法應(yīng)用于基于視覺的衛(wèi)星自主導(dǎo)航中，有效地減少了計算衛(wèi)星位姿時所消耗的時間及計算資源，提高了檢索的準(zhǔn)確率。后續(xù)會將此方法應(yīng)用于其他數(shù)據(jù)集，進一步測試方法的效果。