浮瑤瑤 柳 彬 張?jiān)鲚x 郁文賢

(上海交通大學(xué)感知與導(dǎo)航研究所 上海 200240)

基于詞包模型的高分辨率SAR圖像變化檢測(cè)與分析

浮瑤瑤*柳 彬 張?jiān)鲚x 郁文賢

(上海交通大學(xué)感知與導(dǎo)航研究所 上海 200240)

該文面向高分辨率 SAR圖像解譯中的變化檢測(cè)問(wèn)題，針對(duì)其研究現(xiàn)狀與難點(diǎn)，重點(diǎn)解決高分辨率 SAR圖像變化檢測(cè)中的語(yǔ)義信息缺失問(wèn)題，提出一種基于詞包模型的變化檢測(cè)與分析的方法。該方法利用詞包模型，對(duì)兩個(gè)時(shí)相的圖像做詞包表征，將視覺(jué)直方圖的差作為變化向量進(jìn)行分析。由于變化向量包含有語(yǔ)義信息，因此可通過(guò)對(duì)其分析，結(jié)合像素級(jí)變化結(jié)果，實(shí)現(xiàn)對(duì)變化區(qū)域的語(yǔ)義分析及感興趣變化類型檢測(cè)。經(jīng)實(shí)驗(yàn)驗(yàn)證，該框架對(duì)高分SAR影像變化語(yǔ)義分析具有應(yīng)用前景。

高分辨率SAR；變化檢測(cè)；語(yǔ)義分析；詞包模型(BoWM)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)能夠提供全天時(shí)、全天候的對(duì)地觀測(cè)遙感信息，因此在軍事偵察、測(cè)繪、海洋監(jiān)視等領(lǐng)域具有非常重要的作用。近些年，隨著SAR影像分辨率的提升，其可供挖掘和利用的影像內(nèi)容信息越來(lái)越豐富[1]。因此針對(duì)高分辨率SAR(簡(jiǎn)稱高分SAR)影像快速準(zhǔn)確、普適性強(qiáng)的解譯技術(shù)亟需發(fā)展。SAR自動(dòng)化解譯研究利用特征提取過(guò)程模擬人感知目標(biāo)的過(guò)程，用機(jī)器學(xué)習(xí)來(lái)模擬人識(shí)別目標(biāo)的過(guò)程[2]，主要領(lǐng)域涉及目標(biāo)檢測(cè)與識(shí)別[3]、圖像分割[4,5]、地物類別數(shù)目估計(jì)及分類[6]、變化檢測(cè)[7]等方面。

SAR圖像變化檢測(cè)是SAR解譯的一個(gè)重要分支，其目的是根據(jù)對(duì)不同時(shí)段的同一目標(biāo)或場(chǎng)景進(jìn)行變化分析，包括判斷目標(biāo)區(qū)域是否變化，確定變化區(qū)域，識(shí)別變化種類等。高分SAR圖像可以展示更為豐富的結(jié)構(gòu)和細(xì)節(jié)信息，因此有效利用數(shù)據(jù)中的變化信息，并用于軍事中戰(zhàn)場(chǎng)局勢(shì)分析、打擊效果評(píng)估與民用中自然災(zāi)害應(yīng)急與災(zāi)后重建等場(chǎng)合具有十分重要的意義。

目前變化檢測(cè)方法可分為像素級(jí)變化檢測(cè)[8](包括幅值域和復(fù)數(shù)域)，特征級(jí)變化檢測(cè)[9]和分類級(jí)的變化檢測(cè)[10]等。然而基于像素和特征的變化檢測(cè)只能得到統(tǒng)計(jì)意義上的變化，無(wú)法得知變化所包含的語(yǔ)義信息；基于分類的變化檢測(cè)是在分類中，由兩幅圖像分別完成語(yǔ)義的間接賦于，在此基礎(chǔ)上進(jìn)行的變化檢測(cè)，因此會(huì)造成一部分信息缺失。目前已經(jīng)有學(xué)者展開(kāi)變化檢測(cè)語(yǔ)義分析的相關(guān)研究，陳克明等人[11]提出半監(jiān)督上下文相關(guān)的高分辨率 SAR圖像變化檢測(cè)分析技術(shù)，利用少量的已標(biāo)注樣本和大量未標(biāo)注樣本初始化高斯過(guò)程分類器，結(jié)合馬爾科夫隨機(jī)場(chǎng)正則化，利用空間上下文信息改進(jìn)后驗(yàn)概率來(lái)實(shí)現(xiàn)變化檢測(cè)場(chǎng)景語(yǔ)義層解譯。

本文針對(duì)傳統(tǒng)變化檢測(cè)結(jié)果中缺少語(yǔ)義信息的問(wèn)題，考慮從詞包模型著手探索相應(yīng)的解決方法?；谝曈X(jué)單詞的詞包模型表示(Bag-of-Words Model, BoWM)算法[12]是目前圖像處理領(lǐng)域中場(chǎng)景表征的主流方法，一些研究人員也將詞包模型成功用于SAR的目標(biāo)檢測(cè)[13]、地物分類[14,15]等解譯工作中，通過(guò)對(duì)圖像場(chǎng)景內(nèi)容進(jìn)行詞包表征，選擇合適的分類器以實(shí)現(xiàn)地物類型的分類、目標(biāo)識(shí)別等工作，同時(shí)證明視覺(jué)單詞的詞頻直方圖(在本文中稱為視覺(jué)直方圖)在SAR場(chǎng)景解譯中對(duì)目標(biāo)和地物具有可靠的表征能力。

基于上述內(nèi)容，本文提出一種基于詞包模型的變化檢測(cè)方法，該方法在傳統(tǒng)像素級(jí)檢測(cè)結(jié)果基礎(chǔ)上，增加對(duì)變化區(qū)域的語(yǔ)義描述。該方法將詞包模型運(yùn)用到變化檢測(cè)框架中，利用高分SAR豐富的結(jié)構(gòu)信息，通過(guò)分析不同時(shí)相圖像視覺(jué)直方圖的變化情況，結(jié)合像素級(jí)變化檢測(cè)結(jié)果，得到區(qū)域的變化語(yǔ)義信息。其整體框架如圖1所示。

該框架的主要流程如下：(1)預(yù)處理，包括圖像配準(zhǔn)和圖像去噪；(2)詞包表征，對(duì)兩個(gè)時(shí)相 SAR圖像進(jìn)行局部特征提取，聚類生成字典；對(duì)兩個(gè)時(shí)相圖像進(jìn)行詞包表征，得到圖像塊的視覺(jué)直方圖；(3)記不同時(shí)相圖像視覺(jué)直方圖的差為變化向量，通過(guò)分析其在字典空間中的變化，結(jié)合像素級(jí)的變化檢測(cè)結(jié)果，對(duì)變化區(qū)域賦于用戶關(guān)心的語(yǔ)義信息。

2 基于詞包模型的高分SAR圖像變化檢測(cè)框架

2.1 預(yù)處理

本文提出框架的預(yù)處理部分主要包括圖像配準(zhǔn)和圖像去噪。

2.1.1 圖像配準(zhǔn)在本文中，目前僅考慮多時(shí)相重軌SAR數(shù)據(jù)的變化檢測(cè)問(wèn)題，通過(guò)地理信息進(jìn)行粗匹配和圖像匹配方法進(jìn)行精細(xì)匹配，能夠?qū)崿F(xiàn)亞像素級(jí)配準(zhǔn)。

圖1 基于詞包模型的變化檢測(cè)流程Fig. 1 Flow chart of change detection based on BoWM

2.1.2 圖像去噪SAR圖像降噪的目的在于盡可能抑制相干斑噪聲的同時(shí)保留圖像的紋理信息和幾何邊緣結(jié)構(gòu)。論文采用Deledalle等人[16]提出的 SAR圖像非局部濾波算法，經(jīng)過(guò)濾波后的結(jié)果圖盡可能保留了圖像結(jié)構(gòu)和細(xì)節(jié)信息，有利于后續(xù)的結(jié)構(gòu)特性表征。

2.2 詞包表征

詞包表征包括3個(gè)部分：局部特征提取，字典生成和圖像詞包表征。

2.2.1 局部特征提取特征提取是將圖像小塊(即單詞)轉(zhuǎn)變?yōu)樘卣骺臻g多維向量的過(guò)程。SAR圖像最小的處理單元通常為一個(gè)小的局部區(qū)域，論文中對(duì)測(cè)試圖像進(jìn)行均勻分塊，根據(jù)實(shí)驗(yàn)中SAR圖像分辨率(空間分辨率在1 m左右)，窗口大小定為16×16，該大小的圖像切片可以體現(xiàn)圖像結(jié)構(gòu)特性，同時(shí)不至于包含過(guò)多復(fù)雜信息。

SIFT特征是文獻(xiàn)[17]提出的一種用于描述和檢測(cè)圖像的局部特征算法，可以表征圖像梯度分布特性。灰度直方圖可以直觀地反映圖像灰度分布特性。論文中對(duì)均勻分塊的 SIFT特征[18]和灰度直方圖特征進(jìn)行級(jí)聯(lián)，將其作為變化檢測(cè)框架中圖像的局部特征描述。

2.2.2 字典生成字典生成過(guò)程是將所有圖像小塊用視覺(jué)單詞表示的過(guò)程，一個(gè)視覺(jué)單詞就是許多相似的圖像小塊的聚類中心。一般通過(guò) K-means[19]聚類訓(xùn)練圖像集上的所有圖像塊的特征生成字典。對(duì)于經(jīng)過(guò)濾波后的多時(shí)相SAR圖像，進(jìn)行局部特征提取，得到特征集合。經(jīng)過(guò)K-means聚類得到K個(gè)聚類中心：，每個(gè)聚類中心都對(duì)應(yīng)字典中的一個(gè)視覺(jué)單詞，V被稱為字典。

2.2.3 圖像詞包表征圖像詞包表征是通過(guò)量化編碼(Vector quantization)統(tǒng)計(jì)兩個(gè)時(shí)相的測(cè)試圖像塊中視覺(jué)單詞出現(xiàn)的頻率，得到視覺(jué)直方圖。具體步驟如下：

(1) 對(duì)測(cè)試圖像塊通過(guò)重疊采樣分塊計(jì)算圖像塊的局部特征，得到特征空間上的特征集，記為X。

其中M指測(cè)試圖像塊中的特征個(gè)數(shù)，D是特征空間維度。

(2) 對(duì)于特征集中的每個(gè)特征xm，用字典中與該特征距離最小的視覺(jué)單詞進(jìn)行表示。

(3) 統(tǒng)計(jì)圖像塊中每個(gè)視覺(jué)單詞出現(xiàn)次數(shù)，得到字典中視覺(jué)單詞的頻率直方圖，即視覺(jué)直方圖。

2.3 基于詞包模型變化檢測(cè)

對(duì)測(cè)試圖像塊進(jìn)行詞包表征，得到兩個(gè)時(shí)相圖像的視覺(jué)直方圖。計(jì)算對(duì)應(yīng)位置兩個(gè)視覺(jué)直方圖的卡方距離，將其作為兩個(gè)圖像塊相異性表征：

其中dist(i)為第i個(gè)位置上兩個(gè)圖像塊視覺(jué)直方圖的距離，hist1和hist2分別為時(shí)相1和時(shí)相2圖像塊的視覺(jué)直方圖。

本文中對(duì)兩個(gè)時(shí)相的 SAR影像數(shù)據(jù)進(jìn)行重疊采樣分塊，采樣窗口為W，滑塊步長(zhǎng)為W/2窗口大小，得到若干個(gè)測(cè)試圖像塊。定義滑塊重疊區(qū)域(W/2 ×W/2)的卡方距離為空間相鄰4個(gè)測(cè)試圖像塊(W×W)卡方距離的均值。以此遍歷所有圖像塊，得到T1和T2的切片級(jí)變化檢測(cè)結(jié)果圖。

此時(shí)，基于詞包模型檢測(cè)可得到切片級(jí)的變化檢測(cè)結(jié)果，然而該精度對(duì)變化檢測(cè)而言是不夠的，因此實(shí)驗(yàn)結(jié)合像素級(jí)變化檢測(cè)結(jié)果，通過(guò)分析視覺(jué)直方圖的變化，對(duì)統(tǒng)計(jì)意義上較為精確的變化區(qū)域進(jìn)行語(yǔ)義分析。詞包模型中變化向量的語(yǔ)義信息是直接從兩個(gè)時(shí)相視覺(jué)直方圖相減獲得，因此可以結(jié)合像素級(jí)變化檢測(cè)的空間精度和詞包模型變化檢測(cè)的語(yǔ)義保留特性，通過(guò)互補(bǔ)來(lái)實(shí)現(xiàn)最終的變化檢測(cè)工作。像素級(jí)變化檢測(cè)方法介紹如下。

2.4 像素級(jí)變化檢測(cè)

論文利用 Nakagami-Rayleigh廣義似然比檢驗(yàn)[16]得到像素級(jí)變化檢測(cè)的差異圖，該方法針對(duì)于SAR圖像提出概率塊比較算子，利用密集比較的方法，可以實(shí)現(xiàn)較好的相似度衡量。

基于Nakagami-Rayleigh分布的高分SAR圖像中有噪的兩個(gè)像素點(diǎn)之間的廣義似然函數(shù)比檢驗(yàn)為：

其中A1,A2為時(shí)相1和時(shí)相2中有噪情況下的像素幅值。

對(duì)于兩個(gè)塊，在獨(dú)立分布的假設(shè)之下，可以推出基于廣義似然函數(shù)比檢驗(yàn)的這兩個(gè)有噪像素塊之間的密集比較算子以衡量這兩個(gè)像素塊中心之間的相異程度：

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)數(shù)據(jù)展示見(jiàn)圖2，影像數(shù)據(jù)為T(mén)erraSAR-X衛(wèi)星的同視向數(shù)據(jù)，拍攝日期分別為2007年12月27日和2011年12月2日；實(shí)際場(chǎng)景為美國(guó)舊金山區(qū)域，本景圖像為單極化，極化方式為 HH，方位向分辨率為1.1 m，距離向分辨率為0.918 m，實(shí)驗(yàn)數(shù)據(jù)取其中2048×2048部分區(qū)域，時(shí)相1的SAR原始數(shù)據(jù)見(jiàn)圖2(a)，時(shí)相2數(shù)據(jù)見(jiàn)圖2(b)。

本文是在統(tǒng)計(jì)意義得到的變化檢測(cè)結(jié)果基礎(chǔ)上，對(duì)變化區(qū)域進(jìn)行語(yǔ)義分析。實(shí)驗(yàn)分為3個(gè)部分：(1)切片級(jí)變化檢測(cè)，將其和像素級(jí)變化檢測(cè)對(duì)比，驗(yàn)證詞包模型用以統(tǒng)計(jì)意義上變化檢測(cè)的可行性；(2)變化區(qū)域的語(yǔ)義分析，該實(shí)驗(yàn)部分通過(guò)分析圖像塊內(nèi)視覺(jué)直方圖的變化，驗(yàn)證變化向量是具有語(yǔ)義信息的；(3)感興趣變化類型檢測(cè)與分析，以結(jié)構(gòu)變化檢測(cè)和特殊語(yǔ)義變化為例，證明詞包模型在語(yǔ)義變化檢測(cè)與分類的可行性和應(yīng)用前景。

3.1 切片級(jí)變化檢測(cè)

利用詞包模型進(jìn)行切片級(jí)變化檢測(cè)，步驟如下：

(1) 對(duì)兩個(gè)時(shí)相的SAR圖像(見(jiàn)圖3(a)，圖3(b), 2048×2048)進(jìn)行重疊采樣分塊計(jì)算局部特征，窗口為16，重疊滑塊步長(zhǎng)為8，得到特征集合；

(2) 利用K-means方法將所有特征聚類生成字典，字典維數(shù)為80；

圖2 兩個(gè)時(shí)相的SAR數(shù)據(jù)展示Fig. 2 Exhibition of SAR images of different temporals

圖3 基于詞包模型變化檢測(cè)結(jié)果整體及部分展示Fig. 3 Exhibition of change detection results for the whole images and test images based on Bag-of-Words Method

(3) 將SAR圖像進(jìn)行重疊采樣分塊得到若干個(gè)測(cè)試圖像塊，窗口取 128，重疊步長(zhǎng)為1/2窗口，對(duì)所有測(cè)試圖像塊進(jìn)行詞包表征，然后利用 2.3節(jié)得到所有重疊區(qū)域塊(64×64)內(nèi)視覺(jué)直方圖的卡方距離，即為變化檢測(cè)結(jié)果圖。

切片級(jí)變化檢測(cè)結(jié)果如圖3(c)所示，像素級(jí)變化檢測(cè)結(jié)果見(jiàn)圖 3(d)，顏色代表變化劇烈程度。對(duì)圖3(a)和圖3(b)的左上角的紅色區(qū)域部分進(jìn)行放大，見(jiàn)圖3(e)，圖3(f)，可明顯看出該位置港口附近設(shè)施、艦船等都發(fā)生了較大變化，對(duì)應(yīng)的切片級(jí)檢測(cè)結(jié)果如圖3(g)所示，像素級(jí)變化檢測(cè)結(jié)果見(jiàn)圖3(h)。

比較切片級(jí)變化檢測(cè)結(jié)果與像素級(jí)變化檢測(cè)結(jié)果，可知利用詞包模型實(shí)現(xiàn)切片級(jí)變化檢測(cè)是可行的。

3.2 變化區(qū)域語(yǔ)義分析

為了驗(yàn)證詞包模型用于變化區(qū)域語(yǔ)義的可行性，本節(jié)進(jìn)行了如下實(shí)驗(yàn)。

實(shí)驗(yàn)內(nèi)容：分析城區(qū)內(nèi)部?jī)蓚€(gè)時(shí)相圖像變化情況

圖4 兩個(gè)時(shí)相的視覺(jué)直方圖比較Fig. 4 Exhibition of visual histogram of different temporal images

實(shí)驗(yàn)數(shù)據(jù)及步驟：圖4(a)和圖4(b)分別為時(shí)相1和時(shí)相2的圖像切片，大小為256×256，場(chǎng)景為建筑區(qū)。如圖4(a)和圖4(b)中所示，將其均勻分為左上、右上、左下與右下4個(gè)切片，分別計(jì)算兩個(gè)時(shí)相各個(gè)位置切片圖像的視覺(jué)直方圖，將對(duì)應(yīng)位置視覺(jué)直方圖相減，記 hist2-hist1為變化向量(change vector)，分別得到4個(gè)區(qū)域的變化向量，如圖4(d)～圖 4(g)所示，其中橫坐標(biāo)為單詞標(biāo)號(hào)，縱坐標(biāo)為概率變化值，為負(fù)表明從時(shí)相1到時(shí)相 2，當(dāng)前單詞出現(xiàn)的概率降低，反之，則升高。

實(shí)驗(yàn)結(jié)果：圖 4(c)為像素級(jí)變化檢測(cè)結(jié)果，圖4(d)～圖4(g)為兩個(gè)時(shí)相圖像4個(gè)切片的變化向量。

像素級(jí)變化檢測(cè)指標(biāo)：檢測(cè)率 PR = 94.13%，召回率RR = 89.74%。

圖5展示了左上切片圖像中，變化向量概率變化較大的單詞集合。從變化向量中可得如下信息：

(1) 左上圖像中10號(hào)，33號(hào)，65號(hào)單詞(見(jiàn)圖5(a)，圖5(b)，圖5(c))的頻率明顯下降；

(2) 時(shí)相2中比例明顯增加的單詞為54號(hào)，63號(hào)，36號(hào)等，按照各單詞增加比例大小進(jìn)行降序排列，見(jiàn)圖5(d)～圖5(k)。

左上圖像塊的變化向量中，出現(xiàn)概率降低的單詞為10號(hào)，33號(hào)，65號(hào)單詞均表示同質(zhì)性區(qū)域，灰度值逐漸增加。10號(hào)單詞灰度最暗，多為水域和陰影，65號(hào)單詞一般出現(xiàn)在灰度較亮的同質(zhì)性區(qū)域，多為平地或公路等。變化向量中概率增加的單詞54號(hào)，63號(hào)，79號(hào)，75號(hào)，40號(hào)，28號(hào)單詞具有較強(qiáng)的邊緣結(jié)構(gòu)信息，36號(hào)，30號(hào)單詞包含有強(qiáng)散射點(diǎn)信息，這些單詞多出現(xiàn)在人工目標(biāo)區(qū)域中。同樣右上切片圖像中，變化向量概率變化較大的單詞集合如圖6所示，同質(zhì)性單詞33號(hào)，65號(hào)單詞比例大幅下降，圖6(a)～圖6(h)中單詞比例增加，其變化類似左上圖像。

由此可知，時(shí)相1到時(shí)相2，圖像的左上和右上部分的同質(zhì)性區(qū)域(陰影，平地等)大大減少，而具有強(qiáng)散射點(diǎn)及人工目標(biāo)信息的單詞呈一定幅度增長(zhǎng)。

左下圖像和右下圖像的變化向量表明，該區(qū)域變化由不同灰度的同質(zhì)性區(qū)域互相替代造成。10號(hào)單詞增加，33號(hào)，65號(hào)單詞減少。表明灰度較亮的同質(zhì)性區(qū)域(平地，公路等)被灰度非常暗的同質(zhì)性區(qū)域(水域，陰影等)取代。

綜上可知，從時(shí)相 1到時(shí)相 2，圖像的上半部分發(fā)生了一部分同質(zhì)性區(qū)域被人工目標(biāo)取代，而下半部分，同質(zhì)性區(qū)域灰度分布整體降低，可能由平地變?yōu)榱怂?。參考google earth歷史數(shù)據(jù)可知，圖像上半部分變化是平地上增加建筑目標(biāo)，下半部分變化是建筑物陰影覆蓋平地區(qū)域。該實(shí)驗(yàn)證明了利用變化向量進(jìn)行語(yǔ)義分析的可行性。

3.3 感興趣變化類型檢測(cè)與分析

基于詞包模型的方法可以實(shí)現(xiàn)感興趣變化類型檢測(cè)，本節(jié)實(shí)驗(yàn)包括結(jié)構(gòu)變化檢測(cè)和特定語(yǔ)義變化檢測(cè)兩個(gè)部分，具體如下。

圖5 左上圖像切片中單詞出現(xiàn)頻率變化較大的圖像塊Fig. 5 Exhibition of words image tile which has significant changes in left-up image’s visual histograms

圖6 右上圖像切片中出現(xiàn)頻率增加的單詞圖像塊Fig. 6 Exhibition of words image tile which has significant increasement in right-up image’s visual histograms

3.3.1 結(jié)構(gòu)變化檢測(cè)與分析利用詞包模型，可以對(duì)SAR圖像進(jìn)行結(jié)構(gòu)變化檢測(cè)。其步驟為：(1)從字典中篩選結(jié)構(gòu)信息單詞，組成感興趣單詞集合；(2)通過(guò)分析視覺(jué)直方圖變化向量中感興趣單詞的頻率變化，得到的切片級(jí)結(jié)構(gòu)變化檢測(cè)結(jié)果；(3)結(jié)合像素級(jí)變化檢測(cè)結(jié)果進(jìn)行聯(lián)合判決，得到像素級(jí)的結(jié)構(gòu)變化檢測(cè)結(jié)果。

實(shí)驗(yàn)數(shù)據(jù)：實(shí)驗(yàn)數(shù)據(jù)采用另外一組圖像，實(shí)際場(chǎng)景為舊金山的SAR影像數(shù)據(jù)，見(jiàn)圖7(a)和圖7(b)。圖像大小為 1600×1600，對(duì)兩個(gè)時(shí)相影像進(jìn)行重疊采樣分塊(窗口80，滑動(dòng)步長(zhǎng)為1/2窗口)，定義滑塊重疊區(qū)域的結(jié)構(gòu)單詞頻率變化值，為空間相鄰 4個(gè)測(cè)試圖像塊(W×W)頻率變化的均值，遍歷整幅圖像，得到切片級(jí)結(jié)構(gòu)變化檢測(cè)結(jié)果，其單位圖像塊大小為 40×40。結(jié)合像素級(jí)檢測(cè)結(jié)果進(jìn)行聯(lián)合判決得到像素級(jí)結(jié)構(gòu)變化檢測(cè)結(jié)果。

實(shí)驗(yàn)結(jié)果如圖7所示，其中圖7(a)和圖7(b)分別為時(shí)相1和時(shí)相2測(cè)試圖像，圖7(c)為切片級(jí)結(jié)構(gòu)變化檢測(cè)差異圖，通過(guò)二值分割即可得到切片級(jí)檢測(cè)結(jié)果，圖7(d)為切片級(jí)檢測(cè)和像素級(jí)檢測(cè)判決得到的像素級(jí)結(jié)構(gòu)變化結(jié)果圖，圖 7(e)為發(fā)生結(jié)構(gòu)變化的真值圖。

根據(jù)像素級(jí)結(jié)構(gòu)變化檢測(cè)結(jié)果圖和像素級(jí)結(jié)構(gòu)變化真值圖，可得如下信息：

圖7 感興趣變化類型的檢測(cè)結(jié)果展示之一Fig. 7 Exhibition of interest change type detection result of test images No. 1

像素級(jí)結(jié)構(gòu)變化檢測(cè)結(jié)果是在統(tǒng)計(jì)意義檢測(cè)結(jié)果的基礎(chǔ)上，聯(lián)合切片級(jí)詞包檢測(cè)結(jié)果得到的。因此最終結(jié)構(gòu)變化的檢測(cè)率等指標(biāo)受兩個(gè)檢測(cè)過(guò)程精度的影響。從實(shí)驗(yàn)結(jié)果來(lái)看，基于詞包模型提取感興趣變化類型，對(duì)于結(jié)構(gòu)信息變化檢測(cè)結(jié)果能夠達(dá)到較高的檢測(cè)率和召回率，同時(shí)存在一定的誤檢。這是由于比較語(yǔ)義單詞出現(xiàn)概率是基于圖像切片進(jìn)行操作的，當(dāng)兩個(gè)圖像切片中某結(jié)構(gòu)信息單詞的出現(xiàn)概率不變而空間位置卻發(fā)生變化時(shí)，會(huì)產(chǎn)生一定的虛警和漏檢。

3.3.2 語(yǔ)義變化檢測(cè)與分析——以艦船目標(biāo)增加和減少為例利用詞包模型，可以對(duì)特定語(yǔ)義內(nèi)容進(jìn)行檢測(cè)，以切片區(qū)域內(nèi)艦船增加和減少兩個(gè)語(yǔ)義變化為例，進(jìn)行實(shí)驗(yàn)分析。具體步驟如下：

(1) 利用詞包模型表征得到兩個(gè)時(shí)相對(duì)應(yīng)切片的視覺(jué)直方圖變化向量(change vector)，已通過(guò)實(shí)驗(yàn)證明變化向量包含有語(yǔ)義信息。將其作為特征向量，可對(duì)圖像中所有的變化向量進(jìn)行分類；

(2) 將艦船減少(增加)部分切片的變化向量標(biāo)記為正樣本，其余為負(fù)樣本。選擇一定數(shù)量的正樣本和負(fù)樣本，采用KNN分類器對(duì)測(cè)試變化向量進(jìn)行分類，將變化類別分為兩類：艦船減少(增加)和其它。

實(shí)驗(yàn)數(shù)據(jù)：實(shí)驗(yàn)數(shù)據(jù)采用圖7中兩個(gè)時(shí)相數(shù)據(jù)，切片大小為80。圖8(a)和圖8(b)圖像大小為160× 160，其為從時(shí)相1到時(shí)相2中，變化類型為艦船減少的正樣本切片(4個(gè))；圖8(d)和圖8(e)圖像大小為80×80，其為從時(shí)相1到時(shí)相2中，變化類型為艦船增加部分正樣本切片；圖 8(c)表示全圖中變化類型為艦船減少的切片級(jí)真值圖，圖 8(f)表示變化類型為船艦增加的切片級(jí)真值圖。

實(shí)驗(yàn)結(jié)果：實(shí)驗(yàn)中選取樣本總數(shù)的20%作為負(fù)樣本，分別選取正樣本總數(shù)的50%到100%(步長(zhǎng)為5%)進(jìn)行訓(xùn)練，針對(duì)每次選定訓(xùn)練樣本進(jìn)行10次分類實(shí)驗(yàn)。為了綜合考慮檢測(cè)率(PR)和召回率(RR)的優(yōu)劣情況，論文采用F-measure[20](F1 score)對(duì)檢測(cè)性能進(jìn)行評(píng)估，其定義為：

F-measure值為10次實(shí)驗(yàn)的平均值，并標(biāo)明了實(shí)驗(yàn)結(jié)果的均值和標(biāo)準(zhǔn)差。圖 9(a)為艦船目標(biāo)增加的 F-measure 性能圖，圖 9(b)為艦船目標(biāo)減少的F-measure 性能圖，X坐標(biāo)為正樣本選取的百分比，Y坐標(biāo)為F-measure的值。

圖8 艦船減少和艦船增加兩種語(yǔ)義變化展示Fig. 8 Exhibition of two semantic information change types: ship increase and decrease

圖9艦船減少和艦船增加兩種語(yǔ)義變化檢測(cè)F-measure性能圖Fig. 9 Performance of F-measure of two semantic information change type: ship increase and ship decrease

從圖中可以看出，隨著正樣本的增加，對(duì)于特定的語(yǔ)義變化類型檢測(cè)能夠保證較高的檢測(cè)性能。由于場(chǎng)景中，艦船目標(biāo)增加和減少的正樣本數(shù)目較少，因此當(dāng)正樣本選取超過(guò)一定比例時(shí)，10次實(shí)驗(yàn)做出的結(jié)果差異性會(huì)越來(lái)越小，見(jiàn)圖9(b)。該檢測(cè)結(jié)果可說(shuō)明，對(duì)應(yīng)位置視覺(jué)直方圖之差，即變化向量，是包含語(yǔ)義變化信息，可以根據(jù)該向量做變化分類。

4 結(jié)束語(yǔ)

本文通過(guò)實(shí)驗(yàn)證明了基于詞包模型的變化檢測(cè)框架可用于對(duì)高分 SAR影像的變化檢測(cè)的語(yǔ)義分析，其表明了兩個(gè)時(shí)相對(duì)應(yīng)位置圖像的視覺(jué)直方圖變化向量是包含語(yǔ)義信息的。該變化向量是直接面向變化檢測(cè)賦于語(yǔ)義的，可通過(guò)分析其變化情況，得到變化區(qū)域的語(yǔ)義變化描述及感興趣變化類型檢測(cè)。

未來(lái)工作中可以進(jìn)行更豐富的變化語(yǔ)義分析和更廣泛的性能測(cè)試，并且考慮用稀疏表征的方法代替K-means進(jìn)行字典生成，在此基礎(chǔ)上，利用字典中的單詞極為稀疏的線性表征可以用于生成保存語(yǔ)義的變化向量。

[1] 鄧云凱, 趙鳳軍, 王宇. 星載 SAR技術(shù)的發(fā)展趨勢(shì)及應(yīng)用淺析[J]. 雷達(dá)學(xué)報(bào), 2012, 1(1): 1-10.

Deng Yun-kai, Zhao Feng-jun, and Wang Yu. Brief analysis on the development and appliecation of spaceborne SAR[J].Journal of Radars, 2012, 1(1): 1-10.

[2] 焦李成, 等. 智能 SAR 圖像處理與解譯[M]. 北京: 科學(xué)出版社, 2008: 4-29.

Jiao Li-cheng,et al.. Smart SAR Image Processing and Interpretation[M]. Beijing: Science Press, 2008: 4-29.

[3] 程江華, 高貴, 庫(kù)錫樹(shù), 等. 高分辨率SAR圖像道路交叉口檢測(cè)與識(shí)別新方法[J]. 雷達(dá)學(xué)報(bào), 2012, 1(1): 100-108.

Cheng Jiang-hua, Gao Gui, Ku Xi-shu,et al.. A novel method for detecting and identifying road junctions from high resolution SAR images[J].Journal of Radars, 2012, 1(1): 100-108.

[4] Liu Bin, Wang Huan-yu,et al.. A novel ship detection approach in polarimetric SAR images based on a foreground/ background separation framework[J].Chinese Journal of Electronics, 2013, 22(3): 641-647.

[5] Liu Bin, Wang Huan-yu,et al.. A foreground/background separation framework for interpreting polarimetric SAR images[J].IEEE Geoscience and Remote Sensing Letters, 2011, 8(2): 288-292.

[6] Liu Bin, Hu Hao,et al.. Superpixel-based classification with an adaptive number of classes for polarimetric SAR images[J].IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(2): 907-924.

[7] White R G. Change detection in SAR imagery[J].International Journal of Remote Sensing, 1991, 12(2): 339-360.

[8] 胡巖峰, 劉波, 李峰, 等. 一種基于統(tǒng)計(jì)分析的圖像變化檢測(cè)方法[J]. 光子學(xué)報(bào), 2005, 34(1): 146-149.

Hu Yan-feng, Liu Bo, Li Feng,et al.. An image change detection method based on statistical analysis[J].Acta Photonica Sinica, 2005, 34(1): 146-149.

[9] 陳志鵬, 鄧鵬, 種勁松, 等. 紋理特征在 SAR 圖像變化檢測(cè)中的應(yīng)用[J]. 遙感技術(shù)與應(yīng)用, 2002, 17(3): 162-166.

Chen Zhi-peng, Deng Peng, Chong Jin-song,et al.. Application of texture feature in the SAR image change detection[J].Remote Sensing Technology and Application, 2002, 17(3): 162-166.

[10] 佃袁勇. 基于遙感影像的變化檢測(cè)研究[D]. [碩士論文], 武漢大學(xué), 2005.

Dian Yuan-yong. Research of change detection based on remote sensing image[D]. [Master dissertation], Wuhan University, 2005.

[11] Chen K, Zhou Z, Huo C,et al.. A semisupervised context-sensitive change detection technique via Gaussian process[J].IEEEGeoscience and Remote Sensing Letters, 2013, 10(2): 236-240.

[12] Eric N, Jurie F, and Triggs B. Sampling strategies for bag-of-features image classification[C]. Computer Vision-ECCV 2006, Berlin Heidelberg, 2006: 490-503.

[13] Sun H, Sun X, Wang H,et al.. Automatic target detection in high-resolution remote sensing images using spatial sparse coding bag-of-words model[J].IEEE Geoscience and Remote Sensing Letters, 2012, 9(1): 109-113.

[14] Liu Bin, Zhou Yu-hao,et al.. Context-aware information modeling for HR SAR image scene interpretation[C]. Proceedings of the 32nd IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2012), Munich, Germany, 2012: 6821-6824.

[15] Liu B, Wang H, Wang K,et al.. Scene interpretation for SAR images using supervised topic models[C]. Proceedings of the 31st IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2011), Vancouver, Canada, 2011: 3807-3810.

[16] Deledalle C A, Denis L, and Tupin F. Iterative weighted maximum likelihood denoising with probabilistic patch-based weights[J].IEEE Transactions on Image Processing, 2009, 18(12): 2661-2672.

[17] Lowe D G. Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004, 60(2): 91-100.

[18] 劉碩研, 須德, 馮松鶴, 等. 一種基于上下文語(yǔ)義信息的圖像塊視覺(jué)單詞生成算法[J]. 電子學(xué)報(bào), 2010, 38(5): 1156-1161.

Liu Shuo-yan, Xu De, Feng Song-he,et al.. A new image tile visual words generation algorithm base on context semantic information[J].Acta Electronica Sinica, 2010, 38(5): 1156-1161.

[19] MacQueen J. Some methods for classification and analysis of multivariate observations[C]. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, California, 1967: 281-297.

[20] van Rijsbergen C J. Information Retrieval[M]. Second Edition, London: Butterworths-Heinemann, 1979, Chapter 7.

浮瑤瑤(1989-)，女，生于河南新鄉(xiāng)，上海交通大學(xué)碩士研究生，主要研究方向?yàn)镾AR圖像檢測(cè)識(shí)別。

E-mail: fuyao0427@sjtu.edu.cn

柳 彬(1985-)，男，生于湖南衡陽(yáng)。分別于2007年和2009年在上海交通大學(xué)獲得學(xué)士和碩士學(xué)位。目前在上海交通大學(xué)電子工程系信號(hào)與信息處理專業(yè)攻讀博士學(xué)位。從 2012年 10月到 2013年4月，以訪問(wèn)博士生的身份在法國(guó)巴黎高科國(guó)立高等電信學(xué)校從事聯(lián)合研究，其間指導(dǎo)教師為Florence Tupin教授。研究興趣主要包括合成孔徑雷達(dá)(Synthetic Aperture Radar, SAR)的圖像理解與信息挖掘，特別是SAR和極化SAR圖像的空間特性分析，包括邊緣提取、分割與紋理分析，目標(biāo)的檢測(cè)與識(shí)別，遙感軟件開(kāi)發(fā)和利用圖形處理單元進(jìn)行高性能計(jì)算。

目前擔(dān)任電子學(xué)報(bào)(中英文版)，IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing以及IEEE Transactions on Geoscience and Remote Sensing的審稿人，是IEEE、IEEE地遙協(xié)會(huì)的學(xué)生會(huì)員。E-mail: liubin22810@gmail.com

張?jiān)鲚x(1980-)，男，生于山東省金鄉(xiāng)縣，畢業(yè)于國(guó)防科技大學(xué)，2001年獲得應(yīng)用數(shù)學(xué)學(xué)士學(xué)位，2003年獲得計(jì)算機(jī)數(shù)學(xué)工學(xué)碩士學(xué)位，2008年獲得信息與通信工程博士學(xué)位。2008年到2012年，任國(guó)防科技大學(xué)數(shù)學(xué)與系統(tǒng)科學(xué)系講師。2013年至今，在上海交通大學(xué)電子信息與電氣工程學(xué)院工作。主要研究方向?yàn)槔走_(dá)信號(hào)處理、壓縮感知理論與應(yīng)用。

E-mail: zenghui.zhang@sjtu.edu.cn

郁文賢(1964-)，男，生于上海松江，上海交通大學(xué)教授。中國(guó)第2代衛(wèi)星導(dǎo)航系統(tǒng)重大專項(xiàng)測(cè)試評(píng)估與試驗(yàn)驗(yàn)證專家組專家；高分辨率對(duì)地觀測(cè)系統(tǒng)重大專項(xiàng)專家委員會(huì)地面系統(tǒng)組專家；“十二五”總裝備部衛(wèi)星應(yīng)用技術(shù)專業(yè)組顧問(wèn)；總裝備部上海市“北斗導(dǎo)航與位置服務(wù)”共建重點(diǎn)實(shí)驗(yàn)室主任；上海交通大學(xué)學(xué)術(shù)委員會(huì)委員；雷達(dá)信號(hào)處理國(guó)防科技重點(diǎn)實(shí)驗(yàn)室學(xué)術(shù)委員會(huì)委員；“十一五”國(guó)家863計(jì)劃信息獲取與處理技術(shù)主題第一、二屆專家組組長(zhǎng)；“十一五”總裝備部雷達(dá)探測(cè)技術(shù)專業(yè)組專家；主要研究方向?yàn)橄冗M(jìn)探測(cè)技術(shù)和多維信號(hào)與信息處理，研究?jī)?nèi)容包括新型成像系統(tǒng)、微波圖像處理和解譯、信息融合、目標(biāo)識(shí)別等。

E-mail: wxyu@sjtu.edu.cn

Change Detection and Analysis of High Resolution Synthetic Aperture Radar Images Based on Bag-of-words Model

Fu Yao-yao Liu Bin Zhang Zeng-hui Yu Wen-xian
(Shanghai Jiao Tong University Institute for Sensing and Navigation, Shanghai 200240, China)

This paper discusses the change detection in high-resolution SAR image interpretation. Referring to the unfavorable elements in the change detection and the status quo, this paper focuses on resolving the semantic information deficiency problem in SAR image change detection. A method named change detection base on Bag of Words Model (BoWM) is proposed. By using the BoWM, two visual histograms of two different temporal images are obtained, and the histogram difference, which contains semantic information, is defined as the change vector. By analyzing the change vector and combining it with the statistical change detection method, the semantic analysis and interest change-type detection of the change area can be obtained. Experiments show that the proposed method may be applicable to the semantic analysis of the change area in high-resolution SAR images.

High resolution SAR; Change detection; Semantic analysis; Bag of Words Model (BoWM)

中國(guó)分類號(hào)：TN958

A

2095-283X(2014)01-0101-10

10.3724/SP.J.1300.2014.13134

2013-12-18收到，2014-02-18改回；2014-02-24網(wǎng)絡(luò)優(yōu)先出版

國(guó)家“973”計(jì)劃項(xiàng)目(2010cb731904)和國(guó)家自然科學(xué)基金(61331015)資助課題

*通信作者： 浮瑤瑤 fuyao0427@sjtu.edu.cn