金 璐， 張盛蘭， 何小海， 楊 紅， 卿粼波

（1 四川大學(xué) 電子信息學(xué)院， 成都 610065； 2 易安信信息技術(shù)研發(fā)（成都）有限公司， 成都 610065）

0 引 言

圖像包含豐富的語(yǔ)義信息，是人類獲取信息的主要來(lái)源之一［1］。 隨著人類對(duì)地球的探測(cè)以及對(duì)高空間分辨率、高時(shí)間分辨率的成像需求，衛(wèi)星遙感技術(shù)也飛速發(fā)展。 目前大部分衛(wèi)星的觀測(cè)對(duì)象是地球，并且會(huì)以一定的周期重復(fù)訪問(wèn)，比如中巴資源衛(wèi)星的重復(fù)周期為26 天，法國(guó)SPOT 衛(wèi)星的重復(fù)周期為26 天等，當(dāng)經(jīng)過(guò)一定的時(shí)間，衛(wèi)星會(huì)重新觀測(cè)之前拍攝的地區(qū)。 由于衛(wèi)星的重復(fù)訪問(wèn)，導(dǎo)致解碼端存儲(chǔ)了很多同一地區(qū)不同時(shí)間的衛(wèi)星圖像。 多時(shí)相圖像和視頻即衛(wèi)星訪問(wèn)間隔不同而生成的不同產(chǎn)物。 這些具有時(shí)間序列變化的圖像給研究人員提供了充足的數(shù)據(jù)進(jìn)行多時(shí)相變化的研究［2］，然而隨之而來(lái)的就是數(shù)據(jù)量的劇增，遙感設(shè)備編碼端與解碼端距離的限制導(dǎo)致未能充分利用多時(shí)相圖像進(jìn)行圖像壓縮，而遙感設(shè)備的嚴(yán)格尺寸限制對(duì)圖像的壓縮和存儲(chǔ)也提出了挑戰(zhàn)。

圖像壓縮一直以來(lái)都是圖像研究的一個(gè)重要領(lǐng)域，普通圖像中存在著大量的數(shù)據(jù)冗余和主觀視覺(jué)冗余，多時(shí)相圖像相對(duì)于普通圖像而言，還存在著時(shí)間冗余。 多視點(diǎn)圖像和多時(shí)相圖像都是對(duì)同一地點(diǎn)拍攝的不同圖像，與多視點(diǎn)圖像相比多時(shí)相圖像具有一定相似性，但不具備不同傳感器對(duì)同一地點(diǎn)拍攝的待壓縮圖像的時(shí)間一致性，對(duì)傳感器沒(méi)有數(shù)量要求，大體示意圖如圖1 所示。 目前，針對(duì)多時(shí)相遙感圖像壓縮的研究較少，而對(duì)于多視點(diǎn)普通圖像壓縮的研究比較成熟。 在多視點(diǎn)圖像壓縮領(lǐng)域，張金雷［3］針對(duì)星載設(shè)備有限的存儲(chǔ)能力提出一種基于行的分布式編碼方案使得傳感器每掃描到一行數(shù)據(jù)便可以及時(shí)地解碼。 Karaca 等學(xué)者［4］提出了將參考圖像利用線性變換和3D-DCT 的方法來(lái)估計(jì)目標(biāo)圖像。 Li 等學(xué)者［5］提出一種自適應(yīng)視差補(bǔ)償?shù)姆桨福沁@種方法需要在編碼端對(duì)2 幅圖像進(jìn)行視差估計(jì)以及塊匹配，此方案會(huì)增加編碼端的復(fù)雜度。 Poolakkachalil 等學(xué)者［6］提出用算術(shù)編碼和哈夫曼編碼分別對(duì)不同視點(diǎn)的圖像進(jìn)行編碼。 所提方法沒(méi)有充分利用視點(diǎn)間的相關(guān)性。 Ahmad 等學(xué)者［7］提出了一種利用碼率分配和運(yùn)動(dòng)搜索以找到最相似參考幀的方法應(yīng)用在多視點(diǎn)視頻編碼中。 文獻(xiàn)［8-10］利用深度學(xué)習(xí)的方法計(jì)算單應(yīng)性矩陣，并將圖像映射到另一視點(diǎn)上得到殘差圖像，對(duì)2 幅圖像進(jìn)行聯(lián)合編碼，基于深度學(xué)習(xí)的方法會(huì)大大增加算法的時(shí)間復(fù)雜度和計(jì)算復(fù)雜度。 以上方法大多是針對(duì)多視點(diǎn)圖像，主流的多視點(diǎn)圖像壓縮方法復(fù)雜度較高，并且很少有針對(duì)多時(shí)相圖像壓縮方面的研究，在數(shù)據(jù)豐富的時(shí)代背景下，極大地浪費(fèi)了資源，因此本文針對(duì)多時(shí)相圖像壓縮技術(shù)進(jìn)行了深入研究。

圖1 示意圖Fig． 1 Sketch map

多時(shí)相衛(wèi)星圖像具有很高的相似度，而且重復(fù)周期越短，圖像相似度越高，在同一地區(qū)不同時(shí)間拍攝的圖像中，通過(guò)考慮冗余性可以獲得更好的壓縮性能，在編碼端資源有限、解碼端資源豐富的遙感圖像壓縮中，充分挖掘已有數(shù)據(jù)和待編碼數(shù)據(jù)的相關(guān)性是唯一突破口，而目前衛(wèi)星對(duì)于多時(shí)相圖像的傳輸采用單獨(dú)編解碼的方式，未能合理利用解碼端的豐富資源，因此，研究一種壓縮性能優(yōu)秀且充分利用解碼端資源的多時(shí)相圖像壓縮方案是很必要的。 分布式編碼是一種有效的針對(duì)編碼端資源有限而解碼端資源豐富的應(yīng)用的解決方案，該理論在1973 年由Slepian 和Wolf［11］提出的，分布式編碼在編碼端允許2 個(gè)信源獨(dú)立編碼，在解碼時(shí)，可以將一個(gè)信源先解碼，然后尋找2 個(gè)信源之間的相關(guān)性，將已解碼的信源作為邊信息輔助另一個(gè)信源解碼，以充分利用2 個(gè)信源之間的冗余。 分布式編碼方案適用于編碼端資源簡(jiǎn)單、解碼端資源豐富的通信應(yīng)用中［12-15］。因此，本文針對(duì)分布式多時(shí)相圖像壓縮進(jìn)行了深入研究，充分利用已有資源，提出了一種基于仿射不變的分布式多時(shí)相圖像壓縮方案。

1 基于仿射不變的分布式多時(shí)相圖像壓縮方案

1．1 整體方案

本文在分布式編碼的基礎(chǔ)上提出了一種基于仿射不變的分布式多時(shí)相圖像壓縮方案，大體框架如圖2 所示。

圖2 整體框架Fig． 2 Overall framework

由于遙感圖像圖像尺寸較大，因此可將圖像以中線為中心分為2 塊，其中一塊作為K塊，另外一塊作為WZ塊。 所提方案主要包含3 個(gè)部分:編碼端、解碼端和基于仿射不變的邊信息生成模塊。 編碼端將K塊和WZ塊分別進(jìn)行簡(jiǎn)單的JPEG2000 編碼和信道編碼；解碼端對(duì)K塊進(jìn)行JPEG2000 解碼，將解碼后的圖像進(jìn)行仿射不變轉(zhuǎn)換生成邊信息以輔助WZ塊解碼；邊信息生成部分將在下一節(jié)中做詳細(xì)論述，在分布式編碼方案中，邊信息和WZ塊越相似，其編碼所需要的碼率就越低，壓縮效果就越好。

1．2 基于仿射不變的邊信息生成

本文提出了一種基于仿射不變的邊信息生成模塊，利用相鄰2 塊圖像相對(duì)位置的一致性，在解碼端對(duì)圖像進(jìn)行配準(zhǔn)、預(yù)測(cè)，從而實(shí)現(xiàn)較好的壓縮效果。基于仿射不變的邊信息生成模塊主要包含3 個(gè)部分:解碼端相似圖像檢索、幾何模型變換求解和色差校正。

1.2.1 解碼端相似圖像檢索

衛(wèi)星在第一次繞地球飛行時(shí)，地面解碼端沒(méi)有相關(guān)遙感圖像可供參考，但當(dāng)衛(wèi)星在第二次或者第n次繞地球飛行時(shí)，解碼端就擁有時(shí)間序列上的一系列遙感圖像，當(dāng)環(huán)繞次數(shù)越多，解碼端可供參考的圖像也就越多，因此在進(jìn)行配準(zhǔn)前，本文利用如下相關(guān)系數(shù)衡量圖像之間的相似度，先對(duì)參考圖像進(jìn)行一次篩選:

其中，f(i，j) 為參考圖像像素值；為參考圖像的像素均值；g(i，j) 為待配準(zhǔn)圖像像素值；為待配準(zhǔn)圖像的像素均值。r越大，相關(guān)性越高，越方便后續(xù)邊信息的生成。

1.2.2 幾何變換模型求解

傳統(tǒng)的多視點(diǎn)圖像壓縮方案直接在編碼端對(duì)其進(jìn)行配準(zhǔn)，或者使用塊搜索的方法對(duì)圖像進(jìn)行視差補(bǔ)償，對(duì)原始圖像直接進(jìn)行配準(zhǔn)當(dāng)然會(huì)使結(jié)果更加準(zhǔn)確，然而也會(huì)增加編碼端的復(fù)雜度，傳感器拍攝的同一幅圖像的相鄰2 塊具有相似的位置變換關(guān)系，并且對(duì)于多時(shí)相圖像而言，待編碼時(shí)相圖像在編碼端，而參考時(shí)相圖像在解碼端，若將參考時(shí)相圖像傳輸?shù)浇獯a端進(jìn)行配準(zhǔn)會(huì)對(duì)編碼端造成壓力，因此本文通過(guò)在解碼端求解相鄰塊的幾何變換參數(shù)應(yīng)用到當(dāng)前塊的幾何變換參數(shù)的方法對(duì)圖像進(jìn)行校正。

圖像配準(zhǔn)是圖像處理領(lǐng)域的一個(gè)重要部分，配準(zhǔn)結(jié)果對(duì)后續(xù)工作有著重要影響。 圖像配準(zhǔn)中將用到如下公式:

其中，I1為參考圖像；I2為待配準(zhǔn)圖像；T(·) 為待配準(zhǔn)圖像和參考圖像之間的幾何映射關(guān)系；f(·) 為待配準(zhǔn)圖像和參考圖像之間的灰度變換函數(shù)。 現(xiàn)有的圖像配準(zhǔn)方法主要包括基于灰度的圖像配準(zhǔn)和基于特征的圖像配準(zhǔn)［16］。 基于灰度的圖像配準(zhǔn)方法不需要對(duì)圖像做預(yù)處理，直接按照?qǐng)D像的灰度值對(duì)圖像進(jìn)行模板匹配，因此對(duì)圖像的灰度值要求較為嚴(yán)格，這種配準(zhǔn)方法計(jì)算量大，并且很容易受到圖像灰度值的影響。 基于特征的圖像配準(zhǔn)方法適用于特征比較明顯的圖像，受2 幅圖像灰度差異影響較小。 多時(shí)相圖像受人流密度、城市規(guī)劃、環(huán)境光照以及一些不可抗因素的影響導(dǎo)致2 幅圖像存在色差，因此基于特征的圖像配準(zhǔn)方法更適用于多時(shí)相圖像配準(zhǔn)。 基于特征的圖像配準(zhǔn)方法主要包括以下步驟:特征提取、特征描述、特征匹配、幾何變換模型參數(shù)求解和坐標(biāo)變換與插值［17］，具體流程如圖3 所示。

圖3 基于特征的圖像配準(zhǔn)Fig． 3 Image registration based on features

求解幾何變換模型參數(shù)即求取2 幅圖像的空間變換關(guān)系，常見(jiàn)的變換模型包括:剛體變換、相似變換、仿射變換、透視變換等。 其中，仿射變換不影響直線的平行線，但是會(huì)改變直線之間的夾角，同時(shí)包含水平和垂直方向的縮放，由于被拍攝物體與相機(jī)相距較遠(yuǎn)，因此可采用仿射變換模型求取變換關(guān)系。仿射變換一共有6 個(gè)自由度，tx和ty為橫向和縱向的平移像素點(diǎn)數(shù)，a11、a12、a21、a22為縮放、旋轉(zhuǎn)參數(shù)。 這里，(x，y) 是待配準(zhǔn)圖像的坐標(biāo)，(u，v) 表示參考圖像的坐標(biāo)，推得的數(shù)學(xué)公式如下:

本文利用同一張圖像的相鄰塊的空間變換關(guān)系相同的關(guān)系，對(duì)第一塊圖像K塊在解碼端尋找最相似圖像K1 并求取單應(yīng)性矩陣后，將結(jié)果應(yīng)用到尋獲的最相似圖像的相鄰塊W1，并將其作為邊信息輔助第一塊圖像的相鄰塊WZ塊解碼的方式將原始復(fù)雜的配準(zhǔn)步驟轉(zhuǎn)移到解碼端。

1.2.3 色差校正

由于多時(shí)相圖像相比于視頻圖像拍攝間隔較長(zhǎng)，不同圖像可能受天氣、光照影響存在一定的色差，因此需要根據(jù)K塊圖像和解碼端檢索出來(lái)的最相似圖像進(jìn)行色差補(bǔ)償。 最小二乘法（Least Sqaure Method，LSM）是線性擬合的一種較好的方法，本文進(jìn)行圖像預(yù)測(cè)系數(shù)計(jì)算時(shí)采取LSM 來(lái)進(jìn)行遙感圖像的色差校正，可按如下公式進(jìn)行計(jì)算:

其中，f（i，j） 為待校正圖像，g（i，j） 為待解碼圖像，由相鄰塊的色差估計(jì)待解碼塊的色差進(jìn)行圖像預(yù)測(cè)生成最終的邊信息。 當(dāng)待配準(zhǔn)圖像結(jié)果配準(zhǔn)后可能會(huì)存在一定偏移，如圖4（a）所示。 原始圖像塊為正方形，當(dāng)經(jīng)過(guò)變換后可能變?yōu)槠叫兴倪呅?，存在一定的錯(cuò)位，部分超出原始?jí)K的圖像像素?zé)o參考像素值，當(dāng)將此作為邊信息時(shí)，會(huì)因存在大量的外點(diǎn)而影響色差校正的結(jié)果，故而為了達(dá)到穩(wěn)定的性能，本文提出一種給待配準(zhǔn)圖像預(yù)留一定容錯(cuò)空間的方式進(jìn)行圖像預(yù)測(cè)，如圖4（b）所示。 圖4 中，綠色部分為原始圖像塊大小，空白部分為預(yù)留容錯(cuò)空間。在對(duì)圖像進(jìn)行預(yù)測(cè)時(shí)，選取中間圖像塊進(jìn)行預(yù)測(cè)（如原始K塊大小為512*512，則在預(yù)測(cè)時(shí)選取中間400*400 大小的圖像塊），以充分利用原始圖像的像素值，避免部分像素點(diǎn)沒(méi)有參考值而造成的損失，從而獲得更好的壓縮效果。

圖4 預(yù)測(cè)塊對(duì)比Fig． 4 Comparison of prediction block

2 實(shí)驗(yàn)結(jié)果分析

2．1 實(shí)驗(yàn)測(cè)試集

為充分驗(yàn)證所提方法的有效性，本文在和主流的多視點(diǎn)圖像進(jìn)行有損壓縮對(duì)比的同時(shí)，也在多時(shí)相圖像上進(jìn)行了無(wú)損壓縮的測(cè)試，測(cè)試圖像有2 組。第一組圖像來(lái)自LIVE 3D 數(shù)據(jù)集，是標(biāo)準(zhǔn)的多視點(diǎn)圖像測(cè)試集，圖像尺寸為640*360；第二組圖像包含2016 年10 月15 日、2016 年12 月20 日以及2017年12 月12 日拍攝的瓜達(dá)爾港場(chǎng)景圖像，2017 年3月2 日、2017 年3 月20 日以及2017 年5 月17 日拍攝的圣地亞哥場(chǎng)景圖像。 測(cè)試圖像如圖5、圖6 所示。 測(cè)試硬件開(kāi)發(fā)環(huán)境為i7-6700K ＠ 4.00 GHz 四核CPU 和16 GB 物理內(nèi)存。

圖5 第一組測(cè)試圖像Fig． 5 Test images of the first group

圖6 第二組測(cè)試圖像Fig． 6 Test images of the second group

2．2 壓縮結(jié)果對(duì)比

在進(jìn)行有損壓縮時(shí)，本文采用了量化和9／7 小波變換的策略，壓縮效果由壓縮比（Compression Rate，CR） 和（Peak Signal to Noise Ratio，PSNR） 來(lái)衡量。 壓縮比越大、峰值信噪比越高，說(shuō)明壓縮效果越好。 本文不僅利用了已知圖像編碼塊的仿射信息，同時(shí)還對(duì)待編碼塊圖像進(jìn)行預(yù)測(cè)，從而更好地提升效果。

第一組圖像壓縮結(jié)果如圖7 所示。 由對(duì)比結(jié)果可以看出，在Im2 中，本文在比文獻(xiàn)［18］提高了0.42的壓縮比的同時(shí)，PSNR的性能也提升了0.88 dB。在Im3 中，本文在和文獻(xiàn)［18］近似的壓縮比的同時(shí)PSNR提升了6.14 dB，本文在利用相鄰塊仿射不變性質(zhì)的同時(shí)也對(duì)待編碼塊進(jìn)行了預(yù)測(cè)，達(dá)到了更加優(yōu)越的性能。 本文所提方法在尺寸較大的圖像中效果更好，由k塊計(jì)算出來(lái)的仿射變換矩陣可以應(yīng)用到剩下圖像中，在實(shí)際的衛(wèi)星圖像中做了無(wú)損壓縮測(cè)試，分布式編碼結(jié)果的優(yōu)劣嚴(yán)重依賴于邊信息質(zhì)量的好壞。圖8展示了本文所用方法生成邊信息的PSNR對(duì)比結(jié)果，圖9 展示了遙感圖像無(wú)損壓縮的碼率結(jié)果對(duì)比。其中，GROUP1～3 為隨機(jī)選取的瓜達(dá)爾港場(chǎng)景測(cè)試結(jié)果，GROUP4～6 為隨機(jī)選取的圣地亞哥場(chǎng)景測(cè)試結(jié)果。

圖7 第一組圖像壓縮結(jié)果Fig． 7 Images compression results of the first group

圖8 邊信息結(jié)果Fig． 8 Side information results

圖9 第二組圖像壓縮Fig． 9 Images compression results of the second group

本文通過(guò)使用相鄰塊的幾何變換一致性，使得配準(zhǔn)后的邊信息質(zhì)量高于原始邊信息，人工配準(zhǔn)剪裁很難精確到像素級(jí)別，通過(guò)sift＋ransac 使邊信息質(zhì)量有所提升，但此時(shí)2 幅圖像的像素值仍然會(huì)有因?yàn)橥饨缫蛩赜绊憣?dǎo)致的差別，再通過(guò)最小二乘法進(jìn)行預(yù)測(cè)使配準(zhǔn)后圖像與待解碼圖像更加相似，邊信息的質(zhì)量也得到了明顯提升。 經(jīng)過(guò)本文所提方案生成的邊信息在上述測(cè)試圖像中比原始邊信息分別提高了2.48 dB、3.16 dB、2.49 dB、4.41 dB、1.07 dB、2.84 dB。由圖9 可以看出，本文在6 組測(cè)試圖像中也實(shí)現(xiàn)了比JPEG2000 更低的碼率，所提方案的碼率分別比JPEG2000 降低了0.29 dpp、0.22 dpp、0.29 dpp、0.06 dpp、0.12 dpp、0.23 bpp。

3 結(jié)束語(yǔ)

本文針對(duì)遙感圖像壓縮中存在的編碼端和解碼端資源不對(duì)稱并且編碼端計(jì)算能力、存儲(chǔ)能力有限的問(wèn)題，利用2 幅圖像相鄰塊相對(duì)位置變化的一致性，提出了一種基于配準(zhǔn)的分布式多時(shí)相圖像壓縮方案，并進(jìn)行了有損和無(wú)損的仿真測(cè)試，實(shí)驗(yàn)結(jié)果證明所提方案在壓縮性能上比JPEG2000 和目前主流方法更有優(yōu)勢(shì)，能充分利用解碼端的資源，在當(dāng)今數(shù)據(jù)大量涌現(xiàn)的時(shí)代具有一定參考價(jià)值，但本文方法的優(yōu)劣很大程度上取決于配準(zhǔn)結(jié)果的好壞，而且2幅多時(shí)相圖像中可能誤檢到運(yùn)動(dòng)物體并將其匹配，下一步可通過(guò)優(yōu)化配準(zhǔn)效果以得到穩(wěn)定的更優(yōu)結(jié)果，在獲取遙感圖像時(shí)可能存在云層遮擋現(xiàn)象，因此若所有解碼端圖像都有云層遮擋則需考慮如何去除云層。