黃 偉，許蒙恩，徐國明,3+，黃勤超

1.中國電子科技集團(tuán)公司 第二十七研究所，鄭州 450047

2.中國人民解放軍陸軍炮兵防空兵學(xué)院，合肥 230031

3.安徽新華學(xué)院 信息工程學(xué)院，合肥 230088

1 引言

高光譜成像技術(shù)融合了成像技術(shù)與光譜技術(shù)，所獲得的圖像包含豐富的光譜信息、空間信息以及輻射信息，具有光譜連續(xù)、圖譜合一的特性，能夠以較高的光譜信息對(duì)地物目標(biāo)進(jìn)行精細(xì)化解析，增強(qiáng)對(duì)地物信息的提取能力[1]。高光譜成像的光譜特性有助于提高許多計(jì)算機(jī)視覺任務(wù)的性能，包括圖像追蹤[2]，目標(biāo)識(shí)別與分類[3]，在遙感領(lǐng)域也起到重要作用。高光譜傳感器在遙感成像中能夠?qū)崟r(shí)獲取研究對(duì)象的空間影像和每個(gè)像元的光譜曲線，可在提供地物空間分布信息的同時(shí)提供豐富的光譜信息，具有更好的地物檢測與分類能力[4]。然而，由于高光譜傳感器的空間分辨率限制和地物的復(fù)雜多樣性，高光譜遙感數(shù)據(jù)的空間分辨率較低[5]。在目標(biāo)識(shí)別、地物分類、環(huán)境變化檢測等高光譜遙感的諸多應(yīng)用中都需要較高空間分辨率的圖像，因此有效提升高光譜圖像的空間分辨率是十分必要的[6]。為解決該問題，有研究者提出過增大感光元件的物理尺寸，使用高分辨率傳感器的簡單解決方案，但是進(jìn)一步降低了到達(dá)傳感器光子的密度[7]。目前采用基于軟件方法的超分辨率（super resolution，SR）技術(shù)是提升高光譜圖像空間分辨率的有效手段。

為了增強(qiáng)高光譜圖像的空間分辨率，通常將高光譜圖像與高分辨率的全色圖像融合，傳統(tǒng)的方法一般是基于投影和替代[8]。但是全色圖像缺乏不同波段的光譜信息，重建后的圖像會(huì)產(chǎn)生光譜信息丟失。Aiazzi等人[9]利用人類視覺對(duì)亮度的敏感性，將高分辨率圖像的亮度分量與高光譜圖像融合，有助于提高圖像的空間信息，但是這種方法也會(huì)產(chǎn)生圖像的光譜失真問題。目前，在基于矩陣分解方法的框架下，將高分辨率的RGB圖像與高光譜圖像融合提升高光譜圖像的分辨率。Kawakami等人[10]用兩個(gè)矩陣分解因子表示每個(gè)圖像，并用兩個(gè)互補(bǔ)因子構(gòu)建所需的圖像。Huang等人[11]利用稀疏矩陣分解方法進(jìn)行圖像融合，在融合過程中使用RGB圖像的下采樣版本，用于遙感圖像的分辨率提升。Wycoff等人[12]通過一種基于交替方向乘子的方法提升光譜圖像的空間分辨率，但是該方法需要融合圖像之間的空間變換先驗(yàn)知識(shí)。Akhtar等人[13]提出一種稀疏空間光譜表示的SR方法，該方法融合高光譜圖像與高分辨率的偽彩色圖像。該方法的重建性能對(duì)算法參數(shù)要求較高，比如圖像被分解成矩陣的尺寸等問題。Lanaras等人[14]以及Chen等人[15]使用一種光譜解混合的方法對(duì)高光譜圖像進(jìn)行SR重建，需要融合圖像之間的光譜分辨率彼此接近，另外在光譜高度混合的情況下重建效果較差。

目前，低光譜分辨率成像系統(tǒng)（例如RGB相機(jī)）通過場景輻射總體量化獲取圖像，雖然失去大部分的光譜信息，但是能夠保存更多的場景空間信息，空間分辨率遠(yuǎn)高于高光譜對(duì)應(yīng)物的分辨率[16]。為此，可以考慮將獲取的高分辨率圖像空間信息與低分辨率的高光譜圖像進(jìn)行融合，提升高光譜圖像的空間分辨率?；谠撍悸?，提出一種高光譜圖像SR方法，通過非參數(shù)貝葉斯稀疏表示將高光譜圖像與高分辨率圖像融合，聯(lián)合利用圖像的空間結(jié)構(gòu)信息以及高光譜圖像的光譜域信息，避免重建圖像的光譜失真問題。該方法首先估計(jì)場景中材料反射光譜的概率分布以及一組伯努利分布；其次，通過貝葉斯字典學(xué)習(xí)得到光譜字典，并根據(jù)高分辨率圖像的頻譜量化進(jìn)行字典變換；然后，利用變換后的字典，通過貝葉斯稀疏編碼策略計(jì)算高分辨率圖像的稀疏編碼矩陣；最后，將貝葉斯學(xué)習(xí)的字典與稀疏編碼矩陣聯(lián)合重建高分辨率的高光譜圖像。

2 高光譜圖像SR問題模型

高光譜圖像SR的目標(biāo)是從獲取的低分辨率高光譜圖像Yh和相應(yīng)的高分辨率圖像Y中，恢復(fù)得到高分辨率的高光譜圖像T，其中Yh∈Rm×n×L，Y∈RM×N×l，T∈RM×N×L，M、m、N和n表示空間維尺寸，L和l表示光譜維數(shù)。由于M?m、N?n、L?l，使得方程求解是個(gè)欠定問題，現(xiàn)考慮將Yh和Y分別作為目標(biāo)圖像T的線性映射，其形式如下：

ψh表示 RM×N×L→Rm×n×L，ψ表示 RM×N×L→RM×N×l。

由高光譜圖像的稀疏性先驗(yàn)信息可知，一幅高光譜圖像中通常只包含少數(shù)不同的材料，并且與整個(gè)圖像相比，每個(gè)像素中通常只含有非常少量的不同光譜，可以通過線性組合光譜字典Φ的原子來稀疏表示Yh。將Yh的像素連接形成二維矩陣形式，可用如下形式表示：

式（2）中，Φ∈RL×|δ|是一個(gè)具有列向量φk的矩陣，φk表示圖像中不同材料的反射光譜，其中k∈δ,δ={1,2,…,K}，|·|表示該集合的基數(shù)；B∈R|δ|×mn表示系數(shù)矩陣。由于一個(gè)圖像場景中通常僅包含幾個(gè)不同光譜的材料，因此|δ|?mn。同理，將Y的像素連接形成二維矩陣形式∈Rl×MN，可得：

式（3）中，∈Rl×|δ|，A∈R|δ|×MN,A表示系數(shù)矩陣。

由于圖像Yh和Y表示相同場景，可以通過一個(gè)變換矩陣γ∈Rl×L進(jìn)行如下表示：

圖像Yh和圖像Y中的像素分別包含Φ和的稀疏表示，因?yàn)榕c整個(gè)圖像相比，一個(gè)像素中通常包含非常少的光譜。此外，|δ|的值可以在不同場景之間發(fā)生變化，取決于場景中不同光譜的材料數(shù)量。下文中，將Φ稱之為字典，為變換字典，字典的列被稱為字典原子，并且系數(shù)矩陣（例如A和B）被稱為稀疏編碼矩陣或相應(yīng)圖像的稀疏碼。

3 超分辨率方法

本文的SR方法可以分為四個(gè)主要階段。首先，通過貝葉斯字典學(xué)習(xí)框架從高光譜圖像中學(xué)習(xí)得到光譜字典；其次，使用兩個(gè)輸入圖像之間的頻譜變換矩陣γ得到變換字典，即=γΦ；然后，變換字典對(duì)高分辨率圖像進(jìn)行稀疏編碼得到A∈R|δ|×MN；最后，利用字典Φ和稀疏編碼矩陣A重建圖像T，即T=ΦA(chǔ)。

3.1 貝葉斯字典學(xué)習(xí)

上述模型中，～表示服從于某一分布，式（7）、式（10）和式（11）中?指的是正態(tài)分布，式（8）和式（9）中Bern和Beta分別指的是Bernoulli分布和Beta分布；此外，zi∈R|δ|是一個(gè)二進(jìn)制向量，它的第K個(gè)分量zik服從Bernoulli分布。Beta先驗(yàn)置于πk上，其中參數(shù)為a0和b0。將zi作為支持向量，si∈R|δ|的每個(gè)分量sik服從正態(tài)分布。

為方便處理，將式（7）字典原子φk的正態(tài)分布中的矩陣Λk0約束為λk0IL，IL表示RL×L中的實(shí)體，λk0∈R是預(yù)設(shè)常數(shù)。式（7）的正態(tài)分布定義在基向量φk上，零向量被用于表示正態(tài)分布的均值參數(shù)μk0。同理，令Λε0=λε0IL，并且正態(tài)分布的均值參數(shù)μs0=0，λs0∈R是預(yù)設(shè)常數(shù)。zi∈R|δ|是一個(gè)二進(jìn)制向量，原式（5）中字典的系數(shù)被約束為二進(jìn)制項(xiàng)。為了放松式（5）中字典系數(shù)βi的二進(jìn)制約束，通過非信息性的伽馬超先驗(yàn)λs0和λε0，使得：

式（12）中，Γ表示伽馬分布，c0、d0、e0、f0分別是參數(shù)。由此形成的非參數(shù)貝葉斯模型是完全共軛的，可以使用Gibbs采樣來對(duì)其進(jìn)行貝葉斯處理，得到最終的采樣方程（13）。將第k個(gè)字典原子φk對(duì)yi的貢獻(xiàn)表示為：

通過以上處理，可以得到用于本方法的Gibbs采樣過程的分析表達(dá)式[18]：

通過上述貝葉斯推理，獲得模型參數(shù)上的后驗(yàn)分布集，其中一個(gè)是字典原子的分布集 ?={?(φk|μk,;二是支持指示向量的分布集?={Bern(πk),k∈δ}，??R。Bern(πk)是所有支持指示向量的第k個(gè)分量，并且 ?i∈{1,2,…,mn}，zik～Bern(πk)。通過計(jì)算得到字典原子的分布集，從中抽取多個(gè)樣本并計(jì)算它們各自的均值來估計(jì)Φ。將字典Φ作為貝葉斯字典學(xué)習(xí)的最終結(jié)果，可以通過=γΦ得到變換字典。

3.2 貝葉斯稀疏編碼

通過貝葉斯字典學(xué)習(xí)方法得到光譜字典Φ，進(jìn)而得到變化字典，可以用來計(jì)算高分辨率圖像Y的稀疏編碼矩陣，并用所得的稀疏編碼矩陣和光譜字典Φ得到目標(biāo)圖像T∈RM×N×L。盡管已經(jīng)存在一些經(jīng)典的稀疏編碼算法，比如正交匹配追蹤算法和基追蹤算法，但是當(dāng)它們與使用Beta過程學(xué)習(xí)得到的光譜字典Φ一起使用時(shí)，重建效果相對(duì)較差。為此，采用一種貝葉斯稀疏編碼方法，可以與使用Beta過程學(xué)習(xí)的光譜字典一起使用。

式（19）中，λk0→∞ 指出λk0≈λk；式（20）中，μk0≈μk。意味著可以從該正態(tài)分布中獲得相同的采樣數(shù)據(jù)，在處理過程中忽略更新字典原子的后驗(yàn)分布，其中第k個(gè)后驗(yàn)分布的樣本是該矩陣的第k列，貝葉斯稀疏編碼可以直接使用變換字典中的原子作為樣本。

（2）根據(jù)與固定字典原子相關(guān)聯(lián)的伯努利分布，對(duì)支持向量zi進(jìn)行采樣。通過支持向量的分量上的分布集={Bern(πk),k∈δ}確定支持向量的分布，使用向量π∈R|δ|，將分布參數(shù)存儲(chǔ)在集合?中。采樣時(shí)直接使用π的第k個(gè)元素作為πk。將上述處理過程納入到Gibbs采樣，可以在字典上較好地稀疏表示，其中；在均方誤差中，稀疏表示y的最佳估計(jì)為=是范圍算子，分別表示期望值和條件期望算子。令y在字典?上的稀疏表示系數(shù)α的估計(jì)值為，可以定義均方誤差（mean square error，MSE）為：

在上述采樣過程中，執(zhí)行Q次得到支持向量zq和y的權(quán)重向量sq，其中q∈(1,2,…,Q)：

（3）根據(jù)以上知識(shí)，重復(fù)執(zhí)行Q次，最終計(jì)算出稀疏編碼矩陣A：

αi作為稀疏編碼矩陣A的列向量，其中i∈{1,2,…,MN}。矩陣Zq和Sq分別表示支持矩陣和權(quán)重矩陣，。最后使用稀疏編碼矩陣A和貝葉斯學(xué)習(xí)的字典Φ得到高分辨率目標(biāo)圖像T：

3.3 超分辨率算法

根據(jù)以上分析，基于貝葉斯稀疏表示的高光譜圖像SR算法總結(jié)如下：

輸入：低分辨率的高光譜圖像Yh。

初始化：設(shè)定各參數(shù)值，a0、b0、c0、d0、e0、f0。

（1）通過貝葉斯字典學(xué)習(xí)，得到場景材料反射光譜的概率分布和一組伯努利分布Bern(πk)。

（2）通過材料反射光譜學(xué)習(xí)得到光譜字典Φ，并根據(jù)高分辨率圖像的頻譜量化通過式（4）進(jìn)行字典變換=γΦ，得到變換字典。

（3）利用變換后的字典，通過式（23）計(jì)算高分辨率圖像Y的稀疏編碼矩陣。

（4）利用光譜字典Φ和稀疏編碼矩陣A，通過式（24）得到目標(biāo)圖像T，T=ΦA(chǔ)。

輸出：重建的高分辨率目標(biāo)圖像T。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)說明與環(huán)境

為了檢驗(yàn)本文方法的有效性，實(shí)驗(yàn)所采用的圖像包括公共數(shù)據(jù)庫（CAVE database）中的標(biāo)準(zhǔn)測試圖像以及高光譜成像儀器采集的實(shí)際圖像，并與雙三次插值方法、稀疏編碼超分辨率方法[19]（sparse coding super resolution，ScSR）、矩陣因子分解方法[10]（matrix factorization，MF）以及最近提出的耦合光譜解混合方法[14]（coupled spectral unmixing，CSU）等進(jìn)行比較分析。為了評(píng)估本文方法的重建效果，實(shí)驗(yàn)結(jié)果從主觀評(píng)價(jià)和客觀評(píng)價(jià)兩方面進(jìn)行比較分析。主觀評(píng)價(jià)主要從視覺效果比較圖像的去模糊以及細(xì)節(jié)信息重建等情況，客觀評(píng)價(jià)主要從均方根誤差（root mean square error，RMSE）和峰值信噪比（peak signalto-noise ratio，PSNR）進(jìn)行圖像重建的質(zhì)量比較。另外，還對(duì)不同SR方法進(jìn)行重建效率的對(duì)比分析。

本文采集實(shí)驗(yàn)圖像所用的設(shè)備是分孔徑同時(shí)式高光譜偏振成像儀，處理圖像進(jìn)行實(shí)驗(yàn)的運(yùn)行環(huán)境是：Lenovo ideapad700，Intel Core i5-6300HQ，CPU@2.30 GHz，8 GB RAM，MATLAB R2014a。

4.2 實(shí)驗(yàn)結(jié)果與分析

本文所做的實(shí)驗(yàn)包括對(duì)CAVE database中的圖像、高光譜的“教學(xué)樓”圖像，以及實(shí)際采集得到的“卡車”縮比模型圖像的SR重建，實(shí)驗(yàn)圖像的光譜波段范圍是400 nm到700 nm，光譜分辨率為10 nm，共31個(gè)光譜波段。實(shí)驗(yàn)中對(duì)高分辨率參考圖像進(jìn)行高斯模糊以及降采樣處理，得到待處理的低空間分辨率圖像。高斯模糊核的尺寸為8×8，行和列的降采樣因子均為4，稀疏編碼階段Q取31次。分別采用雙三次插值方法、ScSR方法、MF方法、CSU方法以及本文方法對(duì)低分辨率高光譜圖像進(jìn)行SR重建，并對(duì)不同方法的重建效果進(jìn)行比較。限于篇幅，文中僅展示“教學(xué)樓”圖像以及“卡車”圖像的實(shí)驗(yàn)結(jié)果。

Fig.1 Reconstruction effect of different SR methods in“building”image圖1 “教學(xué)樓”圖像不同SR方法重建效果

圖1比較了“教學(xué)樓”圖像在不同SR算法的重建效果，由于高光譜圖像波段眾多，圖1所示為540 nm波段的重建圖像。圖1（a）為待處理的低分辨率圖像；如圖1（b）所示，雙三次插值方法的重建圖像整體比較模糊；圖1（c）為ScSR方法的重建圖像，與雙三次插值相比，提高了圖像的整體清晰度，但是邊緣部分比較平滑；圖1（d）為MF方法的重建圖像，與雙三次插值方法和ScSR方法相比，MF方法提高了圖像的整體銳度，但是圖像中的車輛仍存在平滑模糊問題；圖1（e）為CSU方法的重建圖像，CSU方法相比于MF方法提高了圖像的銳度及清晰度，比如圖像中車輛的輪廓更加清晰，但是圖像左下方仍然比較模糊；圖1（f）為本文方法的重建圖像，與MF方法和CSU方法相比，本文方法更好地提高了圖像邊緣的銳度及整體清晰度，并且恢復(fù)了更多的圖像細(xì)節(jié)信息，包括道路與車輛等。

圖2展示了使用不同SR方法對(duì)實(shí)際采集的“卡車”圖像SR重建的結(jié)果，所示為620 nm波段的圖像。圖2（a）為低分辨率的待處理圖像；圖2（b）為雙三次插值方法的重建圖像，可以看出圖像整體效果仍比較模糊；圖2（c）為ScSR方法的重建圖像，與雙三次插值相比提高了圖像的整體清晰度，但是圖像中“卡車”以及周圍的情況仍然比較平滑；圖2（d）為MF方法的重建圖像，與ScSR方法相比提高了圖像的銳度，但是圖像的邊緣部分仍存在平滑現(xiàn)象；圖2（e）為CSU方法的重建圖像，CSU方法相比于MF方法提高了圖像的銳度及清晰度，恢復(fù)了“卡車”圖像上的細(xì)節(jié)信息，但是車頂?shù)陌咨謽有畔⑷圆磺宄?；圖2（f）為本文方法的重建圖像，與MF方法和CSU方法相比，本文方法更好地提高了圖像邊緣的銳度以及整體的清晰度，并且較好恢復(fù)了“卡車”圖像車頂?shù)陌咨謽有畔ⅰ?/p>

Fig.2 Reconstruction effect of different SR methods in“Truck”image圖2 “卡車”圖像不同SR方法重建效果

從上述不同SR方法的實(shí)驗(yàn)結(jié)果可以看出，本文方法相較于其他四種方法，能夠較好地恢復(fù)低分辨率的高光譜圖像信息。為進(jìn)一步客觀評(píng)價(jià)本文方法的效果，使用均方根誤差（RMSE）以及峰值信噪比（PSNR）作為量化評(píng)估的度量標(biāo)準(zhǔn)，與其他SR方法進(jìn)行比較。RMSE越小、PSNR越大，表明高光譜重建圖像的質(zhì)量越高。實(shí)驗(yàn)結(jié)果如表1所示，其中粗體標(biāo)記的數(shù)值表示相應(yīng)評(píng)價(jià)指標(biāo)下具有最優(yōu)效果：

式（25）中，T和?分別表示真實(shí)圖像和重建后恢復(fù)的圖像，M和N分別表示高光譜圖像的空間維尺寸，L表示光譜維數(shù)。式（26）中，MSE=RMSE2，MAX表示?的最大值。測試圖像如圖3所示，包括CAVE database中的“圖畫”“辣椒”“人臉”“格子”“教學(xué)樓”等圖像，以及實(shí)際采集得到的“卡車”圖像。

Table 1 RMSE andPSNRof different SR methods表1 不同SR方法的RMSE和PSNR

Fig.3 Test images圖3 測試圖像

從表1中不同SR方法的RMSE和PSNR值可以看出：本文方法比雙三次插值方法、ScSR方法、MF方法以及CSU方法重建的圖像具有更小的均方根誤差，更大的峰值信噪比，圖像重建精度更高。

表2是不同SR方法之間的運(yùn)算時(shí)間對(duì)比結(jié)果。從表2可以看出雙三次插值方法的運(yùn)算時(shí)間最快，但是其圖像重建效果比較差。本文方法的運(yùn)算時(shí)間略高于ScSR方法和CSU方法，主要是在稀疏編碼階段對(duì)不同光譜波段的圖像進(jìn)行多次處理。綜合考慮不同SR方法的重建效果以及運(yùn)算效率，本文方法具有更好的重建效果，運(yùn)算效率略高于相似的稀疏表示經(jīng)典方法，而這也是本課題下一步要研究的內(nèi)容。

Table 2 Computing time of different SR methods表2 不同SR方法的運(yùn)算時(shí)間 s

5 結(jié)束語

針對(duì)所獲取的高光譜圖像空間分辨率較低的問題，通過對(duì)高光譜圖像超分辨率方法進(jìn)行研究，提出一種貝葉斯稀疏表示的方法。將高分辨率圖像的空間結(jié)構(gòu)信息與低分辨率的高光譜圖像進(jìn)行融合，提高高光譜圖像的空間分辨率。本文方法能夠聯(lián)合利用圖像的空間結(jié)構(gòu)信息以及高光譜圖像的光譜域信息，避免了傳統(tǒng)稀疏編碼方法重建圖像的光譜失真問題。通過與傳統(tǒng)的超分辨率方法、稀疏表示的經(jīng)典方法、基于矩陣分解的方法以及最近提出的耦合光譜解混合方法進(jìn)行實(shí)驗(yàn)對(duì)比，檢驗(yàn)本文方法的重建效果。實(shí)驗(yàn)結(jié)果分析表明，本文方法在主觀視覺方面，圖像的細(xì)節(jié)信息更加清晰，客觀指標(biāo)上RMSE和PSNR的值也優(yōu)于其他SR方法，證明本文方法能夠有效提升高光譜圖像的空間分辨率。