肖樹林，胡長虹 ，高路堯，顏克雄，楊春吉，李洪利

（1. 中國科學院 長春光學精密機械與物理研究所，吉林長春 130033；2. 中國科學院大學，北京 100049）

1 引 言

傳統(tǒng)光譜成像分辨率的改變通過可調(diào)諧濾波器和空間光調(diào)制器實現(xiàn)[1-3]，這些插入器件會導致光譜成像系統(tǒng)結構復雜、體積龐大。此外，棱鏡、光柵、濾波器等窄帶分光器件存在光譜能量利用率低、分光譜段少、光譜圖像畸變大等問題[4]。導致這些問題的主要原因是傳統(tǒng)光譜成像的光譜均勻采樣機制消耗大量探測器面積或掃描時間以滿足分辨率要求[5]，因此為解決傳統(tǒng)變分辨率光譜成像存在的問題，應從光譜的采樣機制入手。

隨著微納光學與稀疏信號處理理論的發(fā)展，寬帶濾波器（如隨機濾光片、量子點陣列[6]、光子晶體陣列和具有可調(diào)諧帶隙的納米線[7]）光譜成像技術逐漸成熟。寬帶光譜成像原理是將入射光的光譜信息由一組寬帶濾波器進行編碼，在探測器的不同位置探測編碼后的光強響應，然后利用算法重建光譜，其優(yōu)點在于每個像素使用少量的濾光結構實現(xiàn)了較多波長光譜信息的復原[8]，大大提高了光譜的采樣效率與光能利用率。其中，對于具有隨機透過率的寬帶濾光片（隨機濾光片），可以利用成熟的光學薄膜技術，設計成透過率誤差極小的像元級隨機濾光片陣列，通過與探測器集成，極大地縮小了光譜成像系統(tǒng)的體積。隨機濾光片光譜編碼-解碼（編解碼）結構最早由韓國光州科學技術院的J. Oliver 于2013 年提出[9]，J. Oliver 利用隨機濾光片陣列（40×1）對入射光光譜進行編碼，由壓縮感知算法實現(xiàn)了7 倍于窄帶濾光片分辨率的光譜重構，但受限于當時薄膜加工水平，未能將隨機濾光片光譜編解碼結構應用于光譜成像。2019 年，清華大學崔開宇、蔡旭升等人設計了規(guī)模達155 216、400 種類型的像元級可重構寬帶超表面陣列，利用壓縮感知算法復原了由動態(tài)超表面元胞編碼后的光譜，實現(xiàn)最高光譜分辨率可達0.8 nm 的變分辨率光譜成像[10]，但由于隨機超表面設計獨立于重構算法，在組合像元較少時，光譜復原精度較低。2021 年，浙江大學劉旭、郝翔團隊研究了基于深度學習的光譜編解碼技術，并提出了隨機濾光片與重構算法協(xié)同設計的思想，大大提高了重構精度、重構速度與抗噪聲性能[11]，同時也為高精度、低時延變分辨率光譜成像的實現(xiàn)提供了新思路。

本文基于隨機濾光片光譜編解碼框架，介紹壓縮感知和深度學習兩種光譜重構算法及其存在的問題，闡述隨機濾光片與重構算法協(xié)同優(yōu)化原理。以像元級隨機濾光片陣列光譜成像系統(tǒng)為應用平臺，提出基于協(xié)同優(yōu)化方法的像元映射變分辨率光譜成像重構算法，通過多分辨率重構網(wǎng)絡并行訓練，得到2×2 陣列、40 譜段與4×4 陣列、120 譜段的光譜重構網(wǎng)絡。最后輸入光譜圖像驗證集進行仿真驗證。

2 隨機濾光片光譜編解碼

自然事物普遍存在稀疏性[12]，即：不同表達方式描述一個自然事物所需的符號數(shù)量不盡相同，但總存在最小符號數(shù)量的表達方式，且通常這個表達方式所需的符號數(shù)量遠小于直觀表達的符號數(shù)量。隨機濾光片光譜編解碼即利用光譜的稀疏性，使用具有隨機透過率分布的濾光片對入射光譜進行編碼，將連續(xù)的光譜壓縮表示成低維的光強向量，然后通過解碼算法還原成人類能夠直觀理解的光譜向量。理論上光譜能被壓縮的最小維度取決于光譜的稀疏性，但實際工程中由具體需求決定，通常設計者會通過損失一些重構精度以降低算法復雜度。

根據(jù)不同的優(yōu)化思路，目前有壓縮感知和深度學習這兩種重構算法，其中壓縮感知重構算法依靠稀疏降維的方式實現(xiàn)欠定方程求解，利用稀疏解還原光譜向量；深度學習重構算法則依靠欠完備自編碼器的自動特征提取與數(shù)據(jù)生成能力實現(xiàn)光譜的重構。這兩種算法均存在因物理結構與算法獨立設計導致的優(yōu)化問題，而隨機濾光片與光譜重構算法的協(xié)同設計可以很好地解決這個問題。

2.1 壓縮感知光譜重構算法

隨機濾光片組對原始光譜S(λ)進行壓縮編碼，由光強探測器感應編碼后的光強i，然后對探測器光電流進行模-數(shù)轉換（ADC）得到數(shù)字量I，再將I輸入數(shù)字信號處理器（DSP），執(zhí)行壓縮感知算法，完成光譜重構。壓縮感知光譜編解碼原理如圖1（彩圖見期刊電子版）所示。

圖1 壓縮感知光譜編解碼原理Fig. 1 Principle diagram of compressed sensing spectral encoding-decoding

壓縮編碼后的光強大小為

其中，S(λ)的 波長范圍為λ1至λ2(λ1＜λ2)；Tn(λ)表示編號為n的隨機濾光片的透過率，一共有N種隨機濾光片；in為S(λ)由Tn(λ) 編碼后的光強。設i=[i1,i2,···,iN]為編碼光強向量，則由數(shù)據(jù)采集系統(tǒng)得到離散化光強向量I=[I1,I2,···,IN]。根據(jù)壓縮感知理論，對原始光譜S(λ)的編解碼可以表示成以下兩個過程:

A.稀疏表示：

B.信號重構：

壓縮感知算法為了滿足有限等距性質(zhì)（Restricted Isometry Propery,RIP ）條件，要求觀測矩陣T與S的K-稀疏完備正交基 Φ不相關[14-15]。通常T取普適的獨立同分布高斯隨機矩陣，導致隨機濾光片的設計與加工難度增大[16]。為了降低薄膜加工難度，另一種方法是通過隨機生成薄膜厚度設計隨機濾光片組，然后根據(jù)該組濾光片設計重構算法，但這種方法得到的濾光片隨機特性難以控制，設計壓縮感知算法難度較大，而基于深度學習的欠完備自編碼器因其強大的自動特征提取能力可以較好地適用于這種方法。

2.2 深度學習光譜重構算法

深度學習光譜編碼過程與壓縮感知光譜編碼過程相似，兩者的不同點在于重構算法。深度學習光譜編解碼原理如圖2（彩圖見期刊電子版）所示。

圖2 深度學習光譜編解碼原理Fig. 2 Principle diagram of deep learning spectral encoding-decoding

深度學習光譜重構算法的主要目標是訓練得到最優(yōu)的光譜重構網(wǎng)絡。將低維離散化光強向量I輸入重構網(wǎng)絡RECω得 到高維的光譜向量，通過優(yōu)化調(diào)整RECω的參數(shù)使得不斷逼近原始光譜S。其優(yōu)化表達如下：

式中 λ為正則化因子， ω為神經(jīng)網(wǎng)絡參數(shù)，=RECω(I)為 重構光譜，R(ω)為正則項。該式可分為兩項：前一項為重構誤差項，表示與S的擬合程度；后一項R(ω)正則項為神經(jīng)網(wǎng)絡參數(shù)約束項，用于防止重構網(wǎng)絡過擬合，一般采用l2正則化約束，使得 ‖ω‖2≤C(0≤C＜∞)，兩項相加構成損失項，優(yōu)化使得損失項值接近零。優(yōu)化過程如下：首先是正向傳播得到光譜的預測值，然后計算損失值及其對 ω的梯度，根據(jù)該梯度由反向傳播算法更新網(wǎng)絡參數(shù) ω。重復這個過程使得損失值下降接近零，從而實現(xiàn)網(wǎng)絡的最優(yōu)化。

深度學習光譜編解碼實質(zhì)上是一種欠完備自編碼框架。利用隨機濾光片實現(xiàn)光譜的物理編碼，由光譜重構網(wǎng)絡實現(xiàn)光譜的數(shù)字解碼，通過強制設定編碼輸出I的維度（即隨機濾光片的種類N）重構網(wǎng)絡學習光譜數(shù)據(jù)S中的最顯著的特征，以得到光譜數(shù)據(jù)在該編碼維度下的最優(yōu)表示[17]，同時也使得重構網(wǎng)絡具備一定的去噪能力。但光譜重構精度嚴重依賴于隨機濾光片透過率分布（由薄膜材料和厚度決定），導致在確定的編碼維度下難以實現(xiàn)最優(yōu)的光譜編解碼性能。因而如何將隨機濾光片設計與光譜重構網(wǎng)絡訓練相關聯(lián)是解決該問題的重點。

2.3 隨機濾光片與光譜重構算法協(xié)同設計

在基于壓縮感知和深度學習的隨機濾光片光譜編解碼框架中，隨機濾光片和重構算法的設計是獨立進行的。為了高精度地重構原始光譜，這種獨立設計方式往往需要復雜的隨機透過率分布與較多的隨機濾光片種類，導致隨機濾光片設計難度大、光譜采樣效率低，無法充分發(fā)揮隨機濾光片光譜編解碼架構的潛力。為此，浙江大學劉旭、郝翔團隊提出了一種隨機濾光片與光譜重構算法協(xié)同設計方法[11]。

協(xié)同設計方法通過將隨機濾光片透過率計算與光譜重構網(wǎng)絡訓練相結合，實現(xiàn)隨機濾光片與光譜重構網(wǎng)絡的最佳匹配。此外，通過約束隨機濾光片的寬帶透過率，一方面提高了系統(tǒng)光譜能量利用率，另一方面平衡了像元光能量的接收效率，從而提高了光譜成像的信噪比與擴大了動態(tài)范圍。隨機濾光片與光譜重構網(wǎng)絡協(xié)同設計如圖3（彩圖見期刊電子版）所示。

圖3 隨機濾光片與光譜重構網(wǎng)絡協(xié)同設計Fig. 3 Collaborative design of random filter and spectral reconstruction network

協(xié)同設計方法關聯(lián)了光譜重構網(wǎng)絡訓練與濾光片透過率計算過程，將隨機濾光片的結構參數(shù)P[n]=[pn1,pn2,···,pns],n=1,2,···N作為重構網(wǎng)絡的優(yōu)化參數(shù)。計算P[n]對應的隨機濾光片透率T[n]，然后由點積運算得到光譜數(shù)據(jù)S對T[n]的光譜響應光強In[11]，將其輸入重構網(wǎng)絡計算出光譜完成正向傳播，然后根據(jù)損失函數(shù)（均方誤差）計算損失值，再通過損失值梯度反向傳播更新重構網(wǎng)絡參數(shù)，重復這個過程直至損失值收斂接近零。其優(yōu)化表達如下：

其中,P為隨機濾光片結構參數(shù)向量，TF(P)為結構參數(shù)為P的隨機透過率，TF(P)*S為入射光經(jīng)隨機濾光片編碼后的光強，RECω為光譜重構網(wǎng)絡，R用于約束隨機濾光片的結構參數(shù)范圍。

3 像元映射變分辨率光譜成像

由2.2 節(jié)知，深度學習光譜編解碼通過指定編碼維度，由欠完備自編碼器完成該維度下的光譜特征提取與光譜信息重構，因此編碼維度的大小直接影響重構光譜與原始光譜的擬合精度。顯然，編碼維度越高，提取的特征維度越高，重構的光譜也就越精細，對應的分辨率就越高，因而通過設定不同的編碼維度可以實現(xiàn)不同分辨率的光譜復原。像元映射變分辨率光譜重構即利用以上思路，基于像元級隨機濾光片陣列光譜成像系統(tǒng)，結合協(xié)同設計方法實現(xiàn)高精度的變分辨率光譜成像。

3.1 變分辨率光譜重構網(wǎng)絡

本文利用欠完備自編碼器的自動特征提取能力提出了像元映射變分辨率光譜成像，通過將16 種不同種類的隨機濾光片以2×2 陣列（共4 組）和4×4 陣列（共1 組）進行組合以設定不同的編碼維度，然后并行訓練出各個編碼維度下對應分辨率的光譜重構網(wǎng)絡。像元映射變分辨率光譜重構網(wǎng)絡訓練如圖4（彩圖見期刊電子版）所示。

圖4 中為2×2 陣列（編碼維度為4）與4×4 陣列（編碼維度為16）光譜重構網(wǎng)絡并行訓練結構。原始光譜數(shù)據(jù)SORI為光譜圖像數(shù)據(jù)集（由高分辨率成像光譜儀采集）中相鄰4 個像元的光譜數(shù)據(jù)。下面介紹隨機濾光片結構參數(shù)優(yōu)化與兩個分辨率網(wǎng)絡的并行訓練過程。

圖4 像元映射變分辨率光譜重構網(wǎng)絡訓練Fig. 4 Spectral reconstruction network training of pixel mapping variable resolution

(1）2×2 陣列重構網(wǎng)絡訓練過程：每個像元的光譜數(shù)據(jù)由4 類隨機濾光片編碼，4 個像元需4 組隨機濾光片組（共16 種隨機濾光片），將編碼（SORI與T做點積運算）后的4 組光強數(shù)值（共16 個）輸入低分辨率重構網(wǎng)絡RECωLR進行重構，輸出4 組低分辨率重構數(shù)據(jù)LR分別與原始數(shù)據(jù)SORI的 4 組下采樣SLR進行擬合；(2）4×4 陣列重構網(wǎng)絡訓練：根據(jù)空間相鄰像素的光譜相似性，將原始數(shù)據(jù)SORI進行疊加，得到組合像元的光譜數(shù)據(jù)（實際系統(tǒng)也是如此），疊加后的光譜數(shù)據(jù)經(jīng)16 種隨機濾光片編碼，將編碼后的光強數(shù)值（共16 個）輸入高分辨率重構網(wǎng)絡RECωHR，輸出高分辨率光譜數(shù)據(jù)HR與原始數(shù)據(jù)SORI的 疊加或SORI疊加的下采樣SHR進行擬合。

（1）、（2）過程并行執(zhí)行，共用一套隨機濾光片結構參數(shù)，以均方誤差加權和為損失值，計算損失函數(shù)對網(wǎng)絡參數(shù)的梯度，反向傳播調(diào)整網(wǎng)絡參數(shù)和隨機濾光片結構參數(shù)。重復這個過程直至損失值收斂接近零，使得光譜數(shù)據(jù)SORI經(jīng)隨機濾光片編碼后，能被重構網(wǎng)絡以較高的精度解碼復原。像元映射變分辨率光譜重構網(wǎng)絡優(yōu)化表達如下：

式中α1，α2為損失權重，用于調(diào)整重點訓練的網(wǎng)絡。

3.2 隨機濾光片參數(shù)約束

隨機濾光片的結構參數(shù)主要有薄膜層數(shù)與每層薄膜的厚度。本文涉及的隨機濾光片工作在可見光波段，薄膜材料為TiO2與SiO2，層數(shù)為10。將每層薄膜的厚度作為優(yōu)化參數(shù)，同時將每層薄膜厚度約束在合理的工藝范圍之內(nèi)，利用傳輸矩陣法計算給定結構參數(shù)下隨機濾光片的透過率。訓練過程中通過反向傳播算法不斷調(diào)整每一塊隨機濾光片各層薄膜的厚度，使得在該組薄膜厚度下的隨機濾光片透過率對入射光譜的編碼效率與重構精度最高。

此外，光譜成像系統(tǒng)的能量增益由光學系統(tǒng)的F/#、濾光片的透過率、探測器的響應度和重構網(wǎng)絡的放大率決定，前兩者限制了系統(tǒng)的光譜能量收集能力，是光學設計和鍍膜關注的重點，后兩者一定程度上影響系統(tǒng)的動態(tài)范圍。利用隨機濾光片與光譜重構算法協(xié)同設計方法，通過設定合適的薄膜層數(shù)，在訓練過程中加入光譜能量約束，即

從而將隨機濾光片的寬帶透過率控制在較高范圍內(nèi)，進一步提高光譜能量利用率與光譜重構網(wǎng)絡的動態(tài)范圍。

變分辨率光譜重構網(wǎng)絡在整個訓練過程對隨機濾光片的結構參數(shù)與能量利用率進行約束優(yōu)化，使得隨機濾光片組的透過率兼顧各個分辨率下光譜重構精度，在全局上得到最優(yōu)的隨機濾光片光譜響應，但對于單個分辨率網(wǎng)絡卻未必（由α1，α2調(diào)整）。

3.3 像元映射變分辨率光譜成像

前面討論的是成像與光譜采集的基本單元（相當于成像光譜儀的一個像素），要實現(xiàn)全視場的光譜圖像采集，需要通過掃描或者重復排列這些基本單元以歷遍整個視場，下面討論重復排列基本單元形成面陣探測器以采集全視場光譜圖像的方法。

利用光刻工藝，將基本單元所需的隨機濾光片設計成像元大小，以2 維陣列形式排列在玻璃基板上，通過與探測器集成形成面陣光譜成像探測器。像元級隨機濾光片陣列光譜成像系統(tǒng)如圖5（彩圖見期刊電子版）所示。

圖5 像元級隨機濾光片光譜成像Fig. 5 Pixel random filter spectral imaging

圖5 中成像與光譜采集的基本單元為4×4 光譜探測單元。該單元通過在探測器的4×4 像元上分別集成不同透過率、像元大小的隨機濾光片完成對入射光光譜的編碼與編碼光強采集，將4×4光譜探測單元周期性復制便可形成不同規(guī)模的光譜成像探測器。實際制作過程中，根據(jù)探測器規(guī)模與像元大小設計像元級隨機濾光片陣列，在顯微鏡下通過高精度對準操作實現(xiàn)與探測器的集成。

為了實現(xiàn)光譜信息的精確采集，需要根據(jù)探測任務選擇合適的空間-光譜分辨率，然后由變分辨率機構調(diào)整光學系統(tǒng)空間分辨率[18-19]，使得入射同一組隨機濾光片陣列的光來自物方同一區(qū)域。像元級隨機濾光片變分辨率動態(tài)轉換示意如圖6 所示。

圖6 中，4×4 陣列利用16 片隨機濾光片對入射光譜進行采集，光譜分辨率高而空間分辨率低；2×2 陣列利用4 片隨機濾光片對入射光譜進行采集，光譜分辨率低而空間分辨率高。變分辨率光學系統(tǒng)通過改變光學系統(tǒng)分辨率，使得光學成像的最小彌散斑與對應的陣列大小相匹配，從而實現(xiàn)變分辨率成像。

圖6 像元隨機濾光片變分辨率動態(tài)轉換示意Fig. 6 Variable resolution dynamic conversion of a pixel random filter

光譜成像探測器完成光強編碼圖像的采集后，依據(jù)每個4×4 光譜探測單元的一個像元對應一種隨機濾光片（共16 種），對探測器輸出的圖像像素進行分類，得到由16 種隨機濾光片調(diào)制后的圖像I1-I16，將I1-I16輸入對應的光譜重構網(wǎng)絡完成整幅光譜圖像的重構，即

其中為重構光譜，I=[I1,I2,···,I16]，RECω為光譜重構網(wǎng)絡（RECωLR或RECωHR）。

4 實驗仿真

使用i7-10750H CPU 與RTX2060 GPU，通過Windows 系統(tǒng)下Pytorch 神經(jīng)網(wǎng)絡框架完成隨機透過率曲線計算與重構網(wǎng)絡訓練。使用ICVL（Interdisciplinary Computational Vision Laborator）[20]與CAVE。光譜圖像數(shù)據(jù)集，抽取430～470 nm共24 譜段、10 nm 分辨率的光譜圖像，為了平滑訓練網(wǎng)絡輸出[11]，將數(shù)據(jù)集沿光譜維插值至120譜段。

4.1 重構網(wǎng)絡訓練

搭建像元映射變分辨率光譜重構網(wǎng)絡（如圖4所示），將光譜圖像數(shù)據(jù)集輸入光譜重構網(wǎng)絡。其中，SORI為光譜圖像中空間相鄰的2×2 陣列、430 ～670 nm 光譜范圍、120 譜段的光譜數(shù)據(jù)；SLR為SORI的3 倍下采樣，即SLR為2×2 陣列、430～670 nm光譜范圍、40 譜段的光譜數(shù)據(jù)；SHR由SORI的空間像元疊加得到，為1×1 陣列、430～670 nm 光譜范圍、120 譜段的光譜數(shù)據(jù)。選取權重因子比例為α1:α2=1:4，以平衡各個分辨率重構網(wǎng)絡的訓練。訓練500 輪后，訓練與驗證損失值下降至4×10-5，如圖7（彩圖見期刊電子版）所示。

圖7 訓練與驗證損失曲線Fig. 7 Training and verification loss curve

重構網(wǎng)絡輸出LR為2×2 陣列、430～670 nm光譜范圍、40 譜段的光譜數(shù)據(jù)；HR為1×1 陣列430～670 nm 光譜范圍、120 譜段的光譜數(shù)據(jù)。

此外，通過對隨機濾光片進行能量約束，設置C1=0.5，C2=0.7，訓練得到的16 片隨機濾光片光譜透過率曲線T如圖8 所示。

圖8 隨機濾光片透過率曲線Fig. 8 Transmission curves of random filter

其中，每一種隨機濾光片的平均透過率均在0.5～0.7 之間。

4.2 樣本外驗證

樣本外驗證結果如圖9（彩圖見期刊電子版）所示，圖9（a）、9（b）、9（c）為CAVE 樣本外驗證，光譜圖像規(guī)格為512×512/120 譜（插值），圖9（d）、9（e）為ICVL 樣本外驗證，光譜圖像規(guī)格為482×482/120 譜（插值）。為了方便觀察重構結果，從每幅光譜圖像中選取兩點，分別由紅框（實線）和綠框（虛線）標出，GT2×2/GT4×4 為真實的光譜曲線，REC2×2/REC4×4 為重構的光譜曲線。

圖9 樣本外預測結果Fig. 9 Out-sample forecasting results

經(jīng)計算，其中2×2 陣列光譜重構PSNR 達46 dB、重構用時小于709 ms，4×4 陣列光譜重構PSNR達56 dB、重構用時小于457 ms。

4.3 遙感高光譜圖像驗證

圖10（彩圖見期刊電子版）為KSC（Kennedy Space Center）遙感高光譜圖像驗證結果。圖10（a）是KSC 的RGB 遙感圖像；圖10(b)是2×2 陣列重構MSE；圖10(c) 是4×4 陣列重構MSE。可以得出：2×2 陣列重構MSE 小于0.002、每譜段平均重構MSE 小于1.2×10-5、PSNR 達53 dB、用時869 ms，4×4 陣列重構MSE 小于10-5、每譜段平均重構MSE 小于1.5×10-6、PSNR 達64 dB、用時521 ms。

圖10 遙感高光譜圖像驗證結果Fig.10 Remote sensing hyperspectral image verification results

5 結 論

本文論述了隨機濾光片光譜編解碼原理，介紹了壓縮感知與深度學習重構算法的基本原理，闡述了隨機濾光片與重構算法協(xié)同優(yōu)化思想，并受欠完備自編碼器的自動特征提取機制的啟發(fā)的基于協(xié)同優(yōu)化方法的像元映射變分辨率光譜成像重構算法。通過CAVE 與ICVL 數(shù)據(jù)集驗證，2×2 陣列光譜重構PSNR 達46 dB、重構用時小于702 ms，4×4 陣列光譜重構PSNR 達56 dB、重構用時小于430 ms。遙感高光譜圖像2×2 陣列重構MSE 小于0.002、PSNR 達53 dB，4×4 陣列重構MSE 小于1.2×10-5、PSNR 達64 dB，具備精度高、重構速度快等特點。