梁金星, 辛 磊, 程靖堯, 周 景, 羅 航, 3*

1. 武漢紡織大學計算機與人工智能學院, 湖北 武漢 430200

2. 湖北省服裝信息化工程技術研究中心, 湖北 武漢 430200

3. 湖北省文物顏色信息數(shù)字化與虛擬再現(xiàn)工程技術研究中心, 湖北 武漢 430079

引 言

光譜是顏色信息的指紋, 同時也是表征物質物理化學屬性的重要特征之一, 高精度的多光譜圖像獲取對于顏色高保真復制和高精度光譜分析至關重要。 基于光譜的顏色復制技術可以克服光源和設備因素對顏色復制的影響, 利用光譜數(shù)據(jù)可以分析皮膚生理指標水平, 原位無損地分析古代壁畫的顏料成分, 提升物體識別精度[1-4]。 分光光度計、 光譜輻射度計以及光譜相機通過基于單點方式或者低空間分辨率的光學掃描成像方式, 獲得目標物體的單點光譜數(shù)據(jù)或者低空間分辨率多光譜圖像, 雖然能夠較為準確的獲得物體的光譜信息, 但是應用場景和測量對象類型存在較大局限性。

光譜重建技術能夠克服傳統(tǒng)光譜測量設備的應用局限性, 獲取高空間分辨率多光譜圖像。 目前常見光譜重建方法可分為傳統(tǒng)方法[2, 5-10]與深度學習方法[11-17]。 傳統(tǒng)方法主要包括偽逆法、 維納估計法以及主成分分析法等[2, 5-10]。 此類方法基于相機成像模型, 通過求解光譜重建矩陣開展光譜重建。 Shen等較早提出基于自適應局部回歸的光譜重建方法[5], 并對方法進行了優(yōu)化提升[6], 此后提出了一種基于相機響應的多項式和偏最小二乘的光譜估計方法[7], 顯著優(yōu)于Connah等提出的最小二乘與多項式回歸[8]。 Liang等基于單幅RGB圖像進行光譜重建研究, 提出基于局部加權的非線性回歸光譜估計方法[9]。 Xu等提出了一種基于核算法的自訓練光譜重建方法[2], Li等提出一種樣本優(yōu)化方法[10]。

隨著深度學習的發(fā)展, 深度學習被用于光譜重建領域[11-17]。 基于深度學習的重建模型通常基于大量數(shù)據(jù)樣本, 建立RGB圖像與光譜圖像之間的映射關系。 Shi等通過在網(wǎng)絡結構中引入殘差與密集連接結構[11-13], 實現(xiàn)了由RGB圖像到多光譜圖像的高精度重建[14]。 Zhang等提出了基于密集連接的深度學習模型[15], 有效提升了建模效率。 Zhao等提出四級層次回歸網(wǎng)絡[16], 并且網(wǎng)絡中采用殘差密集塊來消除由光譜重建誤差引起的偽影效應, Li等提出一種自適應加權注意力網(wǎng)絡[17], 可以整合網(wǎng)絡通道之間的相關性重新分配通道特征, 有效提升光譜重建精度。

然而, 現(xiàn)有光譜重建方法對曝光水平變化敏感[如圖1(a)所示], 即在某一曝光水平建立的光譜重建矩陣, 無法直接應用于另一曝光水平進行光譜重建, 否則將引起重建光譜曲線形狀特征丟失。 研究對抗曝光變化的光譜重建方法[如圖1(b)所示], 能夠有效應對曝光水平變化對光譜重建結果的影響, 確保重建光譜曲線物理特征的保持, 從而保證對于物質分析識別的準確性。 這對于在光照強度易變和光照不均勻等實際開放環(huán)境下的高精度光譜圖像獲取至關重要, 能夠推動開放場景下的多光譜圖像獲取技術的發(fā)展。

1 模型及方法

1.1 光譜重建模型

相機的成像過程總體可劃分為線性的光學成像與非線性的數(shù)字圖像處理兩個階段[9], 其中相機感光元件將光信號轉化為raw RGB圖像數(shù)據(jù)為線性階段, 然后raw RGB圖像數(shù)據(jù)會經過一系列的非線性數(shù)字圖像處理(如去暗電流、 白平衡校正、 去馬賽克、 顏色空間轉換以及階調調整等), 最終才會輸出成視覺滿意的RGB圖像[8]。 但由于品牌不同相機采用不同的后處理算法, 難以對raw RGB圖像的后處理進行精準建模表達, 因此現(xiàn)有研究多以原始的raw RGB圖像為基礎, 開展光譜重建研究。 具體成像模型如式(1)所示[9], 其中di表示圖像中一個像素點第i個通道的響應值,l(λ)為照明光源的光譜分布,r(λ)為物體表面一個點的光譜反射率,t(λ)為相機鏡頭光學器件的總體透射率,fi(λ)為相機第i個通道濾光片的透射率,s(λ)為相機感光元件光譜靈敏度函數(shù),λ表示波長,ni表示數(shù)碼相機第i個通道的噪聲信號,mi=l(λ)t(λ)fi(λ)s(λ)表示數(shù)碼相機第i個通道的整體光譜靈敏度函數(shù)。

(1)

在對成像系統(tǒng)的噪聲進行校正的前提下, 可將式(1)寫成如式(2)所示矩陣表達形式

d=Mr

(2)

式(2)中,d表示一個像素點的K×1維響應值向量,K為成像系統(tǒng)通道數(shù),M表示包含了l(λ) 、t(λ) 、fi(λ)和s(λ)在內的K×N維系統(tǒng)整體靈敏度函數(shù)矩陣,r表示一個像素點的N×1維光譜向量。 光譜重建方法實質就是實現(xiàn)上述成像模型的反向求解, 具體如式(3)所示, 即實現(xiàn)由多通道響應信號d到對應光譜信息r的計算, 確保對于給定的任意多通道響應值d均能重建得到其對應光譜數(shù)據(jù)r, 其中f(·)代表光譜重建所采用的具體方法。

r=f(d)

(3)

1.2 光譜重建方法

如上所述, 為了使光譜重建方法具有對抗曝光的能力, 以克服現(xiàn)有光譜重建方法對曝光水平變化的敏感性, 以偽逆算法為求解光譜重建模型的基礎, 進一步引入根多項擴展技術和自適應加權策略, 提出一種對抗曝光變化的自適應加權光譜重建方法。 方法的具體實現(xiàn)流程如圖2所示, 對方法的詳細介紹如下。

圖2 對抗曝光變化的自適應加權光譜重建方法流程圖

首先對三通道raw RGB圖像數(shù)據(jù)進行擴展, 不同于傳統(tǒng)方法采用標準多項式擴展的形式[18-19], 采用根多項式對樣本raw RGB圖像數(shù)據(jù)進行擴展[20], 以提升圖像數(shù)據(jù)特征維度。 以三階的根多項式為例, 三通道圖像數(shù)據(jù)的擴展形式如式(4)所示。

(4)

式(4)中,r、g和b分別為樣本的R通道、 G通道和B通道的raw格式響應值,dexp表示一個樣本擴展后的raw格式響應值向量, 上標“T”為轉置符號。 按照式(4)所示形式, 對所有訓練樣本進行根多項式擴展[20], 即可獲得訓練樣本的擴展響應值矩陣D, 結合訓練樣本的光譜矩陣R, 采用式(5)所示方法求解得到光譜重建矩陣Q,

Q=R(DTD+λI)-1DT

(5)

式(5)中,R表示維度為N×S的訓練樣本光譜數(shù)據(jù)矩陣,N為光譜的波段數(shù),S為樣本數(shù)量,D表示維度為K×S訓練樣本raw格式響應值擴展后的矩陣,K為根多項式擴展維度,Q為光譜重建矩陣, 維度為N×K, 上標“T”為轉置符號, 上標“-1”表示求逆運算,λ為正則化約束系數(shù),I為單位矩陣,λI用以對抗光譜重建矩陣求解中的噪聲信息, 防止模型過擬合[8], 同時使得DTD的逆矩陣可求解, 其中λ的值通常取0.001。

獲得訓練樣本的全局光譜重建矩陣Q之后, 對待重建的測試樣本進行全局光譜重建, 即可獲得任何測試樣本的全局重建光譜r, 重建方法如式(6)

r=Qd

(6)

式(6)中,d表示維度為K×1測試樣本raw響應值的根多項式擴展向量,Q為光譜重建矩陣,r為重建得到的測試樣本的光譜數(shù)據(jù)向量, 維度為N×1。 獲得任一測試樣本的重建光譜數(shù)據(jù)r之后, 分別利用式(7)和式(8)所示方法, 對訓練樣本和測試樣本重建光譜進行標準化處理, 在光譜不變的特征空間計算得到相應的標準化光譜數(shù)據(jù)Rn_i和rn。

(7)

(8)

其中,Ri表示訓練樣本中的第i個訓練樣本,u(Ri)為第i個訓練樣本的光譜均值,s(Ri)為第i個訓練樣本的標準差,u(r)為測試樣本的光譜均值,s(r)為測試樣本的標準差,Rn_i為標準化處理之后的第i個訓練樣本光譜向量,rn為標準化處理之后的測試樣本光譜向量。

以上述標準化光譜數(shù)據(jù)Rn_i和rn為基礎, 計算測試樣本與訓練樣本之間的均方根誤差RMSEi, 計算方法如式(9)所示

(9)

式(9)中, sqrt()為開根號函數(shù), sum()為求和函數(shù), “.∧”為求冪算子, RMSEi為測試樣本標準化光譜與第i個訓練樣本標準化光譜之間的均方根誤差,N為光譜的波段數(shù)。 在光譜重建研究中, 通常取光譜范圍為400～700 nm, 采樣間隔為10 nm, 因此N的值為31。 得到每個測試樣本的均方根誤差RMSEi之后, 利用其分別對訓練樣本的光譜矩陣R和raw響應值擴展矩陣D進行加權, 其中加權系數(shù)wi的計算如式(10)所示, 加權矩陣W的計算如式(11)所示, 光譜和擴展響應值的加權方式分布如式(12)和式(13)所示

(10)

(11)

RW=RW

(12)

DW=DW

(13)

其中,α是一個為防止RMSEi為零很小的調整因子, 以防分母出現(xiàn)0值的情況,wi為第i個訓練的樣本的加權系數(shù),W為包括所有訓練樣本加權系數(shù)的加權矩陣,p表示訓練樣本的個數(shù),RW為加權后的訓練樣本光譜矩陣,DW為加權后的訓練樣本擴展響應值矩陣。 依據(jù)經驗,α的值取通常為0.001。 得到訓練樣本的光譜和擴展響應值加權矩陣RW和DW之后, 即可按照式(14)所示形式, 計算任一測試樣本的自適應加權光譜重建矩陣QW

(14)

式(14)中,RW為訓練樣本光譜數(shù)據(jù)矩陣,DW為訓練樣本raw格式響應值擴展后的矩陣,QW為自適應加權光譜重建矩陣。 獲得測試樣本對應的自適應加權光譜重建矩陣之后, 即可按照式(15)計算得到該測試樣本的最終重建光譜

rf=QWd

(15)

式(15)中,d為測試樣本raw響應值的根多項式擴展向量,QW為由式(14)計算得到的自適應加權光譜重建矩陣,rf為測試樣本的最終重建光譜。

2 實驗部分

2.1 樣本

本方法與現(xiàn)有同類方法均以本領域常用的標準色卡以及一組包含784個顏色的礦物顏料樣本為基礎, 測試方法對抗曝光變化的性能, 并將本方法與現(xiàn)有同類方法進行比較。 其中, 標準色卡采用愛色麗ColorChecker SG色卡(簡稱SG)和經典24色ColorChecker Rendition Chart色卡(簡稱CC), 色卡中的顏色樣本為自然界常見的典型物體顏色。 標準色卡和礦物顏料色卡的光譜反射率數(shù)據(jù)均采用愛色麗分光光度計測量i1-pro獲得, 各實驗樣本的色度分布如圖3所示。

圖3 各實驗樣本在CIELAB顏色空間中a-b色度平面的分布

此外, 為測試現(xiàn)有深度學習光譜重建方法抗曝光水平變化的敏感性, 以Zhang[15]、 HSCNN-D[13]、 HSCNN-R[13]、 HRNet[16]以及AWAN[17]等目前幾種光譜重建效果較好的方法為具體研究對象, 以ICVL多光譜圖像數(shù)據(jù)集為訓練樣本[21]、 CAVE多光譜圖像數(shù)據(jù)集作為測試樣本, 開展方法對曝光變化敏感性的測試。 實驗中訓練樣本和測試樣本的具體設置如表1所示。 其中, 樣本的光譜數(shù)據(jù)的范圍均為400～700 nm, 光譜步長均為10 nm。

表1 實驗訓練樣本與測試樣本的設置

2.2 方法

以上述實驗樣本為基礎, 首先對現(xiàn)有光譜重建方法對曝光變化的敏感性進行探討, 然后將本方法與現(xiàn)有同類型方法的光譜重建精度進行對比, 最后探討加權策略對本方法光譜重建精度的影響。 其中, 仿真成像系統(tǒng)采用數(shù)碼相機Nikon D7200光譜靈敏度函數(shù)[如圖4(a)所示]和CIED65標準光源相對光譜功率分布[如圖4(b)所示]構成, 通過對各個通道添加40 dB的高斯白噪聲[22], 以模擬系統(tǒng)的成像噪聲。

圖4 仿真實驗參數(shù)

對于光譜重建方法對曝光變化敏感性的測試, 首先在曝光水平等于1(Exposure×1)的條件下利用訓練樣本構建光譜重建模型, 然后分別在曝光水平等于0.5(Exposure×0.5)、 1(Exposure×1)以及2(Exposure×2)三組測試條件下, 利用建立的光譜重建模型重建測試樣本的光譜反射率, 并將重建結果分別乘以曝光校正系數(shù)2、 1和0.5, 從而計算測試樣本在不同曝光水平下的光譜重建誤差, 以評價光譜重建方法對曝光變化的敏感性, 并完成本方法與同類型方法的光譜重建精度對比, 測試加權策略對本方法光譜重建精度的影響。

2.3 評價指標

(16)

(17)

3 結果與討論

3.1 方法對曝光變化敏感性測試結果分析

表2和表3分別給出了包括本方法在內的傳統(tǒng)機器學習光譜重建方法對曝光變化敏感性的結果。 其中表2為采用標準色卡的測試結果, 表3為采用顏料樣本的測試結果。 表4展示了目前幾種先進的深度學習光譜重建方法對曝光變化敏感性的測試結果。

表2 采用標準色卡測試傳統(tǒng)機器學習光譜重建方法對曝光變化敏感性的結果

表3 采用顏料樣本測試傳統(tǒng)機器學習光譜重建方法對曝光變化敏感性的結果

表4 現(xiàn)有深度學習光譜重建方法對曝光變化敏感性的測試結果

由表4中的實驗結果可知, 現(xiàn)有基于深度學習的光譜重建方法均對曝光水平的變化敏感, 即當模型訓練和模型應用時的曝光水平不一致時, 光譜重建誤差發(fā)生變化。 總體上而言, 僅當模型訓練和應用時的曝光水平一致時, 現(xiàn)有機器學習光譜重建方法才能取得最好的光譜重建精度。 其中, HRNet和AWAN兩種深度學習光譜重建方法總體上展現(xiàn)出更好的光譜重建精度, 顯著優(yōu)于參考文獻[11]和[13]的方法。

3.2 本方法與現(xiàn)有同類方法的性能對比

此外, 依據(jù)表2和表3中的實驗結果不僅可以分析每個方法對曝光變化的敏感性, 同時還可以比較各個方法的光譜重建性能。 除對抗曝光變化的能力之外, 光譜重建精度越好的方法光譜重建總體性能越好。 如圖5所示為CC色卡中的6號樣本在不同光譜重建方法下的重建結果。 其中, 光譜重建模型建立時的曝光水平為1(Exposure×1), 光譜重建模型應用測試時的曝光水平分別為0.5、 1和2, 即圖例中的Exposure×0.5、 Exposure×1和Exposure×2, Ground truth表示真實參考光譜。 “未經曝光校正光譜”為不同測試曝光水平下的初始重建光譜, “經曝光校正光譜”表示重建光譜分別乘以曝光校正系數(shù)2、 1和0.5的結果, 表2、 表3和表4中的重建誤差均是采用經曝光校正光譜計算獲得。

圖5 CC色卡中的6號樣本在不同方法和曝光水平下的光譜重建結果

由圖5所示結果可知, 當光譜重建模型訓練和應用的曝光水平不一致時, 不同方法對同一樣本的重建光譜曲線存在顯著差異。 當測試的測試曝光水平為Exposure×0.5時, 各方法重建光譜曲線基本能夠保持真實光譜曲線的形狀特征, 經曝光水平校正后能夠較好地與真實光譜曲線重合。 當測試曝光水平為Exposure×2時, 除本方法重建的光譜曲線能夠有效保持真實光譜曲線特征之外, 其他方法重建的光譜曲線均不同程度偏離真實光譜曲線的形狀特征, 這將導致重建光譜數(shù)據(jù)無法應用于顏色的高保真復制和物質的高精度識別分析。

此外, 雖然參考文獻[10]方法總體上具有較小的色差, 但其對于兩組測試樣本的光譜誤差均顯著大于其他方法, 如CC色卡的2.91和顏料樣本的3.04, 說明該方法重建的光譜相當于其他方法存在更多同色異譜問題。 總體而言, 本方法的光譜重建性能顯著優(yōu)于現(xiàn)有同類方法。

3.3 加權策略對本方法的影響分析

表5為兩組測試樣本下, 本方法(以M1表示)以及本方法不使用自適應加權(以M2表示)兩種情況下的光譜重建結果。 由表5中的結果可知, 本方法對抗曝光變化的能力不受加權策略影響, 但光譜重建精度與加權策略直接相關。 對于CC色卡的光譜重建結果而言, 本方法(M1)相對于未加權(M2)時光譜精度提升近20%, 色度精度提升約30%。 對于顏料樣本而言, 本方法(M1)相對于未加權(M2)時光譜精度提升超20%, 色度精度基本保持不變, 使得光譜曲線與真實光譜更加接近。 圖6所示為CC色卡和顏料樣本中各一個樣本重建光譜的分布情況。 顯然本方法(M1)重建光譜更接近真實光譜。

表5 加權策略對本文方法光譜重建結果的影響

圖6 利用M1和M2方法重建兩個樣本的光譜曲線分布

4 結 論

基于光譜重建的多光譜成像技術具有廣闊的應用前景, 針對現(xiàn)有重建方法對曝光變化敏感, 難以面向光照強度易變和光照不均勻的開放環(huán)境應用的問題, 提出了一種基于根多項式擴展的自適應加權光譜重建新方法。 方法利用根多項式擴展和違逆算法實現(xiàn)對抗曝光變化的能力, 在此基礎上, 進一步提出在光譜不變特征空間計算自適應加權矩陣的策略, 有效提升了光譜重建精度。 實驗結果表明, 新方法不僅具備對抗曝光變化的能力, 同時在光譜重建精度方面顯著優(yōu)于現(xiàn)有同類型的光譜重建方法。 研究結果對于開放場景下的高精度光譜重建具有重要應用前景。 后續(xù)將針對本方法開展更多實驗研究, 并針對現(xiàn)有深度學習光譜重建方法存在的曝光變化敏感性進行研究, 以期建立能夠對抗曝光變化的深度學習光譜重建方法, 進一步推進光譜重建技術在開放光照環(huán)境的有效應用。