楊艷紅，萬(wàn)曉霞，薛智爽，劉段，邢海峰

（1.武漢大學(xué) 圖像傳播與印刷包裝研究中心，武漢 430072；2.湖北廣彩印刷有限公司，湖北廣水 432721）

數(shù)碼相機(jī)可以非常容易地獲取被攝物體圖像的RGB 響應(yīng)值，但是獲得的顏色與設(shè)備和光照條件相關(guān)，為了使顏色能夠在不同的媒介間保真?zhèn)鬟f，需要使用更為精確的顏色表征方法。光譜反射率是決定物體顏色的本質(zhì)屬性，是一種更為準(zhǔn)確的表征方法，獲取到物體的光譜反射率，即可準(zhǔn)確還原物體在不同光照和不同觀察者條件下的真實(shí)顏色[1]。近年來(lái)，直接從數(shù)碼相機(jī)響應(yīng)值進(jìn)行光譜重建的方法受到越來(lái)越多研究者的關(guān)注，它具有低成本、快響應(yīng)、高分辨率等特點(diǎn)，而且可以有效避免光學(xué)帶通濾波器多光譜系統(tǒng)中存在圖像幾何失真等的固有問(wèn)題[2]，在遙感、電影電視、出版印刷、文物修復(fù)和藝術(shù)品研究、在線商品展示等多個(gè)領(lǐng)域都有廣泛應(yīng)用。

光譜重建算法是多光譜成像技術(shù)的核心。目前，基于訓(xùn)練樣本的光譜重建方法已經(jīng)成為基于數(shù)碼相機(jī)光譜重建研究的主流方法，傳統(tǒng)方法包括偽逆法、主成分分析法、核算法、回歸法、R 矩陣法等[3]。Shen等[4]針對(duì)傳統(tǒng)最小二乘法過(guò)擬合的問(wèn)題，提出采用偏最小二乘法求解光譜估計(jì)矩陣的全局光譜重建算法，重建精度優(yōu)于維納估計(jì)和普通的多項(xiàng)式回歸，但仍有很大的提高空間。Amiri 等[5]對(duì)全局加權(quán)形式的非線性回歸方法進(jìn)行了研究，雖然加權(quán)非線性回歸方法光譜重建精度優(yōu)于其他方法[6]，但是色度誤差較大，需要解決，經(jīng)測(cè)試得出不同加權(quán)形式對(duì)光譜重建的光譜精度和色度精度的影響不同，但整體精度還有待提高。隨著計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的光譜重建技術(shù)逐漸得到關(guān)注和研究，在圖像分類(lèi)、目標(biāo)識(shí)別和圖像超分辨率等領(lǐng)域有重要應(yīng)用。在NTIRE 2018 和NTIRE 2020 光譜重建挑戰(zhàn)賽中，排名領(lǐng)先的從RGB 三通道圖像進(jìn)行光譜重建的方法都采用了基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型法來(lái)進(jìn)行光譜重建[7-8]。此類(lèi)方法對(duì)數(shù)據(jù)集提出了更大的需求，當(dāng)數(shù)據(jù)規(guī)模龐大時(shí)，深度學(xué)習(xí)模型權(quán)重調(diào)整耗時(shí)，容易陷入局部最優(yōu)解；而傳統(tǒng)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)在小數(shù)據(jù)集上應(yīng)用時(shí)容易“過(guò)擬合”，使用小樣本的此類(lèi)方法的應(yīng)用穩(wěn)健性較差。

寬度學(xué)習(xí)系統(tǒng)（broad learning system，BLS）是在深度學(xué)習(xí)的快速發(fā)展和應(yīng)用中應(yīng)運(yùn)而生的，相對(duì)于深度學(xué)習(xí)的多層復(fù)雜耦合結(jié)構(gòu)，寬度學(xué)習(xí)通過(guò)特征映射和增強(qiáng)映射的方式在寬度上構(gòu)造網(wǎng)絡(luò)，結(jié)構(gòu)更為精簡(jiǎn)，訓(xùn)練速度更快，且具有很好的特征提取和逼近能力，準(zhǔn)確率高，適用于數(shù)據(jù)特征不多但對(duì)預(yù)測(cè)實(shí)時(shí)性要求較高的系統(tǒng)[9]?；诖?，文中提出一種基于寬度學(xué)習(xí)的光譜重建算法，并采用十次十折交叉驗(yàn)證的實(shí)驗(yàn)方法，將文中所提算法（New）與Shen 的偏最小二乘算法（SHEN）以及Amiri 和Fairchild 的全局加權(quán)非線性回歸算法（A-F）進(jìn)行對(duì)比。為評(píng)估新方法的性能，分別計(jì)算光譜均方根誤差和光譜擬合優(yōu)度誤差作為光譜精度評(píng)價(jià)指標(biāo)，計(jì)算CIE DE1976 和CIE DE2000 作為色度精度評(píng)價(jià)指標(biāo)。

1 原理

1.1 光譜重建基本原理

假設(shè)數(shù)碼相機(jī)的光電轉(zhuǎn)換函數(shù)為理想線性化模型，則其成像過(guò)程的數(shù)學(xué)模型可表示為式（1）[10]。

式中：d為一個(gè)像素點(diǎn)的K×1 維響應(yīng)值向量；K為成像系統(tǒng)的通道數(shù)，對(duì)于三色數(shù)碼相機(jī)來(lái)說(shuō)，K=3；r為一個(gè)像素點(diǎn)的N×1 維光譜向量；M為包含了l(λ)、t(λ)、f i(λ)和s(λ)在內(nèi)的K×N維系統(tǒng)整體靈敏度函數(shù)矩陣。光譜重建算法實(shí)質(zhì)就是實(shí)現(xiàn)上述成像模型的反向求解，具體如式（3）所示，即實(shí)現(xiàn)由多通道響應(yīng)信號(hào)d到對(duì)應(yīng)光譜信息r的計(jì)算，確保對(duì)于給定的任意三維通道響應(yīng)值d，均能重建得到其對(duì)應(yīng)光譜數(shù)據(jù)r，其中f( )代表光譜重建所采用的具體方法。

1.2 基于寬度學(xué)習(xí)的光譜重建算法

基于BLS 的光譜重建方法的整體設(shè)計(jì)思路為：首先，將數(shù)碼相機(jī)獲得的三維響應(yīng)值進(jìn)行多項(xiàng)式拓展，為了提升重建的精度，大多方法通常會(huì)采用多項(xiàng)式拓展項(xiàng)數(shù)的方法，這種方法已在很多研究中被證實(shí)是有效的[11]。然后，將拓展后的設(shè)備響應(yīng)值作為輸入數(shù)據(jù)，通過(guò)一些特征映射和稀疏表示轉(zhuǎn)化為隨機(jī)特征，作為網(wǎng)絡(luò)的特征節(jié)點(diǎn)，這些特征節(jié)點(diǎn)通過(guò)非線性激活函數(shù)進(jìn)一步連接，形成增強(qiáng)節(jié)點(diǎn)。最后，所有映射的特征和增強(qiáng)節(jié)點(diǎn)直接連接到輸出端，即訓(xùn)練樣本的光譜矩陣，其中該輸出層的權(quán)重將通過(guò)系統(tǒng)方程的快速偽逆或迭代梯度下降訓(xùn)練算法來(lái)確定[12]，訓(xùn)練過(guò)程見(jiàn)圖1。測(cè)試過(guò)程只需按步驟直接應(yīng)用訓(xùn)練好的權(quán)重矩陣即可通過(guò)設(shè)備響應(yīng)值預(yù)測(cè)出其真實(shí)的光譜反射率，下面是基于BLS 的光譜重建方法的詳細(xì)描述，網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1。

圖1 基于寬度學(xué)習(xí)的光譜重建網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Framework of spectral reconstruction network based on BLS

式中：Wm為連接特征節(jié)點(diǎn)和增強(qiáng)節(jié)點(diǎn)層與輸出層的權(quán)重。這里使用嶺回歸近似可以計(jì)算得出：

由此得到整個(gè)網(wǎng)絡(luò)的權(quán)重Wm。

最后測(cè)試樣本的響應(yīng)值作為輸入，通過(guò)訓(xùn)練好的權(quán)重生成相應(yīng)節(jié)點(diǎn)即可估計(jì)出重建的光譜反射率，公式為：

2 實(shí)驗(yàn)與分析

本研究采用廣泛應(yīng)用于彩色成像設(shè)備顏色特性化的多項(xiàng)式模型作為相機(jī)響應(yīng)值拓展的參考模型，d經(jīng)多項(xiàng)式模型擴(kuò)展為dex，樣本集輸入為N個(gè)拓展響應(yīng)值的集合，矩陣表示為：

生成特征節(jié)點(diǎn)。對(duì)拓展后的響應(yīng)值進(jìn)行特征映射，對(duì)于n個(gè)特征映射，每個(gè)映射生成k個(gè)節(jié)點(diǎn)，用方程形式可以表示為：

式中：Zi為特征節(jié)點(diǎn)，且Zi∈RN×k；Wei和βei分別是隨機(jī)產(chǎn)生的權(quán)重系數(shù)矩陣和偏置向量；Z(n)為n個(gè)Zi串聯(lián)成的矩陣。為了獲得輸入數(shù)據(jù)的稀疏表示，減少新生成特征節(jié)點(diǎn)的線性相關(guān)程度，使得新生成的節(jié)點(diǎn)不至于過(guò)于“浪費(fèi)”，可通過(guò)線性反向最優(yōu)化求解對(duì)隨機(jī)初始化的權(quán)重矩陣Wei進(jìn)行微調(diào)[13]，公式為：

2.1 實(shí)驗(yàn)設(shè)置

模擬實(shí)驗(yàn)采用孟塞爾亞光彩色譜（Munsell matt colors，MMC）數(shù)據(jù)集和Agfa IT8.7/2 （IT8.2）數(shù)據(jù)集[14]。 MMC 數(shù) 據(jù) 集 是 由 Jouni Hiltunen 用Perkin-Elmer lambda 9 UV/VIS/NIR 分光光度計(jì)從孟塞爾彩色亞光圖集的1 269 塊色塊上測(cè)量的，測(cè)量了380～800 nm 的光譜數(shù)據(jù)，采樣間隔為1 nm。IT8.2數(shù)據(jù)集是根據(jù)IT8.7 標(biāo)準(zhǔn)設(shè)計(jì)的，由Elzbieta Marszalec 用Minolta 分光光度計(jì)CM-2002 測(cè)得，測(cè)量了289 個(gè)色塊400～700 nm 的光譜數(shù)據(jù)，以10 nm 為間隔。實(shí)驗(yàn)中為了統(tǒng)一取樣范圍和間隔，在MMC 中同樣取出400～700 nm 范圍，采樣間隔為10 nm 的數(shù)據(jù)。CIE L*a*b*色度圖中2 個(gè)光譜數(shù)據(jù)集的色度坐標(biāo)見(jiàn)圖2，由CIE 1931 標(biāo)準(zhǔn)觀察者和CIE D65 標(biāo)準(zhǔn)照明體計(jì)算得出。

圖2 數(shù)據(jù)集的色度坐標(biāo)分布Fig.2 Chromaticity coordinates distributions of datasets

基于式（2）中的成像模型，忽略真實(shí)相機(jī)系統(tǒng)的非線性因素，對(duì)數(shù)據(jù)集的相機(jī)響應(yīng)進(jìn)行了模擬。模擬成像裝置采用Nikon D7200 相機(jī)傳感器的光譜靈敏度函數(shù)，光源采用CIE 標(biāo)準(zhǔn)光源D65，相機(jī)光譜靈敏度函數(shù)和光源的光譜分布如圖3。彩色數(shù)碼相機(jī)的響應(yīng)值通常是三維的，表示為[r g b]，在實(shí)驗(yàn)過(guò)程中，我們發(fā)現(xiàn)僅僅是三維重建，寬度學(xué)習(xí)系統(tǒng)重建的效果并不理想，而將響應(yīng)值拓展為二階項(xiàng)數(shù)之后，重建效果則明顯加強(qiáng)，重建為三階則幾乎不再提升，故本研究選擇二階多項(xiàng)式模型[1 r g b rg rb gb r2 g2 b2]來(lái)處理輸入數(shù)據(jù)。由于寬度學(xué)習(xí)系統(tǒng)的訓(xùn)練過(guò)程中需要尋找隨機(jī)系數(shù)矩陣，可能會(huì)導(dǎo)致測(cè)試結(jié)果的微小差異，為了更可靠、更公平地測(cè)試模型，使用了十次十折交叉驗(yàn)證的實(shí)驗(yàn)方法來(lái)評(píng)估所提出的方法。將MMC 樣本集和IT8.2 樣本集分別隨機(jī)劃分為大約10 個(gè)大小相等的子集，在這10 個(gè)子集中，一個(gè)子集被保留為測(cè)試模型的驗(yàn)證數(shù)據(jù)，其余9 個(gè)子集被用作每個(gè)折疊測(cè)試的訓(xùn)練數(shù)據(jù)，相當(dāng)于每個(gè)樣本隨機(jī)劃分循環(huán)驗(yàn)證了100 次，計(jì)算100 次測(cè)試指標(biāo)的平均數(shù)參與最終的對(duì)比評(píng)價(jià)[15]。

圖3 整體系統(tǒng)光譜靈敏度函數(shù)Fig.3 Spectral sensitivity functions of the whole system

2.2 結(jié)果與分析

表1 2 種樣本在不同算法下的光譜重建精度比較Tab.1 Comparison of spectral reconstruction precision between 2 different samples under different algorithms

圖4 MMC 中部分測(cè)試樣本3 種方法光譜重建擬合曲線Fig.4 Spectral reconstruction fitting curves of some test samples in MMC by 3 methods

3 結(jié)語(yǔ)

文中針對(duì)數(shù)碼相機(jī)的多光譜成像技術(shù)，將寬度學(xué)習(xí)系統(tǒng)應(yīng)用于光譜重建，在重建的過(guò)程中采取了多項(xiàng)式拓展的方式以適應(yīng)于寬度學(xué)習(xí)系統(tǒng)，提出一種新的全局訓(xùn)練的光譜重建方法。該方法網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練速度快，準(zhǔn)確率高，重建結(jié)果在光譜精度和色度精度上都取得了較好的效果。與2 種現(xiàn)有的基于全局訓(xùn)練的方法相比，文中方法的重建效果無(wú)論是在光譜誤差還是色度誤差方面都表現(xiàn)更佳，說(shuō)明寬度學(xué)習(xí)系統(tǒng)在相對(duì)較少的訓(xùn)練樣本的學(xué)習(xí)下，可以很好地適用于光譜反射率重建，在數(shù)碼相機(jī)的光譜成像領(lǐng)域有很好的應(yīng)用前景。