劉雨晴，葛愛(ài)明，趙寶彬，郝如龍

(復(fù)旦大學(xué)光源與照明工程系，上海 200433)

引言

高光譜成像技術(shù)是一項(xiàng)結(jié)合了光譜分析與空間成像的新型實(shí)用技術(shù)。由于物質(zhì)對(duì)光的特征吸收，物體的反射或透射光譜就成為其物理化學(xué)信息的載體，是目標(biāo)識(shí)別和監(jiān)測(cè)的有效工具。高光譜成像提供目標(biāo)物體的兩維空間信息和一維光譜信息，構(gòu)建三維數(shù)據(jù)集，結(jié)合計(jì)算機(jī)分析手段，完成物體的識(shí)別。在遙感勘測(cè)、食品檢測(cè)、農(nóng)業(yè)監(jiān)測(cè)、醫(yī)療診斷和藝術(shù)保護(hù)等領(lǐng)域展現(xiàn)了廣闊的應(yīng)用前景[1-4]。

常規(guī)高光譜成像系統(tǒng)在復(fù)色光照明條件下完成圖像的采集：目標(biāo)物體反射的光波進(jìn)入成像系統(tǒng)，通過(guò)棱鏡、光柵、濾光片等元件的色散作用，由探測(cè)器記錄以波長(zhǎng)與空間位置編碼的光強(qiáng)度值[5]。遙感高光譜系統(tǒng)采集自然光照明條件下的影像，自然光環(huán)境多變，使得分析過(guò)程更加復(fù)雜；非機(jī)載高光譜系統(tǒng)采用復(fù)色光照明，由于色散過(guò)程降低了傳感器單元接收的光能，因此需要保證待測(cè)平面上均勻穩(wěn)定的高強(qiáng)度照明，這對(duì)照明設(shè)計(jì)的要求較高，而且這種高強(qiáng)度照明導(dǎo)致的熱負(fù)荷會(huì)改變目標(biāo)物體的生化性質(zhì)，這對(duì)于生物、醫(yī)學(xué)和食品等檢測(cè)不利[6]。

由于成像技術(shù)與照明條件的限制，很難同時(shí)保證高光譜圖像的光譜分辨率與空間分辨率。由于采集方式和傳感器限制導(dǎo)致的低空間采樣，以及低照度場(chǎng)景的細(xì)節(jié)缺失，導(dǎo)致同等條件下高光譜圖像的空間分辨率相較于常規(guī)成像更低[7-11]。全色圖像是一種獲取可見(jiàn)光波段響應(yīng)的灰度圖像，具有較高的空間分辨率，通過(guò)高光譜圖像與全色圖像的融合，互補(bǔ)各自在獲取光譜信息和空間信息方面的優(yōu)勢(shì)，得到更加準(zhǔn)確的目標(biāo)探測(cè)結(jié)果[12]。目前這兩種圖像的采集依托不同的傳感器，由于視角的差異，圖像并不能完全對(duì)準(zhǔn)，需要進(jìn)行額外的圖像配準(zhǔn)[13]。

鑒于上述局限性，本文提出一種基于單色光與全光譜照明的高光譜圖像采集系統(tǒng)。窄帶單色光順序輸出用于目標(biāo)物體的照明，與傳感器曝光過(guò)程同步，完成高光譜三維數(shù)據(jù)集的順序采集；共光路的全光譜照明方案，保證高光譜圖像與全色圖像的共配，這是圖像融合的前提。與常規(guī)高光譜成像系統(tǒng)相比，本文提出的系統(tǒng)具有模塊化、應(yīng)用靈活、單色光照明和便于進(jìn)行圖像融合的特色。同時(shí)，提出提升小波系數(shù)自適應(yīng)梯度加權(quán)圖像融合方法，該方法具有融合效果好、運(yùn)算速度快和自適應(yīng)融合的優(yōu)勢(shì)。

1 高光譜成像系統(tǒng)

基于單色與全光譜照明的高光譜成像系統(tǒng)包括3個(gè)模塊：光源、成像和控制，如圖1(a)所示。光源模塊是一個(gè)以反射式刻線光柵為核心的色散系統(tǒng)，光學(xué)準(zhǔn)直透鏡組將連續(xù)光源發(fā)出的光準(zhǔn)直后入射到光柵，光柵衍射使得成像透鏡的焦平面上產(chǎn)生衍射譜，由固定在透鏡焦點(diǎn)位置的光纖耦合輸出。光柵安裝在光學(xué)旋轉(zhuǎn)平臺(tái)上，通過(guò)其旋轉(zhuǎn)角度切換輸出單色光的中心波長(zhǎng)，或切換到全光譜輸出。成像模塊由圖像傳感器與成像光學(xué)系統(tǒng)組成，導(dǎo)光光纖將輸出光引入該模塊，在輸出端配光后用于目標(biāo)物體的照明?？刂颇K的核心是計(jì)算機(jī)，通過(guò)單片機(jī)與步進(jìn)電機(jī)，控制光柵轉(zhuǎn)動(dòng)過(guò)程與CMOS曝光過(guò)程的同步，按照明波長(zhǎng)順序采集灰度圖像，將其存儲(chǔ)為高光譜三維數(shù)據(jù)集，然后完成數(shù)據(jù)分析。圖1(b)為高光譜圖像采集過(guò)程中單色光照明模式下4個(gè)光譜通道的照明場(chǎng)景。

圖1 基于單色光與全光譜照明的高光譜成像系統(tǒng)Fig.1 HSI system based on active band-pass and full-spectrum illumination

光源模塊切換輸出光的工作原理如圖2所示。在光源模塊中，各元件位置固定，僅有光柵以其軸線轉(zhuǎn)動(dòng)，且入射光與衍射光保持不變的角度α。照明分為單色光照明與全光譜照明兩個(gè)模式。如圖2(a)和(b)所示，單色光模式利用光柵存在色散的一級(jí)衍射譜，色散譜帶中位于成像透鏡焦點(diǎn)位置的單色光通過(guò)光纖耦合輸出。在本實(shí)驗(yàn)選用的光學(xué)元件參數(shù)下，每當(dāng)光柵轉(zhuǎn)動(dòng)1°時(shí)，輸出單色光的中心波長(zhǎng)變化約10 nm，通過(guò)光譜儀器標(biāo)定，記錄光柵角度與輸出波長(zhǎng)的對(duì)應(yīng)關(guān)系，則可對(duì)單次曝光的灰度圖像標(biāo)注波長(zhǎng)值。全光譜模式利用光柵的零級(jí)衍射譜，無(wú)色散，且光能損失小，直接以氙燈的光譜功率分布進(jìn)行照明，如圖2(c)所示。

通過(guò)調(diào)校，高光譜成像系統(tǒng)的光譜分辨率達(dá)10 nm，可完成380～780 nm波長(zhǎng)范圍內(nèi)的至少40個(gè)光譜通道的圖像采集。系統(tǒng)的每個(gè)模塊相互獨(dú)立，光學(xué)隔離，僅通過(guò)數(shù)據(jù)線或光纖連接，因此可以保證照明單色光的純凈，確保成像質(zhì)量；具有較高的靈活性，光源模塊可以和顯微鏡等各類(lèi)商用成像系統(tǒng)組合使用；同時(shí)單色光與全光譜照明共光路，能夠保證融合前高光譜圖像與全色圖像的配準(zhǔn)。

圖2 光源模塊工作模式Fig.2 Light source module operating mode

2 算法原理

圖像融合基本原理是分離圖像的光譜與空間信息，以合理的方式從高光譜圖像與全色圖像中選取必要成分，重建高光譜三維數(shù)據(jù)集。常規(guī)圖像融合方法分為兩類(lèi)：成分替換法和多分辨率分析法[14]。以主成分分析(Principal Component Analysis, PCA)為典型的成分替換法較為簡(jiǎn)單，計(jì)算速度快，但是融合效果差。多分辨率分析法的運(yùn)算速度稍慢，但總體計(jì)算成本仍然不高，失真現(xiàn)象有所改善，魯棒性更強(qiáng)，是更好的圖像融合方法。本文提出一種提升小波自適應(yīng)梯度加權(quán)圖像融合方法，屬于多分辨率分析中的小波變換圖像融合，采用提升小波分離高頻與低頻信號(hào)，然后以鄰域梯度作為加權(quán)系數(shù)進(jìn)行自適應(yīng)融合。

2.1 小波自適應(yīng)梯度加權(quán)融合原理

小波融合是利用小波分析提取全色圖像中的空間高頻信息，然后注入高光譜圖像。算法步驟為：首先分別對(duì)高光譜圖像和全色圖像進(jìn)行小波分解，獲取低頻分量以及水平、垂直以及對(duì)角方向的高頻分量；然后將低頻和高頻小波系數(shù)分別按照低頻融合規(guī)則與高頻融合規(guī)則進(jìn)行計(jì)算，得到融合后的小波分解系數(shù)矩陣；最后，通過(guò)小波重構(gòu)獲得數(shù)據(jù)集。融合過(guò)程如圖3所示，圖中為二級(jí)小波分解，對(duì)每一個(gè)波段的高光譜圖像都進(jìn)行同樣的融合過(guò)程。

圖3 基于小波變換的圖像融合過(guò)程Fig.3 Image fusion based on wavelet transform

低頻融合規(guī)則為：以高光譜圖像的低頻分量作為融合圖像的低頻分量。因?yàn)榈皖l分量很大程度保留了圖像的灰度信息，如此可以保持光譜的一致性。而圖像的細(xì)節(jié)與邊緣則被保留到高頻分量中，需要合理抽取完成融合。高頻融合規(guī)則為：以歸一化鄰域梯度作為高頻系數(shù)的權(quán)重，進(jìn)行加權(quán)融合。具體過(guò)程為：利用Sobel梯度算子對(duì)高頻系數(shù)矩陣分別進(jìn)行x方向與y方向的卷積，得到梯度矩陣，然后由式(1)計(jì)算平均梯度：

(1)

其中?f/?x和?f/?y分別表示單個(gè)矩陣元素在x方向與y方向的梯度。然后根據(jù)高光譜與全色圖像的平均梯度矩陣計(jì)算每個(gè)矩陣元素的歸一化梯度，以此作為權(quán)重系數(shù)，加權(quán)求和。對(duì)于矩陣元素(i,j)，第k個(gè)光譜通道的融合高頻系數(shù)Ck(i,j)表示為：

(2)

其中，Ch,k(i,j)是高光譜第k個(gè)通道圖像的高頻系數(shù)，Cp(i,j)是全色圖像的高頻系數(shù)，它們以各自鄰域梯度Gh,k(i,j)和Gp(i,j)構(gòu)成的歸一化權(quán)重進(jìn)行融合。

2.2 提升小波分解原理

對(duì)于小波分解，傳統(tǒng)上是利用Mallat提出的快速小波分解方法。該方法先利用高頻濾波器Hi_D和低頻濾波器Lo_D濾波，再進(jìn)行二抽取，得到相應(yīng)的高頻系數(shù)cD與低頻系數(shù)cA，如圖4(a)所示。該方法以傅里葉變換為基礎(chǔ)，在小波基的選擇方面有所局限，難以進(jìn)行有界區(qū)域上或?qū)﹂g隔不規(guī)則數(shù)據(jù)的分析。Swelden提出通過(guò)提升方法(Lifting Scheme)構(gòu)造第二代小波，不引入傅里葉變換，拓寬了小波分析的應(yīng)用范圍，且運(yùn)算速度是傳統(tǒng)小波的2倍，更加適合本文的圖像融合[15, 16]。

如圖4(b)所示，提升小波分解包括3個(gè)步驟：分解(Split)、預(yù)測(cè)(Predict)和更新(Update)。

(1)分解：將輸入信號(hào)X分成奇數(shù)序列樣本Xo與偶數(shù)序列樣本Xe；

(2)預(yù)測(cè)：根據(jù)相鄰樣本之間的相關(guān)性，用偶數(shù)樣本預(yù)測(cè)奇數(shù)樣本，即偶數(shù)樣本Xe經(jīng)過(guò)預(yù)測(cè)器P(·)后的預(yù)測(cè)值與實(shí)際值之差構(gòu)成小波細(xì)節(jié)系數(shù)D；

(3)更新：將細(xì)節(jié)信息D通過(guò)更新器U(·)進(jìn)行更新，然后與原偶數(shù)樣本Xe相加得到小波近似系數(shù)A。

圖4 小波分解原理Fig.4 Principle of wavelet decomposition

2.3 圖像融合評(píng)價(jià)指標(biāo)

(3)

(4)

QNR=(1-Dλ)α(1-DS)β

(5)

其中，指數(shù)p、q、α和β用來(lái)放大差異，這里取值均為1。Q指標(biāo)定義為：

(6)

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)中，采用顯微鏡作為成像系統(tǒng)，將光源模塊的光纖輸出端置于顯微鏡照明光路中，CMOS安裝于顯微鏡的傳感器接口，通過(guò)控制模塊完成采集。選用人血細(xì)胞涂片作為實(shí)驗(yàn)樣本進(jìn)行測(cè)試，因?yàn)榧t細(xì)胞在可見(jiàn)光范圍內(nèi)具有特征吸收，且在醫(yī)學(xué)領(lǐng)域中血液可以反映一些疾病，例如，血液的光譜分析可以反映組織缺氧、腫瘤增生等狀況[4]。

3.1 血細(xì)胞涂片的顯微高光譜成像

如圖5(a)所示，高光譜成像的數(shù)據(jù)存儲(chǔ)為(x,y,λ)三維數(shù)據(jù)集的形式，其中x和y是二維空間坐標(biāo)，λ則為光譜維度。該數(shù)據(jù)集有兩種可視化方法：像元的光譜曲線、以波長(zhǎng)編碼的空間圖像。

圖5(b)是像元的光譜曲線呈現(xiàn)，繪制了4個(gè)感興趣區(qū)域(Region of Interest, ROI)的光譜曲線：區(qū)域1和區(qū)域2是血細(xì)胞，而區(qū)域3和區(qū)域4是背景，它們具有不同的光譜特征。

圖5(c)～(f)是4個(gè)光譜通道的灰度圖像。由于特征光譜吸收，在某些波段血細(xì)胞對(duì)光的吸收強(qiáng)烈，具有較強(qiáng)的對(duì)比度，而某些波段由于吸收弱，血細(xì)胞與背景不能區(qū)分。高光譜成像技術(shù)正是利用這種有差異的吸收特性，實(shí)現(xiàn)物質(zhì)的檢測(cè)、識(shí)別和分類(lèi)。

由于圖像采集方式和傳感器的局限，高光譜圖像對(duì)目標(biāo)的空間分辨能力較弱，在圖5(c)～(f)中，右下為原圖藍(lán)色方框區(qū)域的放大圖，與全色圖像圖5(g)相比較，即便是具有相對(duì)較高的對(duì)比度的499 nm圖像，對(duì)于單個(gè)血細(xì)胞及細(xì)胞邊緣的識(shí)別都不夠精準(zhǔn)。

圖5 人血細(xì)胞涂片高光譜顯微成像Fig.5 Microscopic HSI for human blood cell smear

3.2 圖像融合

圖像融合結(jié)果如圖6所示。圖(a)為高光譜原始圖像，融合圖像應(yīng)與圖(a)灰度分布相同，且細(xì)節(jié)更多。圖(b)為PCA圖像融合，該方法直接用直方圖匹配后的全色圖像替代高光譜數(shù)據(jù)集的PCA第一主成分圖像，因此融合圖像的灰度分布更加接近全色圖像，對(duì)光譜數(shù)據(jù)產(chǎn)生較大改變。圖(c)、(d)和(e)均為小波融合：圖(c)中的高頻系數(shù)按照固定比例融合，需要多次嘗試以確定最佳權(quán)重系數(shù)；圖(d)采用歸一化鄰域方差作為權(quán)重系數(shù)，完成自適應(yīng)的高頻系數(shù)融合；圖(e)是本文提出的提升小波自適應(yīng)梯度加權(quán)融合結(jié)果。相比PCA融合，小波融合對(duì)光譜值的改變較小。

圖6中(f)～(k)是499 nm通道圖像的局部區(qū)域，對(duì)應(yīng)于圖(a)～(e)中的藍(lán)色方框。其中圖(f)是全色圖像，圖(g)為高光譜圖像，圖(h)～(j)是融合圖像。圖(i)、(j)和(k)的小波融合相比于圖(h)的PCA融合具有更好的空間分辨；在小波融合中，本文提出方法不僅能夠自適應(yīng)地完成權(quán)重的分配，且比方差加權(quán)融合圖像的視覺(jué)效果更好，因?yàn)樵诜讲罴訖?quán)融合圖像圖(j)中，物體邊界的對(duì)比度過(guò)強(qiáng)以至出現(xiàn)了明顯的“白邊”，這導(dǎo)致邊界上光譜扭曲。

圖6 圖像融合結(jié)果Fig.6 Image fusion results

圖7 融合前后四個(gè)感興趣區(qū)域的光譜Fig.7 Spectra of 4 ROIs before and after image fusion

如圖7所示，對(duì)圖6(a)中四個(gè)感興趣區(qū)域在融合前后的光譜進(jìn)行對(duì)比，可見(jiàn)圖像融合對(duì)光譜數(shù)值的改變較小。同時(shí)，隨機(jī)選擇高光譜與融合圖像中100個(gè)對(duì)應(yīng)像元，對(duì)其光譜數(shù)據(jù)計(jì)算Pearson相關(guān)系數(shù)，相關(guān)系數(shù)平均值為0.999 1，表現(xiàn)出極強(qiáng)的相關(guān)性。因此，本文所提融合方法在提高空間分辨率的同時(shí)，不影響后續(xù)的特征提取與分類(lèi)。

對(duì)實(shí)驗(yàn)樣本進(jìn)行三次不同區(qū)域與角度的圖像采集與融合處理，融合圖像評(píng)價(jià)指標(biāo)結(jié)果的平均值如表1所示。評(píng)價(jià)指標(biāo)包括Dλ、Ds、QNR、平均梯度與平均熵，后兩者表征圖像的清晰程度和細(xì)節(jié)特征，數(shù)值越大表明圖像的細(xì)節(jié)越豐富。算法時(shí)間基于AMD A4-3305M處理器上運(yùn)行的MATLAB R2013b平臺(tái)。表格中也列舉了融合前的高光譜原始圖像與全色圖像的部分指標(biāo)。高光譜原始圖像具有最優(yōu)的QNR指標(biāo)值，但同時(shí)其梯度與熵值也很低。因此在融合過(guò)程中需要平衡好光譜保真度與細(xì)節(jié)完善性這兩方指標(biāo)。

表1 圖像融合評(píng)價(jià)指標(biāo)Table 1 Assessment of fusion products

由表1可知：各融合方法均有較高的QNR指標(biāo)，PCA融合方法的Ds較高，空間失真大，而小波融合的Dλ較高，光譜失真大，對(duì)于本文的提升空間分辨率的目標(biāo)，優(yōu)先考慮滿足Ds指標(biāo)，即小波融合方法具有更高的表現(xiàn)；高頻系數(shù)的自適應(yīng)融合，不僅能夠減少權(quán)重賦值過(guò)程的工作量，而且融合效果更佳，例如序號(hào)9融合方法比序號(hào)5融合方法的所有指標(biāo)都更優(yōu)；提升小波與傳統(tǒng)的Mallat小波具有完全相同的融合結(jié)果，而計(jì)算時(shí)間節(jié)約了50%左右，具有更高的效率；以梯度加權(quán)的融合比以方差加權(quán)的融合具有更高的QNR，盡管其梯度與熵值較低，但結(jié)合圖6可知，以方差加權(quán)的融合是因?yàn)檫吔缟戏闯５幕叶缺憩F(xiàn)而產(chǎn)生的高梯度與熵值。綜合來(lái)看，本文提出的提升小波自適應(yīng)梯度加權(quán)融合具有良好的圖像融合表現(xiàn)，且具有更快的運(yùn)行速度，這對(duì)于具有較多光譜通道數(shù)與大量像元的高光譜數(shù)據(jù)來(lái)說(shuō)具有實(shí)際的工程意義。

4 結(jié)論

本文提出了一種共光路、共傳感器采集高光譜圖像與全色圖像的成像系統(tǒng)。該系統(tǒng)通過(guò)搭建一個(gè)獨(dú)立的光源模塊，通過(guò)光纖將單色光逐波段輸出用于照明，也可輸出全光譜白光進(jìn)行照明。實(shí)現(xiàn)10 nm量級(jí)的光譜分辨率，可以采集可見(jiàn)光范圍內(nèi)的40個(gè)光譜通道的高光譜圖像；也可輸出氙燈的寬波段輻射能量，采集與高光譜圖像配準(zhǔn)的全色圖像。同時(shí)，本文提出采用提升小波自適應(yīng)梯度加權(quán)融合的方法，將高光譜與全色圖像分解為高頻和低頻分量然后進(jìn)行融合與重構(gòu)，在保持高光譜圖像灰度水平基本不變的情況下，注入全色圖像中的細(xì)節(jié)信息，對(duì)于高光譜圖像空間分辨率的提升具有良好效果，且相對(duì)于傳統(tǒng)小波分解節(jié)省了近50%的時(shí)間。該系統(tǒng)滿足高光譜圖像的采集要求，且改善了高光譜成像空間分辨率不高的問(wèn)題，有助于提高后續(xù)的特征提取、圖像分類(lèi)等目標(biāo)分析過(guò)程的準(zhǔn)確性和精度。