李旻祖，付蕓，韓春曉

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

高光譜圖像不僅包含每個波段下所有像元的空間信息，還包含每個像元的光譜信息，真正實現(xiàn)了“圖譜合一”。這使得高光譜成像在目標檢測［1］、環(huán)境監(jiān)測［2］、地物識別［3］和醫(yī)療診斷［4-5］等領(lǐng)域都有著廣泛的應(yīng)用。 然而，傳統(tǒng)的高光譜分類方法，如K 近鄰學(xué)習(xí)算法和光譜角匹配算法等，這些算法僅利用高光譜圖像的光譜信息而忽略了空間信息，這導(dǎo)致了“異物同譜”和“同物異譜”等現(xiàn)象的發(fā)生。近年來，為了充分利用高光譜圖像所包含的豐富信息，更多的研究人員關(guān)注于將高光譜圖像中光譜信息和空間信息聯(lián)合［6-7］用于圖像分類的研究。

付青等人［8］提出一種將Log-Gabor 濾波器和CNN 相結(jié)合的高光譜圖像分類方法，該方法采用Log-Gabor 濾波器提取圖像的空間特征，再將空間特征和光譜特征輸入CNN 模型中實現(xiàn)分類，取得了較好的分類效果。文獻［9］在二維Gabor濾波器的基礎(chǔ)上，提出一種采用3D-Gabor 濾波器獲取高光譜遙感圖像特征的方法。 相比于2D-Gabor 濾波，3D-Gabor 濾波器具有更強的圖像特征提取能力，算法的魯棒性強且分類精度高。然而，這些方法仍然存在著一些不足：第一，Gabor函數(shù)與人類視覺細胞的響應(yīng)相似，所以能夠給出圖像時域和頻域局部化的信息，但是由于Gabor 變換的時頻窗口寬度是固定的，不能同時滿足對時間分辨率和頻率分辨率的要求；第二，如何有效地將光譜信息和空間信息相結(jié)合，以提高樣本分類精度，這需要更加深入的研究。該論文圍繞光譜信息和空間信息的融合方法展開研究，提出了一種高光譜圖像的空間信息和光譜信息的融合方法。這種方法首先提取圖像的Gabor 特征和LBP 特征等空間信息，其次將空間信息與光譜信息進行融合，在融合空譜信息時，采用短時傅里葉變換（Short Time Fourier Transform，STFT）［10］將一維的空譜聯(lián)合矢量轉(zhuǎn)換為二維圖像矩陣。 這種做法具有以下兩個優(yōu)點：第一，充分地利用高光譜圖像的空間信息，有利于提高分類精度；第二，在融合空譜信息時，將一維空譜聯(lián)合特征向量轉(zhuǎn)化為二維矩陣，這樣可以利用深度學(xué)習(xí)現(xiàn)有的研究成果去分析與處理數(shù)據(jù)，這將為高光譜圖像分類的研究提供極大的方便。

1 本文方法

1.1 空間特征提取

圖像中目標所在的位置和目標之間的空間關(guān)系是圖像識別中非常重要的特征。本次實驗主要提取圖像的紋理信息特征。

（1）二值化特征LBP

LBP 是一種常見的局部紋理特征［11］。 由于LBP 具有灰度不變性和旋轉(zhuǎn)不變性的特點，在圖像處理和模式識別中得到了廣泛的應(yīng)用。其原理是：以圖像的每個像素為中心點選取一個小鄰域，本文取為3×3。將中心像素的值設(shè)置為閾值，鄰域的像素值與閾值比較，大于閾值設(shè)置為1，否則設(shè)置為0，該區(qū)域內(nèi)的二進制數(shù)形成LBP編碼。圖1 以大小為3 的鄰域為例，說明了LBP的編碼原理。圖像的LBP 特征向量記為f1。

圖1 LBP 特征提取原理

（2）Gabor 特征

Gabor 特征［12］是圖像分類識別任務(wù)中較為常用的一種特征，Gabor 濾波器與人眼的生物作用相似，非常適用于圖像紋理信息的識別。 其原理是不同紋理特征的中心頻率與帶寬不一樣，合理地設(shè)計Gabor 濾波器可以在頻域下提取不同尺度和方向的紋理特征。Gabor 核函數(shù)與人類大腦細胞的視覺沖擊響應(yīng)類似，其定義為：

其中：

式中，v值描述不同的Gabor 濾波波長；μ值代表核函數(shù)的方向；Р代表總的方向數(shù)，通過控制這些參數(shù)可以調(diào)節(jié)濾波的尺度和方向；σ是一個常量，一般取。σ和k決定了Gauss 窗口的大小。

由于核函數(shù)去掉了直流分量，Gabor 特征提取受到光照變化的影響很小，在一定程度上也可以接受平移旋轉(zhuǎn)等較小的變化，也能夠很好地兼顧圖像的空域和頻域信息，表征圖像局部區(qū)域的多個方向和尺度的特征，從而較好地提取圖像的紋理信息，圖像像素點的Gabor 特征向量記為f2。

將提取的空間特征記為F1=［f1f2］，光譜特征記做F2，空譜聯(lián)合特征記做F= [F1F2]。

1.2 短時傅里葉變換

傅里葉變換［13］作為一種熱過程的分析工具，能夠?qū)?fù)雜的時域信號轉(zhuǎn)換為易于分析的頻域信號，這有利于復(fù)雜信號的分析理解和處理加工。短時傅里葉變換的基本思想是將信號局部平穩(wěn)化，即把長的非平穩(wěn)隨機過程看成是一系列短時隨機平穩(wěn)信號的疊加，短時性可通過在時間上加窗口函數(shù)實現(xiàn)（即截取一部分數(shù)據(jù)）。 然后對截取的每一小部分信號做傅里葉變換。具體過程如下：

其中，f(t)是信號；g(t-τ)是窗函數(shù)；f是頻率；STFTf(τ，f)是信號f(t)的短時傅里葉變換的結(jié)果。

在對信號進行短時傅里葉變換時，要對連續(xù)的信號進行離散化處理。 令公式（3）中的τ=m△t，可得到信號f(t) 的短時傅里葉變換：

得到的信號f(k) 短時傅里葉變換結(jié)果STFT就是一個二維矩陣，矩陣的行表示每個采樣的時間點，矩陣的列表示采樣的頻率值，矩陣上的每一個元素就是對應(yīng)點頻率的幅值，整個矩陣可以表示為：

本次實驗采用Specgram（）函數(shù)實現(xiàn)短時傅里葉變換。 Specgram（）函數(shù)中主要有以下幾個參數(shù)：X、Window、Nperseg、Noverlap、Fs。X 表示輸入信號，在本文中X 為空譜聯(lián)合信息；Window 表示窗函數(shù)，在本文中窗函數(shù)選擇為漢寧窗；Nperseg 表示光譜信號分段做傅里葉變換時每段的長度，Nperseg 選擇過大會使頻率分辨率提高，但是這會使波長分辨率降低，減小Nperseg 會使波長分辨率提高，但是會降低一些頻率分辨率，經(jīng)過多次嘗試本文Nperseg 設(shè)置為8；Noverlap 表示每段之間重疊的點數(shù)，一般Noverlap 的選擇要滿足Cola 約束，即Noverlap 的長度為Nperseg 長度的一半；Fs 是采樣頻率，本文中采樣頻率為1。

1.3 AlexNet 卷積神經(jīng)網(wǎng)絡(luò)

AlexNet 網(wǎng)絡(luò)［14］是2012 年ImageNet 競賽冠軍獲得者Hinton 和他的學(xué)生Alex Krizhevsky 設(shè)計的。 該神經(jīng)網(wǎng)絡(luò)的主要優(yōu)勢在于：成功地使用ReLU 作為CNN 的激活函數(shù)，提高了分類精度，而且訓(xùn)練時使用Dropout 隨機忽略一部分神經(jīng)元，以避免模型過擬合。 本次實驗所采用的卷積神經(jīng)網(wǎng)絡(luò)是在AlexNet 網(wǎng)絡(luò)的基礎(chǔ)上改進得到的一個變形網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要包括五個卷積層、三個池化層和三個全連接層，如圖2 所示。

圖2 AlexNet 卷積神經(jīng)模型結(jié)構(gòu)

2 實驗與分析

2.1 實驗數(shù)據(jù)

實驗采集人體血細胞的顯微高光譜數(shù)據(jù)，每個采樣點在370～930 nm 波長范圍內(nèi)均獲取51 個波長的數(shù)據(jù)，光譜分辨率為11.2 nm。使用ENVI 5.1 軟件（ITT Visual Information Solutions，Boulder，Colorado，美國）生成高光譜圖像，如圖3 所示。其中圖3（a）表示的是血液樣本第20 波段的單波段圖像；圖3（b）表示的是血液樣本的偽彩色合成圖；圖3（c）表示的是血液樣本的人工標記圖像。在圖3（c）中紅色部分表示的是紅細胞，綠色部分為白細胞質(zhì)，藍色部分為白細胞核，黃色區(qū)域為背景。提取圖中3 種不同組織及背景的光譜，分別記做背景光譜、紅細胞光譜、白細胞質(zhì)光譜和白細胞核光譜，光譜曲線如圖4 所示。

圖3 血液樣本

圖4 三種細胞組織和背景光譜

2.2 實驗環(huán)境

實驗采用的硬件設(shè)備為Intel Core i5 10300H CPU 和NVIDA Geforce GTX 1650 GPU。 軟件采用Matlab 和PyCharm，利用Python 實現(xiàn)空譜聯(lián)合特征的STFT 方式編碼，同時借助Python 中的Keras 框架搭建改進的CNN 模型。在訓(xùn)練過程中dropout 設(shè)為0.25，迭代次數(shù)epoch 設(shè)置為50，batch設(shè)置為64，學(xué)習(xí)速率調(diào)整為1 × 10-3。

2.3 實驗結(jié)果

此次研究選取采集的顯微高光譜圖像的第24 個波段（波長為583 nm）的圖像，進行空間特征提取，該波段中圖像的組織形態(tài)清晰明了，對比度強，噪聲較小適合特征提取。其中第24 波段的空間圖像如圖5（a）所示，圖5（b）展示的是各個細胞類別的光譜信息。

圖5 第24 波段紅細胞和白細胞空間圖像及光譜信息

利用上述提出的方法將空-譜聯(lián)合數(shù)據(jù)轉(zhuǎn)化為二維圖像，利用CNN 模型分類。其中紅細胞、白細胞質(zhì)和白細胞核的空譜聯(lián)合信息經(jīng)過短時傅里葉變換后得到的圖像如圖6 所示。

圖6 短時傅里葉變換圖像

在評價分類結(jié)果時采用總體分類精度和Kappa 統(tǒng)計量作為分類結(jié)果的評價標準。 總體分類精度是正確分類的樣本數(shù)量與樣本總數(shù)的比值。 Kappa 是統(tǒng)計學(xué)中度量一致性的指標，Kappa 系數(shù)的計算是基于混淆矩陣的，不僅考慮了混淆矩陣中對角線方向上分類正確的像元數(shù)目，還考慮了對角線以外的漏分和錯分像元。當(dāng)該數(shù)值大于80% 時，則表示分類精度較高。

實驗隨機選擇每類樣本的10% 標記樣本作為訓(xùn)練數(shù)據(jù)來訓(xùn)練分類器參數(shù)，然后再將剩余的90% 標記樣本用于測試。

分類結(jié)果如表1 所示，圖7 為分類結(jié)果的可視化圖像。

表1 分類結(jié)果

圖7 分類結(jié)果可視化圖像

各個細胞組織類別的精度如表2 所示。

表2 各類別分類精度

由表1 和表2 可以看出本文的方法在總體分類精度達到了98% 以上，其中紅細胞、白細胞質(zhì)、白細胞核分類的召回率為分別為99.80%、96.31% 和97.82%；精確度分別為97.77%、98.51%和99.60%，這表明本文提出的基于空譜聯(lián)合信息的分類算法在血細胞分類識別上取得了不錯的效果。為了證明本文所提出的方法的有效性，這里設(shè)置了兩組對比實驗，第一組對比實驗是僅利用光譜信息進行分類識別，旨在對比采用空譜聯(lián)合特征與僅采用光譜特征時分類性能的差異。第二組對比實驗是僅提取Gabor 特征作為空間信息，利用SVM 分類，旨在對比本文空間特征提取方法結(jié)合空譜聯(lián)合編碼方式與傳統(tǒng)空譜聯(lián)合分類算法的差異。

第一組對比實驗結(jié)果如表3 所示。

表3 第一組對比實驗分類結(jié)果

第二組對比實驗結(jié)果如表4 所示。

表4 第二組對比實驗分類結(jié)果

通過表3 可以看出，采用光譜信息結(jié)合支持向量機的分類方法的分類精度為96.38%，相比于單一采用光譜信息的分類方式，本文所提出的空譜聯(lián)合分類方式在分類精度上提高了2%。這主要是因為相比于單一的光譜信息，本文提取了顯微高光譜圖像的空間信息，然后與光譜信息一起組成空譜聯(lián)合信息，這樣使得被用來分類的特征信息更加豐富，有利于提高分類性能。從表4 中可以看出，本文的分類算法相比于僅提取Gabor 特征的分類方法在分類精度上提高了1.2% 左右，這是由于本文除了提取了圖像Gabor特征以外，還提取了圖像的一些統(tǒng)計特征和LBP特征，充分的利用了顯微高光譜圖像的空間信息，而且在融合空間特征與光譜數(shù)據(jù)時也不僅僅是簡單的直接融合，而是采用了短時傅里葉變換的方法將一維特征向量轉(zhuǎn)換為二維矩陣進行空譜特征融合，而且本文所采用的空譜聯(lián)合編碼方式更加有利于卷積神經(jīng)網(wǎng)絡(luò)進行自適應(yīng)學(xué)習(xí)，進而證明本文所提出的空譜特征聯(lián)合分類方法的有效性。

3 結(jié)論

為了充分地利用顯微高光譜圖像所包含的豐富信息，本文提出了基于LBP 特征和Gabor 特征的空間特征提取方法，相比于單一的2-D Gabor濾波器，本文方法提取的空間特征更加豐富，有利于提升分類精度。針對顯微高光譜圖像如何更好地融合空間信息和光譜信息的問題，本文提出了采用短時傅里葉變換方式，將一維的空譜聯(lián)合特征轉(zhuǎn)換為二維矩陣。相比于傳統(tǒng)的空譜聯(lián)合方式，這種方法具有更強的魯棒性和更高的分類精度，而且更加有利于利用現(xiàn)有的深度學(xué)習(xí)的研究成果。 然而，本文在算法時間效率和模型參數(shù)設(shè)定方面研究還不夠深入，如何縮短計算時間和優(yōu)化模型參數(shù)也是下一步研究的重點。