申 柯，陳 熙，張?jiān)骑w

（貴州師范大學(xué)大數(shù)據(jù)與計(jì)算機(jī)科學(xué)學(xué)院，貴陽(yáng) 550025）

0 引言

在計(jì)算機(jī)視覺(jué)中，我們一般通過(guò)分析圖像紋理來(lái)獲取相關(guān)的信息。像人的皮膚表面、材料表面、各種織物等都有其獨(dú)特的紋理特征［1］。這些紋理特征已被廣泛應(yīng)用于生物特征識(shí)別［2］、醫(yī)學(xué)圖像分析［3］、遙感和視覺(jué)檢測(cè)［4］等。紋理研究工作已經(jīng)持續(xù)了幾十年，但它對(duì)于我們來(lái)說(shuō)仍然是一個(gè)難題，許多研究者通過(guò)不斷的實(shí)驗(yàn)尋找更有效的紋理特征描述方法。

LBP［5］最初被提出用于紋理分析，它在計(jì)算復(fù)雜度和識(shí)別率方面表現(xiàn)出獨(dú)特的優(yōu)勢(shì)。后來(lái)，在Ojala 等［5］的工作基礎(chǔ)上，大量LBP 的變體被提出。Tan 等［6］基于LBP 提出了局部三值模式（local ternary pattern，LTP）用于人臉識(shí)別，該算法引入一個(gè)閾值函數(shù)，將原始LBP 擴(kuò)展成三值編碼。Hadizadeh［7］引入了Gabor濾波器，開發(fā)出了局部Gabor小波二元模式，實(shí)驗(yàn)驗(yàn)證它可以同時(shí)抵抗噪聲和旋轉(zhuǎn)的影響。近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，人們提出了基于CNN 的紋理識(shí)別方法，但是需要大型的數(shù)據(jù)庫(kù)才能夠凸顯其優(yōu)勢(shì)［8］。

上面提及的LBP 算法以及其改進(jìn)算法在紋理識(shí)別方面取得了巨大的成功，但是仍然存在一些未解決的問(wèn)題：①應(yīng)對(duì)噪聲影響，識(shí)別率過(guò)低的問(wèn)題；②其旋轉(zhuǎn)不變模式是離散的，不是連續(xù)的；③在準(zhǔn)確性和效率之間進(jìn)行權(quán)衡仍然是一個(gè)棘手的問(wèn)題。因此，本文對(duì)這幾個(gè)尚未解決的問(wèn)題提出了相應(yīng)的方案。

本文提出了一種新的混合特征的提取方案來(lái)改善這些缺陷，該方案通過(guò)引入添加了形狀指數(shù)的LBP 描述符對(duì)局部凹凸模式方法進(jìn)行補(bǔ)充?；谛螤钪笖?shù)的LBP 描述符是一種高效的連續(xù)旋轉(zhuǎn)不變描述符，形狀指數(shù)由圖像表面主曲率構(gòu)造，它可以提取得到圖像表面宏觀和微觀結(jié)構(gòu)紋理信息，既保留了原始LBP 簡(jiǎn)單有效的特點(diǎn)，又引入了連續(xù)旋轉(zhuǎn)不變性和高分辨率特性。所以，我們提出了一種更加魯棒的SILCCP 的混合特征提取模式，通過(guò)融合圖像表面紋理的結(jié)構(gòu)信息和凹凸性兩方面的特征對(duì)紋理進(jìn)行分析，改善傳統(tǒng)的特征提取方法。通過(guò)必要的理論分析以及大量的紋理識(shí)別實(shí)驗(yàn)研究，證明了我們提出的方法擁有良好的性能。

1 相關(guān)工作

1.1 LBP算法描述

LBP 是一種用來(lái)提取局部紋理特征的紋理描述符。原始的LBP 是一個(gè)強(qiáng)大的紋理描述符，它通過(guò)用中心值對(duì)每個(gè)像素的3×3 鄰域進(jìn)行閾值化來(lái)編碼每個(gè)像素。對(duì)于一個(gè)3 × 3 局部區(qū)域，核函數(shù)的定義LBP算子如式（1）所示:

其中P為所涉及的鄰域像素個(gè)數(shù)，R為中心像素gc周圍的鄰域半徑，gP為其鄰域像素的灰度值，S(x)為閾值函數(shù)，對(duì)S(x)的結(jié)果進(jìn)行加權(quán)，得到一串二進(jìn)制數(shù)。

隨著采樣點(diǎn)數(shù)量的增加，二值模式的數(shù)量將急劇增加，導(dǎo)致數(shù)據(jù)太多，直方圖太稀疏，無(wú)法很好地反映圖像特征。為了提高統(tǒng)計(jì)性能，提出了一種統(tǒng)一模式來(lái)降低LBP 算子模式類型的維數(shù)。表示為，如式（3）所示:

其中，U(LBPP,R)用于計(jì)算LBPP,R中“0/1”或“1/0”的轉(zhuǎn)換。上標(biāo)riu2 反映了使用不大于2 的U(LBPP,R)個(gè)值的旋轉(zhuǎn)不變量的統(tǒng)一模式，所有其他情況都?xì)w因于P+1 個(gè)統(tǒng)一的二進(jìn)制模式。均勻LBP 通過(guò)將2^P指數(shù)模式轉(zhuǎn)換為P（P-1）+2個(gè)模式來(lái)減少內(nèi)存占用，通過(guò)降低特征維數(shù)來(lái)減少高頻噪聲的影響。

1.2 LCCP算法描述

LCCP 及其擴(kuò)展是一種性能優(yōu)良的灰度和旋轉(zhuǎn)不變的局部紋理描述子。Chen 等［9］提出了LCCP 以及LCCP 的相關(guān)擴(kuò)展，并且實(shí)驗(yàn)證明了LCCP 以及其擴(kuò)展在紋理識(shí)別上的獨(dú)特優(yōu)勢(shì)，尤其是對(duì)光照的魯棒性更強(qiáng)。圖1 顯示的是通過(guò)雙線性插值的方式構(gòu)造出新的采樣點(diǎn)，得到了8個(gè)方向的凹凸信息構(gòu)造8位LCCP模式。

圖1 插值后的LCCP信息

在圖1 中，中心像素點(diǎn)X0的8 位LCCP 模式以式（5）表示：

1.3 主曲率

在微分幾何中，主曲率作為分析局部紋理強(qiáng)度的基本屬性，在描述目標(biāo)圖像的空間紋理結(jié)構(gòu)時(shí)具有諸多優(yōu)點(diǎn)。對(duì)于三維空間中可微曲面上任意一點(diǎn)P0點(diǎn)處的法向量是唯一的。在60點(diǎn)處有無(wú)窮多個(gè)包含法向量n的法平面。此外，有一對(duì)法平面可以使它們與曲面的交點(diǎn)在所有曲率中達(dá)到最大值或最小值。最小曲率表示P0點(diǎn)處彎曲程度最小的曲線，其曲率用λ1表示。垂直于最小曲率平面的曲率為最大曲率，用λ2表示，這兩個(gè)曲率統(tǒng)稱為主曲率。因此，主曲率能夠準(zhǔn)確地反映紋理圖像的宏觀和微觀結(jié)構(gòu)信息，而且無(wú)論圖像以任何方向旋轉(zhuǎn)任意角度，主曲率都能保持恒定，非常適合作為紋理分類的補(bǔ)充信息。圖2為主曲率在局部圖像表面的示意圖。

圖2 圖像表面主曲率表示

2 相關(guān)方法

2.1 形狀指數(shù)的構(gòu)造方法

在微分幾何中，主曲率可以由二階微分運(yùn)算得到，所以，我們通過(guò)計(jì)算Hessian 矩陣的特征值來(lái)求取圖像的主曲率，從而構(gòu)建形狀指數(shù)。給定一個(gè)灰度圖像I(x,y)，構(gòu)建形狀指數(shù)的過(guò)程如下所示：

步驟一：計(jì)算圖像I(x,y)的二階高斯導(dǎo)數(shù)Gxx，Gxy，Gyx，Gyy。

其中，

計(jì)算標(biāo)準(zhǔn)差σ的高斯算子如式（6）所示：

步驟二：構(gòu)建標(biāo)準(zhǔn)差為σ的Hessian矩陣

其中，*為卷積操作。

步驟三：根據(jù)矩陣特征值的乘積等于這個(gè)矩陣的行列式(detH)，與矩陣特征值的和等于矩陣的跡(trH)列兩個(gè)等式可以解出兩個(gè)特征值λ1與λ2。

通過(guò)引入(λ-λ1)(λ-λ2)=0，可以簡(jiǎn)化特征值的求解運(yùn)算，可以得到：

將式（7）代入式（8）中，即可得到最大和最小的兩個(gè)特征值λmax和λmin。

步驟四：結(jié)合λmax和λmin構(gòu)建形狀指數(shù)，在二維圖像上進(jìn)行檢測(cè)。得到形狀指數(shù)的定義式如式（10）所示：

2.2 相似性度量

在紋理分類階段，我們使用直方圖交叉距離對(duì)得到的測(cè)試樣本直方圖和訓(xùn)練樣本直方圖進(jìn)行相似性度量，直方圖交叉距離可以快速地處理大量的數(shù)據(jù)，適用于灰度直方圖之間的距離匹配。假設(shè)訓(xùn)練集圖像I和測(cè)試集圖P兩幅圖像特征分別為，然后計(jì)算識(shí)別成功率。其中直方圖交叉距離公式如式（11）所示：

其中，Y表示融合子圖像數(shù)量，Z表示所生成融合特征向量的長(zhǎng)度。

2.3 算法流程

圖3為本文的算法基本流程。首先對(duì)原始圖像進(jìn)行了分塊處理。在后續(xù)實(shí)驗(yàn)中，需要分別對(duì)分塊數(shù)為1 × 1、1 × 2、2 × 2、2 × 4、4 × 4的圖片提取其小塊的直方圖進(jìn)行計(jì)算，最后連接所有分塊的直方圖信息進(jìn)行匹配，得到最優(yōu)分塊的識(shí)別性能。使用形狀指數(shù)標(biāo)記圖像表面特征強(qiáng)度，對(duì)局部統(tǒng)一LBP的性能進(jìn)行強(qiáng)化，使其獲得連續(xù)旋轉(zhuǎn)不變性。將強(qiáng)化的LBP 與噪聲魯棒的LCCP進(jìn)行算法融合，提取圖像紋理特征信息。提取特征直方圖。將強(qiáng)化的LBP 特征直方圖與LCCP 特征直方圖進(jìn)行融合，得到最終的特征向量。

圖3 算法流程圖

3 實(shí)驗(yàn)結(jié)果與分析

在本小節(jié)中，我們對(duì)提出方法的性能進(jìn)行多維度的分析，并與大量先進(jìn)的紋理分類方法進(jìn)行了全面的比較評(píng)估，驗(yàn)證了所提出方法在紋理識(shí)別上的優(yōu)越性。為了驗(yàn)證SI-LCCP 描述符的優(yōu)勢(shì)，在四個(gè)具有挑戰(zhàn)性的紋理數(shù)據(jù)庫(kù)：CUReT 紋理數(shù)據(jù)庫(kù)、ORL 人臉數(shù)據(jù)庫(kù)、Extend Yale B 人臉數(shù)據(jù)集以及香港理工大學(xué)Poly U 掌紋圖像數(shù)據(jù)集上進(jìn)行了圖像分塊與分類實(shí)驗(yàn)，與現(xiàn)階段最先進(jìn)的算法進(jìn)行比較，驗(yàn)證了算法在應(yīng)對(duì)旋轉(zhuǎn)不變性方面具有獨(dú)特優(yōu)勢(shì)。為了驗(yàn)證算法應(yīng)對(duì)噪聲的有效性，還對(duì)噪聲環(huán)境下的圖像進(jìn)行實(shí)驗(yàn)。

3.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

ORL 人臉數(shù)據(jù)集是由英國(guó)劍橋的Olivetti 研究實(shí)驗(yàn)室創(chuàng)建的。包含400 張圖像，其中包括40 個(gè)人，每人10 張?jiān)诓煌臅r(shí)間、不同的光照、不同的面部表情和面部細(xì)節(jié)環(huán)境下采集的，是人臉識(shí)別常用的數(shù)據(jù)集之一。圖4（a）是該數(shù)據(jù)集中截取的圖片樣本。圖4（b）截取的是Yale大學(xué)創(chuàng)建的Extend Yale B 人臉數(shù)據(jù)集，該數(shù)據(jù)集包括38個(gè)人，每人64張，共2432張?jiān)诓煌庹铡⒉煌砬楹筒煌藨B(tài)下的人臉圖像，是一個(gè)非常有挑戰(zhàn)性的光照變化的數(shù)據(jù)集。圖4（c）是從香港理工大學(xué)Poly U 掌紋圖像數(shù)據(jù)集中截取的圖像，數(shù)據(jù)庫(kù)包含7752 幅BMP 圖像格式的灰度圖像，對(duì)應(yīng)386個(gè)人不同的掌紋。該數(shù)據(jù)集中所有原始掌紋圖像的分辨率為384 × 284 像素。我們選取其中100 個(gè)人，每人6 張掌紋圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證。

CUReT 紋理數(shù)據(jù)集是一個(gè)具有挑戰(zhàn)性的紋理識(shí)別數(shù)據(jù)集，它包含61 個(gè)類，每個(gè)類中包含205幅不同視角、尺度與光照下拍攝的圖片，有較大的類內(nèi)差異。我們隨機(jī)選擇其中48 幅圖像進(jìn)行實(shí)驗(yàn)，選取N張圖像作為訓(xùn)練數(shù)據(jù)，剩余作為測(cè)試數(shù)據(jù)。圖4（d）是數(shù)據(jù)集中選取的部分圖像樣本。

圖4 預(yù)處理樣本圖像

3.2 不同分塊下的實(shí)驗(yàn)性能

圖像分塊對(duì)于實(shí)驗(yàn)識(shí)別效果有著很大的關(guān)系，分塊過(guò)少可能會(huì)導(dǎo)致提取特征過(guò)少，而分塊過(guò)多可能導(dǎo)致噪聲的影響擴(kuò)大。實(shí)驗(yàn)中，我們?cè)诿總€(gè)數(shù)據(jù)集中隨機(jī)選取樣本數(shù)的一半作為訓(xùn)練數(shù)據(jù)，剩余數(shù)據(jù)作為測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，為了保證隨機(jī)選取數(shù)據(jù)的有效性，我們每輪重復(fù)進(jìn)行10 次實(shí)驗(yàn)求取其平均值。從表1 的數(shù)據(jù)結(jié)果可以看出：ORL 數(shù)據(jù)集上在2 × 2 分塊時(shí)達(dá)到最佳的識(shí)別效果，分塊越多，其識(shí)別率會(huì)越低，在Extend Yale B 數(shù)據(jù)集上我們可以看出分塊越多，其提取的特征越細(xì)，識(shí)別效果越好。在Poly U 數(shù)據(jù)集上，在4 × 4 分塊的時(shí)候識(shí)別效果達(dá)到最佳。

表1 不同分塊下的平均識(shí)別率與標(biāo)準(zhǔn)偏差 單位：%

3.3 旋轉(zhuǎn)不變性驗(yàn)證

CUReT 數(shù)據(jù)集包含了不同角度旋轉(zhuǎn)的圖像，存在顯著的視點(diǎn)、光照和旋轉(zhuǎn)的變化，并且具有較大的類內(nèi)差異，我們可以使用它來(lái)驗(yàn)證融合形狀指數(shù)的算法在克服旋轉(zhuǎn)不變性等方面的獨(dú)特優(yōu)勢(shì)。為了得到更可靠的實(shí)驗(yàn)結(jié)果，在CUReT 數(shù)據(jù)集上所有的實(shí)驗(yàn)均進(jìn)行了10 次并且最終結(jié)果以平均識(shí)別率為準(zhǔn)。同時(shí)證明本方法的有效性，在表2中與最新的研究成果以及非常經(jīng)典的方法進(jìn)行了綜合比較。

表2 不同方法在CUReT數(shù)據(jù)集上的結(jié)果

通過(guò)與現(xiàn)階段先進(jìn)方法的比較，本文算法在極具挑戰(zhàn)性的CUReT 數(shù)據(jù)集上取得了很好的效果，雖然數(shù)據(jù)集包含了許多旋轉(zhuǎn)、光照、視點(diǎn)等圖像，提出的方法都能有效面對(duì)。由此可見，本方法在一些變化比較小的數(shù)據(jù)集上也能提供穩(wěn)定的性能。

3.4 不同噪聲環(huán)境下的性能

為了評(píng)估本文算法在噪聲環(huán)境下的性能，我們給Extend Yale B 中的數(shù)據(jù)添加了不同種類的噪聲進(jìn)行實(shí)驗(yàn)驗(yàn)證，并與經(jīng)典的同類型算法以及融合形狀指數(shù)之前的算法進(jìn)行比較，并且將噪聲魯棒性很好的CS-LDP［19］加入到此次實(shí)驗(yàn)。通過(guò)人為給圖像添加噪聲可以使得原本較高的識(shí)別率下降，因此，通過(guò)在添加噪聲環(huán)境下依舊能夠保持相對(duì)較高的識(shí)別率來(lái)說(shuō)明該算法對(duì)噪聲具有魯棒性。

這一部分在Extend Yale B 數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中在隨機(jī)選取的訓(xùn)練樣本上使用函數(shù)imnoise（Train_im，‘salt &pepper’，0.2）來(lái)添加椒鹽噪聲和使用imnoise（Train_im，‘poisson’）添加泊松噪聲。每類圖像隨機(jī)選取n個(gè)樣本作為訓(xùn)練集，剩余（64 -n）個(gè)樣本則作為測(cè)試數(shù)據(jù)（不進(jìn)行添加噪聲）進(jìn)行實(shí)驗(yàn)。重復(fù)10 次實(shí)驗(yàn)計(jì)算其平均識(shí)別率，實(shí)驗(yàn)結(jié)果記錄在表3中。

表3 在Extend Yale B數(shù)據(jù)集中圖像加入噪聲情況下各算法的平均識(shí)別率 單位：%

4 結(jié)語(yǔ)

本文利用圖像表面形狀指數(shù)連續(xù)旋轉(zhuǎn)不變的特性，提出了一種有效的特征描述算子用于紋理分類。形狀指數(shù)基于主曲率構(gòu)造，主曲率能夠準(zhǔn)確地反映紋理圖像的宏觀和微觀結(jié)構(gòu)信息，無(wú)論圖像以任何方向旋轉(zhuǎn)任意角度，主曲率都能保持恒定。通過(guò)跟多種方法比較，結(jié)果證明了形狀指數(shù)的該特性有效改善了原來(lái)局部算法的旋轉(zhuǎn)不變性。并且將另一種局部凹凸模式LCCP 算法進(jìn)行了融合，使得提取的紋理信息包含了圖像表面凹凸信息，在應(yīng)對(duì)噪聲方面獲得了更好的效果。我們分別添加兩種不同噪聲進(jìn)行測(cè)試，本文算法對(duì)添加兩種噪聲的數(shù)據(jù)均獲得了更高的識(shí)別性能，證明了其應(yīng)對(duì)噪聲的魯棒性。在未來(lái)，希望能夠更深地挖掘圖像形狀指數(shù)的其他信息，希望其能夠?qū)y理識(shí)別與分類的研究提供新的思路。