王軍敏,寧超魁
(平頂山學(xué)院 信息工程學(xué)院,河南 平頂山 467036)
紋理特征是一種重要的、普遍存在的視覺特征,它能夠很好地描述目標(biāo)的表面屬性.紋理圖像具有如下特點:1)在紋理圖像中存在某種基本的視覺感知單元,即紋理基元;2)紋理基元的出現(xiàn)具有重復(fù)性.所以,紋理圖像的核心特征就是紋理基元的存在性和重復(fù)性,不同的紋理基元和排列規(guī)則形成了千差萬別的紋理圖像,這也使得對紋理基元形態(tài)及其重復(fù)性的檢測成為紋理圖像識別的核心研究內(nèi)容[1-2].
對紋理圖像識別的研究一直是人工智能領(lǐng)域的研究熱點,其研究成果已經(jīng)在人類的生產(chǎn)生活中獲得了廣泛應(yīng)用.但由于紋理圖像中所蘊(yùn)含的紋理模式具有極大的多樣性和復(fù)雜性,并且在現(xiàn)實場景中紋理圖像可能受到光照條件、目標(biāo)旋轉(zhuǎn)、尺度變化等因素的影響,這使得紋理圖像識別成為一項具有挑戰(zhàn)性的任務(wù).
目前,研究人員已經(jīng)提出了多種紋理圖像識別方法,例如,GLCM方法[3]、Gabor濾波方法[4]、VZ-MR8方法[5]、VZ-Joint方法[6]、局部二值模式(Local Binary Pattern,LBP)方法[7]等.
20世紀(jì)70年代,Haralick提出了GLCM方法來實現(xiàn)紋理圖像的特征提取和識別.因為紋理圖像是由灰度分布在空間位置上反復(fù)出現(xiàn)而形成的,所以,GLCM方法通過檢測灰度的空間共生性來描述紋理圖像的特征.GLCM方法首先對距離d和方向θ上不同灰度等級的像素對出現(xiàn)的次數(shù)進(jìn)行統(tǒng)計來構(gòu)造GLCM矩陣,然后利用GLCM矩陣計算一組特征量來描述紋理圖像的特征.不同的距離d和方向θ對應(yīng)不同的GLCM矩陣和特征量,從而能夠捕獲紋理圖像在不同距離和不同方向上的灰度共生性質(zhì).圖1展示了當(dāng)選擇距離d=1,方向θ=0°時根據(jù)輸入圖像計算GLCM矩陣的基本原理.
圖1 計算GLCM矩陣的基本原理
為了提取紋理圖像的局部特征,Zhao等提出了CLBC方法[8],該方法計算局部鄰域像素與中心像素灰度差的符號信息CLBC_S、幅值信息CLBC_M和中心像素的灰度等級信息CLBC_C,其計算公式為
現(xiàn)有的紋理圖像識別方法重點研究紋理基元的尺寸、形狀等局部特征,但這些方法不能有效描述紋理基元在整幅圖像中的排列和分布規(guī)律,無法獲得從整體到局部的多尺度結(jié)構(gòu)特征,從而導(dǎo)致這些方法的識別能力受到限制.為了解決上述問題,筆者提出一種從全局到局部的多尺度結(jié)構(gòu)特征融合方法,同時捕獲紋理基元的局部形態(tài)特征和全局分布規(guī)律.
圖3展示了本文方法提取多尺度結(jié)構(gòu)特征并進(jìn)行紋理圖像識別的基本原理,對輸入的原始紋理圖像,一方面利用CLBC方法捕獲紋理基元的形態(tài)特征,另一方面利用GLCM方法捕獲紋理基元的分布規(guī)律,最后通過NSC分類器實現(xiàn)多尺度GLCM特征和CLBC特征的融合和分類,獲得輸入紋理圖像的類別標(biāo)簽.
在本文方法中,主要利用GLCM特征描述紋理圖像在全局的結(jié)構(gòu)信息,即體現(xiàn)紋理基元在整幅圖像中的分布規(guī)律和排列規(guī)則.圖4展示了本文方法提取多尺度GLCM特征的原理,具體實現(xiàn)步驟如下所述.
圖4 本文方法提取多尺度GLCM特征的基本原理
1)構(gòu)建紋理圖像的多尺度空間.為了捕獲多尺度的GLCM特征,首先對輸入的原始紋理圖像進(jìn)行多次采樣來構(gòu)建圖像多尺度空間,所生成的圖像多尺度空間一共包含4幅圖像,即原始的紋理圖像及其1/2、1/4和1/16尺寸的圖像.
2)計算GLCM矩陣及其特征量.為了捕獲全局的結(jié)構(gòu)信息,在計算GLCM矩陣時選擇較大的距離d為10和20,方向選擇θ為0°、45°、90°、135°,然后利用GLCM矩陣計算4個特征量(對比度、相關(guān)性、能量、均勻性).
3)對多尺度空間中的每幅圖像,分別計算距離d為10和20對應(yīng)4個特征量的均值和標(biāo)準(zhǔn)差并進(jìn)行級聯(lián),將其作為多尺度空間中每幅圖像的特征向量.
4)對多尺度空間中4幅圖像的特征向量按列取最大值,獲得一個尺度穩(wěn)健的GLCM特征向量,將其作為最終的多尺度GLCM特征描述.
在本文方法中,主要利用CLBC特征描述紋理圖像的局部結(jié)構(gòu)信息,即體現(xiàn)紋理基元的局部尺寸和形態(tài)特征,它與多尺度GLCM特征所描述的紋理基元分布規(guī)律形成互補(bǔ).圖5展示了本文方法提取多尺度CLBC特征的基本原理,具體實現(xiàn)步驟如下所述.
圖5 本文方法提取多尺度CLBC特征的基本原理
1)構(gòu)建紋理圖像的多尺度空間.為了捕獲多尺度的CLBC特征,首先對輸入的原始紋理圖像進(jìn)行多次高斯濾波來構(gòu)建圖像多尺度空間,所生成的圖像多尺度空間一共包含3幅圖像,即原始的紋理圖像及兩次高斯濾波后的圖像.其中,高斯濾波器的標(biāo)準(zhǔn)差σ=1.7,濾波器的窗口尺寸為11×11像素.
2)計算CLBC聯(lián)合直方圖特征.選擇一個半徑R和鄰域點個數(shù)P,對多尺度空間中的每幅圖像分別計算CLBC_SMC聯(lián)合直方圖,并將其轉(zhuǎn)換成行向量形式,即獲得每幅圖像的CLBC模式特征向量.
3)對3個CLBC_SMC模式特征向量按列(模式)取最大值,獲得一個尺度穩(wěn)健的特征向量.
4)改變參數(shù)(P,R)的值,分別選擇R=[1,5,9],P=[8,16,24],重復(fù)第2)~3)步提取多個半徑R對應(yīng)的尺度穩(wěn)健特征向量,并將這些特征向量進(jìn)行級聯(lián),將其作為最終的多尺度CLBC特征描述.
多尺度GLCM特征體現(xiàn)紋理圖像的全局結(jié)構(gòu)信息和紋理基元的分布規(guī)律,多尺度CLBC特征體現(xiàn)紋理圖像的局部結(jié)構(gòu)信息和紋理基元的尺寸形態(tài),兩者對紋理圖像識別都具有重要的作用.因此,為了充分利用多尺度的GLCM特征和CLBC特征,筆者利用NSC分類器實現(xiàn)多尺度GLCM特征和CLBC特征的融合并判定輸入紋理圖像的類別.具體實現(xiàn)過程如下所述.
在NSC分類器[9]中,每類全部訓(xùn)練樣本的特征張成該類的一個特征子空間,如式(1)和(2)所示:
HGLCM=[hGLCM,1,hGLCM,2,…,hGLCM,n],
(1)
HCLBC=[hCLBC,1,hCLBC,2,…,hCLBC,n].
(2)
其中,hGLCM,i和hCLBC,i分別表示第i個訓(xùn)練樣本的多尺度GLCM特征列向量和CLBC特征列向量,n為每類的訓(xùn)練樣本個數(shù).
然后,分別計算輸入紋理圖像y在每類特征子空間中的投影殘差,即
接著,利用加權(quán)求和的方法將投影殘差errGLCM和errCLBC進(jìn)行特征融合,即
errf=w·errGLCM+(1-w)·errCLBC,0≤w≤1.
其中,加權(quán)系數(shù)w的值可以通過實驗來確定,筆者選擇w=0.8.
最后,計算輸入紋理圖像y在所有類別的投影殘差,并將投影殘差最小的那個類別作為輸入紋理圖像y所屬的類別,即
為了評估筆者提出的紋理圖像識別方法的性能,選擇在兩個基準(zhǔn)的KTH-TIPS和UIUC紋理庫上開展實驗.其中,KTH-TIPS紋理庫包含10類紋理,每類81個樣本,該紋理庫含有復(fù)雜的照明條件、拍攝視角和尺度變化,給紋理圖像識別帶來了很大的挑戰(zhàn),圖6展示了KTH-TIPS紋理庫的一些樣本圖像.UIUC紋理庫包含25類紋理,每類40個樣本,該紋理庫的樣本數(shù)量少,并且具有顯著的視角、尺度變化和表面非剛性形變,圖7展示了UIUC紋理庫的一些樣本圖像.
圖6 KTH-TIPS紋理庫的尺度變化
圖7 UIUC紋理庫的視角、尺度變化和非剛性形變
實驗設(shè)置:從KTH-TIPS和UIUC紋理庫各隨機(jī)挑選一半樣本用于訓(xùn)練,剩下的一半樣本用于測試;為了獲得穩(wěn)定的結(jié)果,獨立重復(fù)實驗100次,用這100次實驗結(jié)果的平均值作為最終的結(jié)果.
實驗的軟硬件平臺:計算機(jī)(i5-4440 CPU @ 3.10 GHz,16 GB RAM),MATLAB R2016b軟件.
識別精度是評價一種紋理圖像識別方法最重要的指標(biāo).為了對本文方法的識別精度進(jìn)行評估,選擇在基準(zhǔn)的KTH-TIPS和UIUC紋理庫上開展實驗,并將本文方法的識別精度與其他一些方法的識別精度進(jìn)行對比,結(jié)果如表1所示.
表1 本文方法與其他方法的識別精度對比 單位:%
從表1的結(jié)果對比可以看出,筆者提出的方法在基準(zhǔn)的KTH-TIPS和UIUC紋理庫上都獲得了最高的識別精度,分別為99.51%和99.22%,都超過了其他方法的識別精度,這表明筆者提出的方法能夠有效捕獲紋理圖像從全局到局部的多尺度結(jié)構(gòu)信息,所提取的紋理特征具有更好的鑒別能力,從而在紋理圖像識別任務(wù)中具有更好的性能.
筆者提出一種多尺度結(jié)構(gòu)特征融合的紋理圖像識別方法,該方法首先構(gòu)造紋理圖像的多尺度空間來模擬紋理圖像的尺度變化,然后在多尺度空間中利用CLBC方法提取局部結(jié)構(gòu)信息和紋理基元的形態(tài)特征,利用GLCM方法提取全局結(jié)構(gòu)信息和紋理基元的分布特征,最后利用NSC分類器實現(xiàn)多尺度GLCM特征和CLBC特征的融合并實現(xiàn)紋理圖像識別.筆者提出的方法在基準(zhǔn)的KTH-TIPS和UIUC紋理庫上分別取得了99.51%和 99.22% 的識別精度,具有良好的應(yīng)用前景.