張 玥，劉傳才，鄒 健，盧桂馥

1.南京理工大學(xué) 計算機(jī)學(xué)院，南京 210094

2.安徽工程大學(xué) 應(yīng)用數(shù)理學(xué)院，安徽 蕪湖 241000

3.安徽工程大學(xué) 計算機(jī)信息學(xué)院，安徽 蕪湖 241000

1 引言

顏色、紋理和形狀是用以描述圖像屬性的最基本底層特征，廣泛應(yīng)用于目標(biāo)識別任務(wù)[1-8]。鑒于顏色對目標(biāo)的尺度、旋轉(zhuǎn)和姿態(tài)變化魯棒，并能適應(yīng)一定的視點變化，因此，與灰度圖像相比，彩色圖像的顏色特征能提供更豐富且魯棒的鑒別信息[2]。紋理是圖像的一種區(qū)域性特征，它在圖像上表現(xiàn)為灰度或顏色分布的某種規(guī)律性，通常被用來描述目標(biāo)表面的粗糙程度和它的方向性的規(guī)律性。由Haralick[1]最先引入的灰度共生矩陣（GLCM）是最經(jīng)典的灰度紋理特征，它以統(tǒng)計的方式描述了圖像局部結(jié)構(gòu)給定條件下像素灰度水平二維聯(lián)合分布，能較好地反映像素灰度水平的相關(guān)性規(guī)律和灰度空間的依賴關(guān)系。盡管彩色圖像含有豐富的視覺特征，但是很多現(xiàn)有技術(shù)對圖像顏色信息的利用是在忽略空間相關(guān)性的情形下突出對一些全局特征使的應(yīng)用，而對于紋理信息的使用則是在忽略像素顏色的前提下強(qiáng)調(diào)圖像局部鄰域內(nèi)像素強(qiáng)度值的空間信息。從視覺識別技術(shù)的發(fā)展進(jìn)程來看，在一個識別系統(tǒng)中整合和利用不同類型特征的互補(bǔ)信息已成為一種趨勢[4，7]。新近的研究表明，在各種形式的底層特征融合方案中，顏色和紋理特征的融合通常具有高效率和強(qiáng)鑒別性[4，7-8]。

Palm[7]首先采用共生矩陣方法整合圖像中顏色和紋理信息，并將顏色共生矩陣根據(jù)顏色通道的組合方式分為單通道顏色共生矩陣和多通道顏色共生矩陣。其中，單通道顏色共生矩陣僅是從單個顏色通道圖像上提取的類似于GLCM的描述子，不含不同通道顏色的空間相關(guān)性；多通道顏色共生矩陣通過對不同通道顏色的空間相關(guān)性的量化對圖像的顏色和紋理屬性加以概括。鑒于顏色共生矩陣具有非線性拓?fù)浣Y(jié)構(gòu)，這導(dǎo)致了使用從顏色共生矩陣中進(jìn)一步提取的Haralick特征的方法十分流行，顯然這種方法的缺陷是無法利用共生矩陣中完整的統(tǒng)計信息[1，4，7-8]。

根據(jù)顏色共生矩陣的自然形式，本文提出在共生矩陣流形上借助從多項流形中誘導(dǎo)的費歇爾-黎曼（Fisher-Riemannian）度量量化不同目標(biāo)圖像共生矩陣間的信息差異的方法并將其應(yīng)用于彩色目標(biāo)識別。就RGB彩色圖像而言，在顏色量化水平和每個像素局部鄰域給定的條件下，該方法將一幅圖像各個通道圖像對上共生的顏色建模為六個潛在的多項分布的概率實現(xiàn)，而提取的六個歸一化的顏色共生矩陣（單通道和多通道類型各三個）可視為潛在模型參數(shù)的基于最大似然估計的矩陣化形式。因此，兩幅圖像的相似性度量就可以通過量化六個顏色共生矩陣的信息差異實現(xiàn)。在采用緊化的共生頻率嵌入并對每個因子流形賦予誘導(dǎo)的多項Fisher信息距離度量條件下，積形式的顏色共生矩陣流形提供了差異量化的幾何平臺。在識別應(yīng)用中，考慮到每個因子流形上共生信息差異的權(quán)重不同，提出的方法先在每個因子流形上使用最近鄰分類器進(jìn)行標(biāo)簽預(yù)測，然后在積流形上通過多數(shù)投票完成測試樣本與訓(xùn)練樣本間的匹配。實驗表明，針對彩色目標(biāo)的識別，與經(jīng)典的Haralick特征方法和子空間方法相比，該方法在識別精度上能獲得較大的優(yōu)勢。

2 顏色共生矩陣及基于顏色共生模型的目標(biāo)表示

假設(shè)I是大小為m×n的RGB彩色圖像，用IR、IG、IB分別表示R、G、B三顏色成分（通道）圖像，并把它們構(gòu)成的集合記為 I={IR，IG，IB}。在給定了設(shè)置：（1）量化R、G、B顏色W-水平集={0，1，…，W-1}；（2）由像素間距離d和若干方向θ∈Θ確定像素鄰域結(jié)構(gòu){(d，θ):θ∈Θ}；（3）由兩個單通道顏色圖像組成的圖像對(Iu，Iv)∈I×I，定義關(guān)于圖像對 (Iu，Iv)的顏色共生矩陣為量化顏色為條件概率分布：

這樣，在上述設(shè)置下一幅RGB彩色圖像的任意一對通道圖像上共生顏色的概率生成模型可視為 中的一點?？紤]到多項分布族[9]：

的參數(shù)空間：

在賦予了費歇爾-黎曼結(jié)構(gòu)時[10-11]，可以導(dǎo)出閉式表達(dá)的Fisher信息距離（即測地距離）度量：

因此，顏色共生矩陣的模型空間?可以自然地從PW2-1上誘導(dǎo)Fisher信息距離度量：

其中vec(?)是對矩陣向量化算子。本文將配備了信息度量Dist的模型空間?稱為共生矩陣流形。顯然，三種常見的顏色通道策略[7]對應(yīng)著三個乘積共生矩陣流形框架下的目標(biāo)表示法：

（1）單通道策略（SCM）：圖像中的目標(biāo)按三個單通道顏色共生模型表示為?3中的一點。

（2）多通道策略（MCM）：圖像中的目標(biāo)按三個多通道顏色共生模型表示為?3中的一點。

（3）單、多通道混合策略（SCM+MCM）：圖像中的目標(biāo)按六個顏色共生模型表示為?6中的一點。

本文將?3和?6均稱為積顏色共生矩陣流形，?為其因子流形。

3 嵌入及基于多數(shù)投票的目標(biāo)匹配

鑒于共生矩陣內(nèi)在的非歐結(jié)構(gòu)，在基于顏色共生矩陣的識別方法中，研究者往往先對每個顏色共生矩陣進(jìn)一步提取像對比度、同質(zhì)性、相關(guān)性、相異性、能量、熵等經(jīng)典特征并對所有考慮的顏色通道將這些特征作成加長向量，然后使用適當(dāng)?shù)姆诸惼鲗崿F(xiàn)識別[7]。毫無疑問，這些方法以犧牲共生矩陣中部分鑒別信息為代價。從分布的特性考慮，盡管Kullback-Leibler距離和Hellinger距離度量可用以共生信息的差異量化，但本文更傾向于使用能反映顏色共生矩陣流形上模型間內(nèi)在幾何結(jié)構(gòu)的測地線距離作為匹配度量。實際上，測地距離作為統(tǒng)計流形上最自然的度量，除了用于分類外，還經(jīng)常用于聚類、降維及分割等任務(wù)。在識別應(yīng)用中，等式（1）中顏色共生概率均是未知的，且基于離散的顏色量化從圖像中抽取的歸一化顏色共生矩陣往往含多個零共生頻率。為此，本文采用緊致化嵌入：

已有的研究表明，圖像的不同通道圖像對上的共生信息的鑒別性既存在顯著差異，又具有一定互補(bǔ)性[4，7]。根據(jù)上述框架，本文提出的識別方法先在或的每個因子流形上借助基于度量Dist的最近鄰分類器對測試樣本和訓(xùn)練樣本作匹配識別，然后對每個測試樣本根據(jù)其在各個因子流形上獲得的預(yù)測標(biāo)簽按多數(shù)投票的方式確定最終的類別，對于涉及票數(shù)最多的標(biāo)簽出現(xiàn)在多于一類的情形，按照隨機(jī)方式?jīng)Q定其所屬類。

4 實驗結(jié)果及分析

為了驗證由共生矩陣內(nèi)幾何導(dǎo)出的Fisher信息度量及投票策略在彩色目標(biāo)識別任務(wù)中的有效性，選擇Georgia Tech（GT）彩色人臉庫[12]和 COIL-100目標(biāo)庫[13]進(jìn)行識別實驗。兩個圖像庫所有圖像均被裁割成64×64尺寸大小。為了對圖像上的共生顏色進(jìn)行計數(shù)和信息量化，采用32-水平顏色量化法，即W=32；d=1及Θ={kπ/4:k=0，1，2，3} 的局部像素鄰域；另外，在使用rounding平滑技術(shù)時舍入?yún)?shù)ε設(shè)置為0.000 1。

GT人臉庫包含50個個體的750張彩色人臉圖像（每人15張），這些圖像有著較大的姿態(tài)、表情和光照變化，圖1展示了GT庫7個個體的樣本圖像。

圖1 GT人臉庫中7個個體的樣本圖像

考慮到除了共生矩陣方法外，通過Gabor小波變換將一幅圖像分解成一組濾波圖像是另一種圖像紋理描述的經(jīng)典方法。為此，對于GT庫上的人臉識別實驗，選擇使用本文提出的三種匹配策略：SCM、MCM和SCM+MCM對應(yīng)的識別方法與基于Haralick特征的方法[7]（記為HFM）、以及三個基于多通道Gabor幅值的子空間方法：Gabor+PCA[14]、Gabor+LDA[14]、Gabor+LPP[15]進(jìn)行識別性能比較。這里采用的子空間方法是將每幅人臉圖像經(jīng)40通道Gabor濾波變換生成的40通道幅值圖像在采用r=2×2=4的下采樣（為了有效地存儲）條件下串連每張幅值圖像上的幅值特征作成的向量應(yīng)用到PCA、LDA和LPP（局部投影保持）三種算法進(jìn)一步提取低維特征。其中，40通道的Gabor濾波器的參數(shù)設(shè)置與文獻(xiàn)[5]的實驗中采用的設(shè)置一致。對該庫人臉的識別，采用10重交叉驗證的識別方法，即執(zhí)行每一重識別任務(wù)時，隨機(jī)選取每人的k(k=3，4，5)張圖像為訓(xùn)練樣本，其余的作測試樣本，表1顯示了各種算法的平均識別率及對應(yīng)的均方差。

表1 本文提出的三種匹配方法與其他紋理方法在GT彩色人臉庫上的平均識別率及均方差 %

從表1可以看到，三種綜合通道信息的匹配策略的識別率（以黑體顯示）以較大優(yōu)勢勝過其他方法。這主要得益于共生矩陣流形上的每個因子流形的費歇爾-黎曼幾何高效地整合了圖像中顏色和紋理的鑒別信息。另外，因子流形上的投票也使得各個顏色通道對上互補(bǔ)的顏色共生信息得以很好利用。在三種匹配策略中，多通道匹配策略（MCM）比單通道匹配策略（SCM）在識別中表現(xiàn)更為出色。盡管綜合匹配策略（SCM+MCM）同時采用了單通道和多通道共生的空間信息，但它在識別時沒有展現(xiàn)出顯著的優(yōu)勢，其識別性能僅僅略微地優(yōu)于單通道策略?；贖aralick特征的最近鄰匹配算法取得了僅次于本文方法的識別性能。在使用較少訓(xùn)練樣本(k=3，4，5)的情形下，盡管作為一種非監(jiān)督的降維方法，Gabor+PCA獲得了與監(jiān)督方法Gabor+LDA可比較的識別結(jié)果，二者的識別性能均優(yōu)于Gabor+LPP。對于任意一幅尺寸為m×n的RGB彩色圖像，從中抽取一個w-水平的顏色共生矩陣的計算復(fù)雜度為O(mn)，而對相同尺寸的灰度圖像施行Gabor卷積得到一幅幅值圖像的計算復(fù)雜度為O(abmn)，其中a和b為Gabor卷積模板的尺寸。鑒于三種子空間方法在實施特征匹配前仍需對串連的幅值向量通過學(xué)習(xí)降維，而HFM方法在實施特征匹配前仍需進(jìn)一步提取Haralick特征，因而本文提出的方法與這些方法相比在計算上涉及更低的復(fù)雜度。

表2 本文提出的方法與其他方法在COIL-100彩色目標(biāo)庫上的識別率%

COIL-100目標(biāo)庫是一個包含100目標(biāo)的7 200張彩色圖像的目標(biāo)庫，圖像目標(biāo)被放置在一個處于黑色背景的轉(zhuǎn)盤上，轉(zhuǎn)盤相對于一個固定的攝像機(jī)每轉(zhuǎn)動5°來改變目標(biāo)的姿態(tài)，由此得到每個目標(biāo)的72幅圖像。圖2展現(xiàn)了該庫部分目標(biāo)的樣本圖像。

圖2 COIL-100目標(biāo)圖像庫上的樣本圖像

在這個目標(biāo)庫上，將本文提出的基于MCM和SCM+MCM顏色共生信息匹配方法與文獻(xiàn)[16]的實驗報告中涉及的方法加以比較。為此，從每個目標(biāo)的72張圖像中抽取等視角點處的k(k=1，2，4，8，18)張作為訓(xùn)練樣本并將剩余圖像留作測試。表2展現(xiàn)了實驗所得的識別率。

從表2可以看到，按照識別結(jié)果，本文方法在5種實驗 情 形 下 優(yōu) 于 SNoW/edges、SNoW/intensity、Linear SVM、Spin-Glass MRF和 Nearest Neighbour這5種方法。盡管LAFs在4、8和18個訓(xùn)練樣本的識別實驗中取得了比本文方法更高的識別率，但本文方法在小樣本（單個和兩個訓(xùn)練樣本）情形下獲得了更高的識別精度。關(guān)于本文的兩種方法，基于多通道顏色共生信息匹配在識別性能上以微弱優(yōu)勢比混合匹配方法表現(xiàn)得更為出色。

5 結(jié)束語

在給定顏色量化和像素局部鄰域結(jié)構(gòu)條件下，本文提出的方法將圖像上共生的顏色假設(shè)為積共生矩陣流形上一個潛在模型的概率實現(xiàn)。通過基于緊化的共生頻率嵌入，將每幅圖像視為緊化的積共生矩陣流形中的一點，且對每個因子流形賦予從多項流形上誘導(dǎo)的Fisher信息距離度量。在識別應(yīng)用中，使用基于每個因子流形上最近鄰分類器對投票方法。在GT彩色人臉庫和COIL-100目標(biāo)庫上獲得較好的實驗結(jié)果證實了這種方法的可行性和有效性。

[1]Haralick R M，Shangmugam K，Dinstein I.Textural feature for image classification[J].IEEE Trans on Systems，Man，Cybernetics，1973，3（6）：610-621.

[2]Huang J，Kumar S R.Image indexing using color correlograms[C]//IEEE Conference on Computer Vision and Pattern Recognition，Puerto Rico，1997：622-768.

[3]張晗，何東健.一種融合紋理信息與圖論的圖像分割方法[J].計算機(jī)工程與應(yīng)用，2014，50（1）：180-184.

[4]Losson O，Porebski A，Vandenbroucke N，et al.Color texture analysis using CFA chromatic co-occurrence matrices[J].Computer Vision and Image Understanding，2013，117（7）：747-763.

[5]Zhang Y，Liu C C.Gabor feature-based face recognition on productGammamanifold viaregionweighting[J].Neurocomputing，2013，117（6）：1-11.

[6]Yu L，He Z，Cao Q.Gabor texture representation method for face recognition using the Gamma and generalized Gaussian models[J].Image and Vision Computing，2010，28（1）：177-187.

[7]Palm C.Color texture classification by integrative co-occurrence matrices[J].Pattern Recognition，2004，37（5）：965-976.

[8]徐少平，李春泉，胡凌燕.一種改進(jìn)的顏色共生矩陣紋理描述符[J].模式識別與人工智能，2013，26（1）：90-98.

[9]Merran E，Nicholas H，Brian P.Statistical distributions[M].3rd ed.New York：Wiley，2000：134-136.

[10]Lebanon G.Riemannian geometry and statistical machine learning[D].[S.l.]：Carnegie Mellon University，2005.

[11]Pennec X.Probabilities and statistics on Riemannian manifolds：basic tools for geometric measurements[C]//Proc of Nonlinear Signal and Image Processing（NSIP’99），Antalya，Turkey，1999：194-198.

[12]Georgia Tech face database[EB/OL].[2013-10-20].http：//www.anefian.com/research/face_reco.htm.

[13]COIL-100 database[EB/OL].[2013-10-20].http：//www1.cs.columbia.edu/CAVE/publications/pdfs/Nene_TR96_2.pdf.

[14]Van der Maaten L J P，Postma E O，van den Herik H J.Dimensionality reduction：a comparative review，Technical report 2009-005[R].Tilburg，The Netherlands：Tilburg Centre for Creative Computing，Tilburg University，2009.

[15]He X，Niyogi P.Locality preserving projections[C]//Advances in Neural Information Processing Systems，2004，16（1）.

[16]Obdrzalek S，Matas J.Object recognition using local affine frames on distinguished regions[C]//Proceedings of the British Machine Vision Conference，2002.