郭 銳,熊風(fēng)光*,謝劍斌,尹宇慧,劉 磊

(1.中北大學(xué) 大數(shù)據(jù)學(xué)院,山西 太原 030051;2.山西省視覺(jué)信息處理及智能機(jī)器人工程研究中心,山西 太原 030051)

0 引 言

紋理圖像含有豐富的紋理特征,紋理特征是人類了解和認(rèn)知物體重要的視覺(jué)特征之一。因此,對(duì)紋理圖像的識(shí)別是非常重要的。近些年來(lái),深度學(xué)習(xí)在紋理識(shí)別領(lǐng)域取得了矚目的成績(jī),大大提升了紋理識(shí)別的準(zhǔn)確率。然而,紋理識(shí)別任務(wù)是極具挑戰(zhàn)性的,現(xiàn)有的紋理識(shí)別方法存在復(fù)雜的紋理數(shù)據(jù)集上識(shí)別效果不佳的問(wèn)題。因此,針對(duì)紋理識(shí)別模型在復(fù)雜數(shù)據(jù)集下的識(shí)別展開(kāi)深入的研究。

主要工作如下:第一,提出多維特征融合模塊,充分利用高層特征與低層特征,提取更有效的紋理特征;第二,提出對(duì)殘差池化層的改進(jìn),在原殘差池化層的基礎(chǔ)上,加入了全局最大池化支路,提升紋理識(shí)別的準(zhǔn)確率;第三,應(yīng)用LBP(Local Binary Patterns,局部二值模式)輔助識(shí)別策略,使用LBP編碼映射圖像為紋理識(shí)別模型提供輔助信息,使紋理識(shí)別模型達(dá)到更好的效果。

1 相關(guān)工作

目前,紋理識(shí)別方法主要分為傳統(tǒng)方法、深度學(xué)習(xí)方法、多類方法相結(jié)合三種類型。在傳統(tǒng)方法領(lǐng)域最為突出的紋理描述符就是LBP算法。LBP[1]算法對(duì)圖像的局部鄰域特征進(jìn)行編碼,計(jì)算編碼值的直方圖作為紋理圖像的特征。此外,LBP算法還有很多的變體[2],如尺度不變的LBP紋理特征[3]、局部二元圓周和徑向?qū)?shù)模式[4]、凹凸微結(jié)構(gòu)模式[5]和局部二值模式直方圖傅里葉變換[6]。趙曌等[7]融合LBP紋理和局部灰度特征,實(shí)現(xiàn)了紋理材料圖像的識(shí)別與分割。這些需要手動(dòng)設(shè)計(jì)紋理特征,過(guò)程復(fù)雜、時(shí)間成本高而且不是端到端的方法。

很多深度學(xué)習(xí)方法在紋理識(shí)別任務(wù)中獲得了成功。M. Cimpoi等[8]完成了深度學(xué)習(xí)紋理識(shí)別的初嘗試,提出FV-CNN。在FV-CNN的基礎(chǔ)上又進(jìn)行了很多研究[9-10],取得了不錯(cuò)的效果。但是這些研究[8-10]將紋理識(shí)別任務(wù)分割成了多個(gè)小任務(wù),不是端到端方法。Zhang等[11]提出的Deep TEN網(wǎng)絡(luò),在卷積層之上集成了一種新的編碼層,開(kāi)辟了端到端紋理識(shí)別的先河。Hu等[12]提出多級(jí)紋理編碼,提升了紋理描述符的有效性。相較傳統(tǒng)方法,深度學(xué)習(xí)方法盡管準(zhǔn)確率上有一定的提高,但其效果仍不理想。

多方法相結(jié)合方面,Gil Levi等[13]通過(guò)MDS多維映射的方法得到了原始圖片LBP碼的編碼映射圖像,使得LBP算法與CNN方法相結(jié)合成為了可能。Rao Muhammad Anwer[14]提出一種雙流融合訓(xùn)練網(wǎng)絡(luò)的方法,提高了模型的效果。張雪梅等[15]結(jié)合LBP和WLD兩種紋理描述算子,實(shí)現(xiàn)了人臉表情識(shí)別。但是這類方法存在計(jì)算復(fù)雜、紋理識(shí)別性能不高的問(wèn)題。

Mao等[16]提出深度殘差池化層,該方法的殘差編碼方案是從預(yù)訓(xùn)練的CNN的最終卷積層中提取特征映射作為字典來(lái)計(jì)算殘差。該殘差池化層結(jié)構(gòu)見(jiàn)圖1。該殘差池化層由殘差編碼模塊和聚合模塊組成,通過(guò)此殘差池化層得到了低維有效的紋理特征,提升了紋理識(shí)別的效率。但是該殘差池化層存在如下問(wèn)題:第一,此方法僅使用了預(yù)訓(xùn)練CNN的最終卷積層,中間卷積層并沒(méi)有利用起來(lái),特征相對(duì)單一,提取的紋理特征有效性不強(qiáng);第二,此方法缺少對(duì)圖像全局空間結(jié)構(gòu)的觀察,導(dǎo)致識(shí)別準(zhǔn)確率不高。

圖1 原殘差池化層結(jié)構(gòu)

2 基于改進(jìn)殘差池化層的紋理識(shí)別

2.1 模型結(jié)構(gòu)

該文提出一種基于改進(jìn)殘差池化層的紋理識(shí)別模型,模型結(jié)構(gòu)如圖2所示。

圖2 模型模塊結(jié)構(gòu)

第一步,將標(biāo)準(zhǔn)RGB圖像輸入到基礎(chǔ)特征提取模塊,提取圖像的基礎(chǔ)特征,常用的基礎(chǔ)特征提取網(wǎng)絡(luò)有Resnet、Densenet等;第二步,將基礎(chǔ)特征提取模塊得到的特征圖輸入到多維特征融合模塊中,得到融合不同維度特征的特征圖;第三步,融合不同維度特征的特征圖輸入到改進(jìn)的殘差池化層中,得到紋理特征向量;第四步,將紋理特征向量輸入到分類層中,得到紋理識(shí)別的結(jié)果。

2.2 多維特征融合模塊

針對(duì)文獻(xiàn)[16]原殘差池化層紋理識(shí)別模型中,僅使用了預(yù)訓(xùn)練CNN的最終卷積層,未充分利用多層特征導(dǎo)致提取的紋理特征有效性不高的問(wèn)題,該文提出了多維特征融合模塊。

在CNN網(wǎng)絡(luò)架構(gòu)中,不同尺度的特征中蘊(yùn)含著不同的特征信息。淺層特征中蘊(yùn)含著圖像的全局特征信息,高層特征中蘊(yùn)含著圖像的局部信息。在以往基于CNN的紋理識(shí)別算法中,大多只采用了高層特征,忽略了淺層特征。而在紋理識(shí)別任務(wù)中,圖像的高層特征以及淺層特征都是需要關(guān)注的。將高層特征與淺層特征融合,對(duì)紋理識(shí)別任務(wù)是有益的。

通過(guò)基礎(chǔ)特征提取模塊可以得到Pre-trained Deep learning feature,在Pre-trained Deep learning feature中,存在多個(gè)卷積塊,不同的卷積塊可以輸出大小不同的feature map。Resnet殘差網(wǎng)絡(luò)是經(jīng)典的分類網(wǎng)絡(luò),其內(nèi)部的殘差塊使用了跳躍連接,緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問(wèn)題。以Resnet50為例,通過(guò)Resnet50得到的Pre-trained Deep learning feature中有5個(gè)卷積塊,其中,卷積塊Conv_1僅是一個(gè)單層卷積層的輸出,并未學(xué)習(xí)圖像信息,故在本方法中沒(méi)有使用Conv_1輸出的特征。在卷積塊Conv_2、Conv_3、Conv_4和Conv_5中輸出特征圖尺寸分別為56×56×256、28×28×512、14×14×1 024和7×7×2 048。多維特征融合模塊中使用到了卷積塊Conv_2、Conv_3、Conv_4和Conv_5輸出的特征圖。

在多維特征融合模塊當(dāng)中,將來(lái)自基礎(chǔ)特征提取模塊的不同維度特征進(jìn)行融合,多維特征融合模塊結(jié)構(gòu)見(jiàn)圖3。多維特征融合模塊工作流程如下:首先,將Conv_2、Conv_3、Conv_4和Conv_5四種尺寸的特征圖經(jīng)過(guò)一個(gè)1×1的卷積層,該操作不改變特征圖的大小;之后,將Conv_5支路得到的特征圖輸入到改進(jìn)殘差池化層中,獲得尺寸為1×2 048的特征向量;將Conv_2、Conv_3、Conv_4特征圖依次進(jìn)行上采樣,相加操作,得到兩個(gè)融合多維特征的特征圖,尺寸分別為28×28×1 536、56×56×1 792;將上述兩個(gè)特征圖通過(guò)3×3的卷積層和改進(jìn)殘差池化層,通過(guò)改進(jìn)的殘差池化層處理后可以得到特征向量。將三個(gè)改進(jìn)殘差池化層得到的特征向量進(jìn)行拼接,可以得到最終的紋理特征向量。

圖3 多維特征融合模塊結(jié)構(gòu)

多維特征融合模塊具有如下優(yōu)勢(shì):第一,該方法綜合了高層特征與低層特征,得到了更為有效的紋理特征;第二,多維特征融合模塊利用了基礎(chǔ)特征提取網(wǎng)絡(luò)的中間輸出,并沒(méi)有增加復(fù)雜的計(jì)算過(guò)程,計(jì)算量極少量增加,對(duì)算法的時(shí)間復(fù)雜度負(fù)擔(dān)小;第三,多維特征融合模塊中的各個(gè)模塊都是可學(xué)習(xí)的,可以支持端到端的紋理識(shí)別模型;第四,多維特征融合模塊可以靈活應(yīng)用于多個(gè)主干網(wǎng)絡(luò)當(dāng)中。

2.3 改進(jìn)殘差池化層

針對(duì)文獻(xiàn)[16]原殘差池化層紋理識(shí)別模型中缺少對(duì)圖像全局空間結(jié)構(gòu)的觀察,導(dǎo)致識(shí)別準(zhǔn)確率不高的問(wèn)題,提出改進(jìn)殘差池化層。

改進(jìn)殘差池化層的結(jié)構(gòu)如圖4所示。此層即為圖2中的改進(jìn)殘差池化層,是在原殘差池化層的基礎(chǔ)上進(jìn)行改進(jìn)的,所以改進(jìn)殘差池化層分為兩部分,第一部分是原殘差池化層的保留,即圖4中的非虛線框部分,第二部分為該文對(duì)殘差池化層的改進(jìn),增加全局最大池化支路,即圖4中的虛線框部分。

圖4 改進(jìn)殘差池化層結(jié)構(gòu)

改進(jìn)殘差池化層的工作流程如下:首先,預(yù)訓(xùn)練的特征映射C由預(yù)訓(xùn)練的CNN不同的卷積層獲得。特征映射C的計(jì)算如公式(1)所示:

C=fcnn(I),C∈R7×7×2 048

(1)

其中,C為預(yù)訓(xùn)練CNN的特征映射,I為輸入圖像,fcnn()為預(yù)訓(xùn)練的CNN模型(此處以Resnet50為例)。將通過(guò)基礎(chǔ)特征提取模塊得到的特征映射C輸入到Convolutional transfer module中學(xué)習(xí)特征X,Convolutional transfer module如圖5所示,其包括對(duì)特征圖的Convolutional layer(1x1)、drop out、Batch normalization、sigmoid操作,其中drop out 和Batch normalization操作用來(lái)避免過(guò)擬合。Convolutional transfer module模塊操作公式表示如下:

圖5 卷積傳輸模塊及聚合模塊結(jié)構(gòu)

X=fctm(C),X∈R7×7×2 048

(2)

其中,X為學(xué)習(xí)到的特征,fctm()為Convolutional transfer module對(duì)特征映射C的操作。在該方法中,預(yù)訓(xùn)練的特征C和學(xué)習(xí)到的特征X在空間上是有序的,所以位置(i,j)處的殘差映射值Zij計(jì)算公式如下:

Zij=Xij-?(Cij),Zij,Xij,Cij∈R2 048

(3)

其中,Zij為位置(i,j)處的殘差映射值,Xij為位置(i,j)處學(xué)習(xí)到的特征,Cij為位置(i,j)處預(yù)訓(xùn)練的特征映射值。?()為sigmoid函數(shù),強(qiáng)調(diào)了學(xué)習(xí)到的特征和預(yù)先訓(xùn)練的特征之間的差異。這迫使卷積傳輸模塊學(xué)習(xí)一個(gè)適合于紋理識(shí)別的新特征。

將殘差映射Z輸入到Aggregation module,Aggregation module結(jié)構(gòu)組成如圖5所示,使用此模塊可以聚合殘差獲得無(wú)序特征。此模塊包括對(duì)特征圖的ReLU、Batch normalization、Global Average Pooling操作,其中ReLU作為特征選擇器,將負(fù)殘差置為零,學(xué)習(xí)到的特征X與相應(yīng)的預(yù)訓(xùn)練映射特征C則被保留,從而得到了有效的分類特征。Global Average Pooling操作將7×7×2 048的殘差映射處理為2 048維的無(wú)序特征向量。Aggregation module操作的計(jì)算公式如下:

Y=fagg(Z),Y∈R2 048

(4)

其中,Y為得到的無(wú)序特征,fagg()為Aggregation module對(duì)殘差映射特征的操作。

在原殘差池化層的基礎(chǔ)上,引入全局最大池化支路,為紋理特征引入空間結(jié)構(gòu)觀察,提升紋理識(shí)別的準(zhǔn)確率,如圖4中虛線框所示。將預(yù)訓(xùn)練特征映射C輸入到Global Maximun Pooling中,得到具有全局空間觀察的特征向量;Global Maximun Pooling的計(jì)算公式如下:

M=MAX(C),C∈R7×7×2 048,M∈R2 048

(5)

其中,M為具有全局空間結(jié)構(gòu)觀察的特征向量。其次,原殘差池化層工作流程保持不變,將具有全局空間結(jié)構(gòu)觀察的特征向量M與原殘差池化層得到的無(wú)序特征向量Y進(jìn)行拼接,使用L2 normalization操作進(jìn)行標(biāo)準(zhǔn)化,消除數(shù)值差異帶來(lái)的負(fù)面影響,得到最終的紋理特征,輸入到分類層中,得到紋理識(shí)別結(jié)果。

此殘差池化層改進(jìn)有四個(gè)優(yōu)勢(shì):第一,將訓(xùn)練好的卷積特征中的空間信息作為字典,并基于空間位置進(jìn)行硬賦值,效果更好;第二,該殘差池化層中各模塊的參數(shù)都是可學(xué)習(xí)的,可以端到端地完成紋理識(shí)別任務(wù);第三,該方法將原殘差池化層的無(wú)序紋理表示與新增全局最大池化層的空間結(jié)構(gòu)觀察相結(jié)合,得到了更好的紋理識(shí)別效果;第四,該改進(jìn)殘差池化層可以靈活地應(yīng)用于不同的主干網(wǎng)絡(luò)當(dāng)中。

2.4 LBP輔助識(shí)別

LBP編碼算法是一種用來(lái)描述圖像局部紋理特征的算子,具有旋轉(zhuǎn)不變性和灰度不變性等顯著的優(yōu)點(diǎn)。然而,LBP編碼是無(wú)序的,不符合CNN的卷積(卷積核中值的加權(quán)平均)操作特性,把LBP編碼直接輸入到CNN當(dāng)中是無(wú)意義的。故而,采用Levi[13]提出的方法,通過(guò)多維尺度分析法和EMD距離將圖像轉(zhuǎn)化為L(zhǎng)BP編碼映射圖像,使其可以直接輸入到CNN當(dāng)中參與卷積操作。其中,多維尺度分析法將無(wú)序的LBP碼映射到度量空間中,使得映射后的編碼間的距離接近原始碼對(duì)之間的距離,可以有意義地參與卷積運(yùn)算;EMD距離被定義為描述將一個(gè)分布轉(zhuǎn)換為另一個(gè)分布所需的最小努力,使用EMD距離可以有效地表示不同LBP碼在數(shù)值和位數(shù)上的差異。近似EMD距離公式如下:

Disij=‖MDS(LBPi)-MDS(LBPj)‖

(6)

其中,Disij表示LBP碼LBPi和LBPj之間的差異。MDS()表示累計(jì)分布函數(shù),在此處表示位值的累計(jì)分布函數(shù)。此方法效果如圖6所示,左側(cè)是標(biāo)準(zhǔn)RGB圖像,中間是LBP編碼圖像,右側(cè)是LBP編碼映射圖像。

圖6 圖像對(duì)比

通過(guò)圖6可以看出,LBP編碼映射圖像相對(duì)標(biāo)準(zhǔn)RGB圖像紋理更加顯著,而且,其中還包含了與標(biāo)準(zhǔn)RGB圖像互補(bǔ)的紋理信息。使用此圖像能夠?yàn)榛跇?biāo)準(zhǔn)RGB圖像的紋理識(shí)別模型提供幫助。

LBP輔助識(shí)別結(jié)構(gòu)見(jiàn)圖7。首先,將標(biāo)準(zhǔn)RGB圖像與LBP編碼映射圖像分別輸入到基礎(chǔ)特征提取網(wǎng)絡(luò),提取基礎(chǔ)特征;其次,將基礎(chǔ)特征輸入到多維特征融合模塊當(dāng)中,獲得融合高維特征和低維特征的特征圖;然后,將獲得的特征圖分別輸入到改進(jìn)的殘差池化層中,獲得紋理特征向量;最后,將標(biāo)準(zhǔn)RGB圖像得到的特征向量與LBP編碼映射圖像得到的特征向量進(jìn)行融合,即將兩個(gè)特征向量進(jìn)行拼接得到最終紋理特征,使用此特征獲得紋理識(shí)別結(jié)果。

圖7 LBP輔助識(shí)別

3 實(shí)驗(yàn)設(shè)置及分析

提出的網(wǎng)絡(luò)模型可以兼容所有的基礎(chǔ)特征提取網(wǎng)絡(luò)。在本次實(shí)驗(yàn)中,所有的層都是固定的。操作系統(tǒng)為Windows。使用優(yōu)化器為Adam優(yōu)化器。實(shí)驗(yàn)使用PyTorch進(jìn)行開(kāi)發(fā),損失函數(shù)為交叉熵?fù)p失,使用CPU Intel(R) Core(TM) i7-10700進(jìn)行訓(xùn)練。批次大小為64,學(xué)習(xí)率為0.000 1,學(xué)習(xí)輪數(shù)為500輪。數(shù)據(jù)集選擇DTD數(shù)據(jù)集以及FMD數(shù)據(jù)集,網(wǎng)絡(luò)輸入圖像大小為224×224。選擇在測(cè)試集上多次測(cè)試的平均準(zhǔn)確率作為評(píng)估指標(biāo),平均準(zhǔn)確率為多次測(cè)試中預(yù)測(cè)正確的占比值。準(zhǔn)確率計(jì)算公式如公式(7),其中TP表示預(yù)測(cè)正確數(shù),FP表示預(yù)測(cè)錯(cuò)誤數(shù)。

(7)

3.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)在DTD可描述數(shù)據(jù)集[17]以及FMD材料數(shù)據(jù)集[18]上進(jìn)行。DTD可描述數(shù)據(jù)集包含帶狀、斑點(diǎn)、泡沫、凹凸、網(wǎng)紋、裂紋等47個(gè)不同的紋理類別,共計(jì)5 640張圖片。圖片均收集來(lái)自Google和Flickr,是紋理識(shí)別領(lǐng)域通用的權(quán)威數(shù)據(jù)集。數(shù)據(jù)集涵蓋了日常生產(chǎn)生活所見(jiàn)的90%以上的紋理情況。FMD數(shù)據(jù)集包含10種常見(jiàn)的材料類別,如織物、皮革等。每個(gè)類別包含100張圖像,對(duì)DTD數(shù)據(jù)集和FMD數(shù)據(jù)集使用了數(shù)據(jù)增強(qiáng)的方法來(lái)擴(kuò)充數(shù)據(jù)集,以便更充分地訓(xùn)練網(wǎng)絡(luò)。分別對(duì)DTD數(shù)據(jù)集和FMD數(shù)據(jù)集進(jìn)行水平翻轉(zhuǎn)以及垂直翻轉(zhuǎn)操作,將原始數(shù)據(jù)集擴(kuò)充了三倍。數(shù)據(jù)集示例見(jiàn)圖8。其中,第1-2行是DTD數(shù)據(jù)集及相關(guān)處理得到的圖像,第3-4行是FMD數(shù)據(jù)集及相關(guān)處理得到的圖像。第一列是原始圖像,第二列是原始圖像對(duì)應(yīng)的LBP編碼映射圖像,第3-6列分別是原始圖像進(jìn)行垂直翻轉(zhuǎn),水平翻轉(zhuǎn)后的圖像及其對(duì)應(yīng)的LBP編碼映射圖像。

對(duì)于DTD可描述數(shù)據(jù)集,此數(shù)據(jù)集共包含47類,每一類有120張圖像,隨機(jī)選取每類其中80張為訓(xùn)練集,40張為測(cè)試集,訓(xùn)練集共計(jì)3 760張圖像,測(cè)試集共計(jì)1 880張圖像。對(duì)于FMD數(shù)據(jù)集,此數(shù)據(jù)集共包含10類,每一類有100張圖像,隨機(jī)選取每類其中50張為訓(xùn)練集,50張為測(cè)試集,訓(xùn)練集共計(jì)500張圖像,測(cè)試集共計(jì)500張圖像。

3.2 消融實(shí)驗(yàn)

3.2.1 多維特征融合模塊有效性分析

本次實(shí)驗(yàn)中,在DTD數(shù)據(jù)集和FMD數(shù)據(jù)集上,探究多維特征融合模塊對(duì)紋理識(shí)別效果的影響。本次實(shí)驗(yàn)使用的基礎(chǔ)特征提取網(wǎng)絡(luò)為Resnet50。具體實(shí)驗(yàn)結(jié)果見(jiàn)表1。其中,Conv2_x是指將Resnet50第二個(gè)卷積塊輸出的形狀為56×56×256的特征圖直接輸入到改進(jìn)殘差池化層中獲得的紋理識(shí)別結(jié)果,特征維度為256;Conv3_x是指將Resnet50第三個(gè)卷積塊輸出的形狀為28×28×512的特征圖單獨(dú)輸入到殘差池化層中獲得的紋理識(shí)別結(jié)果,特征維度為512;Conv4_x是指將Resnet50第四個(gè)卷積塊輸出的形狀為14×14×1 024的特征圖直接單獨(dú)輸入到殘差池化層中獲得的紋理識(shí)別結(jié)果,特征維度為1 024;Conv5_x是指將Resnet50第五個(gè)卷積塊輸出的形狀為7×7×2 048的特征圖直接輸入到殘差池化層中獲得的紋理識(shí)別結(jié)果,也就是文獻(xiàn)[16]原殘差池化層紋理識(shí)別模型,特征維度為2 048,在FMD數(shù)據(jù)集上的平均準(zhǔn)確率為81.09%,在DTD數(shù)據(jù)上的平均準(zhǔn)確率為71.53%;Conv2_x、Conv3_x是指將Resnet50第二和第三個(gè)卷積塊分別通過(guò)殘差池化層,將得到的特征向量拼接后得到的紋理識(shí)別結(jié)果,特征維度為768;Conv4_x、Conv5_x是指將Resnet50第四和第五個(gè)卷積塊分別通過(guò)殘差池化層,將得到的特征向量拼接后得到的紋理識(shí)別結(jié)果,特征維度為3 072;Conv2_x、Conv3_x、Conv4_x是指將Resnet第二、第三和第四個(gè)卷積塊分別通過(guò)殘差池化層,將得到的特征向量拼接后得到的紋理識(shí)別結(jié)果,特征維度為1 792;Conv3_x、Conv4_x、Conv5_x是指將Resnet第三、第四和第五個(gè)卷積塊分別通過(guò)殘差池化層,將得到的特征向量拼接后得到的紋理識(shí)別結(jié)果,特征維度為3 584;該文提出的多維特征融合模塊獲得的特征向量維度為3 072,在FMD數(shù)據(jù)集上的平均準(zhǔn)確率為81.80%,相較于原模型平均準(zhǔn)確率提升了0.71百分點(diǎn),在DTD數(shù)據(jù)上的平均準(zhǔn)確率為72.38%,相較于原模型平均準(zhǔn)確率提升了0.85百分點(diǎn)。在特征維度相對(duì)不大的情況下取得了最好的識(shí)別效果,證明了多維特征融合模塊的有效性。

表1 不同的特征圖在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率 %

3.2.2 改進(jìn)殘差池化層有效性分析

本次實(shí)驗(yàn)中,在DTD數(shù)據(jù)集和FMD數(shù)據(jù)集上,探究殘差池化層的改進(jìn)對(duì)紋理識(shí)別效果的影響。本次實(shí)驗(yàn)使用的基礎(chǔ)特征提取網(wǎng)絡(luò)為Densenet 161。在表2中,原模型是指文獻(xiàn)[16]提出的原殘差池化層紋理識(shí)別模型,全局平均池化與原模型是指該文改進(jìn)中的全局最大池化換成全局平均池化,對(duì)比這三者的效果。通過(guò)表2可以發(fā)現(xiàn),原模型在FMD上平均準(zhǔn)確率為84.10%,全局平均池化與原模型拼接在FMD上平均準(zhǔn)確率為83.8%,文中方法在FMD數(shù)據(jù)集上平均準(zhǔn)確率達(dá)到了86%,相比原模型提高了1.9百分點(diǎn);原模型在DTD上平均準(zhǔn)確率為75.57%,全局平均池化與原模型拼接在FMD上平均準(zhǔn)確率為75.32%,全局最大池化與原模型拼接在FMD數(shù)據(jù)集上平均準(zhǔn)確率為75.48%,與原模型相差不大。由實(shí)驗(yàn)結(jié)果可知,對(duì)殘差池化層的改進(jìn)可以有效提升紋理識(shí)別的效果。

表2 不同殘差池化層改進(jìn)在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率 %

3.2.3 LBP輔助識(shí)別有效性分析

本次實(shí)驗(yàn)中,在DTD數(shù)據(jù)集和FMD數(shù)據(jù)集上,探究LBP輔助識(shí)別對(duì)紋理識(shí)別效果的影響。在表3中,RGB圖像是指不使用LBP輔助識(shí)別,只使用標(biāo)準(zhǔn)RGB圖像輸入網(wǎng)絡(luò)進(jìn)行紋理識(shí)別;LBP編碼映射圖像,是指使用LBP編碼映射圖像輸入網(wǎng)絡(luò)進(jìn)行紋理識(shí)別;LBP輔助識(shí)別是指文中方法。由表3可知,僅標(biāo)準(zhǔn)RGB圖像輸入時(shí),在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率為84.10%和75.57%;僅LBP編碼映射圖像輸入時(shí),在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率為70.22%和66.95%;采用LBP輔助識(shí)別,使用LBP編碼映射圖像提供輔助信息時(shí),在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率為86.32%和76.21%。使用LBP輔助識(shí)別后,在FMD數(shù)據(jù)集上平均準(zhǔn)確率提升了2.22百分點(diǎn),在DTD數(shù)據(jù)集上平均準(zhǔn)確率提升0.64百分點(diǎn),證明LBP輔助識(shí)別方式可以有效提高紋理識(shí)別的性能。

表3 LBP輔助識(shí)別方式使用與否在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率 %

圖9是標(biāo)準(zhǔn)RGB圖像輸入(左)和LBP輔助識(shí)別(右)在FMD數(shù)據(jù)集測(cè)試集上的混淆矩陣。由圖9可知,使用LBP輔助識(shí)別后,在每個(gè)類別上的平均準(zhǔn)確率均有所提升。在fabric類上的平均準(zhǔn)確率提升了4百分點(diǎn);在leather類上的平均準(zhǔn)確率提升了6百分點(diǎn);在metal類上的平均準(zhǔn)確率提升了6百分點(diǎn);在plastic類上的平均準(zhǔn)確率提升了4百分點(diǎn);在water類上的平均準(zhǔn)確率提升了2百分點(diǎn);在wood類上的平均準(zhǔn)確率提升了4百分點(diǎn)。由上述分析可知,使用LBP編碼映射圖像提供輔助信息時(shí),幾乎在所有的類別上均提升了效果。證明標(biāo)準(zhǔn)RGB圖像與LBP編碼映射圖像之間并不只是在某個(gè)特殊的情況下存在互補(bǔ)的紋理特征,這兩者之間存在穩(wěn)定和全面的互補(bǔ)紋理特征。

圖9 混淆矩陣

3.3 與其他紋理識(shí)別網(wǎng)絡(luò)比較分析

本次實(shí)驗(yàn)中,在DTD數(shù)據(jù)集和FMD數(shù)據(jù)集上,文中方法與B-CNN、Deep filter banks、Locality-aware coding、TEX-Net、DeepTEN和DRP等最新的紋理識(shí)別技術(shù)進(jìn)行了比較。由表4可知,在FMD數(shù)據(jù)集上,主干網(wǎng)絡(luò)為Resnet50時(shí),文中方法平均準(zhǔn)確率為81.8%;主干網(wǎng)絡(luò)為Densenet161時(shí),達(dá)到86.32%,文中方法均取得了最優(yōu)的效果。在DTD數(shù)據(jù)集上,主干網(wǎng)絡(luò)為Resnet50時(shí),文中方法平均準(zhǔn)確率為72.38%;主干網(wǎng)絡(luò)為Densenet161時(shí),達(dá)到76.21%,文中方法綜合取得最優(yōu)結(jié)果。綜合來(lái)看,文中方法在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上均取得了不錯(cuò)的效果,證明了文中方法的有效性。

表4 文中方法與對(duì)比方法在FMD數(shù)據(jù)集和DTD數(shù)據(jù)集上的平均準(zhǔn)確率 %

4 結(jié)束語(yǔ)

針對(duì)紋理識(shí)別進(jìn)行研究,提出了基于改進(jìn)殘差池化層的紋理識(shí)別方法。提出了多維特征融合模塊,使得紋理識(shí)別可以靈活利用高層特征和低層特征,增強(qiáng)了紋理特征;對(duì)殘差池化層進(jìn)行改進(jìn),在原殘差池化層的基礎(chǔ)上,添加全局最大池化層支路,增加對(duì)紋理圖像的全局空間結(jié)構(gòu)觀察,得到更有效的紋理特征;通過(guò)LBP算法和MDS多維映射法得到的LBP編碼映射圖像與標(biāo)準(zhǔn)RGB圖像之間存在互補(bǔ)的紋理信息,可以為紋理識(shí)別提供輔助信息,提高紋理識(shí)別的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明,該方法在紋理識(shí)別任務(wù)領(lǐng)域是有效的。使用深度學(xué)習(xí)的方法實(shí)現(xiàn)紋理識(shí)別,在未來(lái)的研究中,可以將對(duì)紋理識(shí)別任務(wù)針對(duì)性更強(qiáng)的傳統(tǒng)方法與深度學(xué)習(xí)方法結(jié)合,以進(jìn)一步提升紋理識(shí)別的效果。