洪 睿, 康曉東, 郭 軍, 李 博, 王亞鴿, 張秀芳

(天津醫(yī)科大學(xué) 醫(yī)學(xué)影像學(xué)院, 天津300203)(*通信作者電子郵箱hr8229862@163.com)

0 引言

紋理是非常重要的圖像識(shí)別特征之一，對(duì)圖像紋理進(jìn)行合理描述是圖像分類(lèi)識(shí)別的基礎(chǔ)，圖像紋理包含了非常豐富的圖像信息，可以應(yīng)用于多種任務(wù)，如基于內(nèi)容的圖像檢索、圖像分割、圖像融合、圖像分類(lèi)或者聚類(lèi)等。圖像紋理特征描述的方法主要有基于幾何學(xué)的特征描述、基于模型的特征描述、基于信號(hào)處理的特征描述，以及基于統(tǒng)計(jì)的特征描述。基于復(fù)雜網(wǎng)絡(luò)模型的紋理特征描述方法屬于基于統(tǒng)計(jì)的特征描述的一種，具有穩(wěn)定性好、抗噪聲能力強(qiáng)等優(yōu)點(diǎn)[1]。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，圖像分類(lèi)一直是研究的重點(diǎn)之一。傳統(tǒng)基于特征的圖像分類(lèi)方法都是先定義一種特征，再根據(jù)預(yù)先定義的特征進(jìn)行分類(lèi)識(shí)別，存在著泛化能力弱、可移植性差、準(zhǔn)確度相對(duì)較差的缺點(diǎn)。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的重要發(fā)展，能夠逐層地自動(dòng)學(xué)習(xí)合適的表示特征，因而在眾多領(lǐng)域中得到了廣泛應(yīng)用，如人臉特征點(diǎn)檢測(cè)[2]、行人檢測(cè)[3]、人臉識(shí)別[4]和車(chē)牌識(shí)別[5]等。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的三大重要模型之一，繼承了深度學(xué)習(xí)技術(shù)自動(dòng)提取特征的優(yōu)點(diǎn)，并且通過(guò)權(quán)值共享大大減少了所需要訓(xùn)練的參數(shù)，使卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)能快速處理高維圖像，還具備一定的平移不變性，因此在圖像分類(lèi)領(lǐng)域取得了較好的效果,其在手寫(xiě)數(shù)字識(shí)別以及人臉識(shí)別方面都被驗(yàn)證有著較好的性能。

20世紀(jì)80年代，F(xiàn)ukushima等[6]提出了第一個(gè)多層次的神經(jīng)網(wǎng)絡(luò)模型Neocognitron。Lecun等[7]構(gòu)建了LeNet-5模型，該模型首次提出了使用梯度反向傳播算法(Back Propgation algorithm, BP)，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練；當(dāng)時(shí)在MNIST 數(shù)據(jù)集上取得了最好的識(shí)別效果，其模型采用交替連接的卷積層和池化層，最后通過(guò)全連接層分類(lèi)，確立了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，后來(lái)的大多數(shù)卷積網(wǎng)絡(luò)模型都是以LeNet-5模型為基礎(chǔ)的。Krizhevsky等[8]提出的AlexNet模型在2012年的ImageNet圖像分類(lèi)競(jìng)賽中大放異彩，錯(cuò)誤率比上一年的冠軍下降了10個(gè)百分點(diǎn)，且遠(yuǎn)遠(yuǎn)超過(guò)當(dāng)年的第二名；也因此將深度CNN(Deep CNN, DCNN)啟動(dòng)了在圖像分類(lèi)研究方面的廣泛應(yīng)用，對(duì)后來(lái)的VGG[9]、ResNet[10]、Google Net[11]等模型都具有非常深刻的影響。

為了在不增加較多計(jì)算量的前提下，提高卷積網(wǎng)絡(luò)模型用于圖像分類(lèi)的正確率，本文提出了一種基于復(fù)雜網(wǎng)絡(luò)描述的圖像深度卷積分類(lèi)方法。首先，以復(fù)雜網(wǎng)絡(luò)的圖像描述方法，將圖像轉(zhuǎn)化為基于三個(gè)不同閾值產(chǎn)生的三組度矩陣；然后，由三個(gè)深度卷積網(wǎng)絡(luò)分別學(xué)習(xí)三組度矩陣的特征；最后，將得到的特征向量進(jìn)行特征融合。在ILSVRC2014數(shù)據(jù)庫(kù)上進(jìn)行了驗(yàn)證實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提出的模型具有較高的正確率和較少的迭代次數(shù)。

1 深度卷積網(wǎng)絡(luò)

圖像分類(lèi)是通過(guò)對(duì)圖像整體的分析，預(yù)測(cè)圖像的類(lèi)別。圖像分類(lèi)是計(jì)算機(jī)視覺(jué)的挑戰(zhàn)領(lǐng)域之一，每年有賽事ILSVRC (Imagenet Large Scale Visual Recognition Challenge)[12]。在ILSVRC2012中，來(lái)自多倫多大學(xué)的Alex Krizhevsky團(tuán)隊(duì)設(shè)計(jì)出卷積神經(jīng)網(wǎng)絡(luò)AlexNet，將測(cè)試的top-5 錯(cuò)誤率下降到15.3%，而其他團(tuán)隊(duì)做出的最小的top-5 錯(cuò)誤率仍為26.2%。此后，不斷有更加高效、準(zhǔn)確的模型出現(xiàn)，如牛津大學(xué)的VGG[9]、谷歌研究院的GoogLeNet[10]等。近年來(lái)的優(yōu)秀模型甚至突破了人眼識(shí)別的平均錯(cuò)誤率，展示了卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)上的強(qiáng)大優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)需要用帶有標(biāo)簽的數(shù)據(jù)集做有監(jiān)督的網(wǎng)絡(luò)訓(xùn)練，目前有許多用于圖像分類(lèi)的帶標(biāo)簽數(shù)據(jù)集，如ImageNet[13]、CIFAR10/100[14]、NORB[15]、Caltech-101/256[16]等。ILSVRC 使用的為ImageNet 數(shù)據(jù)集的子集，該子集包含1 000 個(gè)分類(lèi)、128萬(wàn)張測(cè)試圖片。

AlexNet 最終的網(wǎng)絡(luò)結(jié)構(gòu)共有7層，包含5個(gè)卷積層和2個(gè)全連接層，有約65萬(wàn)個(gè)神經(jīng)元和6 000萬(wàn)個(gè)可訓(xùn)練的參數(shù)。采用dropout 和激活函數(shù)ReLu 等技術(shù)，訓(xùn)練環(huán)境為2 路GTX580，對(duì)128萬(wàn)測(cè)試圖片的訓(xùn)練周期在5～6天，與之前的卷積神經(jīng)網(wǎng)絡(luò)相比，在分類(lèi)正確率和訓(xùn)練時(shí)間上都有明顯提升。

2 復(fù)雜網(wǎng)絡(luò)模型

復(fù)雜網(wǎng)絡(luò)存在大量的靜態(tài)統(tǒng)計(jì)特征描述量，如度、網(wǎng)絡(luò)直徑、平均路徑長(zhǎng)度、聚類(lèi)系數(shù)、最大度和最大核數(shù)等。這些特征量可以用來(lái)度量復(fù)雜網(wǎng)絡(luò)的重要屬性，如網(wǎng)絡(luò)的表示、分類(lèi)和建模等[17]。

動(dòng)態(tài)演化是復(fù)雜網(wǎng)絡(luò)的一個(gè)重要特征。在動(dòng)態(tài)演化過(guò)程中，復(fù)雜網(wǎng)絡(luò)的特征度量是一個(gè)時(shí)間的函數(shù)，在同一種演化方式下，不同時(shí)刻得到的兩個(gè)子網(wǎng)絡(luò)具有不同的特征。因此，用復(fù)雜網(wǎng)絡(luò)動(dòng)態(tài)演化過(guò)程中不同時(shí)刻的靜態(tài)統(tǒng)計(jì)特征量來(lái)進(jìn)行網(wǎng)絡(luò)的分析與分類(lèi)是十分重要且有效的一種方式[18]。

目前，基于復(fù)雜網(wǎng)絡(luò)理論的圖像描述方法受到了越來(lái)越多研究者的關(guān)注[19]。Gon?alves等[20]通過(guò)對(duì)人臉圖像建立復(fù)雜網(wǎng)絡(luò)模型，實(shí)現(xiàn)了人臉圖像的特征提取與識(shí)別。Backes等[21]利用復(fù)雜網(wǎng)絡(luò)對(duì)圖像邊緣進(jìn)行建模，實(shí)現(xiàn)了圖像形狀特征提取。湯進(jìn)等[22]在Harris特征點(diǎn)的基礎(chǔ)上建立復(fù)雜網(wǎng)絡(luò)模型，實(shí)現(xiàn)了圖像的形狀特征提取。Couto等[23]通過(guò)建立圖像的復(fù)雜網(wǎng)絡(luò)平均度矩陣，在平均度矩陣的基礎(chǔ)上運(yùn)行部分自回避確定性游走算法，實(shí)現(xiàn)了圖像的紋理特征提取。由于基于復(fù)雜網(wǎng)絡(luò)的圖像描述是基于復(fù)雜網(wǎng)絡(luò)靜態(tài)統(tǒng)計(jì)特征量的特征描述，相比于傳統(tǒng)的圖像描述方法，該類(lèi)方法具有穩(wěn)定性好、抗噪聲能力強(qiáng)等優(yōu)點(diǎn)。

3 基于復(fù)雜網(wǎng)絡(luò)的DCNN圖像分類(lèi)

3.1 復(fù)雜網(wǎng)絡(luò)度矩陣

本文根據(jù)復(fù)雜網(wǎng)絡(luò)的靜態(tài)統(tǒng)計(jì)量建立圖像在不同閾值下的度矩陣，通過(guò)統(tǒng)計(jì)網(wǎng)絡(luò)節(jié)點(diǎn)在每個(gè)狀態(tài)下的度分布完成圖像的描述。

文獻(xiàn)[17]中提出了一種建立圖像復(fù)雜網(wǎng)絡(luò)模型的方法，將圖像的每個(gè)像素看作是復(fù)雜網(wǎng)絡(luò)的一個(gè)節(jié)點(diǎn)，并認(rèn)為每個(gè)節(jié)點(diǎn)之間都有邊相連，邊的權(quán)值由兩個(gè)像素之間的距離和灰度差的加權(quán)和決定。通過(guò)設(shè)定一系列邊權(quán)值的閾值對(duì)初始的復(fù)雜網(wǎng)絡(luò)完全圖模型進(jìn)行閾值動(dòng)態(tài)演化，權(quán)值高于閾值的邊被刪去，得到的就是距離較小且像素值相近的像素之間的邊。為了簡(jiǎn)化復(fù)雜網(wǎng)絡(luò)模型，本文選取節(jié)點(diǎn)周?chē)c其距離小于3的28個(gè)節(jié)點(diǎn)作為鄰域，只有在鄰域內(nèi)的節(jié)點(diǎn)可以有邊相連。文獻(xiàn)[17]中兩個(gè)節(jié)點(diǎn)i(x,y)與j(x′,y′)之間邊的權(quán)值w(v(x,y),v(x′,y′))為節(jié)點(diǎn)之間距離與節(jié)點(diǎn)代表的像素的灰度值差的加權(quán)和，為了使節(jié)點(diǎn)的度分布更加均勻，本文采用的權(quán)值w為以上兩項(xiàng)的直接加和，如式(1)所示；

|I(x,y)-I(x′,y′)|

(1)

文獻(xiàn)[17]方法和本文方法得到的度矩陣元素分布如圖1所示。

在將得到的邊權(quán)值歸一化之后，設(shè)定一系列閾值t，節(jié)點(diǎn)之間邊權(quán)值高于閾值的邊將被刪去，得到每個(gè)節(jié)點(diǎn)與閾值對(duì)應(yīng)的鄰域θ(vt)和度deg(vt)。如式(2)～(3)所示。

θ(vt)={v′∈V|(v,v′)∈E&w(v,v′)≤t}

(2)

deg(vt)=|θ(vt)|

(3)

度矩陣可以作為衡量像素與鄰域的相似度的標(biāo)準(zhǔn)，同時(shí)也包含大量的紋理信息。原始圖像和閾值t分別為0.8、0.7和0.6時(shí)生成的度矩陣圖像如圖2所示。

圖1 不同方法得到的同一圖像同一閾值的度矩陣元素分布直方圖Fig. 1 Degree matrix element distribution histograms of same image with same threshold acquired by different methods

圖2 原始圖像及其度矩陣圖像Fig. 2 Original image and its degree matrix images

3.2 深度卷積網(wǎng)絡(luò)

DCNN一般由卷積層、池化層、全連接層三種神經(jīng)網(wǎng)絡(luò)層以及一個(gè)輸出層(Softmax 等分類(lèi)器)組成，每層由多個(gè)二維平面塊組成，每個(gè)平面塊由多個(gè)獨(dú)立神經(jīng)元組成，AlexNet模型的結(jié)構(gòu)示意圖如圖3所示。

卷積層通過(guò)局部感受域與上一層神經(jīng)元實(shí)現(xiàn)部分連接，在同一局部感受域內(nèi)的神經(jīng)元與圖像區(qū)域中對(duì)應(yīng)像素有固定二維平面編碼信息關(guān)聯(lián)，迫使神經(jīng)元提取局部特征，在每層的各個(gè)位置分布著許多組不同的神經(jīng)元，每組神經(jīng)元有一組輸入權(quán)值，這些權(quán)值與前一層神經(jīng)網(wǎng)絡(luò)矩形塊中的神經(jīng)元關(guān)聯(lián)，即共享權(quán)值，減少了權(quán)值數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度。卷積層在DCNN中起著至關(guān)重要的特征提取的功能，通過(guò)局部感受域方法獲取的觀測(cè)特征與平移、縮放和旋轉(zhuǎn)無(wú)關(guān)，其權(quán)值共享結(jié)構(gòu)減少了權(quán)值數(shù)量，進(jìn)一步降低了網(wǎng)絡(luò)模型的復(fù)雜度。

圖3 AlexNet模型結(jié)構(gòu)示意圖Fig. 3 Structure schematic diagram of AlexNet model

池化層是特征映射層，選擇卷積特征圖中不同的連續(xù)范圍的作為池化區(qū)域，然后取特征的最大值或平均值作為池化區(qū)域的特征，從而減小特征向量維度，實(shí)現(xiàn)局部平均和抽樣，使特征映射輸出對(duì)平移、旋轉(zhuǎn)、比例縮放等形式變換的敏感度下降。池化層通常跟在卷積層之后，這樣便構(gòu)成了一個(gè)兩次特征提取的結(jié)構(gòu)，從而在對(duì)輸入樣本識(shí)別時(shí)，網(wǎng)絡(luò)有很好的畸變?nèi)萑棠芰Α?/p>

全連接層是本層神經(jīng)元與上層神經(jīng)元兩兩連接但本層神經(jīng)元之間不連接的結(jié)構(gòu)，相當(dāng)于多層感知器(Multi-Layer Perceptron, MLP)中的隱含層，局部特征信息作為輸出層(Softmax等分類(lèi)器)的輸入，其后不再接卷積層，因通過(guò)全連接層之后，圖像特征已由二維信息降為一維信息，無(wú)法進(jìn)行二維卷積運(yùn)算。

本文提出的基于復(fù)雜網(wǎng)絡(luò)描述的圖像深度卷積分類(lèi)方法結(jié)構(gòu)圖如圖4所示。

圖4 本文方法流程圖Fig. 4 Flow chart of the proposed method

由圖4可以看出，對(duì)于1張彩色圖像，其RGB3個(gè)維度上的分量均可視為1張圖像，由每個(gè)分量圖像可得到3個(gè)復(fù)雜網(wǎng)絡(luò)模型度矩陣，即為3組(9個(gè))度矩陣；將每個(gè)分量得到的度矩陣作為AlexNet的輸入，學(xué)習(xí)得到3組圖像的特征；再將特征融合，由分類(lèi)器得到分類(lèi)結(jié)果并輸出。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的有效性，本文對(duì)ILSVRC2014數(shù)據(jù)庫(kù)的樣本進(jìn)行了分類(lèi)仿真實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為聯(lián)想80SH、4 GB內(nèi)存、Windows 10系統(tǒng)。選取10類(lèi)圖像中的100張，共1 000張圖像作為分類(lèi)的訓(xùn)練集合；選取這10類(lèi)圖像中另外200張作為樣本集合；進(jìn)行K近鄰(K-Nearest Neighbors,KNN)分類(lèi)，分類(lèi)原則為K=1，分類(lèi)判別距離為歐氏距離。復(fù)雜網(wǎng)絡(luò)描述中，閾值選取在0.5到0.9 之間，實(shí)驗(yàn)驗(yàn)證閾值在0.5到0.9之間能保留更多的信息，保證分類(lèi)實(shí)驗(yàn)較高的正確率；當(dāng)閾值小于0.5時(shí)，隨著閾值下降，產(chǎn)生的度矩陣能保留的原圖信息非常少。實(shí)驗(yàn)共設(shè)置3個(gè)閾值，由三組AlexNet生成3 000維的特征向量。實(shí)驗(yàn)中對(duì)比模型AlexNet、VGGNet和在VGG模型的基礎(chǔ)上使用復(fù)雜網(wǎng)絡(luò)描述的神經(jīng)網(wǎng)絡(luò)模型，最大迭代次數(shù)設(shè)為500次，每50次迭代進(jìn)行一次驗(yàn)證并輸出分類(lèi)正確率。

隨著迭代次數(shù)的變化，不同網(wǎng)絡(luò)模型的分類(lèi)正確率如圖5所示。由圖5可以看出，當(dāng)?shù)螖?shù)為50時(shí)，AlexNet的分類(lèi)正確率為24%，最終收斂于85%；迭代次數(shù)為50時(shí)，本文方法分類(lèi)正確率為50%，最終收斂于90%；在迭代次數(shù)為50時(shí)，VGG模型分類(lèi)正確率為73%，最終收斂于94%；而在VGG模型上使用復(fù)雜網(wǎng)絡(luò)描述(Complex Network Description, CND)的神經(jīng)網(wǎng)絡(luò)模型(CND+VGG)最終的數(shù)據(jù)結(jié)果與VGG模型的結(jié)果幾乎相同。

圖5 不同網(wǎng)絡(luò)模型隨著迭代次數(shù)變化的分類(lèi)正確率Fig. 5 Classification accuracy of different network models with different number of iterations

實(shí)驗(yàn)結(jié)果表明，與AlexNet相比，本文提出的方法分類(lèi)正確率較高，且較早收斂；與VGG相比，本文方法較差，仍有改進(jìn)空間；由于AlexNet 與VGG相比，網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單，增加一個(gè)復(fù)雜網(wǎng)絡(luò)描述層之后，分類(lèi)正確率有明顯的改進(jìn)，而VGG由于其網(wǎng)絡(luò)層數(shù)較多，增加復(fù)雜網(wǎng)絡(luò)描述層之后，結(jié)果并沒(méi)有明顯變化。

為了驗(yàn)證復(fù)雜網(wǎng)絡(luò)描述方法中閾值大小選取，以及AlexNet網(wǎng)絡(luò)模型的第一層卷積核大小對(duì)于正確率和收斂時(shí)迭代次數(shù)的影響，改變第一個(gè)卷積核的大小，分別記錄了最高正確率和收斂時(shí)迭代次數(shù)，結(jié)果如表1所示。其中，高閾值為0.8、0.7、0.6，低閾值為0.4、0.3、0.2。

表1 復(fù)雜網(wǎng)絡(luò)描述方法及卷積網(wǎng)絡(luò)模型第一層卷積核大小的影響Tab 1 Influence of complex network description method and kernel size of convolution network model first layer

實(shí)驗(yàn)結(jié)果表明，選擇復(fù)雜網(wǎng)絡(luò)描述方法的閾值選擇和深度卷積網(wǎng)絡(luò)第一層卷積核大小對(duì)正確率和收斂時(shí)迭代次數(shù)的影響較大。選取較高的閾值能得到較高的正確率，但是收斂時(shí)迭代次數(shù)較高；選取合適10×10或者9×9的首層卷積核大小能得到較高的正確率和較少的收斂時(shí)迭代次數(shù)。

5 結(jié)語(yǔ)

為了在不增加較多計(jì)算量的前提下，提高卷積網(wǎng)絡(luò)模型用于圖像分類(lèi)的正確率，本文提出了一種基于復(fù)雜網(wǎng)絡(luò)描述的圖像深度卷積分類(lèi)方法。該方法以復(fù)雜網(wǎng)絡(luò)的描述方法構(gòu)建度矩陣，然后采用AlexNet進(jìn)行特征學(xué)習(xí)，完成圖像分類(lèi)的工作。與主流分類(lèi)模型VGGNet、AlexNet的對(duì)比實(shí)驗(yàn)結(jié)果表明，本文提出的方法具有較高的圖像分類(lèi)正確率，迭代次數(shù)收斂較早，具有較強(qiáng)的穩(wěn)定性和一定的提升空間。