李陳軍，褚 凱，張伯健

(廣西師范大學(xué)計算機(jī)科學(xué)與信息工程學(xué)院，廣西 桂林 541004)

1 引言

隨著計算機(jī)科學(xué)與互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，全世界每時每刻都在產(chǎn)生大量數(shù)據(jù)，例如：文本、音頻、圖片、視頻等。大數(shù)據(jù)含有大量信息，但是這些信息人工難以辨別和整理，因此如何對信息進(jìn)行分類與識別一直備受廣大研究者關(guān)注和研究。各種信息中圖像信息是一種極重要的信息載體，上世紀(jì)研究者針對圖像中紋理信息提出很多優(yōu)秀的圖像算法，為計算機(jī)視覺和模式識別領(lǐng)域奠定了堅實的基礎(chǔ)。21世紀(jì)，隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)在圖像分類領(lǐng)域取得了很大的突破，計算機(jī)視覺進(jìn)入一個全新的時代。

卷積神經(jīng)網(wǎng)絡(luò)通過多層非線性變換模擬人大腦的學(xué)習(xí)能力，利用大量有標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練，在計算機(jī)視覺領(lǐng)域取得了顯著的成績。但是卷積神經(jīng)網(wǎng)絡(luò)對于計算性能有著嚴(yán)格要求，它只關(guān)注圖像區(qū)別性最高的部分[1]，忽略了圖像中其它細(xì)節(jié)特征。通過互補(bǔ)特征融合的方法能有效改善特征忽略問題。目前，基于語義特征的融合方法主要分為：異構(gòu)特征融合，多神經(jīng)網(wǎng)絡(luò)特征融合以及神經(jīng)網(wǎng)絡(luò)多層特征融合。

異構(gòu)特征融合：基于傳統(tǒng)特征和深層語義特征的融合方法。Wang等人[2]提出了一種基于多方向梯度HOG特征和深度學(xué)習(xí)特征進(jìn)行迭代融合的面部表情識別方法。Li等人[3]提取圖像的傳統(tǒng)特征(LBP，SIFT和Color)和深度置信網(wǎng)絡(luò)的語義特征，并使用玻爾茲曼機(jī)挖掘傳統(tǒng)特征與深層特征的關(guān)聯(lián)。異構(gòu)特征融合證明了傳統(tǒng)特征可以有效改善語義特征空間的多樣性。

多神經(jīng)網(wǎng)絡(luò)特征融合：基于不同卷積網(wǎng)絡(luò)特征的融合方法。Liu等人[4]通過監(jiān)督學(xué)習(xí)的方法訓(xùn)練不同神經(jīng)網(wǎng)絡(luò)中層特征，使用后期融合策略處理分類器的預(yù)測，有效提高圖像分類性能。Zhang等人[5]構(gòu)建CFR-DenseNet和ILFR-DenseNet雙重網(wǎng)絡(luò)，并使用端對端進(jìn)行訓(xùn)練，融合兩種不同網(wǎng)絡(luò)的特征。T. Akilan等人[6]使用三個完成預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)作為特征提取器，使用單個隱藏層將高級特征轉(zhuǎn)化到低維空間，融合各個特征的豐富信息。與先進(jìn)方法相比，多特征融合方法在圖像分類準(zhǔn)確性上有著足夠的競爭力。

神經(jīng)網(wǎng)絡(luò)多層特征融合：基于單個網(wǎng)絡(luò)多個不同特征的融合方法。Song[7]等人引入殘差學(xué)習(xí)建立了深層卷積網(wǎng)絡(luò)，利用深度特征融合網(wǎng)絡(luò)將卷積網(wǎng)絡(luò)不同層的特征進(jìn)行加權(quán)融合。Feng等人[8]提出MSLN-CNN，在局部和非局部約束下增強(qiáng)圖像，并將不同層次的特征進(jìn)行融合，在訓(xùn)練樣本有限的情況下性能表現(xiàn)得極為出色。Guo等人[9]提出了一種多分類器網(wǎng)絡(luò)(MCN)使用同一CNN的不同層的語義特征通過自適應(yīng)的方法進(jìn)行融合，在多個數(shù)據(jù)集上驗證了該融合方法的有效性。神經(jīng)網(wǎng)絡(luò)多層特征融合提取網(wǎng)絡(luò)的多層語義特征，將抽象程度較低的特征當(dāng)成深層特征的互補(bǔ)特征，相互融合可以有效改善分類結(jié)果的準(zhǔn)確性和可靠性。

本文綜合了異構(gòu)特征融合和多卷積網(wǎng)絡(luò)特征融合的優(yōu)點，提出了一種自適應(yīng)加權(quán)融合算法，能有效，簡潔地將多個語義特征和傳統(tǒng)特征進(jìn)行融合，極大的提高了分類的準(zhǔn)確性。本文所做的貢獻(xiàn)如下：

1)根據(jù)圖像顏色和邊緣信息設(shè)計出一種手工特征，可以強(qiáng)化特征空間的多樣性，與語義特征形成有效互補(bǔ)；

2)針對不同卷積神經(jīng)網(wǎng)絡(luò)多種語義特征和多種學(xué)習(xí)方法進(jìn)行研究和對比，發(fā)現(xiàn)不同網(wǎng)絡(luò)的語義特征之間的互補(bǔ)性優(yōu)于同種網(wǎng)絡(luò)不同層的特征，將異構(gòu)特征和多神經(jīng)網(wǎng)絡(luò)特征進(jìn)行融合，進(jìn)一步強(qiáng)化特征空間的多樣性；

3)提出了一種新的融合算法，對不同卷積神經(jīng)網(wǎng)絡(luò)多種語義特征和傳統(tǒng)手工特征進(jìn)行融合，相對于端對端的訓(xùn)練和融合算法，有著更好的分類性能，并且極大的降低了算法所需的時間成本。

2 方向梯度和顏色體積直方圖與自適應(yīng)加權(quán)融合算法

圖像分類方法包括為三個步驟：

1)圖像預(yù)處理(包括圖像去噪，光照歸一化等等)；

2)圖像特征提取(包括訓(xùn)練圖像以及測試圖像)；

3)利用分類對提取的特征進(jìn)行學(xué)習(xí)。

本文根據(jù)不同網(wǎng)絡(luò)特征之間的差異與互補(bǔ)性，利用權(quán)值對多特征進(jìn)行動態(tài)融合(參見圖1)。

圖1 多特征融合的圖像分類算法流程圖

2.1 方向梯度和顏色體積直方圖(HOGCV)

HSV顏色空間與人眼的視覺感知接近，對于顏色之間的差異十分敏感。HSV顏色空間度量顏色信息的參數(shù)分別是：色調(diào)(H)，飽和度(S)，明度(V)。將色調(diào)，飽和度和明度分別量化為6，4.3份，顏色體積特征的維數(shù)為6×4×3=72。本文參考了Hua[10]提出的顏色體積特征，增加了顏色空間特征標(biāo)記矩陣，提高了顏色之間區(qū)分度。并對顏色空間體積特征的累加計算進(jìn)行了優(yōu)化與改良，提高了分類性能，同時使其對于語義特征有著更強(qiáng)的互補(bǔ)性。

圖2 HSV顏色空間

將RGB圖像轉(zhuǎn)化到HSV顏色空間，計算圖像顏色空間體積特征矩陣cv

(1)

根據(jù)圖像H，S，V的分量大小，計算圖片不同空間位置像素點的顏色空間特征標(biāo)記矩陣K

(2)

式(2)中F函數(shù)是向下求整。設(shè)一張圖像中有多個3×3像素塊，每個像素塊的中心像素的坐標(biāo)為(x0，y0)，其它八個像素坐標(biāo)分別命名為(xi，yi)，其中i∈[1，8]，計算9個像素點顏色空間體積的平均值，將其作為中心的顏色空間特征h(x0，y0)。最終將顏色空間特征標(biāo)記矩陣中標(biāo)記k相等的顏色空間體積特征累加并統(tǒng)計，即為當(dāng)前圖像的顏色體積直方圖特征

(3)

方向梯度直方圖[11](Histogram of Oriented Gradient,HOG)，是目前計算機(jī)視覺和模式識別領(lǐng)域一種常用的圖像邊緣特征。HOG通過計算和統(tǒng)計圖像局部梯度方向直方圖來構(gòu)成特征，與其它的特征描述方法相比，HOG特征是在局部方格單元上形成的，所以它對圖像幾何和光學(xué)上形變都有著良好的不變性，這兩者的形變只會出現(xiàn)在更大的空間鄰域上。

HOG特征的提取過程如下：將彩色圖像轉(zhuǎn)化為灰度圖像，并利用Gamma校正法減少光照對于圖像信息的影響

I(x，y)=[I(x，y)]Gamma

(4)

計算圖像A的水平梯度Gx和豎直梯度Gy，根據(jù)Gx和Gy大小確定為圖像中每一個像素的梯度幅度值G以及梯度方向θ

(5)

(6)

(7)

(8)

圖像分割成多個4×4單元，[0°，360°]劃分為9個bins，將單元中的梯度方向在同一bins的梯度幅度值累加，形成9×1的HOG特征向量。4個單元組合為更大范圍的正方形區(qū)間。在區(qū)間上為了進(jìn)一步減少光照和陰影的影響，將不同的單元的特征向量進(jìn)行歸一化。統(tǒng)計圖片中所有區(qū)間的HOG特征，將其合成為最終的特征向量。

HOGCV=[λ*HOG，(1-λ)*CV]

(9)

通過主成分分析方法(Principal Component Analysis,PCA)將HOG特征維度降低至128，與顏色體積直方圖特征分別進(jìn)行歸一化，根據(jù)式(9)融合得到一種新的特征描述符，命名為方向梯度和顏色體積直方圖(Histogram of Oriented Gradient and Color Volume,HOGCV)，式(9)中的參數(shù)λ推薦使用0.95。HOGCV特征擁有幾何不變性和旋轉(zhuǎn)不變性，與卷積神經(jīng)網(wǎng)絡(luò)提取的語義特征形成有效互補(bǔ)。

2.2 自適應(yīng)加權(quán)融合算法

在計算機(jī)視覺分類領(lǐng)域，高性能特征貢獻(xiàn)較大，對于特征融合賦予優(yōu)勢性能特征更高的權(quán)重可以有效地融合多種特征，提高特征空間的多樣性。與此同時，考慮到傳統(tǒng)特征性能在異構(gòu)特征融合中的缺陷，自適應(yīng)加權(quán)融合算法通過性能指標(biāo)在特征融合中有效地動態(tài)地控制多特征融合權(quán)重，強(qiáng)化語義特征在多特征融合中的主導(dǎo)地位。

自適應(yīng)加權(quán)融合算法是利用后期融合的策略對分類器的預(yù)測進(jìn)行融合。首先，將提取的多種特征分別輸入不同分類器訓(xùn)練，統(tǒng)計每一種組合分類結(jié)果，將參與融合的分類準(zhǔn)確率進(jìn)行歸一化

(10)

其中Accuracyk表示參與融合的第k種特征的top1分類準(zhǔn)確率。高斯分布是一種鐘形曲線，符合特征融合中權(quán)重的變化趨勢。利用高斯分布和不同特征的分類結(jié)果控制特征融合的權(quán)值，并通過高斯分布均值來調(diào)整高斯曲線，動態(tài)的調(diào)整權(quán)重變化的快慢，以及確定不同特征的融合權(quán)重

(11)

由于傳統(tǒng)特征和語義特征有著較大的性能差距，將不同分類器精確度累加在調(diào)整后的權(quán)重上，削弱傳統(tǒng)特征對于融合特征的影響，強(qiáng)化語義特征在融合特征中影響性。

(12)

μ=|1-2.5*σ|

(13)

(14)

自適應(yīng)加權(quán)融合算法通過高斯分布均值調(diào)整權(quán)重曲線，使其能夠根據(jù)融合特征的性能動態(tài)地調(diào)整不同特征的融合權(quán)重。此方法在保證語義特征的優(yōu)勢下將傳統(tǒng)特征與語義特征融合，強(qiáng)化特征空間的多樣性，且能有效的將多網(wǎng)絡(luò)的語義特征進(jìn)行融合。

3 實驗結(jié)果及分析

本文為了驗證提出的多特征融合和圖像分類方法的有效性，使用了不同網(wǎng)絡(luò)的多層特征和多種分類方法進(jìn)行學(xué)習(xí)，根據(jù)性能標(biāo)準(zhǔn)對融合的特征和方法進(jìn)行篩選。

實驗的硬件環(huán)境：CPU Inter Core i7-7700，GPU NVIDIA GeForce GT 730，軟件環(huán)境為MATLAB R2018b。

3.1 數(shù)據(jù)集以評價準(zhǔn)則

本文在Cifar-10，STL-10，Cifar-100和Caltech-101數(shù)據(jù)集上對基于卷積神經(jīng)網(wǎng)絡(luò)的多特征融合和圖像分類算法進(jìn)行了實驗驗證。

Cifar-10數(shù)據(jù)集：一個接近普適物體的彩色圖像數(shù)據(jù)集。該數(shù)據(jù)集一共包含10個類別，每張圖片的尺寸為32×32。每個類別有6000個圖像，此數(shù)據(jù)集中一共有50000張訓(xùn)練圖片和10000張測試圖片。

STL-10數(shù)據(jù)集：該數(shù)據(jù)集一共有10個類別，每個類有擁有的測試樣本數(shù)都大于訓(xùn)練樣本。每張圖片的尺寸為96×96。此數(shù)據(jù)集中一共有5000張訓(xùn)練圖片和8000張測試圖片。

Cifar-100數(shù)據(jù)集：該數(shù)據(jù)集包含100個類別，每個類別擁有500張訓(xùn)練圖像和100張測試圖像，每張圖片的尺寸為32×32，一共有50000張訓(xùn)練圖片和10000張測試圖片。

GHIM-10K數(shù)據(jù)集：該數(shù)據(jù)集一共有10000張圖像，包含20個類，每個類別擁有500張圖片，每張圖片的大小為 300 ×400或400×300。本文在使用時將每個類別前350張圖片作為訓(xùn)練數(shù)據(jù)，后150圖片作為測試數(shù)據(jù)。

圖3 Cifar-10數(shù)據(jù)集訓(xùn)練樣本展示

圖4 STL-10數(shù)據(jù)集訓(xùn)練樣本展示

圖5 Cifar-100數(shù)據(jù)集訓(xùn)練樣本展示

圖6 GHIM-10K數(shù)據(jù)集訓(xùn)練樣本展示

本文采用的準(zhǔn)確率作為評價指標(biāo)，計算公式如下

(15)

3.2 卷積神經(jīng)網(wǎng)絡(luò)以及分類方法

本文為了減少算法的時間成本，使用三種規(guī)模小的卷積網(wǎng)絡(luò)提取深層語義特征，并利用預(yù)訓(xùn)練模型提取所需特征，進(jìn)一步加快了分類速度。經(jīng)實驗驗證可改用擁有更深層數(shù)的卷積網(wǎng)絡(luò)或者使用遷移學(xué)習(xí)，可進(jìn)一步提高分類精度，但需要更大的時間成本。

本文主要使用以下三種卷積神經(jīng)網(wǎng)絡(luò)：

VGG-16[12]。VGG-16是一個杰出的視覺模型，網(wǎng)絡(luò)結(jié)構(gòu)較為整潔，它通過多個小卷積核模擬實現(xiàn)更大的卷積核，極大地極少了模型中的參數(shù)。本文提取了該網(wǎng)絡(luò)的全連接層fc6，fc7，卷積層conv5＿3和池化層pool5的激活特征。

ResNet[13]：ResNet被用來解決隨著網(wǎng)絡(luò)深度的增加，系統(tǒng)性能達(dá)到飽和，然后迅速退化的問題。本文中，考慮了加快計算速度的淺層網(wǎng)絡(luò)ResNet-18作為模型來提取相應(yīng)特征。本文提取了該網(wǎng)絡(luò)的全連接層fc1000，卷積層res5a＿branch2b,res5b＿branch2b和池化層pool5的激活特征。

SqueezeNet[14]：輕量級網(wǎng)絡(luò)，最大程度提高運算速度。SqueezeNet模型核心是Fire模塊，通過減少參數(shù)使得單步計算速度增加。本文提取了該網(wǎng)絡(luò)的fire9-relu-expand3×3，卷積層conv10和池化層pool10的激活特征。

本文中使用以下方法訓(xùn)練分類器：

支持向量機(jī)[15](Support Vector Machine，SVM)，SVM是一種處理模式識別領(lǐng)域分類問題的監(jiān)督算法，通過尋找樣本的最大邊距超平面，使得特征空間中距離超平面最近的不同類別的點間隔達(dá)到最大，SVM相對于其它的分類方法有著更好地穩(wěn)定性以及健壯性。

K最鄰近算法[16](K-Nearest Neighbor，KNN),KNN算法的實現(xiàn)原理為將已知的樣本作為參照，計算與未知樣本的距離，選取其中距離最近的K個樣本，根據(jù)投票法則確定未知樣本的類別。

決策樹[17](Decision Tree DT)是一種自上而下，對樣本空間進(jìn)行樹形分類的方法，其原理是由上而下計算信息增益比，根據(jù)結(jié)點的信息增益比對訓(xùn)練數(shù)據(jù)進(jìn)行分割，并建立子結(jié)點，然后對子結(jié)點遞歸調(diào)用此方法，直到每個子集都分配到結(jié)點上，就得到了一個決策樹。決策樹的方法通常有三個步驟特征選擇，決策樹的生成和決策樹的剪枝。

線性判別分析[18](Linear Discrimination Analysis，LDA)。其原理是將所有的樣本投影到一維空間，投影后使兩類之間的間隔盡可能的大，而類別之間的差距盡可能得小。

3.3 實驗結(jié)果以及分析

Cifar-10，STL-10及GHIM-10K數(shù)據(jù)集上，VGG和ResNet全連接層提取的特征優(yōu)于其它層的特征，SqueezeNet中conv10層特征更優(yōu)秀，VGG-16網(wǎng)絡(luò)相對于其它兩個深層卷積網(wǎng)絡(luò)分類效果更優(yōu)，在未訓(xùn)練的情況下，達(dá)到83%的精確度。四種學(xué)習(xí)方法中SVM和LDA在三個數(shù)據(jù)集中總體表現(xiàn)超過另外兩種方法，詳情參考圖7、圖8和圖10。

圖7 Cifar-10數(shù)據(jù)集上單個網(wǎng)絡(luò)最優(yōu)層精確度

圖8 STL-10數(shù)據(jù)集上單個網(wǎng)絡(luò)最優(yōu)層精確度

Cifar-100中，VGG的pool層的特征有著優(yōu)秀的分類性能，且SVM和DT方法在Cifar-100數(shù)據(jù)集上分類效果顯著，詳情參考圖9。從四個數(shù)據(jù)集的單層特征實驗結(jié)果分析，VGG網(wǎng)絡(luò)和SVM方法有著更好的穩(wěn)健性，單層特征對比其它特征性能最優(yōu)。

圖9 Cifar-100數(shù)據(jù)集上單個網(wǎng)絡(luò)最優(yōu)層精確度

圖10 GHIM-10K數(shù)據(jù)集上單個網(wǎng)絡(luò)最優(yōu)層精確度

針對卷積神經(jīng)網(wǎng)絡(luò)單層特征的實驗結(jié)果，利用卷積神經(jīng)網(wǎng)絡(luò)特征對自適應(yīng)加權(quán)融合算法進(jìn)行驗證。多個數(shù)據(jù)集上兩層卷積特征融合結(jié)果，表1至表5。表中R為ResNet-18，V為VGG-16，S為SqueezeNet，ResNet-18網(wǎng)絡(luò)中fc1000層簡化為fc，p代指pool層，c代指onvc。Accuracy單層特征的分類結(jié)果，Accuracy2代指雙特征融合的精確度。

表1 Cifar-10數(shù)據(jù)集上兩種特征融合的精確度(%)

表2 STL-10數(shù)據(jù)集上兩種特征融合的精確度(%)

雙特征融合實驗結(jié)果表明：同種網(wǎng)絡(luò)中語義特征融合的精確度低于不同網(wǎng)絡(luò)的語義特征融合的精確度，證明不同網(wǎng)絡(luò)特征之間互補(bǔ)性優(yōu)于同種網(wǎng)絡(luò)。Cifar-10，STL-10，Cifar-100和GHIM-10K數(shù)據(jù)集上雙特征融合準(zhǔn)確率相對于單層語義特征提高了5%～8%，參照表1-表4。

表3 Cifar-100數(shù)據(jù)集上兩種特征融合的精確度(%)

表4 Cifar-10，STL-10，Cifar-100數(shù)據(jù)集上多方法精確度對比(%)

經(jīng)過實驗驗證不同網(wǎng)絡(luò)的特征在超過三種后或者同網(wǎng)絡(luò)多特征通過此融合方法性能提高十分有限。在多CNN特征融合的基礎(chǔ)上，進(jìn)一步利用HOGCV特征強(qiáng)化特征空間多樣性，參考表5，HOGCV特征對多特征融合的結(jié)果有1.5%左右的提高，說明了HOGCV特征能有效強(qiáng)化高級語義特征的多樣性，與高級語義特征有著良好的互補(bǔ)性。Cifar-10，STL-10，Cifar-100和GHIM-10K數(shù)據(jù)集上經(jīng)過三個不同CNN特征以及HOGCV特征融合，最終分類精度分別達(dá)到了93.39%，93.13%，74.58%和90.34%，相比于單個特征的最優(yōu)結(jié)果對比準(zhǔn)確率有著7%到12%提高，對比雙特征融合的結(jié)果有著5%左右的提高，證明了自適應(yīng)加權(quán)融合算法的有效性。

表5 Cifar-10，STL-10，Cifar-100以及Caltech-101數(shù)據(jù)集上多種特征融合的精確(%)

本文利用預(yù)訓(xùn)練模型提取語義特征，通過性能自適應(yīng)調(diào)整融合權(quán)重，利用HOGCV特征加強(qiáng)融合特征的多樣性，進(jìn)一步強(qiáng)化了分類性能，在多種數(shù)據(jù)集上的實驗結(jié)果表明本文提出的算法具有普適性。與多種先進(jìn)方法的研究結(jié)果進(jìn)行了對比，文中的方法擁有更顯著的性能，并且由于使用的模型都是輕量級且無需進(jìn)一步訓(xùn)練，效率較高，對于圖像分類領(lǐng)域現(xiàn)實應(yīng)用有著極大的意義，參考表6。

表6 Cifar-10，STL-10，Cifar-100數(shù)據(jù)集上多方法精確度對比(%)

4 總結(jié)和展望

卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展極大推動了計算機(jī)視覺領(lǐng)域的進(jìn)步，對傳統(tǒng)手工特征帶來了新的機(jī)遇和挑戰(zhàn)，本文提出了一種基于圖像顏色和邊緣的手工特征：方向梯度和顏色體積直方圖(HOGCV)，用于提高了語義特征空間的多樣性，還提出利用準(zhǔn)確率動態(tài)控制多種語義特征和傳統(tǒng)特征的自適應(yīng)加權(quán)融合算法，并使用預(yù)訓(xùn)練的網(wǎng)絡(luò)模型提取語義特征，在保證分類結(jié)果的同時，極大地加快了算法的計算速度。實驗結(jié)果證明了不同網(wǎng)絡(luò)語義特征的互補(bǔ)性更優(yōu)，驗證了 SVM對多種卷積神經(jīng)網(wǎng)絡(luò)的健壯性，HOGCV特征對于語義特征強(qiáng)化作用和自適應(yīng)加權(quán)融合算法的有效性。本文通過復(fù)雜的融合算法得到了更好地性能，而且在細(xì)粒度圖像分類上不出色，今后研究目標(biāo)是優(yōu)化融合算法和結(jié)構(gòu)，強(qiáng)化其在細(xì)粒度圖像分類中表現(xiàn)。