武若琪，徐 冰，曲志堅

(山東理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，山東 淄博 255000)

0 引 言

自上世紀九十年代開始，便出現(xiàn)了關(guān)于食物識別的研究成果[1]?；赟VM的多核學(xué)習(xí)，多特征融合等方法都曾被研究者應(yīng)用在食物識別領(lǐng)域[2-4]。但是，食物圖片大多來自于餐桌場景，圖片中的干擾信息嚴重影響了圖片分類效果，這導(dǎo)致很多分類模型不能有效應(yīng)用在實際場景中。此外，深度學(xué)習(xí)也是計算機視覺領(lǐng)域非常有效的技術(shù)方法[5,6]。許多研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在了食物圖片識別問題上[7-9]。但深度學(xué)習(xí)方法往往缺乏對結(jié)果的解釋性，不利于從特征角度對亞洲食物特有結(jié)構(gòu)及特征提取方法進行深入研究[10]。

從食物自身屬性來看，不管是歐洲飲食、美式飲食還是亞洲飲食，其構(gòu)造、形態(tài)以及紋理、顏色等特征大相徑庭[11]。不同于西式食物相對清晰的構(gòu)造與單調(diào)的烹飪方式，亞洲食物形態(tài)各異，結(jié)構(gòu)模糊，且不同烹飪方式下的菜肴外觀差別很大，因此亟需尋找適合亞洲食物的圖片分類方案。

本文提出一種針對亞洲食物圖片的分類模型SLGC (SURF-local and global color)。首先，利用GrabCut算法進行圖片分割預(yù)處理，提取食物主體；之后，對特征詞袋模型(bag of features, BoF)做出改進，分別在局部與全局兩個維度提取并量化圖片的顏色特征，將其與圖片的加速穩(wěn)健特征SURF(speed up robust features)進行融合；最后，將融合后特征輸入到基于支持向量機的分類模型進行訓(xùn)練和分類。

1 SLGC圖片分類模型

本文提出的SLGC模型包括圖片分割、圖片特征提取、局部及全局特征融合與訓(xùn)練分類，框架模型如圖1所示。

圖1 SLGC框架模型

為降低食物圖片背景對特征提取的影響，模型首先利用GrabCut算法對圖片進行分割處理。GrabCut是一種交互式分割算法，基于被分割對象的指定邊界框，使用高斯混合模型(Gaussian mixture model, GMM)估計被分割對象和背景的顏色分布[12,13]。其分割的能量函數(shù)如式(1)所示

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)

(1)

式中：α為透明度系數(shù)，k為GMM分量數(shù)目，θ={πk,uk,Σk}為每個GMM分量對應(yīng)的比例、均值與協(xié)方差。根據(jù)α與像素z的匹配度可以衡量區(qū)域數(shù)據(jù)項U的優(yōu)劣，同時光滑項V在圖像邊界處取得最小值，由此可以得到能量函數(shù)E的最優(yōu)值，確定最佳分割方案。

使用GrabCut算法對食物圖片進行分割的效果如圖2所示。圖2(a)列為原始圖片，包含如餐具、桌布以及其它食物等干擾信息。圖2(b)列展示了將食物主體標注在原始圖片的效果。經(jīng)過圖片分割后的效果展示在圖2(c)列當(dāng)中，最后通過裁剪形成圖2(d)列的最終結(jié)果。

圖2 食物圖片分割效果

SLGC模型中使用SURF算法提取圖片的局部特征信息。SURF算法的核心是Hessian矩陣，利用Hessian矩陣計算圖片中每個像素點的局部行列式極值，就可以得到圖片的特征點，如式(2)所示

(2)

式中：Lxx(x,y,σ)為高斯二階微分與原始圖像在點(x,y)處的卷積。

同時，為了保證所提取特征點具有旋轉(zhuǎn)不變性，需要確定特征點的主方向。統(tǒng)計以特征點為中心，以6個尺度范圍為半徑的鄰域內(nèi)的Harry小波特征，并統(tǒng)計60°扇形窗口內(nèi)的小波響應(yīng)總和，進而得到特征方向矢量(mw,θw)，如式(3)所示

(3)

式中：mw和θw分別代表特征方向矢量的大小和方向。以特征點為中心，沿主方向?qū)?0個尺度范圍長度的方形區(qū)域劃分為16個子塊，分別統(tǒng)計∑dx,∑dy, ∑|dx|和∑|dy|，生成SURF特征描述子，其維度Ds為固定值64。

使用SURF提取食物圖片特征信息，相對于使用SIFT(scale-invariant feature transform)，能夠在保持恰當(dāng)特征點數(shù)量的基礎(chǔ)上，有效提升特征提取速度[14]，為之后食物圖片實時處理方面的工作做好鋪墊。

如圖3所示，使用SURF在食物圖片上提取特征點。其中，圖3(a)列為原始圖片，為了使特征點位置清晰，設(shè)置閾值為6000提取SURF特征點并標注在圖3(b)列的圖片中。其中圓圈的圓心為特征點位置，不同半徑代表其不同的尺度信息。

圖3 SURF特征點提取

關(guān)于SLGC模型中的特征融合部分，其主要作用是在提取圖片的SURF特征之后，借助BoF模型將其與局部顏色特征融合，加強局部特征的表示能力。再將圖片全局顏色特征加入到圖片表示向量當(dāng)中，完成全局特征融合，進一步提高特征提取效果。最后將經(jīng)過局部與全局特征融合后的圖片表示向量輸入到SVM中進行訓(xùn)練和分類。下面將重點介紹特征融合的過程。

2 特征融合

本文提出的SLGC食物圖片分類模型的關(guān)鍵工作在特征融合部分。對BoF模型做出如下改進，在“特征點信息量化”與“形成食物圖片最終表示向量”這兩個步驟中，分別將圖片的局部顏色特征與全局顏色特征融合到圖片的最終表示向量當(dāng)中，達到提升特征提取效果的目的。

2.1 BoF模型

BoF模型由Csurka提出并逐漸應(yīng)用于圖像處理領(lǐng)域[15]，其基本步驟如下。首先對訓(xùn)練圖像進行區(qū)域選取，定位特征點，并分別用特征向量對此特征點進行描述，如圖4所示。

圖4 特征詞典生成流程

之后使用K-means聚類算法對特征向量集進行處理，得到特征詞典。使用不同的特征提取方式，每張圖片可定位的特征點數(shù)量也不盡相同。若數(shù)據(jù)集規(guī)模為m張圖片，每張圖片的特征點數(shù)量為αi,則本文選取的聚類數(shù)K的取值如式(4)所示

(4)

最后參照特征詞典，對原始圖片提取特征單詞，并統(tǒng)計每個單詞的出現(xiàn)頻率，得到原始圖片的表示向量，如圖5所示。

圖5 特征向量生成流程

2.2 局部特征融合

SURF特征點是圖片當(dāng)中相對獨特的點，能夠較好地反應(yīng)圖片的關(guān)鍵內(nèi)容，因此其鄰域內(nèi)像素的顏色信息也十分重要。提取SURF特征點位置鄰域內(nèi)的顏色信息，與SURF特征信息進行拼接融合，能夠更加精準而全面地表示圖片內(nèi)容。特征點及鄰域像素位置選取示例如圖6所示。

圖6 特征點及其鄰域像素

其中，P 點為某一SURF特征點，R表示鄰域半徑。假設(shè)R的最優(yōu)取值為2(R的實際最優(yōu)取值會通過后續(xù)實驗來確定)，使用RBG顏色空間表示鄰域范圍內(nèi)選定像素的顏色信息，形成局部顏色特征向量。其向量維度計算公式如下

Dc=(2R2+2R+1)*3

(5)

式中：R表示鄰域半徑，Dc表示局部顏色特征維度。

獲得局部顏色特征之后，在特征點信息量化部分對BoF模型做出改進，將局部顏色特征與其對應(yīng)的SURF描述子信息結(jié)合，完成局部特征融合。由于特征向量與顏色信息為不同評價指標，為了消除指標之間的量綱影響，須在融合之前分別對其進行歸一化處理。局部特征融合的具體過程如圖7所示。

圖7 局部特征融合

其中，以左側(cè)代表“面包”的某一視覺單詞為例，獲取其SURF特征向量，并獲取以R為半徑鄰域內(nèi)的顏色信息，將二者拼接為局部特征向量，其維度計算公式如下

Dl=Ds+Dc

(6)

式中：Ds表示SURF特征向量維度，為固定數(shù)值64，Dc表示局部顏色特征維度，Dl表示特征拼接后的局部特征向量維度。將圖片中所有局部特征向量進行聚類處理，生成特征詞典，完成局部特征融合過程。

圖8給出了本文使用的亞洲食物圖片數(shù)據(jù)集中“烏冬面”和“餡餅”的特征點及其鄰域像素提取示例。其中，圖8(a)列圖片分別給出了“烏冬面”和“餡餅”的SURF特征點位置，圖8(b)列為圖片對應(yīng)的顏色直方圖。由于兩張圖片存在大面積黃色區(qū)域，主體色調(diào)相似，因此可區(qū)分度較低。但是，通過分析特征點位置，發(fā)現(xiàn)其多數(shù)定位在食物的“點綴區(qū)域”，也就是上圖中的紅腸和下圖中蔥花的位置。與西方食物習(xí)慣對食物容器進行點綴不同，結(jié)合味道與品相等多種原因，亞洲食物往往使用顏色鮮艷、味道清新的材料直接對菜品進行點綴。由于點綴物的顏色與形態(tài)較為突出，因此其附近能夠較大概率出現(xiàn)特征點，同時其顏色特征也能夠較好反映食物種類信息。通過統(tǒng)計圖8中兩種食物特征點鄰域內(nèi)顏色信息，就能夠以紅色與綠色的差別區(qū)分兩類食物。

圖8 主色調(diào)相近食物及其顏色直方圖

2.3 全局特征融合

利用SURF提取食物圖片特征，首先需要對原始圖片進行灰度化處理。經(jīng)過灰度化處理的圖片，不可避免地丟失了顏色特征，而顏色特征對于色彩豐富的食物圖片是十分重要的，蘊含了大量關(guān)鍵信息。特別是圖片的全局顏色特征能夠表現(xiàn)圖片中分布最廣的顏色信息，能夠在食物圖片分類問題中發(fā)揮較大作用。

本文使用HSV顏色空間對食物圖片的整體顏色特征進行表示。HSV顏色空間是把H(色相)、S(飽和度)和V(亮度)當(dāng)作色值來定位顏色的空間。相對于RGB顏色空間，HSV空間能夠非常直觀地表達色彩的明暗、色調(diào)以及鮮艷程度，比較接近人類對于食物圖片的自然視覺感知。

為了避免全局顏色特征矢量維數(shù)過高，使用式(7)的對應(yīng)關(guān)系對HSV空間進行量化

(7)

基于上述量化關(guān)系，將各顏色分量按照式(8)合成為72維顏色特征矢量，作為食物圖片整體顏色特征的表示向量

G=9H+3S+V

(8)

為了完成全局特征融合，在形成食物圖片最終表示向量部分對BoF模型做出改進，具體過程如圖9所示。

圖9 全局特征融合

其中，表示向量為圖片的特征向量，是圖片的所有局部特征向量經(jīng)過聚類形成特征詞典，并完成統(tǒng)計后形成的特征向量。此時的特征向量包含了圖片的SURF特征與關(guān)鍵點鄰域顏色特征，在此基礎(chǔ)上將圖片的HSV全局顏色特征與其進行拼接，形成圖片的最終表示向量。圖片最終表示向量維度計算公式如下

Dg=K+Dh

(9)

式中：K為依據(jù)式(4)計算的聚類數(shù)目，同時是圖片表示向量的維度，Dh為全局顏色向量維度，為固定值72，Dg為圖片經(jīng)過全局特征融合后的圖片最終表示向量維度。

圖10給出了不同食物的顏色直方圖對比。通過分析，可以看到全局顏色特征融合是合理有效的。

圖10 不同食物的顏色直方圖

其中，圖10(a)列為炒飯和蔬菜兩種食物，其主體色調(diào)差異較大，分別為米黃色和青綠色。通過顏色直方圖也可以看出兩種主體色調(diào)的分布差異明顯，能夠起到良好的區(qū)分作用。即全局特征融合能夠進一步完善食物圖片特征向量對于圖片的表達能力，促進分類準確率的提高。

3 實驗結(jié)果與分析

為了驗證SLGC分類模型的有效性，對其關(guān)鍵步驟進行兩個維度的驗證。首先通過比較圖片分割前后的分類效果來研究其是否對分類準確率做出貢獻。其次通過對比不同特征點鄰域取值下的分類準確率與融合全局顏色特征前后的分類準確率，分別研究局部特征融合與全局特征融合對于圖片分類準確率的影響。

3.1 實驗數(shù)據(jù)集與評價指標

實驗中數(shù)據(jù)集選擇的是Caltech101與UEC FOOD 100食物圖片數(shù)據(jù)集。Caltech101是綜合圖片數(shù)據(jù)集，內(nèi)容豐富，不同種類圖片差異較大。UEC FOOD 100是日本電氣通信大學(xué)的Yoshiyuki Kawano創(chuàng)建的食物圖片數(shù)據(jù)集，其中大多數(shù)是日本流行食物，能夠比較全面地體現(xiàn)亞洲食物的整體結(jié)構(gòu)特點。數(shù)據(jù)集結(jié)構(gòu)見表1。

表1 數(shù)據(jù)集結(jié)構(gòu)

本文的食物圖片分類算法使用線性SVM分類器，選取徑向基核函數(shù)(radial basis function, RBF)并采用one-versus-rest策略進行多分類處理。參數(shù)優(yōu)化采用Libsvm的grid.py工具。訓(xùn)練集與測試集不進行手動劃分，而是借助K折交叉驗證(K-fold cross validation, K-CV) 對數(shù)據(jù)集進行k次數(shù)據(jù)劃分與訓(xùn)練并得到k個分類模型。將每個模型分類準確率pi的平均值作為此K-CV性能指標pave。由此確定最優(yōu)參數(shù)C和gamma，之后使用最優(yōu)參數(shù)構(gòu)建圖片分類器，得出最佳分類準確率P。計算過程如式(10)所示

pi=K-CV中所生成每個模型的分類準確率
pave=∑pi/k
P=使用C和gamma為分類器參數(shù)的分類準確率

(10)

實驗環(huán)境為Windows10操作系統(tǒng)，Inter Core i5 CPU，內(nèi)存16 G，編程環(huán)境為PyCharm 2018.2.7，Python 2.7。對OpenCV 3.3相關(guān)代碼做修改后進行SIFT與SURF的特征提取工作，并借助Libsvm進行參數(shù)調(diào)優(yōu)與SVM訓(xùn)練工作。

3.2 圖片分割對分類效果的影響

針對食物圖片背景中存在桌布、餐具以及其它干擾信息的問題，使用GrabCut算法對圖片進行分割操作，提取食物主體。使用UEC FOOD 100作為實驗數(shù)據(jù)集，針對不同規(guī)模的圖片數(shù)據(jù)分別進行圖片分割前后的分類對比實驗，此實驗主要是評估與量化圖片分割操作對分類準確率的影響。實驗結(jié)果如圖11所示。

圖11 圖片分割前后的實驗結(jié)果對比

其中橫坐標表示不同數(shù)據(jù)集規(guī)模(圖片種類數(shù)目)，縱坐標表示分類準確率。通過在食物圖片分割前后的數(shù)據(jù)集上分別提取SURF與SIFT特征并進行圖片分類實驗可以觀察到，在同樣數(shù)據(jù)集規(guī)模下，進行圖片分割操作可在SIFT特征基礎(chǔ)上獲得4%到6%的提升，在SURF特征基礎(chǔ)上獲得5%到8%的提升。實驗說明圖片分割能夠有效突出食物主體，避免了背景干擾信息對于后續(xù)處理的不利影響。

同時，依照食物主體對圖片進行裁剪，有效降低了后續(xù)處理的資源用量。實驗過程中，數(shù)據(jù)集規(guī)模對分類模型的執(zhí)行效率起到?jīng)Q定性影響，此外由式(6)可以得出，特征向量中SURF信息維度不變，特征向量的最終維度取決于鄰域半徑的取值，因此不同鄰域值也會影響到模型的執(zhí)行效率。如表2所示，在同樣數(shù)據(jù)規(guī)模與鄰域取值下，對食物圖片進行圖片分割預(yù)處理。實驗結(jié)果表明，使用圖片分割可以有效縮減45%左右的特征提取時間。

表2 使用圖片分割對于特征提取效率的影響

3.3 局部特征融合對分類效果的影響

實驗?zāi)康氖窃u估特征點鄰域范圍對于局部特征提取效果的影響，因此忽略SURF特征信息，只提取圖片特征點附近不同鄰域范圍的局部顏色信息作為圖片的最終表示向量進行實驗。評估標準為最終圖片分類準確率，實驗結(jié)果如圖12所示。

圖12 局部顏色特征對于分類效果的影響

其中橫軸表示特征點鄰域半徑取值，縱軸表示圖片分類準確率。實驗分別在綜合圖片數(shù)據(jù)集Caltech101與食物圖片數(shù)據(jù)集UEC FOOD 100上進行，其中Caltech101取前30類圖片進行實驗，UEC FOOD 100取前20類圖片進行實驗。實驗中提取圖片SURF特征點的不同鄰域半徑內(nèi)所有像素的顏色信息，并分別以RGB與HSV顏色空間進行表示，作為圖片的最終表示向量，其向量維度可由式(5)計算得出。將最終表示向量量化后輸入SVM進行分類。

分析圖12中的實驗結(jié)果，可以看到隨著鄰域半徑R的不斷增長，圖片分類準確率也在穩(wěn)步提升，經(jīng)過多輪實驗后確定在R取值為5時擁有最好的特征表示效果，且RGB空間對于局部顏色的表示效果普遍較好。

同時由實驗數(shù)據(jù)可以觀察到，相對于綜合圖片數(shù)據(jù)集，食物圖片對于局部顏色特征的敏感性更高。這也是由于在食物圖片，特別是亞洲食物圖片當(dāng)中，特征點大多定位于較為突出的“點綴區(qū)域”，其鄰域顏色信息有較高提取價值。

3.4 全局特征融合對分類效果的影響

此實驗?zāi)康氖窃u估全局顏色特征融合對于整體特征提取效果的影響，因此以單一特征提取方式(SIFT/SURF)為基準，對比局部特征融合(SIFT/SURF+RGB)與局部全局特征融合(SIFT/SURF+RGB+HSV)的分類表現(xiàn)。評估標準為最終圖片分類準確率，實驗結(jié)果如圖13所示。

圖13 全局顏色特征對于分類效果的影響

其中橫坐標表示不同數(shù)據(jù)集規(guī)模(圖片種類數(shù)目)，縱坐標表示分類準確率。分別在綜合圖片數(shù)據(jù)集Caltech101與食物圖片數(shù)據(jù)集UEC FOOD 100上進行實驗，選取的數(shù)據(jù)規(guī)模與上節(jié)一致。實驗中將圖片的整體顏色信息以HSV顏色空間進行表示，并與圖片的局部特征(SIFT/SURF+RGB)進行拼接，其中鄰域半徑R取值為2。通過上述對比實驗，可以看到全局顏色特征的加入對于綜合圖片分類準確率的提升在5%左右，對于食物圖片分類的貢獻也在3%左右。即全局顏色特征融合，在局部特征融合的基礎(chǔ)上，進一步提升了特征提取效果。而全局顏色特征對于食物圖片分類貢獻較少，是因為相對于綜合圖片數(shù)據(jù)集，食物圖片類間顏色差異較小，且同色調(diào)食物種類較多。

3.5 模型性能與其它現(xiàn)有工作對比

在UEC FOOD 100中隨機選取20類圖片作為實驗數(shù)據(jù)，依據(jù)式(4)計算聚類數(shù)值K為1368，鄰域半徑R取值為5，依據(jù)式(6)計算局部特征融合后每個視覺單詞的表示向量維度Dl為247，依據(jù)式(9)計算全局特征融合后每張圖片的最終表示向量維度Dg為1440。在上述實驗條件下針對本文所提出SLGC模型的各組成部分分別進行實驗，目的是總結(jié)量化圖片分割、局部特征融合與全局特征融合對圖片分類準確率的貢獻程度。

從表3中可以看到，使用SURF描述子相對于使用SIFT描述子，在其它條件均相同時，最終分類準確率普遍提升4%左右。而在使用同一特征提取方法的基準上，對食物圖片進行圖片分割預(yù)處理可以使分類準確率提升4%左右，經(jīng)過局部特征融合之后分類準確率可以提升5%左右，而全局特征融合對于分類準確率也有3%左右的貢獻。

表3 不同特征提取方法準確率對比

之后，使用與上述實驗相同的數(shù)據(jù)集與參數(shù)，將本文提出的分類模型與其它模型進行對比實驗。

如表4所示，基線方法Color Histogram與Bag of SIFT Features由于特征提取方式單一，不能根據(jù)食物圖片特點有針對性地提取特征，因此分類效果較差。OM在PFID數(shù)據(jù)集上表現(xiàn)出色，但是由于其獨特的特征組合結(jié)構(gòu)僅適用于食物層次結(jié)構(gòu)分明的PFID數(shù)據(jù)集，在針對亞洲食物數(shù)據(jù)集的分類任務(wù)上準確率有所下降。

表4 與其它圖片分類模型準確率對比

在UEC FOOD 100數(shù)據(jù)集上我們?nèi)〉昧伺cTexture+SIFT+MKL模型相近的性能，達到60%以上。同時，針對其未對原始圖片進行預(yù)處理的問題，使用GrabCut算法將食物主體進行分割提取，進一步提升了分類準確率，達到64%左右。

4 結(jié)束語

為探索亞洲食物圖片的內(nèi)在特征，提高亞洲食物圖片分類準確性，在對亞洲食物特有結(jié)構(gòu)與顏色特征的研究分析基礎(chǔ)上提出一種基于特征融合的亞洲食物圖片分類模型SLGC。構(gòu)建了融合SURF特征、局部顏色信息以及全局顏色信息的特征表示方法，全面高效地提取亞洲食物圖片特征。通過使用圖片分割算法分離無效干擾信息，突出食物主體，進一步提升了圖片分類效果。實驗結(jié)果表明，本文提出的基于特征融合的圖片分類方法，能夠有效提升圖片分類準確率，相對于單一特征方法和針對其它圖片數(shù)據(jù)集的特征提取方案具有更好的效果。