梁曄 馬楠 許亮 桂雨晗

[摘要]基于詞包模型的圖像表示方法是目前應用最廣泛的特征表示方法之一，特征編碼是該模型中非常重要的環(huán)節(jié)。針對已有編碼方法未考慮語義信息的缺點，提出了基于局部性約束和視覺顯著性的特征編碼方法，并用于圖像分類。在5個標準圖像庫進行實驗和分析，結果表明融入顯著性語義信息的圖像編碼方法能夠提升分類性能。

[關鍵詞]視覺顯著性;特征編碼;圖像分類;局部性約束

[中圖分類號]TP391.41 [文獻標志碼]A [文章編號]1005-0310（2020）01-0057-06

0 引言

近年來，隨著Internet的廣泛應用和智能手機、數碼相機等設備的普及，以圖像和視頻為主的多媒體信息逐漸成為人們傳遞和獲取信息的主要載體，在豐富人們生活、工作、教育和娛樂的同時也形成了海量的圖像數據。如何對這些圖像數據進行有效的計算和管理成了巫待解決的問題。視覺是人類獲取信息、認識世界最重要的途徑。人類的視覺系統(tǒng)在獲取外界信息的過程中并不是被動接受所有信息，而是通過人眼的視覺注意機制將次要的信息過濾掉，從而減少大腦處理信息的負擔。顯著性檢測技術是讓計算機模擬人眼的視覺注意力選擇機制，檢測圖像中最能引起用戶興趣和體現圖像內容的顯著區(qū)域。顯著性檢測可以為諸多應用提供原始對象，大大降低了計算量，應用廣泛，是目前研究的熱點。此外，圖像分類方法是指根據圖像的內容將其劃分到預定義類別的方法，是人工分類的延續(xù)和發(fā)展，也是實現對圖像自動管理和語義理解的重要途徑，已經在圖像檢索、智能安防、視頻監(jiān)控和無人機平臺上有廣泛的應用，也是圖像研究領域的熱點問題。

本文重點研究視覺顯著性和圖像分類的關系，根據圖像庫是否含有顯著區(qū)域把圖像庫分為場景類圖像庫和對象類圖像庫。對含有顯著區(qū)域的對象類圖像庫，提出新的圖像分類方法，既突出了顯著區(qū)域對于分類的重要性，也體現了局部性空間約束對于編碼一致性的重要作用，從而提高圖像分類的精度。

1 相關工作

1.1 圖像分類技術

圖像分類技術大體分為基于人工設計特征和基于深度學習特征的圖像分類方法[1-5]，與本文相關的主要圖像編碼技術分析如下。

詞包（Bag of Feature，BoF）模型[6]將圖像表示為無序的特征集合，統(tǒng)計局部不變特征的全局出現情況，既保留了局部特征的不變性，又增強了全局特征的魯棒性，同時與數量龐大的局部不變特征相比起到簡化特征的作用，是對圖像的壓縮表示。BoF方法最初采用硬指派方法對局部描述子進行編碼。硬指派將視覺特征描述子分配給離它最近的一個視覺詞，被分配的視覺詞對應的編碼為1，其余的視覺詞編碼為0。硬指派編碼方法對字典的失真錯誤非常敏感。相對于硬編碼方法，軟指派編碼方法將一個特征描述子用多個視覺詞來描述。軟指派編碼的優(yōu)點是概念簡單、計算有效，計算過程不需要優(yōu)化。稀疏編碼[7-8]作為一種軟指派編碼方法，將編碼看作視覺字典的稀疏子集的線性組合，并通過l₁范式進行正則化的近似。這種方法的缺點是優(yōu)化計算代價太大，且會產生相似描述子的編碼并不一致的問題[9-10]。針對稀疏編碼存在的問題，文獻[11]提出了基于局部性約束的編碼方法，證明了選擇局部視覺詞進行編碼的合理性。文獻[12]在傳統(tǒng)的軟量化編碼方法上加入了局部性約束，將非近鄰的其他視覺詞的距離設置為。。顯著性編碼[13]指出顯著性是特征編碼的基礎，顯著性強的視覺詞應該得到更強的響應，并通過顯著性進行編碼。文獻[9]在目標函數里面增加了拉普拉斯矩陣進行字典和編碼的學習，以提高稀疏編碼一致性，這種方法的最大缺點是計算量太大。文獻[14]加入了圖像空間域的上下文信息，改善了編碼的一致性，取得了更好的效果。

以上文獻表明，目前的編碼技術主要是基于局部性約束的軟編碼。在圖像分類中，不同的視覺詞對描述圖像內容所起的作用是不一樣的，但是目前的編碼方法并沒有考慮視覺詞所體現的語義性差異。

1.2 顯著性檢測技術

顯著性檢測方法大體上分為兩類：基于人工設計特征的檢測方法和基于深度學習特征的檢測方法。多數基于人工設計特征的方法都采用淺層模型和啟發(fā)式先驗。最早的基于生物學模型的視覺計算模型由Koch和Ullman提出。Itti等[15]在Koch和Ullman模型基礎上并行地提取多尺度、多特征的顯著圖，此方法是最經典的基于生物學模型的自底向上的方法。由于基于生物學模型的顯著性檢測方法過于復雜，研究重點逐漸轉向以對比度計算為主的提取方法，產生了純計算模型和混合模型[16-19]?；谌斯ぴO計特征的淺層模型雖然取得了一定的成效，但在處理有復雜背景的圖像時往往效果不佳。

隨著研究的發(fā)展，純粹的底層特征不能取得令人滿意的提取效果，越來越多的機器學習方法被引入到顯著性提取中，常用的機器學習方法有隨機森林、條件隨機場、多示例學習和高斯混合模型等。高級語義線索的利用也大大提高了自底向上提取方法的性能，包括通用的對象性、背景性、連通性、中心先驗以及水平線、人臉、汽車、暖色調等[16-18]。隨著GPU等硬件資源的發(fā)展和大規(guī)模訓練圖像集的涌現，基于深度神經網絡的顯著區(qū)域提取方法受到越來越多的關注[20-21]。文獻[22]通過無監(jiān)督方法學習多個中層濾波器進行局部顯著區(qū)域的提取，并且將多個顯著區(qū)域的提取結果進行融合。文獻[23]采用全局上下文信息和局部區(qū)域信息相融合的方法實現顯著區(qū)域的提取。文獻[24]在多任務學習框架下訓練FCN網絡;文獻[25]在recurrentFCN網絡結構中引入顯著性先驗取得了更準確的推理結果。以上文獻都證明了將多尺度網絡結構和深度特征應用于顯著性檢測的有效性。

2 基于局部性約束和顯著性的分類方法

2.1 圖像庫的顯著性分析

對多個圖像庫進行顯著性提取，觀察不同類別圖像庫的顯著圖是否存在差異。在場景類圖像庫中，以15場景類圖像庫[26]為例，從中選擇6幅圖像，提取對應的顯著圖，如圖1所示，第一行為原圖，第二行為顯著圖。不難發(fā)現，場景類圖像中不含有明顯的顯著區(qū)域。在對象類圖像庫中，以17花庫[27]、102花庫[28]、Caltech-101[29]、Caltech-256[30]和UIUC8[31]作為例子，提取這些圖像對應的顯著圖，如圖2所示，可以看出對象類圖像中含有明顯的顯著區(qū)域。

通過上面分析，可以得出：場景類圖像的顯著圖和對象類圖像的顯著圖存在明顯的差異，顯著性分析結果能夠應用到圖像分類算法中。下面討論的分類方法適用于含有顯著區(qū)域的對象類圖像庫。

2.2 基于局部性約束的特征編碼方法

2.2.1 圖像編碼的符號表示局部特征描述子的集合表示為

2.2.2 基于局部性約束的編碼方法

首先選取牲描述子x_i的k個最近鄰視覺詞，在傳統(tǒng)軟件分配編碼基礎上引入局部性約束，編碼公式為

2.3 基于顯著性的編碼方法

當圖像中包含顯著區(qū)域時，顯著區(qū)域往往體現圖像的主體內容，對圖像分類有重要的輔助作用。對圖像進行編碼時，本文認為顯著區(qū)域的編碼值應該賦予更大的值以突出這部分特征在圖像表示中的作用。以圖3為例，其中圖（a）為原圖像，圖（b）為原圖的顯著圖，圖（c）的紅色圓點表示背景中的一個局部特征描述子，圖（d）表示引入顯著性前的背景局部特征描述子的編碼情況，圖（e）表示引入顯著性后的背景局部特征描述子的編碼情況，圖（f）中的紅色圓點表示前景中的局部特征描述子，圖（g）表示引入顯著性前的前景局部特征描述子的編碼情況，圖（h）表示引入顯著性之后的前景局部特征描述子的編碼情況?？梢钥闯?，對于背景局部特征描述子，由于顯著值較低會導致引入顯著性后的編碼值較引入顯著性前的編碼值有所降低;而對于前景局部特征描述子，由于顯著值較高會導致引入顯著性后的編碼值較引入顯著性前的編碼值有所提高。

基于顯著性的編碼方法為：通過顯著區(qū)域提取算法得到圖像的顯著圖I，其中s_ij代表（i，j）位置像素的顯著值。顯著性高的像素應該加強像素的編碼值，所以將像素的顯著值和編碼值進行融合得到新的編碼值，融合公式為

u'_ij=u_ij×exp（s_ij）。（6）

3 實驗

3.1 實驗設置

實驗選取的對象類圖像庫包括17花庫、102花庫、Caltech-101、Caltech-256和UIUC8庫。17花庫包含17個類，每個類包含80幅圖像。102花庫包含102個類，每個類包含80幅圖像。Caltech-101圖像庫包含102個圖像類，每個類包含31～800幅圖片，共9144幅。Caltech-256是一個圖像物體識別數據集，包含256個物體類別，每類圖片最少80幅，最多827幅，共30608幅圖片。UIUC8圖像庫包含8個運動類，每個類包含137～250幅圖像，共1579幅，可以用于運動分類。從每個圖像庫的每類中隨機選取30幅圖像用來訓練，其余圖像用來測試。分類測試重復10輪，每次都隨機選取訓練圖像和測試圖像，最后計算10輪的平均分類率和標準差。

實驗在灰度范圍內處理圖像，采用128維的SIFT[32]特征描述子，采樣間隔為8個像素，描述子周圍區(qū)域塊為16×16像素。通過k-means方法得到包含400個視覺詞的字典。編碼中的參數β=10，最近鄰的個數為5。實驗采用文獻[17]的顯著區(qū)域提取方法進行顯著性提取。實驗中比較流行的編碼方法包括LLC[10]、SC[14]、ScSPM[8]和LSC[12]。

3.2 實驗結果及分析

實驗結果如表1所示。表格中的數字表示分類的精度，數值越大表明分類的精度越高，分類效果越好。運用本文分類方法，17花庫和102花庫的性能提升特別明顯，原因是因為這兩個圖像庫圖像中的顯著區(qū)域和分類語義一致性非常高，顯著性加強了分類關鍵區(qū)域的編碼值;Caltech-101、Caltech-256和UIUC8庫的分類性能也有一定的提升，但是效果沒有花庫明顯，原因在于這3個圖像庫包含對象較多，且圖像結構復雜。然而，實驗數據都表明基于顯著性和局部性空間約束的分類方法在實驗圖像庫中分類性能是最好的。視覺注意力機制可以自動選擇一幅圖像中最能引起人們注意的區(qū)域，這些被關注的區(qū)域通常是圖像的主體，而圖像主體往往是分類的關鍵信息，所以視覺注意力相當于對分類的關鍵信息進行了選擇。對于圖像特征來說，在圖像編碼時，加大顯著區(qū)域的特征編碼值，使得圖像的特征表示具有更強的判別性，從而能夠提高分類性能。

4 結束語

本文提出了基于局部性約束和視覺顯著性的特征編碼方法，加強了特征的語義性和判別性。本文在5個標準圖像數據集進行實驗和分析，結果表明融入顯著性語義信息的圖像編碼方法能夠提升分類性能，為圖像分類方法提供了新思路。但本文方法也有局限性，對于既包含對象類圖像、又包含場景圖像的混合圖像庫就不能很好地訓練分類模型，這也是下一步將要研究的問題。

[參考文獻]

[1]KOLSCH A，AFZAL M Z，EBBECKE M，et al.Real-time document image classification using deep CNN and extremelearning machines[C]//Proceedings of 14th IAPR International Conference on Document Analysis and Recognition，2017：1318-1323.

[2]ZHAO B，FENG J，WU X，et al.A survey on deep learning-based fine-grained object classification and semanticsegmentation[J].International Journal of Automation and Computing，2017，14（2）：119-135.

[3]ZHAO H，SHI J，QI X，et al.Pyramid scene parsing network[C]//Proceedings of IEEE Conference on Computer Visionand Pattern Recognition，2017：6230-6239.

[4]JIA X，SONG S，HE W，et al.Highly scalable deep learning training system with mixed-precision：Training imagenet in fourminutes[Z/OL].（2018-07-30）[2019-09-15].https：//arxiv.org/pdf/1807.11205.pdf.

[5]HE T，ZHANG Z，ZHANG H，et al.Bag of tricks for image classification with convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：558-567.

[6]GABRIELLA C，CHRISTOPHER R D，FAN L X，et al.Visual categorization with bags of keypoints[C]//Proceedings ofEuropean Conference Computer Vision 2004，workshop on Statistical Learning in Computer Vision，2004：59-74.

[7]LEE H，RATFLE A，RAINA R，et al.Efficient sparse coding algorithms[C]//Proceedings of Advances in NeuralInformation Processing System，2006：801-808.

[8]YANG J，YU K，GONG Y，et al，Linear spatial pyramid matching using sparse coding for image classification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2009：1794一1801.

[9]GAO S，TSANG I，CHIA L，et al.Local features，not lonely-Laplacian sparse coding for image classification[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2010：3555-3561.

[10]WANG J J，YANG J C，YU K，et al.Locality-constrained linear coding for image classification[C]// Proceedings of IEEEConference on Computer Vision and Pattern Recognition，2010：3360-3367.

[11]YU K，ZHANG T，GONG Y.Nonlinear learning using local coordinate coding[C]// Proceedings of Advances in NeuralInformation Processing System，2009：2223-2231.

[12]LIU L Q，WANG L，LIU X W.In defense of soft-assignment coding[C]//Proceedings of IEEE Conference on ComputerVision and Pattern Recognition，2011：2486-2493.

[13]HUANG Y，HUANG K，YU Y，et al.Salient coding for image classification[C]//Proceedings of IEEE Conference onComputer Vision and Pattern Recognition，2011：1753-1760.

[14]SHABOU A，LEBORGNE H.Locality-constrained and spatially regularized coding for scene categorization[C]//Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition，2012：3618-3625.

[15]ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions onPattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[16]CHENG M，MITRA N，HUANG X，et al.Global contrast based salient region detection[J]·IEEE Transactions on PatternAnalysis and Machine Intelligence，2015，37（3）：569-582.

[17]WANG J，JIANG H，YUAN Z，et al.Salient object detection：A discriminative regional feature integration approach[J].International Journal of Computer Vision，2017，123（2）：251-268.

[18]JIA Y Q，HAN M.Category-independent abject-level saliency detection[C]//Proceedings of IEEE International Conferenceon Eomputer Vision，20113：1761-1768.

[19]JIANG P，LING II B，YUJY，et al.Salient region detection by UFO：uniqueness，focusness and objectness[C]//Proceedings of IEEE International Conference on Computer Vision，20，13：1976-1983.

[20] WANG W G，SHEN J B，SHAG）L：Video salient object detection via fully convolutional networks[J].IEEE Transactions，Image Processing，2018，27（I）：38-49.

[21]WANG T，ZHANG IJ，WANG S，et al.Detect globally，refine locally：A novel approach to saliency detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2018：3127.-3135.

[22]LIN Y T，KONG S，WANG D H，et al.Saliency detection within a deep convolutional architecture[C]/Proceedings of theAssociation for the Advancement of Artificial Workshop，2014：839-848.

[23]ZHAO，OUYANG W L，LI H S，et al.Saliency detection by multi-context deep learning[C]//Proceedings of the IEEEConference ton Computer Vision and Pattern Recognition，21115：1265-1274.

[24]LI X，ZHAO L M，yyEILN，et al.Deep saliency：Multi-task deep neural network model for salient object detection[J].IEEE Transactions，on Imag3 Processing，2016，25（8）：3919-3930.

[25]WANG L Z，WANG L J，LUHC，et al.Saliency detection with recurrent fully convolutional networks[C]//Proceedings ofEuropean Conference an Computer Vision，2016：825-841.

[26]LI F F，PERQNA P.A hayesian hierarchical model for learning natural scene categories[C]//Proceedings of IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition，2005：524-531.

[27]17category flower dataset[DB/OL].[2019-09-15].http：//www.robots.ox.ac.uk/～ugg/drtafflowers/17/index.html.

[28]102category flower dataset[DB/OL].[2019-09-15]http：//www：robots.ox.ac.uk/～vgg/data/flowers/102/udex.html，

[29]Caltech-101[DB/OL].（2006-04-05）[2019-09-15].http：//www.vision.caltech.edu/Image_Datasets/Caltech101/.

[30]Caltech-256[DB/OL].（2006-11-15）[2019-09-15].http：//www.visinn.caltech，edu/Image_Datasets/Caltech256/.

[31]Event dataset[DB/OL].（2007-11-01）[2019-09-15].http：//vision.stanfvrd.edu/lijiali/event_dataset/.

[32]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International jourrial of Computer Vision，2004，60（2）：91-110.

（責任編輯 白麗媛）

[收稿日期]2019-09-18

[基金項目]北京市自然科學基金項目（4182022），國家自然科學基金項目（61871038，61871039）。

[作者簡介]梁嘩（1978-），女，內蒙古赤峰人，北京聯合大學信息服務工程重點實驗室講師，博士，主要研究方向為圖像處理;馬楠（1978-），女，北京市人，北京聯合大學機器人學院教授，博士，主要研究方向為圖像處理和數據挖掘;許亮（1997-），男，安徽蕪湖人，北京聯合大學機器人學院2016級軟件實驗班學生;桂雨晗（1998-），女，安徽東至人，北京聯合大學機器人學院2016級軟件實驗班學生。E-mail：liangye@buu.edu.cn