姜磊，趙漢理，吳承文（溫州大學(xué)智能信息系統(tǒng)研究所，溫州　325035）

基于卷積神經(jīng)網(wǎng)絡(luò)的鞋類圖像檢索研究

姜磊，趙漢理，吳承文
（溫州大學(xué)智能信息系統(tǒng)研究所，溫州325035）

0　引言

近年來(lái)，我國(guó)的電子商務(wù)獲得了前所未有的蓬勃發(fā)展，各種大中型電商網(wǎng)站紛紛應(yīng)運(yùn)而生?；ヂ?lián)網(wǎng)技術(shù)及物流的發(fā)展極大地方便了人們的日常購(gòu)物與日常生活。然而，網(wǎng)上商城店鋪眾多并且各色商品種類繁多，用來(lái)展示商品的圖片數(shù)量也在呈幾何倍數(shù)不斷增加。人們?cè)谫?gòu)物過(guò)程中，往往希望能夠購(gòu)買到稱心如意的商品，但面對(duì)如此龐大的圖像數(shù)據(jù)往往需要花費(fèi)相當(dāng)多的時(shí)間去篩選和比較。因此，如何從如此龐大的圖像數(shù)據(jù)中快速并準(zhǔn)確地搜索出人們所期望的商品成為了一個(gè)現(xiàn)實(shí)的難題。

為了解決這個(gè)問(wèn)題，很多研究人員提出了各自的解決方法。根據(jù)解決方式的不同，這類算法可以概括為以下三種類型：基于文本的圖像檢索（Text Based Image Retrieval）[1]、基于內(nèi)容的圖像檢索（Content Based Image Retrieval）[2-3]以及基于文本和內(nèi)容相結(jié)合的圖像檢索[4]?；谖谋镜膱D像檢索方法出現(xiàn)的時(shí)間比較早、技術(shù)相對(duì)成熟，但是，文本描述并不能充分表達(dá)圖像的內(nèi)容并且很難用來(lái)完成圖像的相似性檢索[5]。基于內(nèi)容的圖像檢索能夠很好地用來(lái)實(shí)現(xiàn)圖像的相似性檢索，近年來(lái)在諸多領(lǐng)域得到了很好的應(yīng)用，具有代表性的應(yīng)用例如百度識(shí)圖、阿里網(wǎng)站的搜索等。基于文本和內(nèi)容的圖像檢索是前面兩種方法的結(jié)合，能夠很好地結(jié)合兩種搜索方式的優(yōu)點(diǎn)，但實(shí)現(xiàn)方式比較復(fù)雜。

本文主要關(guān)注和解決鞋類圖像的檢索問(wèn)題。鞋子作為人們?nèi)粘４┲囊粋€(gè)重要組成部分，在各大電商網(wǎng)站中占據(jù)著相當(dāng)比例的銷售量。然而，據(jù)筆者所知，國(guó)內(nèi)很少有專門針對(duì)該問(wèn)題進(jìn)行專門的研究工作。近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）[6]被證明在一些圖像檢索任務(wù)中取得了很好的效果。因此，本文提出了利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行鞋類圖像的檢索。卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)（Deep Learning）算法，已經(jīng)被廣泛應(yīng)用到諸多圖像處理任務(wù)。本文主要完成以下兩個(gè)方面的工作。一是通過(guò)在已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)上利用鞋類圖像進(jìn)行微調(diào)，再利用學(xué)習(xí)到的特征來(lái)進(jìn)行檢索。二是整理了包含45個(gè)種類一共10000多張標(biāo)注好的圖像數(shù)據(jù)用來(lái)訓(xùn)練網(wǎng)絡(luò)，同時(shí)搜集了20000多張圖像作為我們的檢索庫(kù)。實(shí)驗(yàn)數(shù)據(jù)和分析證明本文的基于卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行鞋類圖像檢索的方法能夠取得很好的效果。

1　相關(guān)工作

基于內(nèi)容的圖像檢索算法主要包含兩個(gè)方面的內(nèi)容。一個(gè)是如何來(lái)抽象地表達(dá)圖像內(nèi)容，另一個(gè)是采用何種方式來(lái)進(jìn)行特征匹配。

對(duì)于圖像內(nèi)容的表達(dá)指的是通過(guò)一些特征來(lái)抽象地描述圖像所包含的信息。這些特征可以是圖像的紋理、顏色、邊緣或者一些高階的語(yǔ)義特征。傳統(tǒng)的基于內(nèi)容的圖像檢索方法通過(guò)一些低階的特征來(lái)描述圖像。這類特征包括全局的顏色特征、紋理特征或者通過(guò)一些局部描述子SIFT[7]、SURF[8]建立起來(lái)的字袋模型[9]。最近的這幾年隨著卷積神經(jīng)網(wǎng)絡(luò)[6]的興起，很多學(xué)者開(kāi)始嘗試基于已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型來(lái)提取圖像的特征。并且這些被稱作通過(guò)算法學(xué)習(xí)到的特征在圖像檢測(cè)[10]和圖像檢索[11]等圖像處理任務(wù)中表現(xiàn)出了比傳統(tǒng)基于人工設(shè)定特征的方法獲得更好的檢索效果。因此本文也采用這種學(xué)習(xí)到的特征來(lái)表征鞋類圖像的信息。

采用何種方式來(lái)度量特征之間的相似度，是基于內(nèi)容的圖像檢索中又一個(gè)重要的研究?jī)?nèi)容。針對(duì)于這個(gè)問(wèn)題，有很多算法已經(jīng)被提出來(lái)。例如，一種比較簡(jiǎn)單的方法是利用歐氏距離來(lái)計(jì)算特征間的相似度。另一種方法是通過(guò)學(xué)習(xí)策略計(jì)算出一個(gè)相似度量矩陣，并將該矩陣用來(lái)進(jìn)行特征的相似匹配[12]。還有，通過(guò)把描述圖像的特征轉(zhuǎn)換為二進(jìn)制特征從而利用漢明距離（Hamming Distance）來(lái)快速地進(jìn)行相似性計(jì)算[13]。

2　本文方法

卷積神經(jīng)網(wǎng)絡(luò)的思想最早是Lecun等[6]在1998年提出的，用來(lái)進(jìn)行手寫(xiě)字符的識(shí)別。網(wǎng)絡(luò)主要由一些相互鏈接的卷積層和全連接層組成。卷積層主要是對(duì)輸入做卷積操作然后對(duì)卷積后的結(jié)果做非線性變換得到輸出作為下一層的輸入。全連接層和人工神經(jīng)網(wǎng)絡(luò)的全連接層類似。當(dāng)時(shí)網(wǎng)絡(luò)層數(shù)還只有5層，并且已經(jīng)在手寫(xiě)字符識(shí)別上取得了很好的成績(jī)。這種特定數(shù)量的層組合在一起構(gòu)成的網(wǎng)絡(luò)被稱作網(wǎng)絡(luò)模型。近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)得到快速的發(fā)展，在很多圖像處理任務(wù)上取得了良好的效果，與此同時(shí)網(wǎng)絡(luò)的層數(shù)也在不斷的增加。

本文提出了一種運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)基于內(nèi)容的圖像檢索方法。本文采用一種由很多卷積層和全連接層以及一些用來(lái)優(yōu)化網(wǎng)絡(luò)的層組成的卷積神經(jīng)網(wǎng)絡(luò)模型。本文方法包括以下三個(gè)主要模塊：

（1）預(yù)訓(xùn)練好網(wǎng)絡(luò)模型并用鞋類圖像進(jìn)一步微調(diào)；

（2）建立鞋類圖像檢索所需的特征庫(kù)；

（3）輸入所要查詢的鞋子圖像進(jìn)行圖像檢索。

圖1　利用鞋類圖像在預(yù)訓(xùn)練的網(wǎng)絡(luò)模型上進(jìn)行微調(diào)

第一步是訓(xùn)練好網(wǎng)絡(luò)模型并用鞋類圖像進(jìn)一步微調(diào)。據(jù)筆者所知，現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像檢索算法[11，13]大都是采用了AlexNet[14]網(wǎng)絡(luò)模型。然而，本文采用的是Christian等[15]在ILSVRC2014大賽中所提出的Inception網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型比AlexNet網(wǎng)絡(luò)模型識(shí)別的準(zhǔn)確率高，并且所需要的參數(shù)數(shù)量相對(duì)于AlexNet要少很多。首先，利用ImageNet[16]提供的百萬(wàn)張圖片預(yù)訓(xùn)練Inception網(wǎng)絡(luò)模型；然后，標(biāo)注好一萬(wàn)張鞋類圖像，并在這些鞋類圖像上進(jìn)行微調(diào)。微調(diào)操作和預(yù)訓(xùn)練操作采用的是同樣的網(wǎng)絡(luò)模型。微調(diào)指的是訓(xùn)練網(wǎng)絡(luò)的時(shí)候網(wǎng)絡(luò)的參數(shù)用預(yù)訓(xùn)練好的網(wǎng)絡(luò)參數(shù)進(jìn)行初始化。該操作比較簡(jiǎn)單，只需要簡(jiǎn)單地把網(wǎng)絡(luò)中輸出層的節(jié)點(diǎn)數(shù)由原來(lái)的1000改為45個(gè)節(jié)點(diǎn)即可。圖1示意了網(wǎng)絡(luò)模型訓(xùn)練的過(guò)程。圖1中最左邊是訓(xùn)練集，中間白色的部分是Inception網(wǎng)絡(luò)的內(nèi)部的卷積操作，藍(lán)色矩形的表示一個(gè)1024維的向量對(duì)應(yīng)于Inception網(wǎng)絡(luò)中位于輸出層前一層的FC層，最后一個(gè)黃色的矩形表示微調(diào)時(shí)輸出層的節(jié)點(diǎn)數(shù)，節(jié)點(diǎn)數(shù)和本文鞋類數(shù)據(jù)的類別數(shù)相一致為45。這種在大量圖像上進(jìn)行預(yù)訓(xùn)練，然后在特定任務(wù)上進(jìn)行網(wǎng)絡(luò)微調(diào)的方法能夠取得很好的學(xué)習(xí)效果。

在得到訓(xùn)練好的網(wǎng)絡(luò)模型之后，第二步則利用該網(wǎng)絡(luò)模型來(lái)提取檢索庫(kù)中圖像的特征，建立鞋類檢索圖像特征庫(kù)。特征可以理解為表示圖像的一種編碼方式。近年來(lái)學(xué)者把卷積神經(jīng)網(wǎng)絡(luò)中除輸入層和輸出層以外的一些層看成學(xué)習(xí)到的圖像特征，并且理論上在網(wǎng)絡(luò)模型中層數(shù)越高表示的特征越抽象，就越能夠很好地表征圖像的內(nèi)容。因此，本文使用Inception輸出層前一層的FC層作為本文的圖像特征。具體流程如圖2如示。圖2中左邊表示檢索庫(kù)圖像，中間表示微調(diào)好的網(wǎng)絡(luò)模型，右邊表示保存的檢索庫(kù)圖像的特征。

圖2　利用為調(diào)好的網(wǎng)絡(luò)建立鞋類特征檢索需要的特征

最后一步，輸入所要查詢的鞋子圖像，利用訓(xùn)練好的網(wǎng)絡(luò)提取圖像的特征實(shí)現(xiàn)圖像的檢索。在這里，利用訓(xùn)練好的網(wǎng)絡(luò)提取圖像特征的方法和建立特征索引庫(kù)時(shí)采用的方法一樣。然后，本文利用簡(jiǎn)單的歐氏距離來(lái)進(jìn)行特征的相似計(jì)算，公式如下：

這里q表示查詢圖像的特征向量，Di表示檢索庫(kù)中第i張圖像的特征向量，Si表示特征之間的距離差，n表示檢索庫(kù)中一共有多少?gòu)垐D片。值越小說(shuō)明兩幅圖像的相似度越高。最后，通過(guò)排序算法返回相應(yīng)的特征索引并查找出對(duì)應(yīng)的圖像庫(kù)，就能檢索出所需要的相似圖像。圖3示意了本文的鞋子圖像檢索過(guò)程。圖3中左邊是輸入的查詢圖像，中間是微調(diào)好的網(wǎng)絡(luò)模型，右邊表示在檢索庫(kù)圖像特征。

圖3　輸入圖像進(jìn)行檢索

3　結(jié)果與分析

本文實(shí)驗(yàn)電腦配置為Intel Core i7 CPU和NVIDIA GeForce Titan顯卡，裝載Ubuntu環(huán)境。利用深度學(xué)習(xí)庫(kù)Caffe[17]來(lái)進(jìn)行訓(xùn)練。Caffe是一種完全開(kāi)源，文檔詳細(xì)且使用簡(jiǎn)單的深度學(xué)習(xí)庫(kù)。通過(guò)Caffe訓(xùn)練本文的網(wǎng)絡(luò)模型并且使用Caffe的MATLAB接口來(lái)編寫(xiě)相應(yīng)的檢索程序。

圖4　檢索結(jié)果示例

圖5　獲取前10個(gè)檢索結(jié)果

本文實(shí)驗(yàn)采用的圖像數(shù)據(jù)包括ImageNet中的含有的1000個(gè)類別的已經(jīng)標(biāo)注好的百萬(wàn)張圖像、我們自己收集的45個(gè)類別的10000多張標(biāo)注好的鞋類圖像以及含有20000多張圖像的檢索庫(kù)。鞋類圖像中每個(gè)類別的圖像數(shù)量不等。并且，為了防止過(guò)擬合現(xiàn)象，添加了大約2000不到的衣服圖像用來(lái)一起參與訓(xùn)練。

圖4中給出了部分鞋子圖像的檢索效果。左邊是輸入的查詢圖像，右邊是對(duì)應(yīng)的檢索到的最相似圖像。從本圖中可以發(fā)現(xiàn)，檢索出來(lái)的前4張圖像基本上都具有和查詢圖像較高的相似度。根據(jù)實(shí)際經(jīng)驗(yàn)，在本文程序中查詢到的前10張圖像都是非常相似的。圖5給出了一個(gè)例子。因此，實(shí)驗(yàn)的結(jié)果達(dá)到了本文方法的預(yù)期。一方面，因?yàn)镃hristian等的網(wǎng)絡(luò)具有很好的泛化能力，在本文的鞋類數(shù)據(jù)上微調(diào)之后能夠很好地表達(dá)鞋類圖像的信息。另外，本文檢索庫(kù)中的圖像非常簡(jiǎn)單，沒(méi)有過(guò)多的背景干擾，因此有效地降低了檢索出錯(cuò)率。如果檢索庫(kù)中已有與查詢圖像相同的鞋子內(nèi)容，則該鞋子圖像能夠被檢索出來(lái)，如圖4第一個(gè)例子所示。因此，本文的基于卷積神經(jīng)網(wǎng)絡(luò)鞋類圖像檢索方法具有實(shí)際使用的價(jià)值。

本文所采用的學(xué)習(xí)算法雖然需要很長(zhǎng)的訓(xùn)練時(shí)間，但是當(dāng)運(yùn)用已經(jīng)訓(xùn)練好的模型來(lái)進(jìn)行圖像處理任務(wù)時(shí)卻僅需要非常短的時(shí)間。本文提出的鞋類圖像檢索方法從圖像特征提取到給出檢索結(jié)果只需要100毫秒的運(yùn)行時(shí)間。因此，本文方法能夠適用于實(shí)際的在線檢索應(yīng)用。這種提取特征的速度也是傳統(tǒng)的基于圖像局部描述子的特征所無(wú)法比擬的。

4　結(jié)語(yǔ)

本文成功地把卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到鞋類圖像的檢索中。運(yùn)用已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取圖像特征，這種基于內(nèi)容的圖像檢索能夠快速高效地查詢到所期望的相似圖像。并且，在應(yīng)用到實(shí)際問(wèn)題時(shí)，本文方法的實(shí)時(shí)性也是一個(gè)重要的優(yōu)點(diǎn)。

本文的工作還存在一些不足之處。例如，檢索庫(kù)僅包含所搜集的20000多張圖片，而在實(shí)際情況中往往需要百萬(wàn)級(jí)的圖像檢索庫(kù)。在將來(lái)的工作中將進(jìn)一步擴(kuò)充和完善圖像檢索庫(kù)。另外，在實(shí)際的商業(yè)應(yīng)用中，檢索圖像中除了鞋子信息之外往往還有一些背景信息?？梢栽跈z索前加入目標(biāo)檢測(cè)[10]的預(yù)處理過(guò)程，以減少背景對(duì)檢索效果的影響。

[1]Avinash N Bhute,B B Meshram.Text Based Approach for Indexing And Retrieval of Image and Video:A Review[J].Computing Research Repository（CoRR）,2014.

[2]孫君頂,原芳.基于內(nèi)容的圖像檢索技術(shù)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2011,08:240-244.

[3]Wan J,Wang D,Hoi S C H,Wu P,Zhu J,Zhang Y,et al.Deep Learning for Content-Based Image Retrieval:A Comprehensive Study [C].Proceedings of ACM International Conference on Multimedia,22nd ACM 2014:157-166.

[4]阿斯艷·哈米提,阿不都熱西提·哈米提.基于文本的圖像檢索與基于內(nèi)容的圖像檢索技術(shù)的比較研究[J].首都師范大學(xué)學(xué)報(bào)（自然科學(xué)版）,2012,04:6-9.

[5]顧昕,張興亮,王超,陳思媛,方正.基于文本和內(nèi)容的圖像檢索算法[J].計(jì)算機(jī)應(yīng)用,2014,S2:280-282.

[6]Lecun Y,Bottou L,Bengio Y,Haffner P.Gradient-Based Learning Applied to Document Recognition[C].Proceedings of the IEEE. IEEE 1998:2278-2324.

[7]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Joural of Computer Vision,2004:91-110

[8]Bay T T H,Gool L J.V.Surf:Speeded up Robust Features[C].European Conference on Computer Vision（ECCV）2006:404-417.

[9]Wu L,Hoi S C H,Yu N.Semantics-Preserving Bag-of-Words Models for Efficient Image Annotation[C].Proceedings of ACM Workshop on Large-Scale Multimedia Retrieval and Mining,First ACM 2009:19-26.

[10]Girshick R,Donahue J,Darrell T,Malik J.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]. IEEE Conference on in Computer Vision and Pattern Recognition（CVPR）2014:580-587.

[11]Babenko A,Slesarev A,Chigorin A,Lempitsky V.Neural Codes for Image Retrieval[C].European Conference on Computer Vision （ECCV）Springer International Publishing 2014:584-599.

[12]Chechik G,Sharma V,Shalit U,Bengio S.Large Scale Online Learning of Image Similarity Through Ranking[J].J.Mach.Learn.Res, 2010:1109-1135.

[13]Kevin Lin,Yang Huei-Fang,Hsiao Jen-Hao,Chen Chu-Song.Deep Learning of Binary Hash Codes for Fast Image Retrieval[C].IEEE Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）,2015:27-35.

[14]Alex Krizhevsky,Sutskever.ImageNet Classification with Deep Convolutional Neural Networks[J].Advances in Neural InformationProcessing System 25（NIPS）2012:1097-1105.

[15]C.Szegedy,L.Wei,J.Yangqing,P.Sermanet,S.Reed,D.Anguelov,et al.Going Deeper with Convolutions[C].IEEE Conference onin Computer Vision and Pattern Recognition（CVPR）,2015:1-9.

[16]ImageNet.http://www.image-net.org/[OL].Princeton University,2015.

[17]Jia Y,Shelhamer E,Donahue J,Karayev S,Long J,Girshick R,et al.Caffe:Convolutional Architecture for Fast Feature Embedding[C].Proceedings of ACM international conference on Multimedia,22nd ACM 2014:675-678.

Image Retrieval;Convolutional Neural Networks;Deep Learning

Shoe Image Retrieval Based on Convolutional Neural Networks
JIANG Lei，ZHAO Han-li，WU Cheng-wen

（Institute of Intelligent Information Systems,Wenzhou University,Wenzhou 325035）

浙江省自然科學(xué)基金項(xiàng)目（No.LY13F020022）、溫州市科技計(jì)劃項(xiàng)目（No.G20150019）

姜磊（1993-），男，安徽滁州人，碩士研究生，研究方向?yàn)橛?jì)算機(jī)圖形圖像處理

趙漢理（1982-），男，浙江文成人，博士，副教授，研究方向?yàn)橛?jì)算機(jī)圖形圖像處理

吳承文（1974-），男，安徽桐城人，博士，講師，研究方向?yàn)閿?shù)據(jù)處理

2015-12-15

2016-02-14

基于內(nèi)容的圖像檢索是計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)領(lǐng)域中重要的研究?jī)?nèi)容。提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的鞋類圖像檢索方法。首先基于百萬(wàn)張圖片進(jìn)行神經(jīng)網(wǎng)絡(luò)模型預(yù)訓(xùn)練，再使用鞋類圖像在該預(yù)訓(xùn)練好的網(wǎng)絡(luò)上進(jìn)行微調(diào)使系統(tǒng)學(xué)習(xí)到鞋類圖像的特征信息，最后可以利用學(xué)習(xí)到的特征來(lái)實(shí)現(xiàn)鞋類圖像檢索。實(shí)驗(yàn)結(jié)果表示本文的鞋類圖像檢索方法能夠獲得很好的檢索結(jié)果。

圖像檢索；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

Content based image retrieval is a hot topic in computer vision and machine learning fields.Presents a shoe image retrieval method based on convolutional neural networks.First obtains a pre-trained convolutional neural network from one million of images,then employs shoe images to generate fine-tuned networks,and finally implements the shoe image retrieval using the learned characteristics.Experimental results show that our method can produce good shoe image retrieval results.