孟猛 朱慶華

收稿日期：2020-08-06

基金項(xiàng)目：國(guó)家社會(huì)科學(xué)基金重大項(xiàng)目“面向大數(shù)據(jù)的數(shù)字圖書(shū)館移動(dòng)視覺(jué)搜索機(jī)制與應(yīng)用研究”（項(xiàng)目編號(hào)：15ZDB126）。

作者簡(jiǎn)介：孟猛（1977-），男，副研究員，博士，研究方向：用戶(hù)信息行為。朱慶華（1963-），男，教授，博士生導(dǎo)師，研究方向：社會(huì)化媒體，互聯(lián)網(wǎng)用戶(hù)行為。

摘 要：[目的/意義]總結(jié)國(guó)內(nèi)外移動(dòng)視覺(jué)搜索（Mobile Visual Search，MVS）研究進(jìn)展，發(fā)現(xiàn)現(xiàn)有研究已經(jīng)取得的成績(jī)、存在的局限性以及未來(lái)值得關(guān)注的潛在研究方向。[方法/過(guò)程]通過(guò)對(duì)文獻(xiàn)內(nèi)容進(jìn)行分析，從關(guān)鍵點(diǎn)檢測(cè)、特征提取與表示、特征索引與匹配、幾何一致性驗(yàn)證、系統(tǒng)框架與搜索算法、系統(tǒng)應(yīng)用與交互式系統(tǒng)、MVS產(chǎn)品分類(lèi)比較、視覺(jué)數(shù)據(jù)集構(gòu)建與數(shù)據(jù)庫(kù)壓縮、體系結(jié)構(gòu)與模式機(jī)制、MVS用戶(hù)行為意愿以及異構(gòu)MVS系統(tǒng)標(biāo)準(zhǔn)化等對(duì)當(dāng)前研究成果進(jìn)行梳理。[結(jié)果/結(jié)論]未來(lái)移動(dòng)視覺(jué)搜索的研究可考慮從用戶(hù)行為視角開(kāi)展諸如用戶(hù)體驗(yàn)、初始采納、持續(xù)使用以及情感依戀等方面的研究。

關(guān)鍵詞：移動(dòng)視覺(jué)搜索;交互式信息檢索;綜述

DOI：10.3969/j.issn.1008-0821.2021.01.019

〔中圖分類(lèi)號(hào)〕G250.7 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821（2021）01-0158-11

Review of Research on Mobile Visual Search at Home and Abroad

Meng Meng1 Zhu Qinghua2

（1.Institute of Scientific and Technical Information，Chinese Academy of Tropical Agricultural Sciences，

Haikou 571737，China;

2.School of Information Management，Nanjing University，Nanjing 210023，China）

Abstract：[Purpose/Significance]This paper summarizes the research progress of Mobile Visual Search（MVS）at home and abroad，and finds out the achievements，limitations and potential research directions worthy of attention in the future.[Method/Process]Through the analysis of the literature content，the current research results were sorted out from key index detection，feature extraction and representation，feature indexing and matching，geometric consistency verification，system framework and search algorithm，system application and interactive system，MVS product classification and comparison，visual data set construction and database compression，system structure and model mechanism，MVS user behavior intention and heterogeneous MVS system standardization.[Result/Conclusion]The future research on MVS can be carried out from the perspective of user behavior，such as user experience，initial adoption，continuous use and emotional attachment.

Key words：mobile visual search;MVS;interactive information retrieval;review

移動(dòng)視覺(jué)搜索（Mobile Visual Search，MVS）是指利用移動(dòng)智能終端獲取用戶(hù)視覺(jué)接近對(duì)象的圖像或視頻為檢索項(xiàng)，通過(guò)移動(dòng)互聯(lián)網(wǎng)搜索視覺(jué)對(duì)象關(guān)聯(lián)信息的一種交互式信息檢索方式[1-3]。此類(lèi)應(yīng)用程序可用于識(shí)別產(chǎn)品、藝術(shù)品、印刷媒體和地標(biāo)等，諸如Google Goggles、Kooaba、SnapTell、GazoPa、TinEye，以及拍立淘、拍照購(gòu)、手機(jī)百度、微軟識(shí)花、形色等。MVS技術(shù)克服了基于文本的信息檢索（Text-based Information Retrieval，TBIR）系統(tǒng)固有的局限性，例如語(yǔ)義模糊性和語(yǔ)言的抽象表達(dá)。隨著大數(shù)據(jù)時(shí)代的到來(lái)，基于視覺(jué)的信息提取、分析和檢索將比其他信息處理方法更具優(yōu)勢(shì)[4]。然而，作為一種新興的領(lǐng)域，MVS面臨著以下獨(dú)特的挑戰(zhàn)[5-6]：①較大的查詢(xún)視覺(jué)差異;②嚴(yán)格的內(nèi)存和計(jì)算約束;③網(wǎng)絡(luò)帶寬限制;④即時(shí)搜索體驗(yàn)。國(guó)內(nèi)外學(xué)者為了克服這些獨(dú)特的挑戰(zhàn)，從不同視角開(kāi)展了MVS的相關(guān)研究。為幫助學(xué)術(shù)界了解MVS的研究進(jìn)展，有學(xué)者對(duì)MVS的內(nèi)涵、主要研究方法、相關(guān)技術(shù)及主要挑戰(zhàn)、應(yīng)用實(shí)踐等進(jìn)行了闡述，并對(duì)MVS技術(shù)在數(shù)字圖書(shū)館中的應(yīng)用前景進(jìn)行了分析[7];有學(xué)者對(duì)大規(guī)模MVS的特征提取與表示、高維索引與匹配、幾何一致性校驗(yàn)等關(guān)鍵問(wèn)題進(jìn)行了分析和歸納[8]。

目前，有關(guān)MVS的綜述研究還存在一定的局限性，原因是對(duì)國(guó)內(nèi)外MVS相關(guān)研究現(xiàn)狀的梳理還不夠系統(tǒng)全面，不足以反映當(dāng)下MVS相關(guān)研究的總體概貌。因此，為幫助學(xué)術(shù)界全面了解當(dāng)前國(guó)內(nèi)外MVS的研究進(jìn)展，筆者在必應(yīng)學(xué)術(shù)、谷歌學(xué)術(shù)、百度學(xué)術(shù)，以及Web of Science、LISA、EI、ACM、CCF和CNKI等數(shù)據(jù)庫(kù)中，分別檢索關(guān)鍵詞、標(biāo)題及主題中含有“Mobile Visual（Image or Video）Search”和“移動(dòng)視覺(jué)（圖像或視頻）搜索”的文獻(xiàn)，通過(guò)梳理、分析及歸納總結(jié)，國(guó)內(nèi)外MVS研究視角的分布，如圖1所示。依據(jù)國(guó)內(nèi)外MVS研究現(xiàn)狀，本文擬從關(guān)鍵點(diǎn)檢測(cè)、特征提取與表示、特征索引與匹配、幾何一致性驗(yàn)證、系統(tǒng)框架與搜索算法、系統(tǒng)應(yīng)用與交互式系統(tǒng)、MVS產(chǎn)品分類(lèi)比較、視覺(jué)數(shù)據(jù)集構(gòu)建與數(shù)據(jù)庫(kù)壓縮、體系結(jié)構(gòu)與模式機(jī)制、MVS用戶(hù)行為意愿以及異構(gòu)MVS系統(tǒng)標(biāo)準(zhǔn)化等方面梳理和評(píng)析MVS的研究進(jìn)展，發(fā)現(xiàn)現(xiàn)有研究已經(jīng)取得的成績(jī)、存在的局限性以及未來(lái)值得關(guān)注的潛在研究方向。

1 關(guān)鍵技術(shù)研究

1.1 關(guān)鍵點(diǎn)檢測(cè)

特征提取通常從圖像中找到突出的關(guān)鍵點(diǎn)開(kāi)始[9]，然而移動(dòng)終端拍攝的隨意性以及外界環(huán)境因素的影響造成了巨大的視覺(jué)變異，這就要求關(guān)鍵點(diǎn)在背景雜亂、前景遮擋、物體變形、抖動(dòng)模糊、視角變化、尺度變化、旋轉(zhuǎn)變化、光照變化等條件下是可重復(fù)的。為了實(shí)現(xiàn)尺度的不變性，通常使用圖像金字塔在多個(gè)尺度上計(jì)算關(guān)鍵點(diǎn)[10];為了實(shí)現(xiàn)旋轉(zhuǎn)不變性，每個(gè)關(guān)鍵點(diǎn)周?chē)难a(bǔ)丁都定向在主梯度的方向上[1];并通過(guò)歸一化每個(gè)補(bǔ)丁中灰度值像素的均值和標(biāo)準(zhǔn)差來(lái)補(bǔ)償光照變化[9，11]。

國(guó)外關(guān)于關(guān)鍵點(diǎn)檢測(cè)子研究成果頗豐，Harris C等[12]提出一種基于圖像灰度的關(guān)鍵點(diǎn)檢測(cè)子——Harris Corner。Mikolajczyk K等[13]考慮了尺度空間理論，提出了一種應(yīng)用拉普拉斯高斯進(jìn)行自動(dòng)尺度選擇的關(guān)鍵點(diǎn)檢測(cè)子——Harris-Laplacian。Lowe D G[10]在尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法中應(yīng)用高斯差分濾波器，提出了尺度不變特征變換高斯差分關(guān)鍵點(diǎn)檢測(cè)子——SIFT DoG。此外，還有一些關(guān)鍵點(diǎn)檢測(cè)子，諸如加速魯棒特征（Speeded Up Robust Feature，SURF）[14]、良好特征追蹤、最大穩(wěn)定極值區(qū)域、中心環(huán)繞極值、加速分段測(cè)試特征、Hessian Affine、Hessian Blobs等。由于不同關(guān)鍵點(diǎn)檢測(cè)子在可重復(fù)性和復(fù)雜性方面提供了不同權(quán)衡，Mikolajczyk K等[15]在一個(gè)通用框架內(nèi)對(duì)SIFT、梯度位置和方向直方圖（Gradient Location and Orientation Histogram，GLOH）、方向可調(diào)濾波器、差分不變量、復(fù)數(shù)濾波器和不變矩等關(guān)鍵點(diǎn)檢測(cè)子的性能進(jìn)行了評(píng)估。實(shí)驗(yàn)結(jié)果顯示，GLOH性能最佳、SIFT緊隨其后;在低維描述符中，矩和方向可調(diào)濾波器性能最佳。

1.2 特征提取

全局特征是指可以表示整體圖像的特征，傳統(tǒng)的全局特征包括顏色、紋理和形狀等整體特征，如紋理直方圖等。局部特征則是指從具有局部顯著結(jié)構(gòu)的圖像區(qū)塊（如邊緣、角點(diǎn)、斑塊等）中提取的視覺(jué)特征。盡管傳統(tǒng)全局特征（顏色、形狀、紋理等）可能會(huì)產(chǎn)生較好效果，但是在移動(dòng)環(huán)境下全局特征已無(wú)法滿(mǎn)足對(duì)視覺(jué)特征的新需求[8]?；诖?，本文主要介紹局部特征提取。

自從1999年以來(lái)，Lowe D G[16]提出的SIFT描述符仍是計(jì)算機(jī)視覺(jué)中最流行的描述符，該描述符對(duì)放縮、旋轉(zhuǎn)、光照變化、視角變化以及噪聲失真具有高度的判別力和魯棒性。然而，SIFT描述符的尺寸比較大，有時(shí)甚至比捕獲圖像還大，這使得它不適合直接用于MVS系統(tǒng)。因此，后續(xù)研究主要集中于如何將128維的SIFT描述符降低到低維空間[17]。如Datar M等[18]的局部敏感哈希SIFT，Ke Y等[19]的主成分分析SIFT，以及Shakhnarovich G[20]的相似敏感編碼SIFT等。此外，還有一些學(xué)者提出了GLOH、壓縮梯度直方圖、二進(jìn)制魯棒獨(dú)立基本特征、二進(jìn)制魯棒不變可擴(kuò)展關(guān)鍵點(diǎn)、快速視網(wǎng)膜關(guān)鍵點(diǎn)等描述符。然而，MVS是在帶寬有限的無(wú)線(xiàn)網(wǎng)絡(luò)環(huán)境下進(jìn)行的，大數(shù)據(jù)量傳輸帶來(lái)的上行查詢(xún)傳輸延遲，將直接影響用戶(hù)體驗(yàn)。近年來(lái)，學(xué)者們的研究工作更多地關(guān)注描述符緊湊提取[21-23]、描述符改進(jìn)[24-25]、描述符評(píng)估[26]等方面。此外，還有學(xué)者從分層結(jié)構(gòu)化多視圖特征[27]、局部強(qiáng)度比較[28]和3D對(duì)象視頻序列特征[29]等方面開(kāi)展了描述符相關(guān)研究。

1.3 特征表示

視覺(jué)對(duì)象特征表示是MVS的關(guān)鍵環(huán)節(jié)，為進(jìn)一步減少無(wú)線(xiàn)網(wǎng)絡(luò)傳輸流量、降低網(wǎng)絡(luò)延遲，MVS領(lǐng)域的特征表示研究主要包括二進(jìn)制哈希、特征量化等。在二進(jìn)制哈希研究方面，Chang S F等[30]提出了一種基于哈希位袋（Bag of Hash Bit，BoHB）的MVS系統(tǒng)，在該系統(tǒng)中，整個(gè)圖像被表示為BoHB。Qi H等[31]提出了一種參數(shù)少、低延遲和高精度的深度哈希方法來(lái)構(gòu)建用于MVS的二進(jìn)制哈希代碼。Zhang Q等[32]提出了一種基于BoHB的MVS方案，該方案可以顯著減少?gòu)囊苿?dòng)設(shè)備到服務(wù)器的數(shù)據(jù)傳輸量。此外，Zhao B等[33]根據(jù)人類(lèi)視覺(jué)系統(tǒng)（HVS）的稀疏編碼原理，采用局部近鄰保持的哈希函數(shù)來(lái)建立SIFT特征的二進(jìn)制稀疏表達(dá)式。在特征量化研究方面，Zhang G等[34]為了解決MVS的準(zhǔn)確性和快速傳輸問(wèn)題，提出一種與費(fèi)希爾向量（Fisher Vector，F(xiàn)V）互補(bǔ)的方法。Lin J等[35]提出了一個(gè)多碼本學(xué)習(xí)和查詢(xún)專(zhuān)用碼本生成方法，以減少在極低比特率MVS中出現(xiàn)的詞匯編碼中的冗余碼字。Zhou W等[36]提出了一種大規(guī)模移動(dòng)圖像搜索的無(wú)碼本算法。Zhang X等[37]提出了一種新的MVS解決方案，它以一個(gè)短視頻片段為查詢(xún)對(duì)象，并為查詢(xún)視頻生成了一個(gè)緊湊而具有區(qū)分性的時(shí)空費(fèi)希爾矢量（TSFV）。Chen J等[38]針對(duì)在移動(dòng)端提取緊湊視覺(jué)描述符時(shí)，樹(shù)結(jié)構(gòu)向量量化器會(huì)占用較大內(nèi)存，提出了一種修剪樹(shù)結(jié)構(gòu)向量量化器方案。此外，還有學(xué)者為了減少無(wú)線(xiàn)網(wǎng)絡(luò)傳輸流量、降低網(wǎng)絡(luò)延遲，開(kāi)展了分層稀疏編碼[39]、多層級(jí)小波分解[40]和詞匯分解[41]等在MVS中的應(yīng)用研究。

1.4 特征索引

為了實(shí)現(xiàn)MVS在大型圖像數(shù)據(jù)庫(kù)中快速而準(zhǔn)確的匹配，必須對(duì)大型圖像數(shù)據(jù)庫(kù)中局部特征進(jìn)行索引，目前主要有兩種索引方法[42]：第一種方法涉及嘗試搜索近似最近鄰（Approximate Nearest Neighbor，ANN），如Lowe D G[10]采用最優(yōu)節(jié)點(diǎn)優(yōu)先策略對(duì)SIFT描述符進(jìn)行ANN搜索。高維空間內(nèi)的ANN搜索主要通過(guò)哈希技術(shù)來(lái)實(shí)現(xiàn)[8]，如局部敏感哈希[43-44]。第二種方法涉及詞袋（Bag-of-Words，BoW）模型[45-47]，通過(guò)量化特征空間以實(shí)現(xiàn)更快的速度。然而，隨著圖像數(shù)據(jù)庫(kù)大幅度地增加，BoW和倒排索引會(huì)占用大量?jī)?nèi)存空間。目前，學(xué)者們主要通過(guò)壓縮倒排索引或穩(wěn)定點(diǎn)過(guò)濾方法來(lái)減少倒排索引文件的大小。如Chen D M等[48]針對(duì)倒排索引占用大量?jī)?nèi)存會(huì)阻礙圖像數(shù)據(jù)庫(kù)的可伸縮性，并減慢內(nèi)存擁塞服務(wù)器上的進(jìn)程，提出了一種壓縮的倒排索引，該索引可以顯著減少多達(dá)5倍的內(nèi)存使用量，而且對(duì)分類(lèi)精度沒(méi)有任何影響。Wang Y等[49]針對(duì)SIFT等高維局部特征的索引機(jī)制不夠快，而許多低維特征不能確保高精度，提出了一種用于MVS的全自動(dòng)離線(xiàn)穩(wěn)定點(diǎn)過(guò)濾方法。

1.5 幾何一致性驗(yàn)證

為了解決BoW模型出現(xiàn)錯(cuò)誤匹配的問(wèn)題，幾何驗(yàn)證[10，50-51]成為獲得合理檢索精度的重要后處理步驟，特別是對(duì)于低分辨率圖像。為此，學(xué)者們提出了許多幾何一致性驗(yàn)證方法，這些方法主要分為兩類(lèi)[52]：局部幾何信息一致性驗(yàn)證和全局幾何信息一致性驗(yàn)證。在局部幾何信息一致性驗(yàn)證研究方面，Luo J等[53]認(rèn)為兩個(gè)真正匹配的局部特征不僅應(yīng)在相似的空間上下文中，而且還應(yīng)具有一致的空間關(guān)系，因此應(yīng)同時(shí)引入上下文相似性和空間相似性來(lái)描述幾何一致性。Gao K等[54]為了防止查詢(xún)擴(kuò)展中的查詢(xún)偏移，預(yù)先消除擴(kuò)展特征引起的錯(cuò)誤匹配，將每個(gè)特征的代表性視點(diǎn)用于有效的幾何一致性驗(yàn)證，以支持快速和準(zhǔn)確的特征匹配。此外，Lyu X等[27]針對(duì)描述符匹配結(jié)果可能包含異常值，使用多視圖基礎(chǔ)矩陣（Multi-View Fundamental Matrix），對(duì)層級(jí)提升算法進(jìn)行適當(dāng)?shù)膸缀悟?yàn)證，以提高M(jìn)VS的性能。在全局幾何信息一致性驗(yàn)證研究方面，1981年由Fischler M A等[55]提出的隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）算法是最流行的全局幾何信息一致性驗(yàn)證方法。Yang X等[56]在移動(dòng)地標(biāo)圖像搜索系統(tǒng)中，將BoW模型和倒排文件一起用于索引和匹配，為了進(jìn)一步消除誤報(bào)，使用RANSAC算法來(lái)估計(jì)查詢(xún)與目標(biāo)之間的幾何變換。盡管RANSAC算法精度較高，但是RANSAC算法需要耗費(fèi)比較多的計(jì)算時(shí)間。為此，Jégou H等[57]提出了弱幾何一致性驗(yàn)證方法，該方法以犧牲一定的精度為代價(jià)，極大地提高了驗(yàn)證速度。此外，還有學(xué)者基于幾何統(tǒng)計(jì)方法[58]和嵌入式3D幾何評(píng)分[59]開(kāi)展了相關(guān)研究。

2 MVS系統(tǒng)框架、算法與應(yīng)用研究

2.1 MVS系統(tǒng)框架與算法研究

在MVS系統(tǒng)框架研究方面，學(xué)者們主要針對(duì)MVS面臨的挑戰(zhàn)，結(jié)合MVS基本流程的各模塊所需關(guān)鍵技術(shù)（如圖2所示），開(kāi)展了如何提高M(jìn)VS檢索性能的系統(tǒng)框架研究。Liu X等[60]提出了一個(gè)僅在拍照手機(jī)上運(yùn)行的視覺(jué)搜索系統(tǒng)框架，該框架通過(guò)手機(jī)攝像頭捕獲打印文檔的圖像來(lái)搜索電子文檔。Qi H等[61]為了減少M(fèi)VS傳輸開(kāi)銷(xiāo)，提出了一種基于詞匯分解（Vocabulary Decomposition，VD）的MVS低傳輸開(kāi)銷(xiāo)框架。Peng P等[62]提出了一種基于查詢(xún)質(zhì)量依賴(lài)融合方法的MVS質(zhì)量感知框架。al瘙塂r F等[63]提出了一種新的多視圖視覺(jué)查詢(xún)模型，該模型在多視圖對(duì)象圖像數(shù)據(jù)庫(kù)上進(jìn)行MVS。Duan L Y等[64]提出了一個(gè)移動(dòng)文檔圖像檢索的總體框架。Hu H等[65]提出了一個(gè)基于各種最新深度學(xué)習(xí)視覺(jué)特性的級(jí)聯(lián)學(xué)習(xí)排序框架。Gao W等[66]提出了一種基于多模式哈希的即時(shí)移動(dòng)視頻搜索框架。此外，齊云飛等[67]提出了一種將語(yǔ)義搜索與視覺(jué)搜索相結(jié)合的數(shù)字圖書(shū)館MVS系統(tǒng)框架。胡蓉等[68]提出了一個(gè)混合需求驅(qū)動(dòng)的文內(nèi)視覺(jué)資源MVS總體框架。在MVS搜索算法研究方面，學(xué)者們?yōu)榱嗽鰪?qiáng)用戶(hù)搜索體驗(yàn)、提高系統(tǒng)檢索性能，主要開(kāi)展了MVS相關(guān)技術(shù)算法的改進(jìn)、優(yōu)化與集成等方面的研究。Patel H[69]提出了一個(gè)視覺(jué)搜索算法，該算法可以根據(jù)輸入圖像的特征或關(guān)鍵點(diǎn)發(fā)現(xiàn)匹配的圖像。Shen X等[70]提出一種可以同時(shí)從查詢(xún)中提取產(chǎn)品實(shí)例、識(shí)別實(shí)例并從視覺(jué)上檢索相似產(chǎn)品圖像的方法。Yang D S等[71]提出了一種有效的圖像檢索方法，該方法利用地理參考屬性和低層視覺(jué)特征的組合，對(duì)圖像進(jìn)行索引和檢索。Ahmad J等[72]提出了一種基于草圖的移動(dòng)設(shè)備圖像檢索方法，該方法通過(guò)一個(gè)高效的卷積神經(jīng)網(wǎng)絡(luò)對(duì)面向草圖的增強(qiáng)數(shù)據(jù)集進(jìn)行微調(diào)，從部分彩色草圖中提取深層神經(jīng)代碼。Mennesson J等[73]提出了一種基于內(nèi)容的圖像檢索（Content-based Image Retrieval，CBIR）方法，該方法使用專(zhuān)門(mén)在移動(dòng)設(shè)備上構(gòu)建匹配的BoW。此外，Li H等[74]提出了一種使用立體特征進(jìn)行3D對(duì)象識(shí)別的移動(dòng)3D視覺(jué)搜索方案。

2.2 MVS系統(tǒng)應(yīng)用及比較研究

MVS系統(tǒng)應(yīng)用研究主要集中在專(zhuān)業(yè)領(lǐng)域MVS系統(tǒng)和交互式MVS系統(tǒng)兩個(gè)方面。在專(zhuān)業(yè)領(lǐng)域MVS系統(tǒng)方面，學(xué)者們主要在文檔[75-77]、雜志[78]、畫(huà)廊[79]、旅游[80]、地標(biāo)[81]、購(gòu)物[82-83]、視頻[84-85]、博物館[86]、圖書(shū)館[87]和植物[88]等領(lǐng)域開(kāi)展了MVS應(yīng)用方面的研究。在交互式MVS系統(tǒng)方面，學(xué)者們的研究主要圍繞在多模式聯(lián)合搜索系統(tǒng)和多點(diǎn)觸控交互式搜索系統(tǒng)兩個(gè)方面：①針對(duì)多模式聯(lián)合搜索系統(tǒng)研究，Wang Y等[89]利用智能手機(jī)的多模式和多觸點(diǎn)交互等功能，為手機(jī)用戶(hù)提出了一個(gè)創(chuàng)新的應(yīng)用程序（JIGSAW），以促進(jìn)他們的視覺(jué)搜索體驗(yàn)。Li H等[90]提出了一種基于移動(dòng)設(shè)備的多模式交互式圖像搜索系統(tǒng)（JIGSAW+）。類(lèi)似的，還有學(xué)者提出了一種允許用戶(hù)與移動(dòng)終端多模式交互的MVS系統(tǒng)（JIGSAW+）[91]。此外，Bagul M R E等[92]提出了一種多類(lèi)型輸入（如文本、圖像、語(yǔ)音等）的交互式視覺(jué)搜索系統(tǒng)。②針對(duì)多點(diǎn)觸控交互式搜索系統(tǒng)研究，Zhang N等[93]提出了一種交互式的“點(diǎn)擊-搜索”系統(tǒng)，該系統(tǒng)既利用了個(gè)人在移動(dòng)觸摸屏上通過(guò)“點(diǎn)擊”動(dòng)作選擇感興趣區(qū)域的意圖，又利用了大規(guī)模圖像數(shù)據(jù)庫(kù)中的搜索機(jī)制。Aher K V等[94]提出了一個(gè)智能圖像檢索系統(tǒng)，該系統(tǒng)充分利用智能手機(jī)的多模式和多點(diǎn)觸控功能，允許在手機(jī)上進(jìn)行圖像、語(yǔ)音和文本搜索。Sang J等[95]通過(guò)利用移動(dòng)設(shè)備上的多點(diǎn)觸控交互，提出了一種交互式MVS原型（TapTell），幫助用戶(hù)更方便地表達(dá)他們的視覺(jué)意圖。類(lèi)似的，Muneesawang P等[96]將BoW模型和先進(jìn)的檢索算法相結(jié)合，提出了一種MVS和社交活動(dòng)推薦系統(tǒng)。除MVS系統(tǒng)應(yīng)用研究之外，為了能給產(chǎn)業(yè)界研發(fā)與完善MVS提供新的方向和思路以及學(xué)術(shù)界研究MVS提供參考和幫助，學(xué)者們還開(kāi)展了國(guó)內(nèi)外MVS應(yīng)用案例分析與分類(lèi)比較研究。如Nikolopoulos S等[97]從采用技術(shù)、目標(biāo)領(lǐng)域和經(jīng)營(yíng)模式3個(gè)方面對(duì)國(guó)外12個(gè)MVS應(yīng)用進(jìn)行了比較分析。張興旺等[7]從商業(yè)背景、應(yīng)用領(lǐng)域、服務(wù)模式和基本功能4個(gè)方面對(duì)國(guó)外不同類(lèi)型MVS應(yīng)用案例進(jìn)行了比較分析。馬騰騰等[98]從依托設(shè)備及使用的技術(shù)兩個(gè)層面對(duì)國(guó)外部分視覺(jué)搜索產(chǎn)品進(jìn)行了分類(lèi)研究。類(lèi)似地，史昱天等[99]從搜索架構(gòu)和運(yùn)營(yíng)模式兩個(gè)方面，對(duì)國(guó)內(nèi)主流MVS工具進(jìn)行了比較研究。

當(dāng)前，學(xué)術(shù)界和產(chǎn)業(yè)界都對(duì)MVS這一新興搜索模式給予了極大關(guān)注，并開(kāi)發(fā)了大量的MVS系統(tǒng)框架、算法與應(yīng)用，而且?guī)缀跛械腗VS系統(tǒng)都提供不同的搜索界面和圖像元數(shù)據(jù)描述格式，從而阻礙了統(tǒng)一和高效的訪(fǎng)問(wèn)，這使得異構(gòu)MVS系統(tǒng)之間必然會(huì)存在互操作性問(wèn)題。為了解決MVS的互操作性問(wèn)題，創(chuàng)建統(tǒng)一的圖像存儲(chǔ)庫(kù)接口，國(guó)際標(biāo)準(zhǔn)化組織ISO/IEC SC29/WG11提供了用于標(biāo)準(zhǔn)化多媒體存儲(chǔ)庫(kù)查詢(xún)語(yǔ)言的標(biāo)準(zhǔn)ISO/IEC 15938-12：2008[124-126]和標(biāo)準(zhǔn)化視覺(jué)搜索緊湊描述符（Compact Descriptors for Visual Search，CDVS）的標(biāo)準(zhǔn)ISO/IEC DIS 15938-13：2014[127];國(guó)際標(biāo)準(zhǔn)化組織ISO/IEC SC29/WG1提供了圖像元數(shù)據(jù)互操作性問(wèn)題解決方案的標(biāo)準(zhǔn)ISO/IEC 24800：2010[128-129]。此外，Tous R等[130-131]通過(guò)對(duì)ISO/IEC 15938-12和ISO/IEC 24800的研究，發(fā)現(xiàn)了與這兩個(gè)標(biāo)準(zhǔn)整合以及它們涵蓋視覺(jué)搜索場(chǎng)景方式有關(guān)的一些問(wèn)題，并向標(biāo)準(zhǔn)化委員會(huì)提出了解決方案。

6 結(jié) 論

通過(guò)文獻(xiàn)綜述發(fā)現(xiàn)，國(guó)內(nèi)外學(xué)者對(duì)MVS的相關(guān)研究主要集中在關(guān)鍵點(diǎn)檢測(cè)、特征提取與表示、特征索引與匹配、幾何一致性驗(yàn)證、體系結(jié)構(gòu)、系統(tǒng)框架、搜索算法、系統(tǒng)應(yīng)用、交互式系統(tǒng)和視覺(jué)數(shù)據(jù)集構(gòu)建等方面。此外，為了在數(shù)字圖書(shū)館能夠更好地利用MVS這種信息服務(wù)模式，也有學(xué)者從模式機(jī)制視角對(duì)數(shù)字圖書(shū)館MVS的信息服務(wù)模式和機(jī)制建設(shè)等進(jìn)行了研究。但是到目前為止，國(guó)內(nèi)外有關(guān)MVS用戶(hù)行為研究方面的文獻(xiàn)還相當(dāng)匱乏，僅有個(gè)別學(xué)者開(kāi)展了MVS用戶(hù)行為意向研究。另外，在“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代背景下，MVS作為新一代互聯(lián)網(wǎng)服務(wù)模式，具有重要的研究?jī)r(jià)值、社會(huì)效益和廣闊的市場(chǎng)應(yīng)用前景。然而，與國(guó)外相比，國(guó)內(nèi)MVS應(yīng)用還存在巨大差距。盡管已有一些應(yīng)用案例，但是尚未得到廣泛應(yīng)用，使用率并不高，用戶(hù)黏性較差。因而，快速準(zhǔn)確地把握影響MVS用戶(hù)行為的顯著因素是推動(dòng)MVS快速發(fā)展的重要前提，而系統(tǒng)嚴(yán)謹(jǐn)?shù)貙?duì)MVS用戶(hù)行為進(jìn)行學(xué)術(shù)研究是十分必要的。鑒于此，本研究認(rèn)為學(xué)者們未來(lái)可考慮從用戶(hù)行為視角開(kāi)展MVS的相關(guān)研究，具體可從用戶(hù)體驗(yàn)、初始采納、持續(xù)使用以及情感依戀等方面進(jìn)行深入探討：

1）從用戶(hù)行為視角開(kāi)展MVS用戶(hù)體驗(yàn)研究，發(fā)現(xiàn)影響MVS用戶(hù)體驗(yàn)的顯著因素，分析MVS用戶(hù)體驗(yàn)影響因素的作用機(jī)理，進(jìn)而提出MVS用戶(hù)體驗(yàn)提升策略，以期為MVS的管理者、設(shè)計(jì)者及運(yùn)營(yíng)商提供理論借鑒與實(shí)踐指導(dǎo)，進(jìn)而采取有效措施改善用戶(hù)體驗(yàn)，優(yōu)化MVS應(yīng)用。此外，可以開(kāi)展MVS用戶(hù)體驗(yàn)跨文化和跨地域比較研究，通過(guò)跨文化和跨地域的比較研究，力求全面深入地探尋影響MVS用戶(hù)體驗(yàn)的因素;還可以開(kāi)展不同的MVS用戶(hù)體驗(yàn)比較研究，通過(guò)開(kāi)展不同的MVS用戶(hù)行為橫向比較研究，發(fā)現(xiàn)存在的不足，以便于為不同的MVS提出更有針對(duì)性的用戶(hù)體驗(yàn)提升策略。

2）在“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代背景下，MVS作為新一代互聯(lián)網(wǎng)服務(wù)模式，具有廣闊的市場(chǎng)應(yīng)用前景。但從目前來(lái)看，MVS尚未得到廣泛應(yīng)用，使用率并不高，用戶(hù)實(shí)際采納規(guī)模和利用水平也十分有限。因此，MVS在采納過(guò)程的初始階段，如何獲得用戶(hù)的認(rèn)可已成為一個(gè)現(xiàn)實(shí)問(wèn)題。學(xué)者們未來(lái)可以考慮以理性行為理論（TRA）、技術(shù)接受模型（TAM）、技術(shù)接受與利用整合理論（UTAUT）、信息系統(tǒng)成功模型（ISM）為基礎(chǔ)，引入認(rèn)知理論中的首因效應(yīng)，開(kāi)展MVS用戶(hù)初始采納行為研究。

3）由于MVS作為新一代互聯(lián)網(wǎng)服務(wù)模式，用戶(hù)對(duì)MVS初始采納是實(shí)現(xiàn)MVS成功的第一步，MVS的長(zhǎng)期存活和最終的成功取決于它的持續(xù)使用。因此，如何提高用戶(hù)滿(mǎn)意度和忠誠(chéng)度，增強(qiáng)用戶(hù)黏性，洞察用戶(hù)真正興趣和心理需求，培養(yǎng)用戶(hù)習(xí)慣等，確保用戶(hù)在初始采納MVS后持續(xù)使用，并對(duì)MVS產(chǎn)生情感依戀，進(jìn)而產(chǎn)生長(zhǎng)期使用行為，這些對(duì)MVS運(yùn)營(yíng)商來(lái)說(shuō)尤為重要。學(xué)者們未來(lái)可以考慮從認(rèn)知范式視角出發(fā)，整合擴(kuò)展的信息系統(tǒng)持續(xù)使用模型（ECM-ISC）模型、習(xí)慣等構(gòu)建概念模型，開(kāi)展MVS用戶(hù)持續(xù)使用行為研究;還可以考慮從情感范式視角出發(fā)，在擴(kuò)展的ECM-ISC模型基礎(chǔ)上整合情感依戀理論、依戀?gòu)?qiáng)度ARC模型等構(gòu)建概念模型，進(jìn)一步開(kāi)展MVS用戶(hù)持續(xù)使用行為研究。

參考文獻(xiàn)

[1]Girod B，Chandrasekhar V，Grzeszczuk R，et al.Mobile Visual Search：Architectures，Technologies，and the Emerging MPEG Standard[J].IEEE Multimedia，2011，18（3）：86-94.

[2]朱慶華.大數(shù)據(jù)環(huán)境下數(shù)字資源移動(dòng)視覺(jué)搜索機(jī)制[J].情報(bào)資料工作，2016，（4）：5.

[3]趙宇翔，朱慶華.大數(shù)據(jù)環(huán)境下移動(dòng)視覺(jué)搜索的游戲化機(jī)制設(shè)計(jì)[J].情報(bào)資料工作，2016，（4）：19-25.

[4]Sun H G.Mobile Visual Search[D].Master of Engineering By Research thesis，School of Electrical，Computer and Telecommunications Engineering，University of Wollongong，2013.http：//ro.uow.edu.au/theses/4108.

[5]Liu W，Mei T，Zhang Y.Instant Mobile Video Search With Layered Audio-Video Indexing and Progressive Transmission[J].IEEE Transactions on Multimedia，2014，16（8）：2242-2255.

[6]Liu W，Ma H，Qi H，et al.Deep Learning Hashing for Mobile Visual Search[J].Eurasip Journal on Image & Video Processing，2017，2017（1）：17.

[7]張興旺，黃曉斌.國(guó)外移動(dòng)視覺(jué)搜索研究述評(píng)[J].中國(guó)圖書(shū)館學(xué)報(bào)，2014，40（3）：114-128.

[8]賈佳，唐勝，謝洪濤，等.移動(dòng)視覺(jué)搜索綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（6）：1007-1021.

[9]Girod B，Chandrasekhar V，Chen D M，et al.Mobile Visual Search[J].IEEE Signal Processing Magazine，2011，28（4）：61-76.

[10]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[11]Mikolajczyk K，Tuytelaars T，Schmid C，et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision，2005，65（1-2）：43-72.

[12]Harris C，Stephens M.A Combined Corner and Edge Detector[C]//Proceedings of the 4th Alvey Vision Conference.Manchester，UK：The Plessey Company，1988：147-151.

[13]Mikolajczyk K，Schmid C.Indexing Based on Scale Invariant Interest Points[C]//Computer Vision，2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.IEEE，2001，（1）：525-531.

[14]Bay H，Ess A，Tuytelaars T，et al.Speeded-Up Robust Features[J].Computer Vision & Image Understanding，2008，110（3）：404-417.

[15]Mikolajczyk K，Schmid C.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

[16]Lowe D G.Object Recognition from Local Scale-Invariant Features[C]//iccv.IEEE Computer Society，1999：1150.

[17]Du Y，Li Z，Qu W，et al.MVSS：Mobile Visual Search Based on Saliency[C]//IEEE，International Conference on High PERFORMANCE Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing.IEEE，2013：922-928.

[18]Datar M，Immorlica N，Indyk P，et al.Locality-sensitive Hashing Scheme Based on P-stable Distributions[C]//Twentieth Symposium on Computational Geometry.ACM，2004：253-262.

[19]Ke Y，Sukthankar R.PCA-SIFT：A More Distinctive Representation for Local Image Descriptors[C]//IEEE Computer Society，2004：506-513.

[20]Shakhnarovich G.Learning Task-specific Similarity[D].PhD thesis，Massachusetts Institute of Technology，2005.

[21]Ji R，Duan L Y，Chen J，et al.Towards Low Bit Rate Mobile Visual Search with Multiple-channel Coding[C]//ACM International Conference on Multimedia.ACM，2011：573-582.

[22]Chen D，Tsai S，Chandrasekhar V，et al.Residual Enhanced Visual Vector as a Compact Signature for Mobile Visual Search[J].Signal Processing，2013，93（8）：2316-2327.

[23]Ji R，Duan L Y，Chen J，et al.Mining Compact Bag-of-Patterns for Low Bit Rate Mobile Visual Search[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2014，23（7）：3099-3113.

[24]Seo J J，Yoona K R.Modified Speeded Up Robust Features（SURF）for Performance Enhancement of Mobile Visual Search System[J].Journal of Broadcast Engineering，2012，17（2）：388-399.

[25]Zeng K，Wu N，Kang K Y.A Color Boosted Local Feature Extraction Method for Mobile Product Search[J].International Journal on Recent Trends in Engineering & Technolo，2014.

[26]Chatzilari E，Liaros G，Nikolopoulos S，et al.A Comparative Study on Mobile Visual Recognition[C]//International Workshop on Machine Learning and Data Mining in Pattern Recognition.Springer，Berlin，Heidelberg，2013：442-457.

[27]Lyu X，Li H，F(xiàn)lierl M.Hierarchically Structured Multi-view Features for Mobile Visual Search[C]//Data Compression Conference，2014：23-32.

[28]Na S I，Lee K D，Lee S J，et al.Intensity Comparison Based Compact Descriptor for Mobile Visual Search[C]//Frontiers of Computer Vision.IEEE，2013：103-106.

[29]Yabushita H，Osawa T，Shimamura J，et al.Mobile Visual Search for 3-D Objects：Matching User-captured Video to Single Reference Image[C]//Consumer Electronics.IEEE，2013：122-123.

[30]Chang S F，Chung H，Lin T H，et al.Mobile Product Search with Bag of Hash Bits and Boundary Reranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2012：3005-3012.

[31]Qi H，Liu W，Liu L.An Efficient Deep Learning Hashing Neural Network for Mobile Visual Search[J].arXiv Preprint arXiv：1710.07750，2017.

[32]Zhang Q，Li Z，Du Y，et al.A Novel Progressive Transmission in Mobile Visual Search[C]//IEEE，International Conference on Dependable，Autonomic and Secure Computing.IEEE，2014：259-264.

[33]Zhao B，Zhao H W，Liu P P，et al.A New Mobile Visual Search System Based on the Human Visual System[J].Applied Mechanics & Materials，2013，461（461）：792-800.

[34]Zhang G，Zeng Z，Zhang S，et al.Transmitting Informative Components of Fisher Codes for Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2015：1136-1140.

[35]Lin J，Duan L Y，Chen J，et al.Learning Multiple Codebooks for Low Bit Rate Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2012：933-936.

[36]Zhou W，Yang M，Li H，et al.Towards Codebook-Free：Scalable Cascaded Hashing for Mobile Image Search[J].IEEE Transactions on Multimedia，2014，16（3）：601-611.

[37]Zhang X，Wang Y，Liu Z，et al.Selectively Aggregated Fisher Vectors of Query Video for Mobile Visual Search[C]//IEEE Second International Conference on Multimedia Big Data.IEEE，2016：334-341.

[38]Chen J，Duan L Y，Ji R，et al.Pruning Tree-structured Vector Quantizer Towards Low Bit Rate Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2012：965-968.

[39]Yang X，Liu L，Qian X，et al.Mobile Visual Search Via Hievarchical Sparse Coding[C]//IEEE International Conference on Multimedia and Expo.IEEE，2014：1-6.

[40]Miao S，Li Z，Qu W，et al.Progressive Transmission Based on Wavelet Used in Mobile Visual Search[J].International Journal of Embedded Systems，2014，6（2/3）：114-123.

[41]Khaire P S.Mobile Visual Search：A Low Transmission Overhead Framework Based on Vocabulary Decomposition[J].International Journal of Innovative and Emerging Research in Engineering，2015，2（3）：118-122.

[42]Duan L Y，Chen J，Wang C Y，et al.Key Technologies in Mobile Visual Search and MPEG Standardization Activities[J].ZTE Communications，2012，10（2）：57-66.

[43]Andoni A，Indyk P.Near-Optimal Hashing Algorithms for Approximate Nearest Neighbor in High Dimensions[J].Communications of the ACM，2008，51（1）：117-122.

[44]Wang J，Shen H T，Song J，et al.Hashing for Similarity Search：A Survey[J].Computer Science，2014.

[45]Sivic J，Zisserman A.Video Google：A Text Retrieval Approach to Object Matching in Videos[C]//IEEE International Conference on Computer Vision.IEEE Computer Society，2003：1470.

[46]Nister D，Stewenius H.Scalable Recognition with a Vocabulary Tree[C]//Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on.Leee，2006，（2）：2161-2168.

[47]Xie H，Gao K，Zhang Y，et al.Efficient Feature Detection and Effective Post-verification for Large Scale Near-duplicate Image Search[J].IEEE TRANSACTIONS on Multimedia，2011，13（6）：1319-1332.

[48]Chen D M，Tsai S S，Chandrasekhar V，et al.Inverted Index Compression for Scalable Image Matching[C]//Data Compression Conference.IEEE，2010.

[49]Wang Y，Chen K，Zhou Y，et al.An Improved Offline Stable Point Filtering Method for Mobile Search Application[C]//International Conference on Information Engineering and Computer Science.IEEE，2009：1-5.

[50]Jegou H，Douze M，Schmid C.Hamming Embedding and Weak Geometric Consistency for Large Scale Image Search[M]//Computer Vision-ECCV 2008.OAI，2008：304-317.

[51]Philbin J，Chum O，Isard M，et al.Object Retrieval with Large Vocabularies and Fast Spatial Matching[C]//Computer Vision and Pattern Recognition，2007.CVPR07.IEEE Conference on.IEEE，2007：1-8.

[52]衡星.基于幾何信息的近相似圖像檢索[D].成都：電子科技大學(xué)，2016.

[53]Luo J，Lang B.Efficient Geometric Re-ranking for Mobile Visual Search[M].Computer Vision-ACCV 2012 Workshops.Springer Berlin Heidelberg，2013：520-532.

[54]Gao K，Zhang Y，Zhang D，et al.Accurate Off-line Query Expansion for Large-scale Mobile Visual Search[J].Signal Processing，2013，93（8）：2305-2315.

[55]Fischler M A，Bolles R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM，1981，24（6）：381-395.

[56]Yang X，Pang S，Cheng K T T.Mobile Image Search with Multimodal Context-aware Queries[C]//Computer Vision and Pattern Recognition Workshops.IEEE，2010：25-32.

[57]Jégou H，Douze M，Schmid C.Improving Bag-of-Features for Large Scale Image Search[J].International Journal of Computer Vision，2010，87（3）：316-336.

[58]Zhang M，Li S，Lin X，et al.Fast Verification Via Statistical Geometric for Mobile Visual Search[J].Multimedia Systems，2016，22（4）：525-534.

[59]Wu H，Li H，F(xiàn)lierl M.An Embedded 3D Geometry Score for Mobile 3D Visual Search[C]//IEEE，International Workshop on Multimedia Signal Processing.IEEE，2017：1-6.

[60]Liu X，Hull J J，Graham J，et al.Mobile Visual Search，Linking Printed Documents to Digital Media[J].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2010.

[61]Qi H，Stojmenovic M，Li K，et al.A Low Transmission Overhead Framework of Mobile Visual Search Based on Vocabulary Decomposition[J].IEEE Transactions on Multimedia，2014，16（7）：1963-1972.

[62]Peng P，Li J，Li Z N.Quality-aware Mobile Visual Search[J].Procedia-Social and Behavioral Sciences，2014，147：383-389.