朱維喬

（廣州航海學(xué)院圖書館，廣東 廣州510725）

1 國內(nèi)外相關(guān)研究現(xiàn)狀評述

大數(shù)據(jù)環(huán)境下，隨著智能移動終端設(shè)備的普及和計算機技術(shù)的迅猛發(fā)展，智慧圖書館傳遞的信息除了傳統(tǒng)的文本形式之外，更多地擴展為以圖片、3D模型、多媒體音視頻以及Web頁面等作為載體的視覺數(shù)據(jù)，其日益成為圖書館大數(shù)據(jù)資源必不可少的組成部分[1]，視覺資源與用戶交互傳感信息的有機融合使搜索引擎面臨嚴(yán)峻挑戰(zhàn)。一方面，基于關(guān)鍵詞標(biāo)注的傳統(tǒng)信息檢索模式效率低下且成本較高，不再適用于移動視覺大數(shù)據(jù)搜索；另一方面，深度學(xué)習(xí)技術(shù)驅(qū)動的計算機視覺的飛速發(fā)展，為挖掘更為高效的視覺資源搜索方式提供了技術(shù)保障。移動視覺搜索是以移動智能設(shè)備作為采集終端，以實物圖片、音視頻等視覺數(shù)據(jù)作為搜索對象，提取關(guān)聯(lián)信息的資源獲取模式，使用戶從圖書館視覺資源庫中迅速獲取其需要的關(guān)聯(lián)內(nèi)容[2]成為現(xiàn)實。移動視覺搜索（Mobile Visual Search，MVS）相關(guān)技術(shù)及應(yīng)用研究對推動圖書館智慧服務(wù)發(fā)展將產(chǎn)生卓有成效的深遠(yuǎn)影響，基于深度學(xué)習(xí)的移動視覺搜索在這一背景下應(yīng)運而生。大數(shù)據(jù)環(huán)境下的移動視覺搜索包括圖像特征提取、區(qū)域分割等計算機視覺處理過程，鑒于深度學(xué)習(xí)技術(shù)在計算機視覺方向取得的突破性成效，國內(nèi)外研究人員對其展開了以下研究。

國外研究人員對移動視覺搜索的研究始于斯坦福大學(xué)舉辦的移動視覺搜索研討會，主要是從計算機領(lǐng)域涉及到的技術(shù)，如特征提取與表示、高維索引與匹配等內(nèi)容進行研究，如Bernd Girod提出移動視覺搜索的混合型架構(gòu)，通過對視覺對象局部特征在移動終端的提取和編碼，將其傳輸至服務(wù)器，匹配局部特征數(shù)據(jù)后再將搜索結(jié)果反饋至移動終端[3]。在視覺搜索領(lǐng)域應(yīng)用深度學(xué)習(xí)技術(shù)的研究也取得了一定的進展，如Razavian論證了運用深度神經(jīng)網(wǎng)絡(luò)卷積層提取圖像特征用于圖像搜索的可行性，提出了多尺度圖像局部特征提取方法[4]。由此可見，視覺搜索領(lǐng)域的深度學(xué)習(xí)技術(shù)應(yīng)用已經(jīng)得到了開拓性進展并具備廣闊的開發(fā)前景。各大搜索引擎所提供的圖像檢索功能早已開始應(yīng)用深度學(xué)習(xí)技術(shù)，甚至在內(nèi)部成立了研究深度學(xué)習(xí)的專門機構(gòu)。實踐表明，通過深度學(xué)習(xí)提取的視覺特征在圖像識別、語音識別以及智能監(jiān)控等領(lǐng)域都獲得了較為成功的應(yīng)用。

國內(nèi)學(xué)者對移動視覺搜索的研究始于2010年，段凌宇等人圍繞移動視覺搜索的資源組織方法、資源標(biāo)準(zhǔn)化以及關(guān)鍵技術(shù)等問題展開了討論。隨后，數(shù)字圖書館領(lǐng)域圍繞相關(guān)理論與應(yīng)用模式展開了一系列研究，如張興旺對數(shù)字圖書館移動視覺搜索模型的內(nèi)涵與架構(gòu)等問題進行了梳理[5]；曾子明結(jié)合移動視覺搜索的用戶需求，搭建了智慧圖書館的移動視覺搜索服務(wù)模型，在論述中提到了深度學(xué)習(xí)對模型搭建提供的技術(shù)支持[2]。

綜上所述，將深度學(xué)習(xí)技術(shù)應(yīng)用于移動視覺搜索領(lǐng)域的研究尚處于起步階段，相關(guān)研究有待進一步深入。將二者相結(jié)合作為大數(shù)據(jù)環(huán)境下數(shù)字圖書館全新的信息檢索模式，有利于解決如何高效處理多模態(tài)視覺大數(shù)據(jù)的問題，顯著提升了數(shù)據(jù)檢索與整合效率，將顛覆現(xiàn)有的信息檢索工具，成為大數(shù)據(jù)時代智慧圖書館提升用戶服務(wù)水平的利器。

2 大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索框架構(gòu)建的必要性

深度學(xué)習(xí)技術(shù)是機器學(xué)習(xí)研究領(lǐng)域的前沿?zé)狳c，對視覺大數(shù)據(jù)具有強大的非線性表達能力，以及更抽象本質(zhì)的理解能力，其通過對文本、圖像及音頻等數(shù)據(jù)進行建模分析，以人腦的信號處理機制為模擬對象，以繁雜的層次結(jié)構(gòu)對數(shù)據(jù)實行逐層提取，從而使計算機視覺得以實現(xiàn)[7]，即從大量數(shù)據(jù)中自動提取多層特征，以數(shù)據(jù)驅(qū)動的方式促進了圖像識別、信息檢索等領(lǐng)域的變革。在多媒體融合的大數(shù)據(jù)環(huán)境下，智慧圖書館的移動視覺數(shù)據(jù)顯現(xiàn)出分散異構(gòu)、跨模態(tài)語義關(guān)聯(lián)的特征，需要移動視覺搜索功能實現(xiàn)對視覺對象的語義感知分析與跨模態(tài)融合。深度學(xué)習(xí)技術(shù)對于視覺資源的語義理解具有較為顯著的優(yōu)勢，因為多個卷積層與隱層包含在深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，其可以通過逐層迭代的方式學(xué)習(xí)圖像特征，即從邊緣像素等低層特征、物體結(jié)構(gòu)輪廓等中層特征到情感場景等高層語義特征，形成從低層特征至高層特征的映射模型[2]，對圖像語義特征和語義內(nèi)容進行提取分析，即通過多層神經(jīng)網(wǎng)絡(luò)對視覺資源特征進行訓(xùn)練學(xué)習(xí)，獲取到特征提取更為合理、具有更強區(qū)分度的視覺特征語義理解與描述。

移動視覺搜索與深度學(xué)習(xí)技術(shù)的有效融合不僅需要在大數(shù)據(jù)環(huán)境下構(gòu)建相應(yīng)的搜索服務(wù)模型框架，還需提出可行的技術(shù)方案。因此，首先對數(shù)字圖書館移動視覺搜索中的深度學(xué)習(xí)技術(shù)需求進行全面分析，構(gòu)建基于深度學(xué)習(xí)的移動視覺搜索機制框架，并對其中的技術(shù)方法進行研究，為實現(xiàn)大數(shù)據(jù)環(huán)境下的移動視覺搜索服務(wù)提供可實施的技術(shù)框架。

3 大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索機制框架

如何在不同模態(tài)類型的視覺大數(shù)據(jù)之間建立語義關(guān)聯(lián)，對跨媒體數(shù)據(jù)進行動態(tài)分析和高效處理，實現(xiàn)更為有效的移動視覺搜索模式，是智慧圖書館建設(shè)過程中的研究熱點之一。筆者構(gòu)建大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索模型，將深度學(xué)習(xí)技術(shù)框架嵌入移動視覺搜索服務(wù)體系，使其服務(wù)過程得以高效實現(xiàn)（見圖1）。模型架構(gòu)包含以下主要部分。

圖1 大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索機制框架

3.1 移動視覺大數(shù)據(jù)輸入層

獲取移動用戶的視覺數(shù)據(jù)和情境數(shù)據(jù)，對視覺對象進行分類后根據(jù)結(jié)果決定視覺大數(shù)據(jù)資源的存儲方案，為視覺搜索服務(wù)提供基礎(chǔ)數(shù)據(jù)源。視覺大數(shù)據(jù)輸入層是面向用戶移動視覺搜索模型的核心層，其主要任務(wù)包括視覺大數(shù)據(jù)的特征表示，建立不同類型資源之間的語義關(guān)聯(lián)，以及對情境大數(shù)據(jù)的存儲和處理。由于資源類型的差異，輸入層首先需要對異構(gòu)大數(shù)據(jù)進行整合統(tǒng)一，并通過視覺資源的語義關(guān)聯(lián)功能實現(xiàn)文本數(shù)據(jù)的特征表示與圖像索引之間的關(guān)聯(lián)，在檢索獲取圖像資源后，將相關(guān)的文本資源返回，即利用多模態(tài)資源對檢索內(nèi)容進行協(xié)同表達[8]。情境數(shù)據(jù)包括用戶的網(wǎng)絡(luò)環(huán)境、地理位置、移動終端、檢索時間等相關(guān)數(shù)據(jù)，為基于深度學(xué)習(xí)的移動視覺搜索模型提供數(shù)據(jù)支持，并將移動終端、物聯(lián)網(wǎng)等硬件設(shè)備與用戶視覺大數(shù)據(jù)相結(jié)合，獲取用戶的情境信息并分析其行為特征，將底層情境數(shù)據(jù)嵌入到移動視覺索引模塊[8]，并結(jié)合用戶需求返回視覺檢索結(jié)果。

3.2 移動視覺資源組織層

移動視覺資源組織層包含了深度學(xué)習(xí)框架和高性能計算工具集等，是基于深度學(xué)習(xí)的移動視覺搜索服務(wù)系統(tǒng)的根基。云計算分布式框架以Hadoop文件系統(tǒng)和MapReduce分布式模型為核心，為大數(shù)據(jù)環(huán)境下的移動視覺搜索提供了高效的計算平臺。深度學(xué)習(xí)框架為移動視覺搜索服務(wù)的圖像特征提取與處理提供有力保障，是開發(fā)深度學(xué)習(xí)算法和訓(xùn)練模型的綜合平臺。由于深度學(xué)習(xí)在特征學(xué)習(xí)與特征表達方面具備突出能力，其通過逐層學(xué)習(xí)提取多媒體視覺數(shù)據(jù)的本質(zhì)特征，可對數(shù)據(jù)中蘊含的深層語義信息進行揭示。當(dāng)前主要的深度學(xué)習(xí)框架有TensorFlow、Caffe和Torch等[9]。傳統(tǒng)的數(shù)字圖書館云計算平臺具有將海量數(shù)據(jù)分布在大規(guī)模集群上并進行處理的能力，然而集群節(jié)點的運算能力卻無法滿足深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練測試以及移動視覺搜索服務(wù)實時響應(yīng)的應(yīng)用需求，可以彌補這一不足之處的高性能計算應(yīng)運而生，其利用GPU通用計算有效增強集群的并行計算能力，包括可視化、多媒體等多種集成工具，進而提升深度學(xué)習(xí)框架的運行效率[2]。

3.3 深度神經(jīng)網(wǎng)絡(luò)分析層

視覺數(shù)據(jù)應(yīng)進行邏輯分析和處理才能為移動視覺搜索功能提供資源支撐，因此，將深度神經(jīng)網(wǎng)絡(luò)分析層分為視覺數(shù)據(jù)的ROI定位、語義分析、用戶情境計算以及視覺對象語義推理引擎等功能模塊，將視覺圖像特征運用深度卷積神經(jīng)網(wǎng)絡(luò)進行有效提取，通過特征編碼生成視覺圖像的描述，再結(jié)合用戶情境信息與卷積特征對圖像進行ROI定位、物體識別分類以及圖像的語義分析[2]。在大數(shù)據(jù)環(huán)境下，用戶搜索的目的是獲取視覺圖像的關(guān)聯(lián)信息，其提交圖像包含的實體對象所在區(qū)域稱為興趣區(qū)域（Region of Interests，ROI），通過對搜索圖像的ROI定位能夠減少目標(biāo)特征提取的搜索范圍和計算量，并有效提高目標(biāo)物體識別的準(zhǔn)確度；語義分析是對移動視覺資源進行語義抽取與分割，描述數(shù)據(jù)信息與語義信息間的對應(yīng)關(guān)系；用戶情境計算主要是分析采集的情境信息，將用戶需求與搜索目標(biāo)通過構(gòu)建用戶情境模型推測出來，并將情境分析結(jié)果嵌入到移動視覺搜索服務(wù)過程中。視覺對象的語義推理引擎是指在移動視覺搜索的過程中，使用視覺對象知識庫的表示方法進行語義關(guān)聯(lián)分析和特征提取的支持，進而實現(xiàn)視覺對象在語義層面的知識推理和服務(wù)需求的求解建模[10]以及服務(wù)資源和服務(wù)能力的最優(yōu)配置。該功能模塊的任務(wù)是根據(jù)搜索圖像的語義標(biāo)簽、特征向量等計算搜索圖像與其他數(shù)據(jù)的相關(guān)性，結(jié)合用戶情境信息與行為偏好對相關(guān)資源進行排序并返回篩選結(jié)果。在此過程中突顯的語義鴻溝問題是限制語義推理準(zhǔn)確性的最大障礙。大數(shù)據(jù)環(huán)境下，在數(shù)字圖書館移動視覺搜索過程中，語義推理條件、過程以及結(jié)果均為動態(tài)變化，存在多方面的不確定性因素，為此需要引入邏輯推理算法供用戶MVS語義推理引擎調(diào)用，通過深度學(xué)習(xí)技術(shù)對用戶的視覺搜索需求進行動態(tài)模擬與計算推理，以便于得到符合搜索需求的語義分析結(jié)果[10]，進而為用戶需求提供精準(zhǔn)的科學(xué)算法支持。

3.4 移動視覺服務(wù)交互層

服務(wù)交互層的主要作用包括用戶視覺搜索訪問與查詢、語義推理等應(yīng)用和外部軟硬件環(huán)境的接口與交互，實現(xiàn)智能檢索和匹配服務(wù)、一站式智慧導(dǎo)航、知識可視化服務(wù)以及多模態(tài)融合[11]等功能。系統(tǒng)對各種視覺資源的靈活調(diào)度和配置，只有通過調(diào)用上述應(yīng)用接口才能得以實現(xiàn)。智能檢索和匹配服務(wù)能夠?qū)Χ喾N媒體資源類型進行基于語義的查找和匹配；一站式智慧導(dǎo)航通過分析用戶信息需求和興趣偏好，以及其與平臺的交互行為，為用戶進行知識推薦與導(dǎo)航服務(wù)；知識可視化服務(wù)通過視覺表現(xiàn)形式描述和構(gòu)建知識形態(tài)、學(xué)科領(lǐng)域、資源主題及其之間的聯(lián)系，使知識呈現(xiàn)更加生動形象，有助于加強用戶理解[12]；移動視覺搜索返回的結(jié)果可能包含了多種模態(tài)的信息資源，多模態(tài)融合技術(shù)將這些搜索結(jié)果進行相關(guān)性整合并采用融合的形式向用戶呈現(xiàn)。

4 結(jié)語

大數(shù)據(jù)環(huán)境下，深度學(xué)習(xí)以逐層學(xué)習(xí)的方式尋找高度異構(gòu)信息的語義關(guān)系，通過語義映射與相似度計算，提取移動視覺跨媒體數(shù)據(jù)的特征，探尋異構(gòu)模態(tài)資源之間的語義關(guān)聯(lián)，使移動視覺搜索程序得以簡化，提升了視覺大數(shù)據(jù)的檢索精確度與用戶的服務(wù)體驗，為完善圖書館智慧服務(wù)體系提供有力支撐，使用戶的個性化檢索需求得以滿足，進而彰顯了圖書館的自身價值并增強了自身的競爭力。因此，在大數(shù)據(jù)環(huán)境下對基于深度學(xué)習(xí)的移動視覺搜索服務(wù)模型及其技術(shù)實現(xiàn)方法進行系統(tǒng)研究，具有重要的實際應(yīng)用價值和學(xué)術(shù)研究意義。