亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索機制研究*

        2021-06-09 09:16:52朱維喬
        圖書館學(xué)刊 2021年5期
        關(guān)鍵詞:語義深度圖書館

        朱維喬

        (廣州航海學(xué)院圖書館,廣東 廣州510725)

        1 國內(nèi)外相關(guān)研究現(xiàn)狀評述

        大數(shù)據(jù)環(huán)境下,隨著智能移動終端設(shè)備的普及和計算機技術(shù)的迅猛發(fā)展,智慧圖書館傳遞的信息除了傳統(tǒng)的文本形式之外,更多地擴展為以圖片、3D模型、多媒體音視頻以及Web頁面等作為載體的視覺數(shù)據(jù),其日益成為圖書館大數(shù)據(jù)資源必不可少的組成部分[1],視覺資源與用戶交互傳感信息的有機融合使搜索引擎面臨嚴(yán)峻挑戰(zhàn)。一方面,基于關(guān)鍵詞標(biāo)注的傳統(tǒng)信息檢索模式效率低下且成本較高,不再適用于移動視覺大數(shù)據(jù)搜索;另一方面,深度學(xué)習(xí)技術(shù)驅(qū)動的計算機視覺的飛速發(fā)展,為挖掘更為高效的視覺資源搜索方式提供了技術(shù)保障。移動視覺搜索是以移動智能設(shè)備作為采集終端,以實物圖片、音視頻等視覺數(shù)據(jù)作為搜索對象,提取關(guān)聯(lián)信息的資源獲取模式,使用戶從圖書館視覺資源庫中迅速獲取其需要的關(guān)聯(lián)內(nèi)容[2]成為現(xiàn)實。移動視覺搜索(Mobile Visual Search,MVS)相關(guān)技術(shù)及應(yīng)用研究對推動圖書館智慧服務(wù)發(fā)展將產(chǎn)生卓有成效的深遠(yuǎn)影響,基于深度學(xué)習(xí)的移動視覺搜索在這一背景下應(yīng)運而生。大數(shù)據(jù)環(huán)境下的移動視覺搜索包括圖像特征提取、區(qū)域分割等計算機視覺處理過程,鑒于深度學(xué)習(xí)技術(shù)在計算機視覺方向取得的突破性成效,國內(nèi)外研究人員對其展開了以下研究。

        國外研究人員對移動視覺搜索的研究始于斯坦福大學(xué)舉辦的移動視覺搜索研討會,主要是從計算機領(lǐng)域涉及到的技術(shù),如特征提取與表示、高維索引與匹配等內(nèi)容進行研究,如Bernd Girod提出移動視覺搜索的混合型架構(gòu),通過對視覺對象局部特征在移動終端的提取和編碼,將其傳輸至服務(wù)器,匹配局部特征數(shù)據(jù)后再將搜索結(jié)果反饋至移動終端[3]。在視覺搜索領(lǐng)域應(yīng)用深度學(xué)習(xí)技術(shù)的研究也取得了一定的進展,如Razavian論證了運用深度神經(jīng)網(wǎng)絡(luò)卷積層提取圖像特征用于圖像搜索的可行性,提出了多尺度圖像局部特征提取方法[4]。由此可見,視覺搜索領(lǐng)域的深度學(xué)習(xí)技術(shù)應(yīng)用已經(jīng)得到了開拓性進展并具備廣闊的開發(fā)前景。各大搜索引擎所提供的圖像檢索功能早已開始應(yīng)用深度學(xué)習(xí)技術(shù),甚至在內(nèi)部成立了研究深度學(xué)習(xí)的專門機構(gòu)。實踐表明,通過深度學(xué)習(xí)提取的視覺特征在圖像識別、語音識別以及智能監(jiān)控等領(lǐng)域都獲得了較為成功的應(yīng)用。

        國內(nèi)學(xué)者對移動視覺搜索的研究始于2010年,段凌宇等人圍繞移動視覺搜索的資源組織方法、資源標(biāo)準(zhǔn)化以及關(guān)鍵技術(shù)等問題展開了討論。隨后,數(shù)字圖書館領(lǐng)域圍繞相關(guān)理論與應(yīng)用模式展開了一系列研究,如張興旺對數(shù)字圖書館移動視覺搜索模型的內(nèi)涵與架構(gòu)等問題進行了梳理[5];曾子明結(jié)合移動視覺搜索的用戶需求,搭建了智慧圖書館的移動視覺搜索服務(wù)模型,在論述中提到了深度學(xué)習(xí)對模型搭建提供的技術(shù)支持[2]。

        綜上所述,將深度學(xué)習(xí)技術(shù)應(yīng)用于移動視覺搜索領(lǐng)域的研究尚處于起步階段,相關(guān)研究有待進一步深入。將二者相結(jié)合作為大數(shù)據(jù)環(huán)境下數(shù)字圖書館全新的信息檢索模式,有利于解決如何高效處理多模態(tài)視覺大數(shù)據(jù)的問題,顯著提升了數(shù)據(jù)檢索與整合效率,將顛覆現(xiàn)有的信息檢索工具,成為大數(shù)據(jù)時代智慧圖書館提升用戶服務(wù)水平的利器。

        2 大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索框架構(gòu)建的必要性

        深度學(xué)習(xí)技術(shù)是機器學(xué)習(xí)研究領(lǐng)域的前沿?zé)狳c,對視覺大數(shù)據(jù)具有強大的非線性表達能力,以及更抽象本質(zhì)的理解能力,其通過對文本、圖像及音頻等數(shù)據(jù)進行建模分析,以人腦的信號處理機制為模擬對象,以繁雜的層次結(jié)構(gòu)對數(shù)據(jù)實行逐層提取,從而使計算機視覺得以實現(xiàn)[7],即從大量數(shù)據(jù)中自動提取多層特征,以數(shù)據(jù)驅(qū)動的方式促進了圖像識別、信息檢索等領(lǐng)域的變革。在多媒體融合的大數(shù)據(jù)環(huán)境下,智慧圖書館的移動視覺數(shù)據(jù)顯現(xiàn)出分散異構(gòu)、跨模態(tài)語義關(guān)聯(lián)的特征,需要移動視覺搜索功能實現(xiàn)對視覺對象的語義感知分析與跨模態(tài)融合。深度學(xué)習(xí)技術(shù)對于視覺資源的語義理解具有較為顯著的優(yōu)勢,因為多個卷積層與隱層包含在深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,其可以通過逐層迭代的方式學(xué)習(xí)圖像特征,即從邊緣像素等低層特征、物體結(jié)構(gòu)輪廓等中層特征到情感場景等高層語義特征,形成從低層特征至高層特征的映射模型[2],對圖像語義特征和語義內(nèi)容進行提取分析,即通過多層神經(jīng)網(wǎng)絡(luò)對視覺資源特征進行訓(xùn)練學(xué)習(xí),獲取到特征提取更為合理、具有更強區(qū)分度的視覺特征語義理解與描述。

        移動視覺搜索與深度學(xué)習(xí)技術(shù)的有效融合不僅需要在大數(shù)據(jù)環(huán)境下構(gòu)建相應(yīng)的搜索服務(wù)模型框架,還需提出可行的技術(shù)方案。因此,首先對數(shù)字圖書館移動視覺搜索中的深度學(xué)習(xí)技術(shù)需求進行全面分析,構(gòu)建基于深度學(xué)習(xí)的移動視覺搜索機制框架,并對其中的技術(shù)方法進行研究,為實現(xiàn)大數(shù)據(jù)環(huán)境下的移動視覺搜索服務(wù)提供可實施的技術(shù)框架。

        3 大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索機制框架

        如何在不同模態(tài)類型的視覺大數(shù)據(jù)之間建立語義關(guān)聯(lián),對跨媒體數(shù)據(jù)進行動態(tài)分析和高效處理,實現(xiàn)更為有效的移動視覺搜索模式,是智慧圖書館建設(shè)過程中的研究熱點之一。筆者構(gòu)建大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索模型,將深度學(xué)習(xí)技術(shù)框架嵌入移動視覺搜索服務(wù)體系,使其服務(wù)過程得以高效實現(xiàn)(見圖1)。模型架構(gòu)包含以下主要部分。

        圖1 大數(shù)據(jù)環(huán)境下基于深度學(xué)習(xí)的移動視覺搜索機制框架

        3.1 移動視覺大數(shù)據(jù)輸入層

        獲取移動用戶的視覺數(shù)據(jù)和情境數(shù)據(jù),對視覺對象進行分類后根據(jù)結(jié)果決定視覺大數(shù)據(jù)資源的存儲方案,為視覺搜索服務(wù)提供基礎(chǔ)數(shù)據(jù)源。視覺大數(shù)據(jù)輸入層是面向用戶移動視覺搜索模型的核心層,其主要任務(wù)包括視覺大數(shù)據(jù)的特征表示,建立不同類型資源之間的語義關(guān)聯(lián),以及對情境大數(shù)據(jù)的存儲和處理。由于資源類型的差異,輸入層首先需要對異構(gòu)大數(shù)據(jù)進行整合統(tǒng)一,并通過視覺資源的語義關(guān)聯(lián)功能實現(xiàn)文本數(shù)據(jù)的特征表示與圖像索引之間的關(guān)聯(lián),在檢索獲取圖像資源后,將相關(guān)的文本資源返回,即利用多模態(tài)資源對檢索內(nèi)容進行協(xié)同表達[8]。情境數(shù)據(jù)包括用戶的網(wǎng)絡(luò)環(huán)境、地理位置、移動終端、檢索時間等相關(guān)數(shù)據(jù),為基于深度學(xué)習(xí)的移動視覺搜索模型提供數(shù)據(jù)支持,并將移動終端、物聯(lián)網(wǎng)等硬件設(shè)備與用戶視覺大數(shù)據(jù)相結(jié)合,獲取用戶的情境信息并分析其行為特征,將底層情境數(shù)據(jù)嵌入到移動視覺索引模塊[8],并結(jié)合用戶需求返回視覺檢索結(jié)果。

        3.2 移動視覺資源組織層

        移動視覺資源組織層包含了深度學(xué)習(xí)框架和高性能計算工具集等,是基于深度學(xué)習(xí)的移動視覺搜索服務(wù)系統(tǒng)的根基。云計算分布式框架以Hadoop文件系統(tǒng)和MapReduce分布式模型為核心,為大數(shù)據(jù)環(huán)境下的移動視覺搜索提供了高效的計算平臺。深度學(xué)習(xí)框架為移動視覺搜索服務(wù)的圖像特征提取與處理提供有力保障,是開發(fā)深度學(xué)習(xí)算法和訓(xùn)練模型的綜合平臺。由于深度學(xué)習(xí)在特征學(xué)習(xí)與特征表達方面具備突出能力,其通過逐層學(xué)習(xí)提取多媒體視覺數(shù)據(jù)的本質(zhì)特征,可對數(shù)據(jù)中蘊含的深層語義信息進行揭示。當(dāng)前主要的深度學(xué)習(xí)框架有TensorFlow、Caffe和Torch等[9]。傳統(tǒng)的數(shù)字圖書館云計算平臺具有將海量數(shù)據(jù)分布在大規(guī)模集群上并進行處理的能力,然而集群節(jié)點的運算能力卻無法滿足深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練測試以及移動視覺搜索服務(wù)實時響應(yīng)的應(yīng)用需求,可以彌補這一不足之處的高性能計算應(yīng)運而生,其利用GPU通用計算有效增強集群的并行計算能力,包括可視化、多媒體等多種集成工具,進而提升深度學(xué)習(xí)框架的運行效率[2]。

        3.3 深度神經(jīng)網(wǎng)絡(luò)分析層

        視覺數(shù)據(jù)應(yīng)進行邏輯分析和處理才能為移動視覺搜索功能提供資源支撐,因此,將深度神經(jīng)網(wǎng)絡(luò)分析層分為視覺數(shù)據(jù)的ROI定位、語義分析、用戶情境計算以及視覺對象語義推理引擎等功能模塊,將視覺圖像特征運用深度卷積神經(jīng)網(wǎng)絡(luò)進行有效提取,通過特征編碼生成視覺圖像的描述,再結(jié)合用戶情境信息與卷積特征對圖像進行ROI定位、物體識別分類以及圖像的語義分析[2]。在大數(shù)據(jù)環(huán)境下,用戶搜索的目的是獲取視覺圖像的關(guān)聯(lián)信息,其提交圖像包含的實體對象所在區(qū)域稱為興趣區(qū)域(Region of Interests,ROI),通過對搜索圖像的ROI定位能夠減少目標(biāo)特征提取的搜索范圍和計算量,并有效提高目標(biāo)物體識別的準(zhǔn)確度;語義分析是對移動視覺資源進行語義抽取與分割,描述數(shù)據(jù)信息與語義信息間的對應(yīng)關(guān)系;用戶情境計算主要是分析采集的情境信息,將用戶需求與搜索目標(biāo)通過構(gòu)建用戶情境模型推測出來,并將情境分析結(jié)果嵌入到移動視覺搜索服務(wù)過程中。視覺對象的語義推理引擎是指在移動視覺搜索的過程中,使用視覺對象知識庫的表示方法進行語義關(guān)聯(lián)分析和特征提取的支持,進而實現(xiàn)視覺對象在語義層面的知識推理和服務(wù)需求的求解建模[10]以及服務(wù)資源和服務(wù)能力的最優(yōu)配置。該功能模塊的任務(wù)是根據(jù)搜索圖像的語義標(biāo)簽、特征向量等計算搜索圖像與其他數(shù)據(jù)的相關(guān)性,結(jié)合用戶情境信息與行為偏好對相關(guān)資源進行排序并返回篩選結(jié)果。在此過程中突顯的語義鴻溝問題是限制語義推理準(zhǔn)確性的最大障礙。大數(shù)據(jù)環(huán)境下,在數(shù)字圖書館移動視覺搜索過程中,語義推理條件、過程以及結(jié)果均為動態(tài)變化,存在多方面的不確定性因素,為此需要引入邏輯推理算法供用戶MVS語義推理引擎調(diào)用,通過深度學(xué)習(xí)技術(shù)對用戶的視覺搜索需求進行動態(tài)模擬與計算推理,以便于得到符合搜索需求的語義分析結(jié)果[10],進而為用戶需求提供精準(zhǔn)的科學(xué)算法支持。

        3.4 移動視覺服務(wù)交互層

        服務(wù)交互層的主要作用包括用戶視覺搜索訪問與查詢、語義推理等應(yīng)用和外部軟硬件環(huán)境的接口與交互,實現(xiàn)智能檢索和匹配服務(wù)、一站式智慧導(dǎo)航、知識可視化服務(wù)以及多模態(tài)融合[11]等功能。系統(tǒng)對各種視覺資源的靈活調(diào)度和配置,只有通過調(diào)用上述應(yīng)用接口才能得以實現(xiàn)。智能檢索和匹配服務(wù)能夠?qū)Χ喾N媒體資源類型進行基于語義的查找和匹配;一站式智慧導(dǎo)航通過分析用戶信息需求和興趣偏好,以及其與平臺的交互行為,為用戶進行知識推薦與導(dǎo)航服務(wù);知識可視化服務(wù)通過視覺表現(xiàn)形式描述和構(gòu)建知識形態(tài)、學(xué)科領(lǐng)域、資源主題及其之間的聯(lián)系,使知識呈現(xiàn)更加生動形象,有助于加強用戶理解[12];移動視覺搜索返回的結(jié)果可能包含了多種模態(tài)的信息資源,多模態(tài)融合技術(shù)將這些搜索結(jié)果進行相關(guān)性整合并采用融合的形式向用戶呈現(xiàn)。

        4 結(jié)語

        大數(shù)據(jù)環(huán)境下,深度學(xué)習(xí)以逐層學(xué)習(xí)的方式尋找高度異構(gòu)信息的語義關(guān)系,通過語義映射與相似度計算,提取移動視覺跨媒體數(shù)據(jù)的特征,探尋異構(gòu)模態(tài)資源之間的語義關(guān)聯(lián),使移動視覺搜索程序得以簡化,提升了視覺大數(shù)據(jù)的檢索精確度與用戶的服務(wù)體驗,為完善圖書館智慧服務(wù)體系提供有力支撐,使用戶的個性化檢索需求得以滿足,進而彰顯了圖書館的自身價值并增強了自身的競爭力。因此,在大數(shù)據(jù)環(huán)境下對基于深度學(xué)習(xí)的移動視覺搜索服務(wù)模型及其技術(shù)實現(xiàn)方法進行系統(tǒng)研究,具有重要的實際應(yīng)用價值和學(xué)術(shù)研究意義。

        猜你喜歡
        語義深度圖書館
        深度理解一元一次方程
        語言與語義
        深度觀察
        深度觀察
        深度觀察
        圖書館
        小太陽畫報(2018年1期)2018-05-14 17:19:25
        飛躍圖書館
        “上”與“下”語義的不對稱性及其認(rèn)知闡釋
        認(rèn)知范疇模糊與語義模糊
        去圖書館
        在线观看日本一区二区三区四区| 米奇影音777第四色| 呻吟国产av久久一区二区| 爆乳无码AV国内| 日本高清视频一区二区| 在线观看特色大片免费视频| 亚洲精品无码久久久久| 粗大挺进尤物人妻一区二区| 免费看黄片视频在线观看| 18禁免费无码无遮挡不卡网站| 成人激情五月天| 亚洲女同成av人片在线观看| 三个黑人插一个女的视频| 欧美肥妇毛多水多bbxx水蜜桃 | 精品人妻码一区二区三区红楼视频| 国内精品久久久久影院优| 久久久www成人免费无遮挡大片| 91精品91久久久久久| 久久精品国产9久久综合| 日韩av高清在线观看| 在线永久看片免费的视频| 日日噜噜夜夜狠狠久久av| 国产一区二区三区在线视频观看 | 2022国内精品免费福利视频| 日本一区二区三本视频在线观看| 久久精品蜜桃亚洲av高清| 曰欧一片内射vα在线影院| 久久这里只有精品9| 国产av精品久久一区二区| 亚洲国产精品久久久久久无码| 亚洲av无码一区二区三区性色 | 亚洲综合精品在线观看中文字幕| 国产一区二区长腿丝袜高跟鞋| 精品久久久无码中字| 免费无码中文字幕A级毛片| 中文字幕亚洲乱码熟女1区2区 | 尤物视频在线观看| 日韩偷拍一区二区三区视频| 日本一区二区高清精品| 被黑人猛烈30分钟视频| 国产亚洲精久久久久久无码苍井空|