崔婉秋，杜軍平，周南，梁美玉

隨著在線社交網(wǎng)絡(luò)信息發(fā)布、傳播以及分享的功能越來越完善，大量用戶持續(xù)活躍，積累了文本、圖片和視頻等海量數(shù)據(jù)，導致網(wǎng)絡(luò)空間中的信息急劇膨脹。然而這些龐大的數(shù)據(jù)中蘊藏著極為有價值的潛在信息，傳統(tǒng)的在線社交網(wǎng)絡(luò)搜索技術(shù)難以滿足用戶的深層次、個性化的精準需求。因此近年來社交網(wǎng)絡(luò)搜索吸引了國內(nèi)外學者的普遍關(guān)注，如對社交網(wǎng)絡(luò)個性化搜索技術(shù)的研究[1-2]以及美國的實時搜索引擎Google和Scoopler等。通過抓取Twitter、Facebook等社交網(wǎng)絡(luò)上用戶隨時隨地發(fā)布的海量信息，可以給人們提供最新的搜索內(nèi)容。大量社交網(wǎng)絡(luò)數(shù)據(jù)產(chǎn)生的同時使得數(shù)據(jù)的形式和表達具有多樣性，簡單的用戶搜索匹配方法不再能夠滿足用戶的搜索需求，返回的結(jié)果也不能精確匹配用戶的初始意圖。因此國內(nèi)外眾多學者深入開展了基于用戶搜索意圖理解的在線社交網(wǎng)絡(luò)精準搜索與挖掘研究[1,3-8]，該研究具有重要的理論意義和廣泛的應(yīng)用價值。

對用戶搜索意圖的理解是在用戶多模態(tài)輸入及消除語義歧義性的基礎(chǔ)上，充分結(jié)合用戶的上下文語境和語義知識，迅速、準確地理解和定位用戶的真實意圖，并結(jié)合匹配、推理、計算以及眾包等技術(shù)，給出真正滿足用戶需求的精準搜索結(jié)果。用戶搜索意圖的分析、提取與匹配是社交網(wǎng)絡(luò)智能精準搜索的研究重點，針對用戶意圖的搜索模式目前已經(jīng)取得了不少成果，但是現(xiàn)有的搜索意圖理解多是經(jīng)驗式的，僅是分析性而非預測性的，仍缺少統(tǒng)一的理論和算法對搜索意圖的理解進行指導。因此，在大數(shù)據(jù)時代，面對海量的跨媒體信息實現(xiàn)基于用戶搜索意圖理解的在線社交網(wǎng)絡(luò)精準搜索與挖掘技術(shù)是必然的發(fā)展趨勢。

1 基于知識圖譜的在線社交網(wǎng)絡(luò)多模態(tài)信息感知

通過對在線社交網(wǎng)絡(luò)用戶信息的深入挖掘，有效地全面理解用戶的搜索意愿，構(gòu)建虛擬空間的知識圖譜，為特定虛擬空間中網(wǎng)絡(luò)用戶搜索意圖的發(fā)現(xiàn)提供數(shù)據(jù)支持[5-7]。針對在線社交網(wǎng)絡(luò)數(shù)據(jù)簡短、背景信息依賴明顯等問題，目前的研究多是將數(shù)據(jù)的語義分布與背景信息相結(jié)合[8-10]，一方面用于解決社交網(wǎng)絡(luò)數(shù)據(jù)語義稀疏的問題[11-13]，另一方面用于社交網(wǎng)絡(luò)語義分布與線下的用戶行為、位置特征的關(guān)聯(lián)[14-16]。時空特征作為社交網(wǎng)絡(luò)數(shù)據(jù)最主要的背景信息之一是理解用戶搜索意圖的關(guān)鍵[17-18]。來自在線社交網(wǎng)絡(luò)的文本或圖像數(shù)據(jù)中蘊含著豐富的時空信息，可以利用自然語言處理技術(shù)識別文本中隱含的時空信息，利用圖像場景分類方法判斷圖像場景類別，確定圖像隱含的時空信息[19-20]。

此外，考慮到社交網(wǎng)絡(luò)數(shù)據(jù)具有明顯的時空標簽，直接利用時空標簽信息獲取更多的附加信息也是當前的研究熱點。社交關(guān)系作為社交網(wǎng)絡(luò)另一項主要的背景信息，同樣是理解用戶搜索意圖的重點[21-22]。相關(guān)研究更多是將社交關(guān)系作為數(shù)據(jù)語義的補充以此來實現(xiàn)社交網(wǎng)絡(luò)數(shù)據(jù)語義的提取，完成社交用戶群體發(fā)現(xiàn)、興趣分布等工作，從用戶信息中挖掘用戶的搜索意圖[23-25]。此類基于數(shù)據(jù)聚合的方法在用戶層面進行主題分類、社區(qū)發(fā)現(xiàn)或者朋友推薦等方面取得了較好的效果，然而仍然不能解決單一短文本的語義獲取問題[26-28]。一些學者對社交網(wǎng)絡(luò)對象的語義表達[29-30]、社交關(guān)聯(lián)模型的建立和進化[31]、時空圖像特征感知和去噪[32]、基于聚類集成的社交網(wǎng)絡(luò)圖像分割[33]等工作開展了廣泛研究。還有一些研究將社交網(wǎng)絡(luò)的稀疏語義與其關(guān)聯(lián)特征相結(jié)合，在短文本語義提取方面進行了探索，針對在線社交網(wǎng)絡(luò)短文本語義特點，優(yōu)化文本語義的理解，挖掘用戶隱藏的搜索意圖。下面將分析基于用戶搜索意圖的社交網(wǎng)絡(luò)搜索中的兩個技術(shù)，即信息感知與知識圖譜的構(gòu)建。

1.1 多模態(tài)信息感知

在社交網(wǎng)絡(luò)的大量數(shù)據(jù)中蘊含著豐富的社會事件發(fā)生和發(fā)展的過程，如何有效地從這些數(shù)據(jù)中挖掘出有價值的信息是當前社交網(wǎng)絡(luò)分析的重要問題[34]?；谏缃痪W(wǎng)絡(luò)跨媒體多模態(tài)事件的感知通過分析社交中的文本、時間地點、圖像、評論、觀點、情感和用戶交互等多模態(tài)數(shù)據(jù)，感知事件整體發(fā)展過程，并刻畫出各事件彼此的關(guān)聯(lián)，進而實現(xiàn)對信息的全方位獲取。

信息感知是指假設(shè)被感知數(shù)據(jù)來自n個多模態(tài)異構(gòu)數(shù)據(jù)源，且對不同觀測對象均從m個維度來描述，則能獲得一組多源異構(gòu)多模態(tài)的感知數(shù)據(jù)。在線社交網(wǎng)絡(luò)多模態(tài)數(shù)據(jù)信息感知的形成過程分為以下4步：

1）信息獲取。根據(jù)在線用戶顯性或隱性地提出獲取感知信息的需求，由系統(tǒng)分析后自動給出可能的請求結(jié)果。

2）信息過濾。由于多模態(tài)信息的數(shù)據(jù)形式及種類多樣，大量的反饋信息給用戶帶來一定的困擾，因此還需預先定義好過濾規(guī)則，建立過濾引擎。將感知收集信息過濾后，存儲并返回給相關(guān)用戶。其中信息過濾機制可以是用戶自定義的規(guī)則，便于個性化地定義自己想要獲取的信息，可以提高感知信息的效率，或基于感知強度計算得出。

3）信息的感知。由感知引擎提供獲取方法和工具，進一步分析用戶交互結(jié)構(gòu)和社交網(wǎng)絡(luò)特性、社區(qū)形成的規(guī)模、用戶所處位置等信息，獲取用戶社交中的身份、發(fā)布的資源和參與的社交活動。

4）信息顯示。最后將感知信息顯示出來，呈現(xiàn)給社交網(wǎng)絡(luò)中的用戶或需求者。

在線社交網(wǎng)絡(luò)環(huán)境中活躍的用戶在交互時，能夠從彼此顯性溝通和隱性非直接的溝通中獲取對方的需求感知信息。但實際應(yīng)用中，用戶可能發(fā)現(xiàn)的知識和信息感知程度較低，會損失用戶之間交流溝通的機會。因此隨著社交網(wǎng)絡(luò)多模態(tài)信息大量涌現(xiàn)，對信息感知技術(shù)的要求更加緊迫，只有用戶能夠更好地感知網(wǎng)絡(luò)動態(tài)數(shù)據(jù)，才能夠更深入全面地參與到社交活動中來，了解彼此的社交動態(tài)并挖掘出潛在的社交行為和關(guān)系，增大用戶決策和溝通的效率。

1.2 知識圖譜的構(gòu)建

知識圖譜[35-36]是Google提出的用于把復雜知識領(lǐng)域的信息通過數(shù)據(jù)挖掘和信息處理，展示該知識領(lǐng)域的動態(tài)發(fā)展規(guī)律。其構(gòu)建目的是便于社交網(wǎng)絡(luò)的搜索理解，能夠按照用戶的搜索內(nèi)容自動辨別其涉及的最相關(guān)實體及其屬性等，根據(jù)實體的重要性揭示相對應(yīng)的知識卡片，最后改善查詢結(jié)果。利用相關(guān)實體發(fā)掘來推薦其他用戶可能感興趣的實體供進一步查閱。知識圖譜可以在以下3個方面提升搜索體驗：

1）理解用戶查詢的初始意圖。搜索請求具有靈活性，可能表示多重含義。知識圖譜將信息全面發(fā)掘并顯現(xiàn)出來，將搜索結(jié)果范圍縮小到最接近用戶意圖的含義，可以讓用戶自主確定最終滿意的結(jié)果。

2）提供最全面的搜索信息。更好地全面理解用戶搜索信息，挖掘所有與搜索話題相關(guān)的內(nèi)容，幫助用戶了解各事物及信息之間的關(guān)系。

3）拓寬了用戶搜索的深度及廣度。構(gòu)建與用戶搜索結(jié)果相關(guān)的完整知識體系，使用戶獲取搜索需求之外的知識發(fā)現(xiàn)。在搜索過程中，用戶有可能同時認識到搜索需求以外的某個新事實或新聯(lián)系，引導用戶開始一些全新的搜索查詢。

基于知識圖譜的用戶搜索初始意圖發(fā)現(xiàn)方法利用知識庫中含有的詞間聯(lián)系，對用戶搜索中的請求文本調(diào)整權(quán)重，從而提高分類準確率，提高搜索意圖挖掘效果。其構(gòu)建技術(shù)是自底向上并迭代進行更新的過程，每次更新包括3個步驟：信息的抽取、知識融合和加工。其中抽取是指從多模態(tài)的數(shù)據(jù)源中抽取出實體、屬性及實體間的關(guān)聯(lián)關(guān)系，以便形成本體知識的表達；知識融合是對抽取的數(shù)據(jù)進行實體鏈接及知識合并，消除實體之間的歧義性、共指消解的分類和聚類等操作，然后對獲取的知識進行合并，主要是對外部的知識庫和內(nèi)部關(guān)系數(shù)據(jù)庫的合并。最后進行知識加工，構(gòu)建對概念統(tǒng)一模式規(guī)范的本體，描述客觀世界中的抽象概念模型，然后進行知識推理和質(zhì)量評估，完成最終的知識圖譜的構(gòu)建。

在線社交網(wǎng)絡(luò)產(chǎn)生的信息在網(wǎng)絡(luò)上的呈現(xiàn)并不僅僅局限于單一的文本模式，而是集簽到、圖像、視頻等各種模態(tài)數(shù)據(jù)的信息綜合體，同時伴隨產(chǎn)生了時間、空間、結(jié)構(gòu)、社會關(guān)系等一系列隱含信息。多模態(tài)信息所蘊含的語義是單純文本所無法比擬的，其極大地豐富了知識空間，為理解用戶意圖提供了充足的數(shù)據(jù)支持。因此，需要基于高效的數(shù)據(jù)感知技術(shù)獲取特定虛擬空間內(nèi)跨媒體大數(shù)據(jù)，并提取隱含其中的時空、結(jié)構(gòu)關(guān)系、社交關(guān)系等背景特征知識，建立多模態(tài)信息的知識圖譜。其數(shù)據(jù)大部分來源于專業(yè)知識領(lǐng)域的網(wǎng)站，將文本或圖像、視頻中的共現(xiàn)知識信息為實體建立聯(lián)系，并利用該關(guān)系幫助搜索內(nèi)容特征的提取，調(diào)整權(quán)重，最后使用文本或圖像分類算法對搜索分類，深度挖掘用戶搜索意圖。將獲取的感知數(shù)據(jù)與其隱含、關(guān)聯(lián)的背景特征相結(jié)合是分析社交網(wǎng)絡(luò)信息的基礎(chǔ)，是理解用戶搜索意圖以及構(gòu)建社交網(wǎng)絡(luò)精準搜索研究的關(guān)鍵科學問題。

2 跨媒體大數(shù)據(jù)的深度語義學習與分析

在線社交網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)大部分是異構(gòu)、離散且沒有結(jié)構(gòu)的，隱含了豐富的多屬性、多模態(tài)語義信息。多模態(tài)數(shù)據(jù)之間存在著千絲萬縷的語義關(guān)聯(lián)，結(jié)合獲得的時空等信息，對社交網(wǎng)絡(luò)用戶進行搜索意圖分析與行為意圖理解，可以從不同角度來掌握用戶在社交平臺上的各種網(wǎng)絡(luò)行為特征。因此需要結(jié)合多屬性、多形式的特征對社交網(wǎng)絡(luò)在語義層面上對大量數(shù)據(jù)進行深度學習，從多角度挖掘出用戶在社交網(wǎng)絡(luò)活動中的意圖模式和意圖特征。通過對多屬性、多模態(tài)社交網(wǎng)絡(luò)大數(shù)據(jù)的深度語義學習與分析建模，可以實現(xiàn)異常用戶意圖特征的實時獲取以及凸顯用戶意圖的實時表達，這對提升社會熱點話題的感知能力以及社交網(wǎng)絡(luò)異常意圖用戶的發(fā)現(xiàn)能力具有促進作用。

2.1 大數(shù)據(jù)語義分析

大數(shù)據(jù)語義分析為基于社交網(wǎng)絡(luò)大數(shù)據(jù)的用戶意圖理解與分析提供了關(guān)鍵的支持。隨著異構(gòu)數(shù)據(jù)的快速產(chǎn)生，其以不同媒體的形式存在，如何從異構(gòu)數(shù)據(jù)中辨別出相應(yīng)所需的概念成為了當前的研究熱點。

1）文本分析技術(shù)

可以根據(jù)知識源或模型粒度的不同進行分類，如表1所示。

2）多模態(tài)分析技術(shù)

對于社交網(wǎng)絡(luò)中不斷涌現(xiàn)的多模態(tài)數(shù)據(jù)形式，單純的分析文本已經(jīng)不能夠滿足對社交網(wǎng)絡(luò)數(shù)據(jù)的分析和挖掘，因此有大量研究針對于文本及圖像、視頻等數(shù)據(jù)綜合進行語義分析。如M. I. Blei等[40]在分析文本和圖像的基礎(chǔ)上，分別采用了3種不同的生成模型：文本和圖像主題為同一主題的主題強相關(guān)模型、文本和圖像主題分別從同一主題分布中采樣得到的弱相關(guān)模型，以及假設(shè)文本以圖像標注形式存在的，文本主題從圖像主題中均勻采樣得到的文本圖像主題生成模型。使用Corr-LDA模型建模，將文本與圖像映射到同一主題語義空間中，在圖像標注及跨模態(tài)檢索上都取得了很好的效果。Jingwen Bian[41]在研究跨媒體數(shù)據(jù)的基礎(chǔ)上提出了MMLDA模型，將多模態(tài)的數(shù)據(jù)映射在主題空間中，用以發(fā)現(xiàn)社交網(wǎng)絡(luò)中事件的子事件，形成事件摘要。

表1 文本分析技術(shù)分類Table 1 Classification of text analysis techniques

上述以LDA為基礎(chǔ)的生成模型中，都是嚴格以文本圖像為研究對象，假設(shè)其具有同樣的主題分布，或者一種模態(tài)的主題分布依賴于另一種模型的主題分布。然而現(xiàn)實生活中對同一事件或者物體的描述不僅在媒介上為異質(zhì)異構(gòu)數(shù)據(jù)，通常情況下在內(nèi)容、數(shù)量、層次粒度上也并不是一一對應(yīng)的。王智愚等[42]提出了一種社會多媒體的雙向語義關(guān)聯(lián)模型，對文本、圖像主題多種情況下的依賴關(guān)系建模；Wang等[43]提出了一種多模態(tài)共同話題推理模型，為多模態(tài)建立共享語義空間的同時加入了額外的類別信息，在跨模態(tài)檢索任務(wù)中取得了很好的效果；Kang等[44]使用矩陣分解方法，通過學習特征的一致性表示，為非成對數(shù)據(jù)的跨模態(tài)檢索提供了可能。

2.2 深度學習語義分析

對用戶搜索意圖的圖像理解常用方法是深度神經(jīng)網(wǎng)絡(luò)，常用的兩種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有AlexNet[45]和VGG-Net[46]。深度學習得到的特征相比手工提取的特征在社交網(wǎng)絡(luò)用戶的搜索意圖理解中能夠取得更好的效果。深度神經(jīng)網(wǎng)絡(luò)語義分析模型具有自動提取特征的優(yōu)點，可以找出有效的特征進行分類，所以也稱為表示學習。社交網(wǎng)絡(luò)帶來的大數(shù)據(jù)給神經(jīng)網(wǎng)絡(luò)學習提供了大量的訓練樣本，而GPU的使用給運行速度提供了保障。面向用戶意圖的搜索理解中對圖像特征的提取主流的方法是采用卷積神經(jīng)網(wǎng)絡(luò)提取CNN特征[47-49]，圖像與文本的語義學習可以在不同的深度語義層面上對圖像CNN特征和文本特征進行映射學習[50-51]。

深度學習已經(jīng)廣泛用于文本、圖像、視頻和語音各方面的深度語義分析，基于神經(jīng)網(wǎng)絡(luò)的語言模型最早是由Bengio提出的，主要解決了泛化問題，通過嵌入和3層網(wǎng)絡(luò)把詞映射到空間中的一個點，最終輸出了下一個詞的概率。此外為圖像特征與語義詞建立共享空間已應(yīng)用在跨模態(tài)搜索中[52]，對于用戶意圖理解得到了很好的效果。以學習哈希函數(shù)為基礎(chǔ)保留多標記圖像之間多層次語義相似性的深度語義排序方法[53-54]以及將深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合哈希函數(shù)來共同學習特征表示和映射，已應(yīng)用于對社交網(wǎng)絡(luò)用戶意圖搜索的語義理解中。用區(qū)域生成方法[55]對圖像生成候選區(qū)域，結(jié)合訓練好的CNN模型在這些區(qū)域上提取語義特征，最后利用線性SVM進行分類，能夠得到更好的搜索結(jié)果。

3 在線社交網(wǎng)絡(luò)精準搜索與挖掘

社交網(wǎng)絡(luò)搜索與傳統(tǒng)網(wǎng)絡(luò)的搜索應(yīng)用形式相比，信息的傳播速度更快、傳播方式更加隱蔽，覆蓋人群更廣、用戶的交互也更加頻繁。因此基于用戶搜索意圖理解的智能精準搜索不再局限于針對跨媒體內(nèi)容的搜索，而是涵蓋了網(wǎng)絡(luò)產(chǎn)生的信息以及與其相關(guān)的所有外部信息的全面搜索，包括社交關(guān)系搜索、社交行為搜索以及線上線下關(guān)聯(lián)信息搜索等，需要有效地挖掘出社交網(wǎng)絡(luò)中各種跨媒體的時空信息，分析隱含的特有屬性，并結(jié)合知識庫體系、語義推理演算等，才能彌補傳統(tǒng)搜索在信息關(guān)聯(lián)等方面的缺陷，實現(xiàn)對在線社交網(wǎng)絡(luò)跨媒體大數(shù)據(jù)的組織和管理，并對在線社交網(wǎng)絡(luò)的精準搜索提供底層索引支持和基于本體知識庫的搜索拓展。

3.1 用戶搜索意圖理解與匹配

目前的搜索引擎對于用戶查詢僅僅從關(guān)鍵詞角度出發(fā)進行相似度匹配，而不是從用戶搜索意圖出發(fā)搜尋相關(guān)信息，使得返回結(jié)果和搜索意圖有較大出入。在該方面的研究中，Wolframalpha從公眾和已授權(quán)資源中發(fā)掘并構(gòu)建的數(shù)據(jù)庫，能夠理解用戶查詢需求并迅速給出結(jié)果。搜狗的“知立方”引入了用戶查詢語義的理解技術(shù)，試圖分析用戶的查詢目標，對搜索結(jié)果進行重新優(yōu)化計算[56]。Park等[57]提出了利用搜索上下文來預測用戶的搜索意圖；Gupta等[58]提出了使用用戶查詢?nèi)罩镜姆椒?，對日志分析并預測出用戶的搜索目標；王大玲等[59]提出了利用決策樹的方法識別用戶搜索意圖。在意圖匹配方面，基于文本模型的匹配通過以關(guān)鍵詞查詢檢索的方式，把意圖語義進行轉(zhuǎn)換并與目標文檔匹配，獲得相關(guān)度排名。在圖模型的意圖匹配中，通過圖查詢來實現(xiàn)用戶搜索意圖與搜索空間目標項之間的查找和匹配，包括關(guān)鍵詞圖搜索、子圖匹配和近似圖匹配技術(shù)等[60]。

目前基于意圖理解的智能搜索機制分為離線和在線兩種處理階段，其整體基于用戶意圖理解的搜索框架如圖1所示。其中離線階段是指在沒有接收用戶搜索請求時系統(tǒng)自動進行的操作，主要對用戶在社交網(wǎng)絡(luò)中的各種行為特征、發(fā)布信息的文本特征或活動的時空信息及社會互動關(guān)系特征等個性化信息進行分析和建模，挖掘出長期的興趣偏好，為在線意圖分析和抽取提供歷史數(shù)據(jù)。利用TFIDF等算法進行主題分類抽取，并對熱點進行分類及矢量描述分析，然后提取主題用戶特征和主題熱點特征。當用戶提出搜索請求時，首先對用戶情景進行抽取，并對查詢意圖的信息和情感進行初步分析，綜合進行意圖分析和提取操作，最后將主題節(jié)點的用戶及熱點特征與在線分析出的搜索意圖、改進的關(guān)鍵字綜合進行匹配與搜索。

圖1 基于用戶意圖的搜索框架Fig. 1 The searching framework based on user intentions

3.2 在線社交網(wǎng)絡(luò)精準搜索的應(yīng)用

隨著社交網(wǎng)絡(luò)的日益普及，在線社交網(wǎng)絡(luò)成為了現(xiàn)實社會中人和事進行評論和發(fā)表觀點的一個集中平臺，是社會生活的真實寫照。Facebook開發(fā)了備受歡迎的社交圖譜搜索技術(shù)，Twitter提供了基于社交網(wǎng)絡(luò)的搜索，新浪微博也提供了自己的在線搜索系統(tǒng)，這些搜索系統(tǒng)的出現(xiàn)給用戶帶來了很多便利?，F(xiàn)在已有大量學者對在線社交網(wǎng)絡(luò)的搜索技術(shù)進行研究。賈焰等[56]從社交網(wǎng)絡(luò)中的知識挖掘與推演、用戶初始查詢意圖的理解與表示、符合用戶意圖的智能結(jié)果在線響應(yīng)等3個問題為目標，討論了社交網(wǎng)絡(luò)智慧搜索相關(guān)技術(shù)的發(fā)展；鄭煒等[61]提出了基于用戶搜索意圖的智能搜索引擎系統(tǒng)框架，該框架從社交網(wǎng)絡(luò)內(nèi)容的存儲、索引以及排名方面著手，對查詢算法進行重構(gòu)，與傳統(tǒng)的基于關(guān)鍵字的搜索算法相比返回結(jié)果的相關(guān)度更高；Bennett等[62]提出探索式搜索概念，幫助搜索用戶進行信息獲取；Teevan等[63]從人口統(tǒng)計學、興趣和職業(yè)等特征分析入手，辨別不同的用戶群體，提供基于相似請求用戶的查詢結(jié)果。

在社交網(wǎng)絡(luò)事件監(jiān)測研究方面，Prerna等[64]從技術(shù)層面對Twitter的輿情及其演化趨勢進行了研究；Jasmina等[65]提出了基于Twitter的事件搜索與監(jiān)測方法，并將其應(yīng)用于保加利亞選舉事件中。隨著事件監(jiān)測研究的不斷進展，基于多模態(tài)的社交網(wǎng)絡(luò)事件監(jiān)測方法成為研究熱點。Manos等[66]提出了一種基于時間窗的多模態(tài)方法，對海量圖片進行事件監(jiān)測；Gao等[67]利用超圖分割的思想引入文本內(nèi)容、視覺內(nèi)容、位置信息、時間信息等實現(xiàn)社交網(wǎng)絡(luò)跨媒體的事件監(jiān)測，但是該方法無法預測熱點事件；Unankard[68]提出了基于位置感知的社交網(wǎng)絡(luò)事件監(jiān)測方法，把Twitter事件和位置信息進行統(tǒng)一表示，將用戶位置和事件位置的相關(guān)性的強度進行標識，監(jiān)測和預測熱點事件。此外，隨著各大社交網(wǎng)絡(luò)的盛行使針對社交網(wǎng)絡(luò)的研究越來越廣泛而全面[69-71]，人們在社交網(wǎng)絡(luò)中應(yīng)用更加便捷，并且可以從海量的信息中受益。

4 總結(jié)與展望

本文對基于知識圖譜的在線社交網(wǎng)絡(luò)多模態(tài)信息感知方法、搜索中面向用戶意圖匹配的跨媒體大數(shù)據(jù)深度語義學習與分析、在線社交網(wǎng)絡(luò)精準搜索與挖掘進行了研究與分析，可以看出在基于用戶搜索意圖理解的在線社交網(wǎng)絡(luò)跨媒體精準搜索與挖掘研究領(lǐng)域已有的理論、技術(shù)及應(yīng)用仍然存在一些問題，總結(jié)為以下幾方面：

1）目前已有的跨媒體信息感知方法只關(guān)注于一定區(qū)域和范圍內(nèi)的代表性數(shù)據(jù)獲取，從社交網(wǎng)絡(luò)中感知得到的稀疏且零散的數(shù)據(jù)不足以支撐用戶意圖理解搜索的信息需求。單純的社交網(wǎng)絡(luò)數(shù)據(jù)難以實現(xiàn)語義分析，因此需要必要的數(shù)據(jù)關(guān)聯(lián)特征來實現(xiàn)數(shù)據(jù)的語義理解。已有的信息感知方法沒有考慮與數(shù)據(jù)相關(guān)聯(lián)的背景特征信息以及用戶屬性信息的獲取，不能及時、快速從感知數(shù)據(jù)中提取出隱含信息，不能為高層的處理與應(yīng)用提供必要的信息支持。

2）目前已有的語義學習與分析方法中通常只針對單一模態(tài)數(shù)據(jù)或特定的應(yīng)用場景，難以從多模態(tài)的跨媒體大數(shù)據(jù)中完整地識別出社交網(wǎng)絡(luò)用戶的意圖傾向，以及網(wǎng)絡(luò)意圖模式與現(xiàn)實社會熱點話題與事件的語義關(guān)聯(lián)關(guān)系，無法實時地獲取體現(xiàn)社交網(wǎng)絡(luò)用戶的行為特征，從而進行用戶意圖分析和異常用戶意圖檢測?；趩我荒B(tài)單一屬性的語義識別模型難以快速而精準地分析社交網(wǎng)絡(luò)熱點話題和事件相關(guān)內(nèi)容的語義及其影響范圍和深度。

3）目前已有的社交網(wǎng)絡(luò)搜索技術(shù)對特定對象精準搜索的研究無法實現(xiàn)跨空間搜索。搜索匹配方法不能從超大規(guī)模、超高維度、不完備、有噪聲、語義模糊的在線社交網(wǎng)絡(luò)跨媒體大數(shù)據(jù)中挖掘出與特定對象時空特性、社會屬性相關(guān)的知識模式。由于用戶搜索的意圖往往很抽象，目前的搜索方法無法滿足抽象的搜索意圖理解與匹配，因此需要研究基于搜索意圖識別的高質(zhì)量、高效率的跨媒體大數(shù)據(jù)搜索算法。

圍繞社會網(wǎng)絡(luò)面向用戶意圖的搜索與挖掘目前的研究現(xiàn)狀，未來研究中可能面臨的挑戰(zhàn)包括：

1）面對在線社交網(wǎng)絡(luò)數(shù)據(jù)的歧義性、模糊性、時變性等問題，如何基于知識圖譜獲取在線社交網(wǎng)絡(luò)跨媒體大數(shù)據(jù)，并提取其相關(guān)背景信息以及如何利用感知數(shù)據(jù)與背景信息之間的關(guān)聯(lián)、不同媒體數(shù)據(jù)之間的關(guān)聯(lián)，構(gòu)建虛擬空間的知識圖譜，挖掘數(shù)據(jù)中隱藏的用戶搜索意圖，以實現(xiàn)社交網(wǎng)絡(luò)數(shù)據(jù)信息的全面、完整地表達與理解，仍然是亟待解決的科學問題。

2）雖然面向用戶搜索意圖的理解已經(jīng)有許多跨媒體語義映射學習的方法，但是這些方法沒有考慮圖像和文本的時空性對語義的影響，因此需要根據(jù)圖像與文本在不同時間和不同地點出現(xiàn)時體現(xiàn)不同的語義，進一步對用戶搜索意圖的理解進行深入研究。如何基于深度學習來突破跨媒體大數(shù)據(jù)知識空間淺層特征與深度語義之間存在的語義障礙是有待研究的問題。

3）目前已有的社交網(wǎng)絡(luò)搜索與挖掘算法是分離的，而搜索系統(tǒng)和挖掘系統(tǒng)都會對最終的搜索精度造成影響。因此建立搜索與挖掘一體化的模型能夠有效提高搜索性能。需要建立支持時空特性和社交特性的跨媒體、跨空間的挖掘體系，根據(jù)時空特性、社交特性、用戶行為特征、現(xiàn)實空間的實時數(shù)據(jù)，并結(jié)合領(lǐng)域本體知識庫推理演算和語義查詢擴展，構(gòu)建支持時間、空間特性的在線社交網(wǎng)絡(luò)對象的精準搜索模型。

[1]XIE H, LI X, WANG T, et al. Personalized search for social media via dominating verbal context[J]. Neurocomputing, 2016, 172(C): 27–37.

[2]LI J, LIU C, YU J X, et al. Personalized influential topic search via social network summarization[J]. IEEE transactions on knowledge and data engineering, 2016, 28(7):1820–1834.

[3]KOU F, DU J, HE Y, et al. A survey on social network search based on semantic analysis and learning[J]. CAAI transactions on intelligence technology, 2016, 11(1): 293–302.

[4]石磊, 杜軍平, 周亦鵬, 等. 在線社交網(wǎng)絡(luò)挖掘與搜索技術(shù)研究[J]. 智能系統(tǒng)學報, 2016, 11(6): 777–787.SHI Lei, DU Junping, ZHOU Yipeng, et al. A survey on online social network mining and search[J]. CAAI transactions on intelligence technology, 2016, 11(6): 777–787.

[5]DEUFEMIA V, GRANATELLO M, MEROLA A, et al.Comparing classifiers for web user intent understanding[J]. Empowering organizations, 2016, 11(2): 147–159.

[6]CHRISTOPH K, MARTHA L, ALAN H. User intent in multimedia search: a survey of the state of the art and future challenges[J]. ACM computing surveys, 2016, 49(2): 1–37.

[7]KATO M. Web search query privacy, an end-user perspective[J]. Journal of information security, 2017, 8(1): 56–74.

[8]RISHIRAJ S R, RAHUL K, NILOY G, et al. Discovering and understanding word level user intent in web search queries[J]. World wide web, 2015, 30: 22–38.

[9]JIN Y K, MARK C, JAIME T, et al. Understanding how people interact with web search results that change in realtime using implicit feedback[C]//The 22nd ACM International Conference on Information and Knowledge Management. San Francisco, USA, 2014: 2321–2326.

[10]CHRISTOPH K, SUBHABRATA B, MARTHA L, et al.Uploader intent for online video: typology, inference and applications[J]. IEEE transactions on multimedia, 2015,17(8): 1200–1212.

[11]ZHENG Y, CAPRA L, WOLFSON O, et al. Urban computing: concepts, methodologies and applications[J]. ACM transactions on intelligent systems and technology, 2014,5(3): 38.

[12]ZHENG Y, LIU T, WANG Y, et al. Diagnosing new york city's noises with ubiquitous data[C]//Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. Seattle, Washington, 2014:715–725.

[13]ZHENG Y. Trajectory data mining: an overview[J]. ACM transactions on intelligent systems and technology, 2015,6(3): 29.

[14]SONG S, LI Q, ZHENG N. A spatio-temporal framework for related topic search in micro-blogging[C]//International Conference on Active Media Technology. Springer Berlin Heidelberg, 2010: 63–73.

[15]SONG S, LI Q, BAO H. Detecting dynamic association among twitter topics[C]//International Conference on World Wide Web. Lyon, France, 2012: 605–606.

[16]LIU A A, SU Y T, NIE W Z, et al. Hierarchical clustering multi-task learning for joint human action grouping and recognition[J]. IEEE trans pattern anal mach intell, 2017,39(1): 102–114.

[17]CUI P, WANG F, YANG S, et al. Item-Level Social Influence Prediction with Probabilistic Hybrid Factor Matrix Factorization[C]//AAAI Conference on Artificial Intelligence 2011. San Francisco, USA, 2011: 34–45.

[18]CRANSHAW J, TOCH E, HONG J, et al. Bridging the gap between physical location and online social networks[C]//ACM International Conference on Ubiquitous Computing.Copenhagen, Denmark, 2010: 119–128.

[19]余麗, 陸鋒, 張恒才. 網(wǎng)絡(luò)文本蘊涵地理信息抽取: 研究進展與展望[J]. 地球信息科學學報, 2015, 17(2): 127–134.YU Li, LU Feng, ZHANG Hengcai. Extracting geographic information from web texts: status and development[J].Journal of geo-information science, 2015, 17(2): 127–134.

[20]王宇. 基于網(wǎng)絡(luò)文本的地名空間模糊建模[D]. 南京: 南京師范大學, 2012.WANG Yu. A dissertation submitted in partial fulfillment of the requirements for the degree of master of science[D].Nanjing: Nanjing Normal University, 2012.

[21]JIN T, LI L, LI P, et a1. Hidden conditional random fields for category and scene classification[J]. Journal of computational information systems, 2012, 8(2): 877–885.

[22]CHIEN B C, SHI H T, FU C H, et al. Automatic geotagging for personal photos with sharing images on social media networks[C]//Multidisciplinary Social Networks Research. Berlin: Springer Berlin Heidelberg, 2015: 495–508.

[23]SENGSTOCK C, GERTZ M. Latent geographic feature extraction from social media[C]//Proceedings of the 20th ACM International Conference on Advances in Geographic Information Systems. New York, USA, 2012: 149–158.

[24]HONG L, DAVISON B D. Empirical study of topic modeling in Twitter[C]//Proceedings of the ACM First Workshop on Social Media Analytics. Washington D C, USA,2010: 80–88.

[25]SONG S, LI Q, ZHENG X. Detecting popular topics in micro-blogging based on a user interest-based model[J]. The complex system of management and control of state key laboratory, 2012(IJCNN): 1–8.

[26]ZHENG N, SONG S, BAO H. A temporal-topic model for friend recommendations in Chinese microblogging systems[J]. IEEE transactions on systems, man, and cybernetics: systems, 2015, 45(9): 1245–1253.

[27]BAO H, LI Q, LIAO S S, et al. A new temporal and social pmf-based method to predict users’ interests in micro-blogging[J]. Decision support systems, 2013, 55(3): 698–709.

[28]GAO H, LI Q, BAO H, et al. How shall we catch people's concerns in micro-blogging[C]//Proceedings of the 21st ACM International Conference on World Wide Web. Lyon, France, 2012: 505–506.

[29]WANG Y, WANG X, DU J, et al. Object detection based on exemplar object expression[M]. Advanced Multimedia and Ubiquitous Engineering. Springer Berlin Heidelberg,2015.

[30]WANG X, DU J, WU S. High-level semantic image annotation based on hot internet topics[J]. Multimedia tools and applications, 2015, 74(6): 2055–2084.

[31]WU L, GE Y, LIU Q, et al. Modeling the evolution of users’ preferences and social links in social networking services[J]. IEEE transactions on knowledge and data engineering, 2017(99): 1–1.

[32]LIANG M, DU J, LIU H. Self-adaptive spatial image denoising model based on scale correlation and sure-let in the nonsubsampled contourlet transform domain[J]. Science China-information sciences, 2014, 57(9): 1–15.

[33]WANG X, DU J, WU S, et al. Cluster ensemble-based image segmentation[J]. International journal of advanced robotic systems, 2013, 10(4): 1–11.

[34]歐陽逸, 郭斌, 何萌, 等. 微博事件感知與脈絡(luò)呈現(xiàn)系統(tǒng)[J]. 浙江大學學報: 工學版, 2016, 50(6): 1176–1182.OUYANG Yi, GUO Bin, HE Meng, et al. Event sensing and vein presentation leveraging microblog[J]. Journal of Zhejiang university: engineering science, 2016, 50(6): 1176–1182.

[35]劉嶠, 李楊, 段宏, 等. 知識圖譜構(gòu)建技術(shù)綜述[J]. 計算機研究與發(fā)展, 2016, 53(3): 582–600.LIU Jiao, LI Yang, DUAN Hong, et al. Knowledge graph construction technique[J]. Journal of computer research and development, 2016, 53(3): 582–600.

[36]BALAID A, ABD R M Z, HIKMI S N, et al. Knowledge maps[J]. International journal of information management,2016, 36(3): 451–475.

[37]MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[J]. Computer science, 2013, 2(12): 27–35.

[38]WU W, LI H, WANG H, et al. Probase: a probabilistic taxonomy for text understanding[C]//ACM SIGMOD International Conference on Management of Data. Scottsdale,USA, 2012: 481–492.

[39]HUA W, WANG Z, WANG H, et al. Short text understanding through lexical-semantic analysis[C]//International Conference on Data Engineering. Seoul, South Korea,2015: 495–506.

[40]DAVID M, BLEI M I, JORDAN. Modeling annotated data[C]//Proceedings of 2003 ACM International Conference on Research on Development in Information Retrieval. Toronto: ACM Press, 2003: 1–8.

[41]BIAN J, YANG Y, CHUA T S. Multimedia summarization for trending topics in microblogs[C]//Proceedings of ACM International Conference on Information and Knowledge Management. San Francisco: ACM Press, 2013:1807–1812.

[42]王智愚. 社會化多媒體內(nèi)容分析與摘要[D]. 北京: 清華大學, 2013: 1–119.WANG Zhiyu. Social multimedia analysis and summarization[D]. Beijing: Tsinghua University, 2013: 1–119.

[43]WANG Y, WU F, SONG J, et al. Multi-modal mutual topic reinforce modeling or cross-media retrieval[C]//Proceedings of 2014 ACM International Conference on Multimedia. Orlando: ACM Press, 2014: 307–316.

[44]KANG C, XIANG S, LIAO S, et al. Learning consistent feature representation for cross-modal multimedia retrieval[J]. IEEE transactions on multimedia, 2015, 17(3):370–381.

[45]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2012:1097–1105.

[46]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Arxiv preprint, arxiv, 2014: 1409–1556.

[47]ANDREJ K, ARMAND J, LI F. Deep fragment embeddings for bidirectional image sentence mapping[J]. Arxiv Preprint, Arxiv, 2014, 14(3): 1406–5679.

[48]AMIRHOSSEIN H, THOMAS M, CEES G, et al. Discovering semantic vocabularies for cross-media retrieval[C]//Proceedings of ACM SIGMM International Conference on Multimedia Retrieval. Shanghai: ACM Press,2015: 131–138.

[49]JIANG XY, WU F, LI X, et al. Deep compositional crossmodal learning to rank via local-global alignment[C]//Proceedings of 2015 ACM International Conference on Multimedia. Brisbane, 2015: 69–78.

[50]MA L, LU ZD, SHANG LD, et al. Multimodal convolutional neural networks for matching image and sentence[C]//Proceedings of 2015 International Conference on Computer Vision. Boston, USA, 2015: 2623–2631.

[51]ZHAO F, HUANG Y, WANG L, et al. Deep semantic ranking based hashing for multi-label image retrieval[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 1556–1564.

[52]WANG J, SONG Y, LEUNG T, et al. Learning finegrained image similarity with deep ranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society, 2014: 1386–1393.

[53]REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137–1149.

[54]QIAN SS, ZHANG TZ, HONG R, et al. Cross-domain collaborative learning in social multimedia[C]//Proceedings of 2015 ACM International Conference on Multimedia. Brisbane: ACM Press, 2015: 99–108.

[55]柯圣財, 趙永威, 李弼程, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督核哈希的圖像檢索方法[J]. 電子學報, 2017, 45(1):157–163.KE Shengcai, ZHAO Yongwei, LI Bicheng, et al. Image retrieval based on convolutional neural network and kernelbased supervised hashing[J]. Acta electronica sinica, 2017,45(1): 157–163.

[56]賈焰, 甘亮, 李愛平, 等. 社交網(wǎng)絡(luò)智慧搜索研究進展與發(fā)展趨勢[J]. 通信學報, 2015, 36(12): 9–16.JIA Yan, GAN Liang, LI Aiping, et al. Research progress and development trend of onfine social network smart search[J]. Journal on communications, 2015, 36(12): 9–16.

[57]PARK K, JEE H, LEE T, et al. Automatic extraction of user’s search intention from web search logs[J]. Multimedia tools and applications, 2012, 61(1): 1–18.

[58]GUPTA V, GARG N, GUPTA T. Search bot: search intention based filtering using decision tree based technique[C]//Third IEEE International Conference on Intelligent Systems, Modelling and Simulation. Kota Kinabalu, Malaysia,2012: 49–54.

[59]王大玲, 于戈, 鮑玉斌, 等. 基于用戶搜索意圖的Web網(wǎng)頁動態(tài)泛化[J]. 軟件學報, 2010, 21(5): 1083–1097.WANG Daling, YU Ge, BAO Yubin, et al. Dynamically generalizing Web pages based on users’ search intentions[J]. Journal of software, 2010, 21(5): 1083–1097.

[60]FAN W, LI J, MA S, et al. Graph homomorphism revisited for graph matching[C]//Proceedings of the VLDB Endowment, 2010, 3(1/2): 1161–1172.

[61]鄭煒, 梁戰(zhàn)平, 梁建. 面向用戶意圖的智能搜索引擎框架研究[J]. 現(xiàn)代圖書情報技術(shù), 2014, 30(3): 65–72.ZHENG Wei, LIANG Zhanping, LIANG Jian. Research on user oriented intelligent search engine framework[J]. Library and information science, 2014, 30(3): 65–72.

[62]BENNETT P N, WHITE R W, CHU W, et al. Modeling the impact of short- and long-term behavior on search personalization[C]//Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieva. Portland, USA, 2012: 185–194.

[63]CHILTON L B, TEEVAN J. Addressing people’s information needs directly in a web search result page[C]//ACM International Conference on World Wide Web. Hyderabad,India, 2011: 27–36.

[64]CHIKERSAL P, PORIA S, CAMBRIA E, et al. Modelling public sentiment in twitter: using linguistic patterns to enhance supervised learning[C]//International Conference on Intelligent Text Processing and Computational Linguistics.Cairo, Egypt, 2015: 49–65.

[65]SMAILOVIC J, KRANJC J, GRCAR M, et al. Monitoring the Twitter sentiment during the Bulgarian elections[C]//IEEE International Conference on Data Science and Advanced Analytics. Paris, France, 2015:1–10.

[66]MANOS S, SYMEON P, GEORGIOS P, et al. Multimodal event detection and summarization in large scale image collections[C]//Proceedings of the 2016 ACM on International Conference on Multimedia Retrieval. New York,USA, 2016: 421–422.

[67]GAO Y, ZHAO S, YANG Y, et al. Multimedia social event detection in microblog[M]//Multimedia Modeling.Springer International Publishing, 2015: 269–281.

[68]UNANKARD S, LI X, SHARAF M. Emerging event detection in social networks with location sensitivity[J].World wide web-internet and web information systems,2014, 18(5): 1–25.

[69]YANG Y, DU J, HE B. A novel ontology-based semantic retrieval model for food safety domain[J]. Chinese journal of electronics, 2013, 22(2): 247–252.