王梅瑞，楚博策，孔二旦，陳金勇，朱 進(jìn)，李 峰，王士成

(中國(guó)電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

隨著各類衛(wèi)星升空并投入使用,遙感數(shù)據(jù)量及其應(yīng)用需求在近些年呈現(xiàn)爆炸式增長(zhǎng)趨勢(shì)。以往在數(shù)據(jù)管理系統(tǒng)中獲取感興趣遙感影像時(shí)采用的人工查詢和訂購(gòu)方法十分低效,并且難以充分調(diào)動(dòng)用戶對(duì)遙感影像的購(gòu)買欲望,無(wú)法實(shí)現(xiàn)主動(dòng)化、智能化的遙感數(shù)據(jù)分發(fā)服務(wù)[1]。在如今以大數(shù)據(jù)、人工智能為代表的信息化時(shí)代,如何讓人工智能成為推動(dòng)智能遙感應(yīng)用發(fā)展的新動(dòng)能,更好地釋放遙感數(shù)據(jù)價(jià)值,是遙感服務(wù)突破的新方向[2]。為此考慮研究遙感影像的個(gè)性化推薦系統(tǒng),有助于提高遙感用戶獲取影像的便捷性與訂購(gòu)體驗(yàn),同時(shí)提升遙感影像的利用率并促進(jìn)相應(yīng)的商業(yè)行為。

1 研究現(xiàn)狀

隨著互聯(lián)網(wǎng)與信息技術(shù)的迅猛發(fā)展,社會(huì)已進(jìn)入大數(shù)據(jù)時(shí)代,但由于用戶自身辨識(shí)能力有限,難以在海量數(shù)據(jù)源中獲取有效信息,產(chǎn)生了“信息過(guò)載”問(wèn)題[3]。推薦系統(tǒng)能夠通過(guò)分析用戶的興趣偏好主動(dòng)向用戶推薦其感興趣的信息、商品等[4-8],可以有效緩解上述問(wèn)題,目前已在電商、廣告和新聞等領(lǐng)域得到廣泛應(yīng)用[9-11]。

國(guó)內(nèi)外關(guān)于遙感領(lǐng)域數(shù)據(jù)分發(fā)的研究之前主要側(cè)重于數(shù)據(jù)的高效傳輸與存儲(chǔ)方面,通過(guò)發(fā)布/訂閱的被動(dòng)服務(wù)模式獲取所需數(shù)據(jù)、信息[12-13]。許盛偉等[14]通過(guò)多級(jí)緩存、多服務(wù)集群等技術(shù)建立了基于Java 2平臺(tái)企業(yè)版(J2EE)的分布式海量影像分發(fā)服務(wù)系統(tǒng)平臺(tái)。近年來(lái)研究人員開始將個(gè)性化推薦技術(shù)引入遙感領(lǐng)域。早期的遙感數(shù)據(jù)分發(fā)系統(tǒng)傾向于將個(gè)性化篩選接口提供給用戶,為不同類型的遙感影像標(biāo)記不同標(biāo)簽,并提供搜索和模糊查詢功能,讓用戶自行選擇感興趣的遙感數(shù)據(jù)并提供下載功能[15]。此類方法的使用門檻比較高,對(duì)于一些體量較小或技術(shù)儲(chǔ)備較低的用戶并不是很友好。之后隨著圖像推薦技術(shù)的發(fā)展,遙感領(lǐng)域開始按照用戶特征和歷史信息分析用戶感興趣圖像。Aryal等[16]根據(jù)地域和部門職能劃分用戶類別,將自然環(huán)境遙感影像實(shí)時(shí)分發(fā)給水利部門。Evert等[17]和Jin等[18]將實(shí)時(shí)天氣與農(nóng)作物長(zhǎng)勢(shì)影像根據(jù)地域和農(nóng)作物類型分發(fā)給農(nóng)場(chǎng)主,幫助制定施肥與除草策略。張帥民[19]在研究遙感數(shù)據(jù)存儲(chǔ)與收發(fā)時(shí),根據(jù)地域信息將遙感影像分發(fā)給不同區(qū)域的用戶。

綜上所述,當(dāng)前國(guó)內(nèi)外在遙感數(shù)據(jù)分發(fā)方面的技術(shù)研究正蓬勃發(fā)展,其結(jié)合實(shí)際應(yīng)用場(chǎng)景,逐步開始將用戶個(gè)性化偏好考慮在內(nèi)。相比于傳統(tǒng)的無(wú)差別訂閱分發(fā)模式,個(gè)性化推薦技術(shù)在數(shù)據(jù)傳輸方面節(jié)省了帶寬資源且提升了傳輸速率,對(duì)于用戶而言提高了有效信息獲取的便利性,對(duì)于遙感數(shù)據(jù)則提升了自身的使用價(jià)值與應(yīng)用范圍。相對(duì)于電商等成熟應(yīng)用領(lǐng)域而言,遙感影像推薦技術(shù)的研究水平雖然較以往有一定程度的提升,整體仍處于較低水平。本文采用知識(shí)圖譜、神經(jīng)網(wǎng)絡(luò)和協(xié)同過(guò)濾等先進(jìn)技術(shù),挖掘遙感用戶興趣偏好與遙感影像特征之間的關(guān)聯(lián)關(guān)系,實(shí)現(xiàn)滿足用戶個(gè)性化需求的智能、主動(dòng)遙感數(shù)據(jù)推薦服務(wù)。

2 研究方法

2.1 框架概述

遙感影像推薦任務(wù)的重點(diǎn)是對(duì)用戶和影像之間的關(guān)聯(lián)關(guān)系進(jìn)行建模,本文以語(yǔ)義信息為主、訂購(gòu)信息為輔設(shè)計(jì)了一套基于多特征融合神經(jīng)網(wǎng)絡(luò)的遙感影像推薦框架。該框架包括4個(gè)核心模塊,即影像語(yǔ)義信息提取與表征學(xué)習(xí)、用戶信息表征學(xué)習(xí)、基于協(xié)同過(guò)濾的多特征融合神經(jīng)網(wǎng)絡(luò)(Collaborative Filtering-based Multi-feature Fusion Neural Network,CMFNN)算法以及用戶和影像冷啟動(dòng)策略,如圖1所示。

圖1 CMFNN的遙感影像推薦框架Fig.1 Remote sensing image recommendation framework based on CMFNN

① 影像語(yǔ)義信息提取與表征學(xué)習(xí)

本部分主要完成了影像的語(yǔ)義信息抽取,并將語(yǔ)義信息表征為特征向量的形式。首先通過(guò)目標(biāo)檢測(cè)[20-21]、地物分類、圖像檢索和位置匹配等方法實(shí)現(xiàn)影像內(nèi)容信息提取,其中內(nèi)容信息包括內(nèi)容屬性(船舶、耕地等)以及每個(gè)內(nèi)容屬性對(duì)應(yīng)的量化結(jié)果(船舶數(shù)量、耕地面積占比等),并將每個(gè)內(nèi)容屬性的量化結(jié)果以特征向量的形式作為本模塊的一個(gè)輸出。同時(shí)從伴隨圖像一起獲得的RPC文件中獲取對(duì)推薦有用的元屬性信息(衛(wèi)星、分辨率和時(shí)間等)。將內(nèi)容屬性與元屬性相結(jié)合構(gòu)建遙感影像知識(shí)圖譜,通過(guò)嵌入表征學(xué)習(xí)的方式獲取影像屬性特征向量作為本模塊的另一個(gè)輸出。

② 用戶信息表征學(xué)習(xí)

本部分主要完成將用戶語(yǔ)義信息通過(guò)知識(shí)圖譜形式進(jìn)行組織,并將語(yǔ)義信息表征為特征向量的形式。本文分別建立了用戶職責(zé)知識(shí)圖譜以及用戶訂購(gòu)知識(shí)圖譜,分別對(duì)2個(gè)知識(shí)圖譜通過(guò)嵌入表征學(xué)習(xí)方法得到不相關(guān)的向量,確保用戶職責(zé)和用戶訂購(gòu)這2種不同概念可以在不同空間維度進(jìn)行表示。通過(guò)對(duì)用戶職責(zé)知識(shí)圖譜進(jìn)行嵌入表征學(xué)習(xí)可以得到用戶職責(zé)向量,通過(guò)對(duì)訂購(gòu)信息圖譜進(jìn)行嵌入表征學(xué)習(xí)可以得到用戶訂購(gòu)向量和影像訂單向量。

③ CMFNN算法

本文設(shè)計(jì)了一種CMFNN,將多個(gè)用戶和遙感影像特征向量組合作為神經(jīng)網(wǎng)絡(luò)的輸入。首先通過(guò)多輸入分離的特征提取網(wǎng)絡(luò)進(jìn)行進(jìn)一步特征提取,實(shí)現(xiàn)將各個(gè)不同空間的輸入向量嵌入到相同空間的目的。隨后設(shè)計(jì)了深層與淺層這2種融合方式相結(jié)合的融合網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)深層特征與淺層特征互補(bǔ)。最后采用決策層網(wǎng)絡(luò)來(lái)預(yù)測(cè)配對(duì)概率,判斷當(dāng)前輸入的用戶和影像是否可以推薦。

④ 用戶和影像冷啟動(dòng)策略

本文分別對(duì)新增用戶和新增影像時(shí)產(chǎn)生的冷啟動(dòng)問(wèn)題設(shè)計(jì)了不同的解決策略。當(dāng)新增用戶時(shí),由于用戶感興趣的主要影響因素是職責(zé),訂購(gòu)信息僅提供輔助作用,本文拋棄訂購(gòu)信息圖譜,僅依據(jù)用戶職責(zé)圖譜進(jìn)行推薦。當(dāng)新增影像時(shí),由于用戶對(duì)影像的興趣度可通過(guò)影像屬性和可量化屬性進(jìn)行刻畫,足夠支持推薦任務(wù),本文拋棄影像訂單圖譜,僅依據(jù)影像屬性圖譜和影像可量化屬性進(jìn)行推薦。

2.2 遙感影像語(yǔ)義體系設(shè)計(jì)與信息抽取

為了實(shí)現(xiàn)影像推薦任務(wù),首先需要獲取每景影像所攜帶的語(yǔ)義信息,研究影像中哪些內(nèi)容是用戶潛在的興趣點(diǎn)并可影響推薦結(jié)果。遙感影像所攜帶的信息主要存在于影像本身以及對(duì)應(yīng)的RPC等配置文件中。本文對(duì)這些信息進(jìn)行梳理研究,整理并設(shè)計(jì)了一套針對(duì)推薦任務(wù)的遙感影像語(yǔ)義體系。

用戶對(duì)一幅影像是否感興趣,首先需要確定影像的時(shí)間、分辨率等指標(biāo)是否滿足需求,然后判斷影像內(nèi)容是否包含感興趣的地物或者目標(biāo)。此外,影像中包含地物和目標(biāo)的占比一定程度上可影響用戶對(duì)該影像的感興趣程度。據(jù)此,本文將遙感影像所攜帶的信息歸納為元屬性、內(nèi)容屬性和可量化屬性,具體如表1所示。

表1 遙感影像數(shù)據(jù)屬性

由表1可以看出,元屬性存在于RPC等配置文件中。內(nèi)容屬性和可量化屬性存在于影像內(nèi)部,需通過(guò)目標(biāo)檢測(cè)、地物分類和經(jīng)緯度匹配等方法進(jìn)行抽取,實(shí)驗(yàn)過(guò)程中采用的是DeepLab、YOLO等神經(jīng)網(wǎng)絡(luò)。本文采用鍵值對(duì)的形式存儲(chǔ)元屬性和內(nèi)容屬性,采用固定長(zhǎng)度的特征向量存儲(chǔ)可量化屬性,其中向量每一位代表固定的一類地物或者目標(biāo),每一位數(shù)字代表其占比或者個(gè)數(shù)。

2.3 遙感用戶與影像的知識(shí)圖譜構(gòu)建

通過(guò)上述步驟可以獲得影像元屬性、內(nèi)容屬性和可量化屬性,其中可量化屬性以特征向量形式存儲(chǔ),可直接應(yīng)用于后續(xù)推薦算法中,而元屬性和內(nèi)容屬性仍以文字形式存儲(chǔ),無(wú)法直接作為推薦算法的輸入。本節(jié)主要目的是將影像的元屬性、內(nèi)容屬性以及用戶職責(zé)屬性和訂購(gòu)信息采用知識(shí)圖譜的方式進(jìn)行組織,之后通過(guò)嵌入表示學(xué)習(xí)的方式將知識(shí)圖譜轉(zhuǎn)化為特征向量,為后續(xù)推薦算法提供標(biāo)準(zhǔn)化輸入。

本文設(shè)計(jì)的遙感領(lǐng)域知識(shí)圖譜使用三元組(h,r,t)表示,每個(gè)三元組包括一個(gè)頭實(shí)體h、一個(gè)尾實(shí)體t、從h到t的關(guān)系r。三元組(h,r,t)的語(yǔ)義是h與t具有(定向)關(guān)系r。為構(gòu)建遙感領(lǐng)域知識(shí)圖譜,首先將數(shù)據(jù)集中的信息進(jìn)行預(yù)處理,將所有用戶職責(zé)屬性、用戶訂購(gòu)屬性和影像屬性的名稱視為關(guān)系,所有用戶和影像及其屬性的值視為實(shí)體。然后,將上述信息以三元組的形式表示,并分別構(gòu)造用戶職責(zé)圖譜、訂購(gòu)信息圖譜和影像屬性圖譜共3個(gè)知識(shí)圖譜,其中影像屬性圖譜中包括元屬性以及內(nèi)容屬性。圖譜詳情如圖2所示?？梢钥闯鲇脩袈氊?zé)圖譜中存在的實(shí)體主要包括:用戶名稱、主要業(yè)務(wù)、管轄區(qū)域和關(guān)注對(duì)象等。訂購(gòu)信息圖譜中存在的實(shí)體主要包括:用戶名稱、圖像名稱和所屬衛(wèi)星等。影像屬性圖譜中存在的實(shí)體主要包括:圖像名稱、圖像類型、空間分辨率、幅寬、拍攝衛(wèi)星、行政區(qū)域、云量和主要地物等。

圖2 用戶職責(zé)圖譜、訂購(gòu)信息圖譜和影像屬性圖譜示意Fig.2 Diagram of user-duty graph, order-information graph and image-attribute graph

2.4 基于知識(shí)圖譜表征學(xué)習(xí)的遙感影像與用戶特征向量化

2.3節(jié)將用戶和影像的各個(gè)屬性以知識(shí)圖譜的方式表示出來(lái),然而知識(shí)圖譜中信息以文本實(shí)體形式存儲(chǔ),無(wú)法直接用于推薦算法,因此需要通過(guò)表示學(xué)習(xí)的方法,提取圖譜中各個(gè)影像和用戶節(jié)點(diǎn)的特征向量作為推薦算法的標(biāo)準(zhǔn)化輸入。目前較為主流的表示學(xué)習(xí)方法是使用網(wǎng)絡(luò)嵌入方法通過(guò)考慮節(jié)點(diǎn)和關(guān)系的異質(zhì)性來(lái)提取圖譜的結(jié)構(gòu)表示特征向量。本文采用TransR進(jìn)行遙感用戶職責(zé)圖譜、訂購(gòu)信息圖譜和影像屬性圖譜的知識(shí)表示,把關(guān)系向量映射到不同的空間,可以確保主要業(yè)務(wù)、管轄區(qū)域、關(guān)注對(duì)象和常用衛(wèi)星等處于不同語(yǔ)義角度的關(guān)系處于不同平面,能夠更好地逼近真實(shí)情況,同時(shí)捕獲知識(shí)圖譜之間的非線性關(guān)系,如圖3所示。每個(gè)形狀代表三元組中關(guān)系r對(duì)應(yīng)的一個(gè)實(shí)體對(duì)。Mrh和Mrt是h和t的映射矩陣。hri和tri是投影向量,投影向量滿足hri+r≈tri。

圖3 含用戶、影像及其屬性的TransR模型描述Fig.3 TransR model including users, images and their attributes

為了更直觀地描述TransR在遙感領(lǐng)域知識(shí)圖譜中表征學(xué)習(xí)的效果,本文分別列舉了用戶職責(zé)圖譜和影像屬性圖譜的例子來(lái)描述表征效果,如圖4所示。每個(gè)圖標(biāo)代表一個(gè)實(shí)體或一個(gè)概念,邊代表它們之間的關(guān)系。

(a)用戶職責(zé)知識(shí)圖譜

TransR可以將每個(gè)用戶以及每個(gè)影像投射到統(tǒng)一矢量空間中的低維矢量中,該矢量是對(duì)用戶職責(zé)相關(guān)以及影像屬性相關(guān)的所有描述信息進(jìn)行了編碼,因此如果2個(gè)用戶或者影像在圖譜中關(guān)聯(lián)的內(nèi)容相似,那么在向量空間中也應(yīng)該較為近似。在圖4(a)中,用戶B和用戶D的職責(zé)都是火災(zāi)監(jiān)測(cè),并且關(guān)注區(qū)域都是河北省,屬于最為接近的用戶,因此用戶B和用戶D的嵌入向量應(yīng)該是最接近的。在圖4(b)中,影像E和影像F中包含的主要目標(biāo)都有故宮,并且衛(wèi)星來(lái)源都是衛(wèi)星C,因此影像E和影像F的嵌入向量應(yīng)該較為接近。雖然影像F和影像D的衛(wèi)星來(lái)源都是衛(wèi)星C,但是影像D包含的主要目標(biāo)是港口,因此影像D相比影像E與影像F的相似度要小。除此之外,間接相似的影像的嵌入向量也近似。影像A和影像B的范圍都是河北省,影像A的衛(wèi)星來(lái)源是衛(wèi)星A,影像B的衛(wèi)星來(lái)源是衛(wèi)星B。由于衛(wèi)星A和衛(wèi)星B的類型和分辨率完全一致,因此影像A和影像B的嵌入向量也應(yīng)該近似。

2.5 CMFNN

通過(guò)上述步驟可將用戶職責(zé)信息、訂購(gòu)信息和影像屬性信息轉(zhuǎn)化為特征向量,同時(shí)結(jié)合遙感影像量化特征向量組成輸入向量集合。由于各個(gè)特征向量表征不同概念內(nèi)容,因此特征向量所屬空間也各不相同,無(wú)法直接用于匹配推薦。為解決上述問(wèn)題,本文設(shè)計(jì)了一種CMFNN模型,借助神經(jīng)網(wǎng)絡(luò)的高維度空間建模能力實(shí)現(xiàn)多維度輸入的有效融合,將處于不同空間的特征向量嵌入到統(tǒng)一的向量空間中,達(dá)到較好的配對(duì)推薦效果。多特征向量的提取過(guò)程和融合過(guò)程如圖5所示。

圖5 多特征向量的提取和融合過(guò)程Fig.5 The extraction and fusion process of multi-feature vectors

如圖6所示,CMFNN模型的輸入是利用知識(shí)圖譜表示學(xué)習(xí)方法得到的用戶職責(zé)嵌入向量、用戶訂購(gòu)嵌入向量、影像屬性嵌入向量、影像訂單嵌入向量以及通過(guò)圖像內(nèi)容解譯獲得的包含影像量化信息的向量。然后,使用深度神經(jīng)網(wǎng)絡(luò)將上述向量映射到同一低維空間中,得到用戶職責(zé)特征、用戶訂購(gòu)特征、影像屬性特征、影像訂單特征與可量化特征,其中使用的激活函數(shù)為線性整流函數(shù)(ReLU)。接下來(lái),采用2種多特征融合方法來(lái)建模復(fù)雜的用戶-影像交互關(guān)系。一方面,引入門機(jī)制,將用戶職責(zé)特征與訂購(gòu)特征融合為用戶特征,將遙感影像屬性特征、訂單特征與可量化特征融合為影像特征,之后再通過(guò)元素積操作進(jìn)行用戶層面與影像層面的特征融合,得到基于協(xié)同過(guò)濾的多層次淺層融合預(yù)測(cè)向量;另一方面,拼接用戶與影像的所有特征表示生成統(tǒng)一向量,并使用多層深度網(wǎng)絡(luò)訓(xùn)練,得到基于協(xié)同過(guò)濾的多特征深層融合預(yù)測(cè)向量。最后,將2個(gè)學(xué)習(xí)了用戶-影像匹配信息的預(yù)測(cè)向量進(jìn)行拼接,實(shí)現(xiàn)多特征淺層線性關(guān)系與深度非線性表征能力的互補(bǔ),并根據(jù)匹配函數(shù)計(jì)算用戶訂購(gòu)該影像的概率。接下來(lái)將詳細(xì)介紹各部分。

圖6 CMFNN模型框架Fig.6 The framework of CMFNN model

2.5.1 多屬性信息特征表示

對(duì)于用戶u和遙感影像i,本文通過(guò)知識(shí)圖譜表示學(xué)習(xí)獲得了包含圖譜語(yǔ)義信息的特征表示,即用戶職責(zé)特征ure、用戶訂購(gòu)特征uoe、影像屬性特征iae和影像訂單特征ioe,并且通過(guò)圖像信息抽取獲得了影像可量化屬性向量ige。值得注意的是,上述向量的維度不一定是相同的。為了將多特征嵌入信息應(yīng)用于協(xié)同過(guò)濾,模型應(yīng)該將獲得的向量映射到同一空間中。為此,本文采用了深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)更豐富的潛在特征。

以用戶職責(zé)特征ure為例,其潛在特征表示ur的表示學(xué)習(xí)部分可以定義為:

(1)

(2)

?

(3)

式中:WurX和burX分別表示第X層神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣和偏差向量,f(·)表示激活函數(shù),本文中使用的是ReLU函數(shù)。用戶訂購(gòu)潛在特征uo、影像屬性潛在特征ia、影像可量化屬性潛在特征ig和影像訂單潛在特征io的計(jì)算方式同理。

2.5.2 多層次淺層融合

在本文的遙感影像推薦任務(wù)中,用戶具有職責(zé)潛在特征ur與訂購(gòu)潛在特征uo,遙感影像具有屬性潛在特征ia、可量化屬性潛在特征ig與影像訂單潛在特征io?？紤]分別融合不同對(duì)象的多項(xiàng)屬性信息,形成用戶融合特征與影像融合特征,這可以視為協(xié)同過(guò)濾中用戶和項(xiàng)目的潛在因子。具體而言,對(duì)于用戶融合特征um,本文引入門機(jī)制來(lái)融合職責(zé)特征ur與訂購(gòu)特征uo,以便平衡ur與uo的重要性:

[αu,βu]=softmax(Wr·ur+Wuo·uo),

(4)

um=αu·ur+βu·uo,

(5)

式中:Wr、Wuo表示權(quán)重矩陣,αu+βu=1。

同理,對(duì)于影像融合特征im,使用門機(jī)制來(lái)融合屬性特征ia、可量化屬性特征ig與影像訂單特征io,以便平衡ia、ig與io的重要性:

[αi,βi,λi]=softmax(Wa·ia+Wg·ig+Wio·io),

(6)

im=αi·ia+βi·ig+λi·io,

(7)

式中:Wa、Wio表示權(quán)重矩陣,αi+βi+λi=1。

之后,可以對(duì)用戶融合特征um和影像融合特征im做進(jìn)一步融合,挖掘用戶-影像交互的線性相關(guān)性。融合函數(shù)定義為:

pui=um⊙im,

(8)

式中:⊙表示元素積操作,pui為基于協(xié)同過(guò)濾的多層次淺層融合預(yù)測(cè)向量。至此實(shí)現(xiàn)了用戶和影像的所有特征在用戶/影像與用戶-影像這2個(gè)層面的淺層融合操作。

2.5.3 多特征深層融合

為了進(jìn)一步挖掘多屬性特征融合的深層關(guān)系,建模深層網(wǎng)絡(luò)作用下的協(xié)同過(guò)濾,本文將ur、uo、ia、ig和io融合在一起,并將其輸入到深度神經(jīng)網(wǎng)絡(luò)中。這里采用的融合策略是拼接用戶和影像的所有特征形成一個(gè)聯(lián)合表示,即:

q0=[ur,uo,ia,ig,io]。

(9)

將其作為深度神經(jīng)網(wǎng)絡(luò)的輸入,擴(kuò)展模型的非線性和靈活性,以便從多屬性特征信息中學(xué)習(xí)出用戶與影像匹配的抽象規(guī)律。因此,多特征融合的深層訓(xùn)練部分定義如下:

(10)

(11)

?

(12)

式中:WX和bX分別表示第X層神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣和偏差向量,f(·)表示ReLU激活函數(shù),qui表示基于協(xié)同過(guò)濾的多特征深層融合預(yù)測(cè)向量。本節(jié)對(duì)融合所有用戶和影像特征生成的表示進(jìn)行多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練,實(shí)現(xiàn)了多屬性的深層融合操作,能夠更靈活地挖掘用戶和影像所有特征間的復(fù)雜關(guān)聯(lián)。

2.5.4 預(yù)測(cè)向量

綜上所述,基于協(xié)同過(guò)濾的多層次淺層融合實(shí)現(xiàn)了用戶/影像與用戶-影像交互這2個(gè)層面的淺層融合,可以學(xué)習(xí)用戶與影像之間的低階關(guān)系,但是元素積的表達(dá)能力有限。而基于協(xié)同過(guò)濾的多特征深層融合實(shí)現(xiàn)了用戶、影像所有特征間的深層融合,可以靈活且非線性地學(xué)習(xí)用戶與影像所有特征間的復(fù)雜聯(lián)系,表達(dá)能力強(qiáng),但是在獲取用戶-影像低階關(guān)系時(shí)有所不足。2種方法有著不同的優(yōu)缺點(diǎn),且從不同的角度來(lái)融合多特征信息,所以希望能夠整合這2種方法,實(shí)現(xiàn)功能的互補(bǔ)。為此,拼接上述2種融合預(yù)測(cè)向量,得到用戶與項(xiàng)目匹配規(guī)律的一個(gè)更強(qiáng)大且更具表現(xiàn)力的聯(lián)合表示。然后,該聯(lián)合表示會(huì)被傳入全連接層,使得包含在聯(lián)合表示中的每個(gè)特征均被分配不同的權(quán)重。另外,后續(xù)的sigmoid層使模型能夠計(jì)算出用戶與該影像匹配的概率。給定基于協(xié)同過(guò)濾的多層次淺層融合預(yù)測(cè)向量pui與基于協(xié)同過(guò)濾的多屬性深層融合預(yù)測(cè)向量qui, CMFNN的輸出,即用戶u訂購(gòu)影像i的概率可以定義為:

(13)

式中:Wout為權(quán)重矩陣,σ(·)為激活函數(shù)。

2.5.5 目標(biāo)函數(shù)

(14)

2.6 針對(duì)冷啟動(dòng)的不同推薦策略

當(dāng)為新用戶推薦影像或?qū)⑿掠跋裢扑]給用戶時(shí),推薦系統(tǒng)中沒有新用戶或新影像的訂購(gòu)歷史,稱為冷啟動(dòng)問(wèn)題。冷啟動(dòng)問(wèn)題可以劃分為用戶冷啟動(dòng)和項(xiàng)目冷啟動(dòng),此時(shí)CMFNN模型并不完全適用,為此本文提出了模型的2種變體。

① 用戶冷啟動(dòng)

當(dāng)為新用戶推薦影像時(shí),多屬性信息中缺少用戶的訂購(gòu)歷史。此時(shí)新用戶冷啟動(dòng)推薦模型的輸入包括用戶職責(zé)特征ure、影像屬性特征iae、影像訂單特征ioe與影像可量化屬性特征向量ige。分別計(jì)算各特征向量對(duì)應(yīng)的特征表示。在多層次淺層融合模塊中,影像融合特征的計(jì)算方式不變,而對(duì)于用戶,可以把此時(shí)僅有的職責(zé)特征視為用戶融合特征,預(yù)測(cè)向量pui的計(jì)算方式不變。在多屬性深層融合模塊中,拼接用戶與影像的4項(xiàng)特征,進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練,得到預(yù)測(cè)向量qui。后續(xù)的計(jì)算過(guò)程與原本的CMFNN模型相同。具體網(wǎng)絡(luò)設(shè)計(jì)如圖7所示。

圖7 用戶冷啟動(dòng)時(shí)的推薦模型Fig.7 Recommendation model for user cold start

3 影像冷啟動(dòng)

當(dāng)希望將新影像推薦給用戶時(shí),多屬性信息中缺少影像的被訂購(gòu)歷史。此時(shí)新用戶冷啟動(dòng)推薦模型的輸入包括用戶職責(zé)特征ure、用戶訂購(gòu)特征uoe、影像屬性特征iae與影像可量化屬性特征向量ige。分別計(jì)算各特征向量對(duì)應(yīng)的特征表示。在多層次淺層融合模塊中,用戶融合特征的計(jì)算方式不變,而對(duì)于影像,融合屬性特征與可量化屬性特征作為影像融合特征,預(yù)測(cè)向量pui的計(jì)算方式不變。在多屬性深層融合模塊中,拼接用戶與影像的4項(xiàng)特征,進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練,得到預(yù)測(cè)向量qui。后續(xù)的計(jì)算過(guò)程與原本的CMFNN模型相同。具體網(wǎng)絡(luò)設(shè)計(jì)如圖8所示。

圖8 影像冷啟動(dòng)時(shí)的推薦模型Fig.8 Recommendation model for image cold start

4 實(shí)驗(yàn)與評(píng)估

4.1 數(shù)據(jù)集描述

鑒于目前并沒有面向遙感影像應(yīng)用領(lǐng)域的開源數(shù)據(jù)集,本文以業(yè)務(wù)系統(tǒng)中存儲(chǔ)的9 516幅遙感影像的記錄以及2019年6月—2020年5月的2 578條用戶訂單數(shù)據(jù)為基礎(chǔ),結(jié)合衛(wèi)星詳細(xì)參數(shù)以及有關(guān)專家知識(shí),構(gòu)建了遙感影像知識(shí)圖譜、用戶職責(zé)知識(shí)圖譜和訂購(gòu)信息圖譜,下面對(duì)其進(jìn)行簡(jiǎn)要介紹。

4.1.1 遙感影像知識(shí)圖譜

業(yè)務(wù)系統(tǒng)中的9 516幅遙感影像主要由高分系列、環(huán)境系列和資源系列等衛(wèi)星得到,此外還有少量其他衛(wèi)星拍攝的影像,具體統(tǒng)計(jì)信息如表2所示。

表2 遙感影像來(lái)源統(tǒng)計(jì)

每條影像的記錄包含拍攝衛(wèi)星、拍攝傳感器、拍攝位置、拍攝時(shí)間、圖像類型、空間分辨率、幅寬、云量、建筑占比、林地占比、水體占比、裸地占比、草地占比和耕地占比等指標(biāo)信息,同時(shí)還包含拍攝區(qū)域、主要地物和分辨率等級(jí)等語(yǔ)義信息?；谏鲜鲂畔?gòu)建本體層,具體如表3所示。基于本體層實(shí)現(xiàn)對(duì)一幅遙感影像的標(biāo)準(zhǔn)化描述,在此基礎(chǔ)上構(gòu)建遙感影像知識(shí)圖譜。圖譜中共包含9 564個(gè)實(shí)體和21種關(guān)系/屬性。

表3 影像本體層

4.1.2 用戶職責(zé)知識(shí)圖譜

用戶職責(zé)知識(shí)圖譜的構(gòu)建主要通過(guò)專家知識(shí)和內(nèi)部文檔。圖譜中每個(gè)用戶有2個(gè)屬性:關(guān)注區(qū)域和關(guān)注業(yè)務(wù),同時(shí)每一種類型的業(yè)務(wù)對(duì)應(yīng)一種關(guān)注的地物類型。對(duì)上述關(guān)系構(gòu)建本體層如表4所示,構(gòu)建得到的知識(shí)圖譜中共包含39個(gè)實(shí)體和4種關(guān)系。

表4 職責(zé)關(guān)系本體層

4.1.3 訂購(gòu)信息知識(shí)圖譜

業(yè)務(wù)系統(tǒng)自2019年6月—2020年5月共包含2 578條有效訂購(gòu)記錄,每一條訂購(gòu)記錄中包含用戶名稱、訂購(gòu)影像和訂購(gòu)時(shí)間等信息。以此為基礎(chǔ)構(gòu)建的圖譜結(jié)構(gòu)較為簡(jiǎn)單,主要為(用戶名稱-訂購(gòu)-影像編號(hào))三元組。圖譜中共包含1 053個(gè)實(shí)體和1種關(guān)系。

4.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)運(yùn)行的硬件平臺(tái)為64位Windows 7操作系統(tǒng),其中隨機(jī)存取存儲(chǔ)器(RAM)為128 GB,硬盤驅(qū)動(dòng)器1 TB,CPU環(huán)境為Intel?Xeon?CPU E5-2620 v4 @ 2.10 GHz,圖形處理器(GPU)環(huán)境為英偉達(dá)P6000。算法基于Python語(yǔ)言,搭載TensorFlow框架實(shí)現(xiàn)。本文采用精確率(Precision),召回率(Recall)、F1值(F1-score)和歸一化折損累計(jì)增益(NDCG)作為評(píng)價(jià)指標(biāo)。

4.3 實(shí)驗(yàn)結(jié)果與討論

4.3.1 推薦方法結(jié)果比較

為了充分驗(yàn)證CMFNN模型在遙感影像推薦任務(wù)中的效果,本文對(duì)不同TopK下的多個(gè)指標(biāo)進(jìn)行計(jì)算與分析,結(jié)果見表5。

表5 不同TopK下的推薦結(jié)果

為了驗(yàn)證本方法的優(yōu)越性,在固定選擇Top10前提下,將本方法與其他方法在不同指標(biāo)下進(jìn)行對(duì)比分別,具體結(jié)果如表6所示。需要說(shuō)明的是,本文應(yīng)用領(lǐng)域?qū)儆谶b感與推薦的交叉領(lǐng)域,缺少一些基準(zhǔn)方法進(jìn)行對(duì)比,因此本文采用最具有普適性的基于項(xiàng)目的協(xié)同過(guò)濾(Item-CF)和基于用戶的協(xié)同過(guò)濾(User-CF)作為基準(zhǔn)方法進(jìn)行比較。由表6可以看出,本文提出的方法在各個(gè)指標(biāo)上均優(yōu)于Item-CF和User-CF,說(shuō)明CMFNN具有較好的融合能力以及推薦匹配能力。

表6 不同算法結(jié)果比較

4.3.2 輸入影響探究

考慮到本文提出方法綜合考慮多種屬性作為輸入,通過(guò)信息融合方式實(shí)現(xiàn)遙感影像推薦。因此在實(shí)驗(yàn)設(shè)計(jì)部分,考慮將不同輸入內(nèi)容作為變量進(jìn)行實(shí)驗(yàn)對(duì)比來(lái)確定不同輸入對(duì)推薦任務(wù)的影響,具體如表7所示。

表7 不同輸入下結(jié)果比較

通過(guò)將表7中不同實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比,可以得到以下結(jié)果:

① 從上表(g)可以看出,當(dāng)輸入所有數(shù)據(jù)時(shí)獲得了最好的推薦結(jié)果,這說(shuō)明所有的輸入對(duì)推薦任務(wù)都發(fā)揮了一定的作用;

② 通過(guò)將(a)、(b)、(c)與(d)、(e)、(f)的推薦結(jié)果進(jìn)行對(duì)比可以看出,當(dāng)用戶職責(zé)作為輸入時(shí)的推薦結(jié)果大幅度優(yōu)于用戶訂購(gòu)信息作為輸入時(shí)的推薦結(jié)果,表明用戶職責(zé)比用戶訂購(gòu)信息在推薦任務(wù)中發(fā)揮了更好作用;

③ 通過(guò)將(a)與(b)的推薦結(jié)果進(jìn)行對(duì)比可以看出,影像屬性相比影像可量化屬性在推薦任務(wù)中發(fā)揮了更重要作用;

④ 通過(guò)將(b)與(g)的推薦結(jié)果進(jìn)行對(duì)比可以看出,當(dāng)輸入僅包含用戶職責(zé)以及影像屬性時(shí),推薦精度與所有輸入的精度接近,說(shuō)明用戶職責(zé)以及影像屬性分別在用戶和影像建模中起到了大部分作用。

5 結(jié)束語(yǔ)

本文針對(duì)傳統(tǒng)基于人工查詢和訂購(gòu)的遙感數(shù)據(jù)低效分發(fā)模式,在行業(yè)內(nèi)首次提出了一種基于多特征融合神經(jīng)網(wǎng)絡(luò)的遙感影像推薦方法。該方法綜合考慮了用戶職責(zé)、影像元屬性及內(nèi)容信息和訂購(gòu)記錄等多維特征,準(zhǔn)確把握遙感用戶的需求與遙感影像的特點(diǎn),提出了CMFNN,通過(guò)淺層和深層2種融合模式挖掘用戶與遙感影像之間的關(guān)聯(lián)關(guān)系,實(shí)現(xiàn)遙感影像的個(gè)性化、智能化、精準(zhǔn)化推薦。實(shí)驗(yàn)結(jié)果表明,本文提出方法可以有效解決遙感影像的個(gè)性化精準(zhǔn)推薦問(wèn)題。此外,本文還設(shè)計(jì)了不同的模型調(diào)整策略來(lái)解決用戶冷啟動(dòng)與影像冷啟動(dòng)的問(wèn)題。由于測(cè)試數(shù)據(jù)不足,本文無(wú)法有效驗(yàn)證實(shí)際效果,在后續(xù)工作中將進(jìn)一步深入開展冷啟動(dòng)問(wèn)題的相關(guān)研究。