徐故成，崔賓閣，2

(1.山東科技大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266590;2.國家海洋局第一海洋研究所，山東 青島 266061)

1 概述

隨著Internet 的發(fā)展和遙感技術(shù)的成熟，遙感圖像的數(shù)據(jù)來源越來越多，數(shù)據(jù)量急劇增長，呈現(xiàn)出海量和分布存儲的特征［1］，這對傳統(tǒng)的遙感圖像檢索系統(tǒng)的查詢效率帶來嚴峻的挑戰(zhàn)。分頁是實現(xiàn)數(shù)據(jù)快速檢索的手段之一，目前已被廣泛應(yīng)用在遙感數(shù)據(jù)檢索系統(tǒng)中，如中國科學(xué)院對地觀測與數(shù)字地球科學(xué)中心的存檔衛(wèi)星遙感數(shù)據(jù)目錄服務(wù)系統(tǒng)、北京大學(xué)的遙感圖像Web 發(fā)布系統(tǒng)等［2-3］。傳統(tǒng)的分頁方法包括用戶界面分頁方法和數(shù)據(jù)源分頁方法。用戶界面分頁方法的核心思想是從數(shù)據(jù)庫中提取所有滿足條件的查詢結(jié)果，在Web 服務(wù)器上對整個查詢結(jié)果集執(zhí)行分頁操作以截取請求頁;數(shù)據(jù)源分頁方法的核心思想是在數(shù)據(jù)庫服務(wù)器上實現(xiàn)截取請求頁的分頁操作，在Web 服務(wù)器上無需做分頁操作［4］。

用戶界面分頁方法編程實現(xiàn)簡單。由于結(jié)果集需要加載到Web 服務(wù)器內(nèi)存中，在數(shù)據(jù)規(guī)模較小時對系統(tǒng)性能沒有較大影響，在數(shù)據(jù)規(guī)模較大時將對Web 服務(wù)器和數(shù)據(jù)庫服務(wù)器造成較大負擔(dān)。數(shù)據(jù)源分頁方法的分頁操作是在數(shù)據(jù)庫服務(wù)器上實現(xiàn)。數(shù)據(jù)庫服務(wù)器和Web 服務(wù)器之間傳輸?shù)臄?shù)據(jù)量只是請求頁的數(shù)據(jù)量，而一頁顯示的數(shù)據(jù)量通常只有幾十條，有效降低了傳輸?shù)臄?shù)據(jù)量和Web 服務(wù)器的負擔(dān)，一般由存儲過程實現(xiàn)。存儲過程保存在數(shù)據(jù)庫服務(wù)器上［5-6］，優(yōu)點是查詢速度快，但是只能對一個數(shù)據(jù)庫中的數(shù)據(jù)進行分頁操作。綜上，用戶界面分頁方法受數(shù)據(jù)規(guī)模影響較大，而數(shù)據(jù)源分頁方法通常只能查詢單個數(shù)據(jù)源。

用戶界面分頁方法和數(shù)據(jù)源分頁方法都難以實現(xiàn)對多個數(shù)據(jù)源的分頁查詢。當(dāng)前的多數(shù)據(jù)源查詢方法基本思想是利用網(wǎng)格等分布式計算技術(shù)將多個物理數(shù)據(jù)源整合為單個虛擬數(shù)據(jù)源，如俄亥俄州立大學(xué)的GRIDDB-Lite 中間件項目［7-8］、國防科技大學(xué)的數(shù)據(jù)網(wǎng)格系統(tǒng)GridDaen［9-10］等。上述工作雖然實現(xiàn)了分布式環(huán)境下大數(shù)據(jù)集的查詢，但是沒有研究分頁查詢的優(yōu)化策略，存在查詢速度慢、響應(yīng)時間長的問題。為此，本文研究了多源海量遙感數(shù)據(jù)環(huán)境下分頁查詢的物理優(yōu)化策略，其基本思想是減少分布式環(huán)境下各個數(shù)據(jù)源需要查詢的數(shù)據(jù)量和通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，降低中間查詢結(jié)果的處理時間和傳輸時間，從而提高遙感數(shù)據(jù)的查詢效率。

2 多源遙感數(shù)據(jù)分布式查詢模型

2.1 查詢模型總體設(shè)計

多源海量遙感數(shù)據(jù)分布式查詢模型由客戶端、Web服務(wù)器、智能Agent 和數(shù)據(jù)源4 個模塊組成，每個模塊主要功能以及模塊之間的交互關(guān)系如圖1 所示。

圖1 多源海量遙感數(shù)據(jù)分布式查詢模型

(1)客戶端

客戶端是用戶和查詢系統(tǒng)交互的可視化接口，一般是瀏覽器，主要實現(xiàn)用戶查詢條件的輸入和查詢結(jié)果的顯示。用戶根據(jù)自己的需要選擇不同的查詢條件。

(2)Web 服務(wù)器

Web 服務(wù)器是Web 應(yīng)用程序運行的容器。一方面通過HTTP 協(xié)議和客戶端完成消息的交互，另一方面向智能Agent 發(fā)送SOAP 消息調(diào)用Web 服務(wù)，實現(xiàn)遙感數(shù)據(jù)查詢。Web 服務(wù)器主要包含了查詢條件組合、查詢條件編碼和頁面內(nèi)容解析等功能。

Web 服務(wù)器將用戶在客戶端中輸入的所有查詢條件進行編碼組合，然后封裝在SOAP 消息中發(fā)送給智能Agent。查詢結(jié)果返回時，Web 服務(wù)器解析查詢頁面的內(nèi)容，然后發(fā)送到客戶端。

(3)智能Agent

智能Agent［11］是具有一定智能性的計算機程序。它能夠代表人們在動態(tài)變化的環(huán)境中進行交互操作。在本文中，智能Agent 是整個查詢系統(tǒng)的核心，它接收Web 服務(wù)器的查詢請求，訪問注冊的所有數(shù)據(jù)源，獲取滿足條件的遙感數(shù)據(jù)。

(4)數(shù)據(jù)源

數(shù)據(jù)源是遙感數(shù)據(jù)的存儲中心，它提供用于訪問本地遙感數(shù)據(jù)的Web 服務(wù)接口。智能Agent 發(fā)送SOAP 消息調(diào)用這些Web 服務(wù)接口，實現(xiàn)多源遙感數(shù)據(jù)的分布式查詢［12-13］。

2.2 智能Agent 設(shè)計

智能Agent 由查詢預(yù)處理、查詢處理和查詢后處理3 個功能模塊構(gòu)成，如圖2 所示。查詢預(yù)處理模塊解析來自Web 服務(wù)器的頁面請求，查詢處理模塊訪問所有數(shù)據(jù)源獲取滿足條件的記錄集合，查詢后處理模塊負責(zé)記錄片段的合并。當(dāng)查詢頁面內(nèi)容分布在多個數(shù)據(jù)源中時，每個數(shù)據(jù)源中的相關(guān)記錄集合稱為子頁面。

圖2 智能Agent 執(zhí)行流程

(1)查詢預(yù)處理

查詢預(yù)處理模塊經(jīng)過參數(shù)解析和參數(shù)重組獲得用戶的查詢條件，Web 服務(wù)器以SOAP 消息的形式發(fā)送頁面請求，所有的查詢參數(shù)封裝在消息內(nèi)部，參數(shù)解析即對SOAP 消息的解析，獲得用戶的查詢參數(shù)。參數(shù)重組根據(jù)應(yīng)用需求重新組合各個參數(shù)，獲得與應(yīng)用相關(guān)的SQL 語句。

(2)查詢處理

查詢處理模塊是智能Agent 的核心功能模塊，處理過程分為查詢頁面定位、查詢條件重構(gòu)和子頁面查詢3 個階段。查詢頁面定位階段利用頁面轉(zhuǎn)換算法將查詢頁面劃分為多個子頁面。查詢條件重構(gòu)階段確定子頁面內(nèi)容所在數(shù)據(jù)源，重新構(gòu)建查詢條件，加入子頁面的位置信息。子頁面查詢階段將新的查詢條件分發(fā)給相關(guān)數(shù)據(jù)源，進行分布式查詢獲得子頁面內(nèi)容。

(3)查詢后處理

查詢后處理模塊負責(zé)對子頁面查詢結(jié)果的后續(xù)處理，分為子頁面合并和頁面內(nèi)容編碼2 個階段。子頁面合并階段將查詢處理階段獲得的所有子頁面合并，組合成完整的頁面。頁面內(nèi)容編碼階段將完整的頁面內(nèi)容封裝到SOAP 消息中，回送給Web 服務(wù)器，完成頁面響應(yīng)過程。

3 多源遙感數(shù)據(jù)分頁查詢策略優(yōu)化

由于用戶查詢的內(nèi)容可能分布在多個數(shù)據(jù)源中，因此需要將用戶查詢的頁面轉(zhuǎn)換為相關(guān)數(shù)據(jù)源的查詢頁面集合。頁面轉(zhuǎn)換過程需要輸入每個數(shù)據(jù)源中滿足查詢條件的記錄總數(shù)。智能Agent 通過調(diào)用每個數(shù)據(jù)源的查詢Web 服務(wù)接口，可以獲取這些統(tǒng)計信息。

本節(jié)首先定義頁面轉(zhuǎn)換的基本概念，然后介紹頁面劃分規(guī)則，最后給出頁面轉(zhuǎn)換算法的具體實現(xiàn)。

3.1 基本概念

其中，ti對應(yīng)單源查詢表SQ 的第i 個數(shù)據(jù)元素，i 稱為數(shù)據(jù)元素ti在單源查詢表SQ 中的位序;N 表示單源查詢表SQ 中的數(shù)據(jù)元素數(shù)目，由智能Agent 在查詢頁面定位階段獲得。

定義2(多源查詢表) 多個數(shù)據(jù)源中滿足查詢條件的所有記錄組成的有限序列，用線性表MQ 表示，線性表的數(shù)據(jù)元素來自于各個單源數(shù)據(jù)表SQ，表示為:

其中，SQj表示組成多源查詢表MQ 的第j 個單源查詢表;m 表示數(shù)據(jù)源個數(shù);Nj表示單源查詢表SQj中的元素數(shù)目;t'i表示多源查詢表MQ 中的第i 個元素。為了建立單源查詢表SQj與多源查詢表MQ 中數(shù)據(jù)元素的對應(yīng)關(guān)系，本文將單源查詢表SQj表示為:

其中，tjk表示單源查詢表SQj的第k 個元素。

已知每個單源查詢表中的數(shù)據(jù)元素數(shù)目N1，N2，…，Nm，定義tjk和t'i的位序映射關(guān)系如下:

混合并購：混合并購是指兩個經(jīng)營活動不相關(guān)的企業(yè)發(fā)生的并購，目的是為了開拓別的市場，分散企業(yè)的經(jīng)營風(fēng)險，從而達到提升企業(yè)競爭力的效果。

(1)位序正映射

(2)位序逆映射:

定義3(多源查詢表分頁) 保持多源查詢表MQ 中的各個數(shù)據(jù)元素的序偶關(guān)系不變，將多源查詢表MQ 劃分為若干個滿足下列3 個條件的非空子集LP1，LP2，…，LPl:

其中，稱子集LPi為多源查詢表MQ 的第i 個邏輯頁面;Card(S)表示有限集合的數(shù)據(jù)元素數(shù)目;pageSize表示邏輯頁面大小;l 表示邏輯頁面?zhèn)€數(shù)。

定義4(單源查詢表α -β 劃分) 以單源查詢表SQ 中的第α 條和第α +β 條記錄為分界點，保持單源查詢表中的數(shù)據(jù)元素序偶關(guān)系不變，將查詢表劃分為滿足下列3 個條件的子集PP1，PP2和PP3:

其中，稱子集PPi為單源查詢表SQ 的第i 個子頁面。

3.2 單源查詢表α-β 劃分規(guī)則

頁面轉(zhuǎn)換算法的基本思想是將邏輯頁面劃分為多個子頁面，每個子頁面來自于一個單源查詢表。根據(jù)定義2 中單源查詢表和多源查詢表的包含關(guān)系，以及查詢表中數(shù)據(jù)元素的序偶關(guān)系，可以確定邏輯頁面LPi與單源查詢表集合滿足下列3 種關(guān)系之一:

基于上述關(guān)系，本文定義了3 條單源查詢表的α-β劃分規(guī)則:

規(guī)則1 如果邏輯頁面包含在單個數(shù)據(jù)源中，即LPi?SQj，則單源查詢表SQj的αj為LPi第一條記錄和SQj第一條記錄在MQ 中的距離:

SQj的α-β 劃分示意圖如圖3 所示。

圖3 SQj的α-β 劃分示意圖

在這種情況下，用戶查詢的邏輯頁面LPi=PPj2。

規(guī)則2 如果邏輯頁面包含在2 個連續(xù)的數(shù)據(jù)源中，即LPi?SQj∪SQj+1，則單源查詢表SQj的αj為LPi第一條記錄和SQj第一條記錄在MQ 中的距離:

單源查詢表SQj+1的αj+1為LPi最后一條記錄和SQj最后一條記錄在MQ 中的距離:

SQj和SQj+1的α-β 劃分示意圖如圖4 所示。

圖4 SQj和SQj+1的α-β 劃分示意圖

在這種情況下，用戶查詢的邏輯頁面LPi=PPj2∪PP(j+1)1。

規(guī)則3 如果邏輯頁面包含在多個連續(xù)數(shù)據(jù)源中，即LPi?SQj∪SQj+1∪…∪SQj+k，則單源查詢表SQj的αj為LPi第一條記錄和SQj第一條記錄在MQ中的距離:

SQj和SQk之間的單源查詢表中的元素都是邏輯頁面的內(nèi)容，因此這些單源查詢表不需要做α -β劃分。

單源查詢表SQk的αk為LPi最后一條記錄和SQk-1最后一條記錄在MQ 中的距離:

SQj和SQk的α-β 劃分示意圖如圖5 所示。

圖5 SQj和SQk的α-β 劃分示意圖

在這種情況下，用戶查詢的邏輯頁面LPi=PPj2∪SQj+1∪…∪SQk-1∪PPk1。

根據(jù)上述3 種劃分規(guī)則可以確定構(gòu)成邏輯頁面的子頁面集合。智能Agent 將對每個單源查詢表做α-β 劃分，確定α 和β 參數(shù)，然后重構(gòu)每個數(shù)據(jù)源的查詢條件，最后調(diào)用每個數(shù)據(jù)源的Web 服務(wù)接口查詢獲得各個子頁面。在查詢后處理階段將所有子頁面合并為單個邏輯頁面，傳回客戶端。

3.3 頁面轉(zhuǎn)換算法實現(xiàn)

算法 頁面轉(zhuǎn)換算法

輸入 邏輯頁面頁碼num，邏輯頁面大小pageSize和智能Agent 查詢獲得的每個數(shù)據(jù)源中滿足條件的記錄數(shù)目N1，N2，…，Nm

輸出 子頁面集合SubPageSet

(1)計算邏輯頁面LPnum的第一條記錄和最后一條記錄在多源查詢表MQ 中的位序pageSize·(num-1)+1 和pageSize·num。

(2)計算每個單源查詢表SQj的第一條記錄和最后一條記錄在多源查詢表MQ 中的位序和

(3)根據(jù)定義2 描述的位序映射關(guān)系，以及邏輯頁面LPnum第一條記錄和最后一條記錄在多源查詢表MQ 中的位序，計算它們所在的單源查詢表SQj和單源查詢表SQk。

(4)如果k=j，則根據(jù)規(guī)則1 對單源查詢表SQj做α-β 劃分，SubPageSet=PPj2;如果k=j+1，則根據(jù)規(guī)則2 對單源查詢表SQj和SQj+1做α -β 劃分，SubPageSet=PPj2∪PP(j+1)1;如果k≥j+2，則根據(jù)規(guī)則3 對單源查詢表SQj和SQk做α -β 劃分，

(5)輸出邏輯頁面映射后的子頁面集合SubPageSet，算法結(jié)束。

在算法中，問題的規(guī)模(數(shù)據(jù)源個數(shù))為m。假設(shè)每一種數(shù)學(xué)運算執(zhí)行一次所需的時間均是單位時間，通過分析每個步驟的計算過程，得出算法的最大時間耗費T(m)=2+2m+2m+2m=6m+2，因此該算法的時間復(fù)雜度為O(m)。

4 實驗與分析

為了驗證本文的分頁查詢優(yōu)化策略在遙感數(shù)據(jù)分布和海量情形下的有效性，開發(fā)了一個海岸帶遙感數(shù)據(jù)共享系統(tǒng)。該系統(tǒng)由3 臺通過局域網(wǎng)互聯(lián)的計算機組成，每臺計算機的主頻為3.0 GHz，內(nèi)存為2.0 GB，操作系統(tǒng)為Windows XP。其中，2 臺計算機作為數(shù)據(jù)源，安裝了Tomcat 應(yīng)用服務(wù)器、JVM 和Microsoft SQL Server 2000，存儲了大約10 萬條遙感圖像元數(shù)據(jù)。每條元數(shù)據(jù)描述了一幅遙感圖像覆蓋的區(qū)域范圍、拍攝時間、衛(wèi)星名稱和傳感器類型等信息。所有遙感圖像都是從中國資源衛(wèi)星應(yīng)用中心的網(wǎng)站下載，包括環(huán)境衛(wèi)星(HJ-1A/B)遙感圖像和中巴資源衛(wèi)星(CBERS)遙感圖像等。另一臺計算機作為Web 服務(wù)器，安裝了Tomcat 應(yīng)用服務(wù)器、JVM 和IIS，部署了Agent 服務(wù)以及海岸帶遙感數(shù)據(jù)共享系統(tǒng)網(wǎng)站。

為了比較頁面轉(zhuǎn)換算法在各種查詢條件下的效率和穩(wěn)定性，本文設(shè)計了2 種不同類型的查詢條件，對應(yīng)于遙感圖像查詢時最常用的2 種查詢方式。第1 種查詢條件是查詢完全包含在某個區(qū)域范圍內(nèi)的遙感圖像，此時圖像的4 個頂點坐標都應(yīng)該包含在用戶劃定的區(qū)域范圍內(nèi)。第2 種查詢條件是查詢?nèi)炕虿糠职谀硞€區(qū)域范圍內(nèi)的遙感圖像，即只要遙感圖像一部分包含在用戶劃定的區(qū)域范圍內(nèi)，則該圖像滿足查詢條件。顯然第2 種查詢條件下滿足條件的記錄數(shù)量要多于第1 種查詢條件，但是由于查詢執(zhí)行過程復(fù)雜，查詢時間也更長。

本文針對這2 種不同的查詢條件做了2 組對比實驗。在每一組實驗中，固定圖像查詢的空間范圍，反復(fù)擴大查詢的時間范圍，測試傳統(tǒng)分頁查詢策略和本文的分頁查詢優(yōu)化策略的響應(yīng)時間，總共進行了11 次實驗。每次實驗中滿足查詢條件的記錄數(shù)目以及查詢的響應(yīng)時間如表1、圖6 和圖7 中所示。

表1 傳統(tǒng)分頁查詢策略與本文分頁查詢優(yōu)化策略對比實驗結(jié)果

圖6 圖像完全包含關(guān)系的查詢時間對比

圖7 圖像完全或部分包含關(guān)系的查詢時間對比

從表1、圖6 和圖7 中可以看出，隨著查詢結(jié)果數(shù)據(jù)量的增加，傳統(tǒng)分頁查詢策略與分頁查詢優(yōu)化策略的響應(yīng)時間呈現(xiàn)不同的變化趨勢:傳統(tǒng)查詢策略的響應(yīng)時間呈線性增長趨勢，而分頁查詢優(yōu)化策略的響應(yīng)時間總體上變化較平坦，即基本不受查詢結(jié)果數(shù)據(jù)量的影響。此外，第2 種查詢條件下得到的數(shù)據(jù)量是第一種查詢條件下的2 倍左右，這是由于它包含了與用戶劃定區(qū)域部分重疊的遙感圖像。這2 種查詢條件下傳統(tǒng)分頁查詢策略與分頁查詢優(yōu)化策略的響應(yīng)時間變化趨勢是完全一致的，證明了頁面轉(zhuǎn)換算法是高效的和穩(wěn)定的。

5 結(jié)束語

本文提出一種多源海量遙感數(shù)據(jù)快速查詢的方法，利用Web 服務(wù)和智能Agent 技術(shù)實現(xiàn)多數(shù)據(jù)源同時訪問，采用頁面轉(zhuǎn)換技術(shù)實現(xiàn)用戶查詢頁面的劃分和合并，以此降低服務(wù)器需要處理和傳輸?shù)倪b感數(shù)據(jù)量，加快遙感圖像的查詢速度。通過比較不同查詢條件下傳統(tǒng)分頁查詢策略和分頁查詢優(yōu)化策略的實驗結(jié)果，發(fā)現(xiàn)后者在多源海量情況下查詢速度更快，通常小于0.5 s，能夠滿足遙感數(shù)據(jù)快速查詢的要求。

［1］謝冰川，趙 亮，李莎莎.分布式海量遙感圖像編目檢索機制［J］.計算機工程，2010，36(20):281-285.

［2］存檔衛(wèi)星遙感數(shù)據(jù)目錄服務(wù)系統(tǒng)［EB/OL］.(2013-06-10).http://cs.rsgs.ac.cn/ cs_cn/cshome.asp.

［3］宋 爽.基于地理信息Web 服務(wù)的海量遙感圖像分布式處理與發(fā)布［D］.鄭州:解放軍信息工程大學(xué)，2007.

［4］陳 南.APS.NET 中大數(shù)據(jù)量分頁技術(shù)的研究與實現(xiàn)［J］.計算機應(yīng)用與軟件，2011，28(4):206-207.

［5］郭紹忠，甄 濤，賈 琦.基于存儲過程的海量郵件數(shù)據(jù)挖掘［J］.計算機工程，2010，36(1):40-43.

［6］黃龍軍.應(yīng)用存儲過程實現(xiàn)數(shù)據(jù)分頁［J］.計算機系統(tǒng)應(yīng)用，2012，21(12):186-189.

［7］石 柯，林海華，徐 彬.AnyQuery:網(wǎng)格環(huán)境下基于服務(wù)的分布式查詢處理系統(tǒng)［J］.小型微型計算機系統(tǒng)，2006，27(8):1432-1438.

［8］Narayanan S，Kurc T，Catalyurek U，et al.Database Support for Data-driven Scientific Applications in the Grid［J］.Parallel Processing Letters，2003，13(2):245-271.

［9］Xiao Nong，Li Dongsheng，F(xiàn)u Wei，et al.GridDaen:A Data Grid Engine［C］//Proc.of GCC'03.［S.1.］:IEEE Press，2003:519-528.

［10］Bader S A，Chaumette S.International Parallel and Distributed Processing Symposium［C］//Proc.of IPDPS'03.Washington D.C.，USA:IEEE Computer Society，2003:90-91.

［11］何瑞波，陳立云，連云峰，等.基于智能Agent 的模型自動選擇［J］.計算機系統(tǒng)應(yīng)用，2010，21(5):50-54.

［12］胡 堅，汪超亮，李子揚.基于REST Web Services 的分布式遙感數(shù)據(jù)檢索技術(shù)研究［J］.計算機工程與設(shè)計，2010，31(14):3207-3209.

［13］劉相娟.基于語義Web 的多Agent 移動應(yīng)用平臺研究［D］.齊齊哈爾:齊齊哈爾大學(xué)，2012.