陳　夢，孟　放

(中國傳媒大學(xué) 信息工程學(xué)院，北京100024)

?

面向互聯(lián)網(wǎng)資源共享的元數(shù)據(jù)收割系統(tǒng)研究

陳夢，孟放

(中國傳媒大學(xué) 信息工程學(xué)院，北京100024)

隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)資源的有效管理與共享成為亟待解決的問題。針對資源元數(shù)據(jù)進(jìn)行的收割操作可實現(xiàn)對音視頻等網(wǎng)絡(luò)資源的共享，提高資源利用率。首先介紹基于OAI-PMH協(xié)議的元數(shù)據(jù)收割流程及其應(yīng)用現(xiàn)狀，之后設(shè)計并實現(xiàn)了一個用于網(wǎng)絡(luò)資源元數(shù)據(jù)收割的簡單示例系統(tǒng)。該系統(tǒng)在MySQL5.6和VC環(huán)境下開發(fā)，簡單實用，在一般配置計算機(jī)之間即可實現(xiàn)元數(shù)據(jù)收割功能，對該系統(tǒng)的測試，可驗證各項基本功能實現(xiàn)有效。并且通過此示例系統(tǒng)的運行可看出，基于OAI-PMH協(xié)議的元數(shù)據(jù)收割系統(tǒng)可作為互聯(lián)網(wǎng)資源共享與管理的有效途徑之一。

網(wǎng)絡(luò)資源共享；OAI-PMH；元數(shù)據(jù)收割

隨著計算機(jī)與網(wǎng)絡(luò)的迅速發(fā)展，人們的生活已經(jīng)進(jìn)入了互聯(lián)網(wǎng)時代。從傳統(tǒng)途徑獲取的資源已經(jīng)無法滿足人們工作生活的需求，越來越多的人開始在網(wǎng)上搜索、傳播資源。因此，隨著網(wǎng)絡(luò)上的資源數(shù)量呈幾何級數(shù)增長，海量資源的有效管理、共享與簡潔高效的展示成為人們亟待解決的問題。對于網(wǎng)絡(luò)視頻、音頻等大數(shù)據(jù)量的資源直接進(jìn)行傳輸與檢索，無論在成本或是技術(shù)的實現(xiàn)上都是不現(xiàn)實的。因此，為了提高網(wǎng)絡(luò)中各類資源的利用效率，出現(xiàn)了許多對于網(wǎng)絡(luò)資源元數(shù)據(jù)的描述與操作管理標(biāo)準(zhǔn)。

針對元數(shù)據(jù)的收割操作是實現(xiàn)各地互聯(lián)網(wǎng)數(shù)字資源的開放式共享的關(guān)鍵技術(shù)。在收割系統(tǒng)中，中心數(shù)據(jù)庫可實時和定時向節(jié)點數(shù)據(jù)庫分發(fā)與收割元數(shù)據(jù)和對象數(shù)據(jù)，各數(shù)據(jù)庫采用完全分布式的架構(gòu)，以網(wǎng)絡(luò)傳輸和元數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)為規(guī)范，對于數(shù)字資源采用元數(shù)據(jù)的形式進(jìn)行描述，其目的是實現(xiàn)元數(shù)據(jù)資源和對象資源的統(tǒng)一管理和共享式檢索。目前，國際上比較通用的對于網(wǎng)絡(luò)資源共享的互操作標(biāo)準(zhǔn)中，OAI(Open Archive Initiative)[1]得到了廣泛的認(rèn)可與應(yīng)用。OAI意為開放文檔先導(dǎo)，目標(biāo)是尋求各種結(jié)構(gòu)數(shù)據(jù)庫間數(shù)字資源的共享式檢索。在1999年，美國圣達(dá)菲舉辦的“電子出版文獻(xiàn)互操作”會議中提出。2001年4月，OAI組織發(fā)表了OAI-PMH(Open Archive Initiative Protocol for Metadata Harvesting)元數(shù)據(jù)收割協(xié)議[2]，該協(xié)議針對資源元數(shù)據(jù)的互操作給出了可實現(xiàn)框架。在推出后的幾年，以其簡單性、開放性、可操作性的優(yōu)勢得到了廣泛應(yīng)用。

目前已有基于OAI-PMH協(xié)議的元數(shù)據(jù)收割系統(tǒng)，多數(shù)應(yīng)用于數(shù)字圖書館或高校間進(jìn)行文獻(xiàn)資源的共享，在網(wǎng)絡(luò)資源管理方面應(yīng)用較少。這些系統(tǒng)大部分利用開源軟件搭建系統(tǒng)與數(shù)據(jù)倉儲，普遍規(guī)模龐大且功能繁雜，并不適用于需要實現(xiàn)簡潔共享的互聯(lián)網(wǎng)資源管理。針對這個問題，本系統(tǒng)設(shè)計作為用于網(wǎng)絡(luò)資源元數(shù)據(jù)收割的簡單示例系統(tǒng)，脫離開源代碼，深入分析OAI-PMH協(xié)議并以其核心功能為基礎(chǔ)，在MySQL5.6和VC環(huán)境下自行開發(fā)，簡潔實用，在一般配置的計算機(jī)間即可實現(xiàn)元數(shù)據(jù)收割功能并測試有效。通過對此示例系統(tǒng)的運行測試可看出，該系統(tǒng)可簡單有效地解決互聯(lián)網(wǎng)資源元數(shù)據(jù)的收割問題，為解決網(wǎng)絡(luò)資源管理與共享的問題提供了一種可行思路。

1　OAI-PMH協(xié)議

OAI-PMH是能獨立于應(yīng)用的、規(guī)范實現(xiàn)網(wǎng)絡(luò)環(huán)境下元數(shù)據(jù)收割功能的互操作協(xié)議標(biāo)準(zhǔn)。根據(jù)職能責(zé)任不同，協(xié)議將元數(shù)據(jù)互操作雙方劃分為數(shù)據(jù)提供者(Data Provider，DP)和服務(wù)提供者(Service Provider，SP)兩類。數(shù)據(jù)提供者作為發(fā)布元數(shù)據(jù)的管理系統(tǒng)，是元數(shù)據(jù)資源的擁有者，在目前的應(yīng)用模式下可以是嵌入式的元數(shù)據(jù)倉儲、資源發(fā)布系統(tǒng)等；服務(wù)提供者是以O(shè)AI-PMH為基礎(chǔ)獲取元數(shù)據(jù)來建立增值服務(wù)的一方，可以是資源門戶系統(tǒng)、資源檢索系統(tǒng)，也可以是供其他搜索引擎獲取數(shù)據(jù)的元數(shù)據(jù)倉儲系統(tǒng)[3]。

OAI-PMH收割系統(tǒng)框架如圖1所示，數(shù)據(jù)提供方和服務(wù)提供方通過OAI請求和OAI響應(yīng)來實現(xiàn)通信與數(shù)據(jù)傳輸。OAI請求根據(jù)服務(wù)提供者的需求而定，由SP發(fā)出請求獲取DP倉儲中的信息，進(jìn)而收割得到所需元數(shù)據(jù)資源。數(shù)據(jù)提供方根據(jù)OAI請求做出響應(yīng)，從數(shù)據(jù)倉儲中把所需元數(shù)據(jù)資源以O(shè)AI響應(yīng)格式向服務(wù)提供方提供。OAI-PMH協(xié)議規(guī)定了建立在TCP/IP協(xié)議基礎(chǔ)上的網(wǎng)絡(luò)連接，并根據(jù)不同的收割內(nèi)容和范圍定義了6個請求動詞[4-5]：

1)GetRecord：獲取特定唯一的元數(shù)據(jù)記錄。

2)Identify：獲取元數(shù)據(jù)倉儲的基本信息。

3)ListIdentifiers：返回倉儲中記錄頭部的標(biāo)識符。

4)ListMetadataFormats：返回數(shù)據(jù)庫中可能的元數(shù)據(jù)格式，檢索特定格式的元數(shù)據(jù)資源。

5)ListRecords：用于從倉儲中獲取多條完整的記錄。

6)ListSets：返回倉儲內(nèi)的結(jié)構(gòu)信息，被用于進(jìn)行選擇性收割。

圖1　OAI-PMH協(xié)議收割系統(tǒng)基本框架

以這6種命令動詞不同組合、不同參數(shù)設(shè)置實現(xiàn)全部收割、增量收割和單條收割等不同收割模式并設(shè)定不同的收割周期。系統(tǒng)框架中的OAI請求與響應(yīng)都以XML格式進(jìn)行傳輸。并且DP與SP之間為多對多的關(guān)系，服務(wù)提供者作為收割方，可同時收割多個機(jī)構(gòu)中的元數(shù)據(jù)資源，而數(shù)據(jù)提供方可作為中心數(shù)據(jù)庫，向多個節(jié)點數(shù)據(jù)庫進(jìn)行分發(fā)操作。

2　OAI-PMH在數(shù)字圖書館中的應(yīng)用及評價

OAI協(xié)議推出以后，以其配置簡單、源碼開放等優(yōu)點，得到了許多組織與科研機(jī)構(gòu)的認(rèn)可，尤其在數(shù)字圖書館領(lǐng)域得到了廣泛響應(yīng)與使用。包括數(shù)字圖書館聯(lián)盟在內(nèi)的一些圖書館、大學(xué)和信息研究所機(jī)構(gòu)都資助并參與了許多關(guān)于OAI的項目。在國外方面，美國目前最大的國家科學(xué)數(shù)學(xué)圖書館NSDL(Nation Science Digital Library)便是基于OAI-PMH協(xié)議構(gòu)建元數(shù)據(jù)倉儲，將全美各州元數(shù)據(jù)庫資源收割匯總到國家圖書館數(shù)據(jù)庫中。跨庫文檔檢索系統(tǒng)中的CRS(Collection Registration Service)負(fù)責(zé)記錄所有的數(shù)據(jù)提供者，描述他們的倉儲信息、OAI服務(wù)和收割信息、收割時刻表和日志。自動周期收割上百的數(shù)據(jù)提供者。NSDL從113個集合收割元數(shù)據(jù)，可最終檢索上百萬條的元數(shù)據(jù)，其中小部分因沒有URL無法獲取對象資源。該平臺每年1 000次以上的自動收割操作中，仍存在由于數(shù)據(jù)提供方XML數(shù)據(jù)錯誤和違反協(xié)議規(guī)范產(chǎn)生的收割失敗可能[6]。

由于OAI-PMH協(xié)議源碼開放的優(yōu)點，大部分機(jī)構(gòu)使用開源平臺實現(xiàn)元數(shù)據(jù)的收割和檢索操作，其中ARC[7]是Old Dominion大學(xué)開發(fā)的一個基于OAI-PMH的聯(lián)合搜索服務(wù)開源平臺，它包括收割器、搜索引擎、一個簡單的搜索界面，能夠支持一個專業(yè)組織的擴(kuò)展和定制。目前ARC提供統(tǒng)一界面可對約六百萬條收割的元數(shù)據(jù)進(jìn)行檢索服務(wù)。此外，麻省理工大學(xué)開發(fā)的Dspace系統(tǒng)[8]和針對數(shù)據(jù)提供者構(gòu)建的OAICat[9]等開源軟件[10]的廣泛應(yīng)用，減小了OAI協(xié)議實現(xiàn)的難度和成本。

在國內(nèi)方面，近年來越來越多的項目開始采用OAI協(xié)議來實現(xiàn)元數(shù)據(jù)的互操作。其中，國家科學(xué)數(shù)字圖書館采用OAI協(xié)議提供的資源檢索服務(wù)，實現(xiàn)了“科學(xué)數(shù)據(jù)庫跨庫搜索引擎”。北京大學(xué)中文古籍?dāng)?shù)字圖書館也采用了OAI協(xié)議來發(fā)布和檢索估計拓片的元數(shù)據(jù)信息[11]。OAI-PMH協(xié)議的應(yīng)用雖越來越廣泛，卻仍局限于各數(shù)字圖書館與高校間，對象數(shù)據(jù)也以文獻(xiàn)資料為主，對于互聯(lián)網(wǎng)音視頻元數(shù)據(jù)收割方面的應(yīng)用還相對較少。

3　互聯(lián)網(wǎng)資源共享元數(shù)據(jù)收割系統(tǒng)框架及實現(xiàn)

3.1系統(tǒng)框架設(shè)計

在對元數(shù)據(jù)收割協(xié)議OAI-PMH進(jìn)行研究后，針對互聯(lián)網(wǎng)數(shù)字資源的互操作，以O(shè)AI-PMH協(xié)議的系統(tǒng)框架與收割模式為基礎(chǔ)，結(jié)合實際需要與系統(tǒng)規(guī)模，設(shè)計了本課題所需的互聯(lián)網(wǎng)資源共享元數(shù)據(jù)收割系統(tǒng)的基本架構(gòu)。如圖2所示，要實現(xiàn)數(shù)據(jù)的共享，解決數(shù)據(jù)的傳輸問題，首先要實現(xiàn)基本的物理連接，選用的是客戶端/服務(wù)器(Client/Sever，C/S)模式，建立基于兩臺服務(wù)器之間的連接。建立連接后便可進(jìn)行文件的傳輸，由元數(shù)據(jù)收割協(xié)議中規(guī)定的數(shù)據(jù)提供者作為客戶端，服務(wù)提供者作為服務(wù)器端。本系統(tǒng)中客戶端作為網(wǎng)絡(luò)資源的擁有者，服務(wù)器作為向數(shù)據(jù)擁有者進(jìn)行收割的一方為基礎(chǔ)搭建的架構(gòu)。系統(tǒng)主要由服務(wù)器、客戶端連接通信模塊、XML文件解析生成模塊、倉儲數(shù)據(jù)庫連接查詢模塊3部分組成。其中本系統(tǒng)倉儲內(nèi)元數(shù)據(jù)結(jié)合網(wǎng)絡(luò)數(shù)字資源對象數(shù)據(jù)特點，考慮系統(tǒng)通用性需求，選取在DC格式基礎(chǔ)上擴(kuò)展的元數(shù)據(jù)格式。

圖2　互聯(lián)網(wǎng)資源元數(shù)據(jù)收割系統(tǒng)框架

3.1.1服務(wù)提供者

在服務(wù)器與客戶端建立通信后，進(jìn)行收割一方的服務(wù)提供者實現(xiàn)框架如圖3所示，首先由元數(shù)據(jù)收割器發(fā)送相應(yīng)的收割命令請求所需的元數(shù)據(jù)資源。在本系統(tǒng)中定義了3個收割命令動詞，分別實現(xiàn)元數(shù)據(jù)資源的全部收割、單條收割和增量收割功能。3個命令動詞分別是：

History_mass，即獲取數(shù)據(jù)提供者倉儲內(nèi)的全部元數(shù)據(jù)信息。

History_single，即獲取數(shù)據(jù)提供者倉儲內(nèi)特定的一條元數(shù)據(jù)信息。Identifier為一個被要求提供的參數(shù)，指明倉儲中條目的唯一標(biāo)識符。數(shù)據(jù)提供者根據(jù)傳來的唯一標(biāo)識符返回特定元數(shù)據(jù)條目。

Fresh_mass，即獲取數(shù)據(jù)提供者倉儲內(nèi)繼上一次收割結(jié)束后新增的元數(shù)據(jù)信息。參數(shù)Lasttime為最后收割時間戳，指明倉儲內(nèi)上一次收割結(jié)束時間。數(shù)據(jù)提供者根據(jù)最后收割時間戳返回此時間截點后新增的元數(shù)據(jù)條目。

圖3　服務(wù)提供者實現(xiàn)框架圖

收到數(shù)據(jù)提供者返回的XML格式的收割響應(yīng)后，對其進(jìn)行解析，去掉文件中的結(jié)構(gòu)化標(biāo)簽，保留元數(shù)據(jù)信息并存入本地數(shù)據(jù)庫。通過向用戶提供檢索、展示等增值服務(wù)，服務(wù)提供者可以對倉儲內(nèi)收割到的元數(shù)據(jù)進(jìn)行有效利用。

3.1.2數(shù)據(jù)提供者

數(shù)據(jù)提供者作為資源的擁有者，主要作為元數(shù)據(jù)發(fā)布方。其實現(xiàn)框架如圖4所示，數(shù)據(jù)倉儲中的元數(shù)據(jù)格式定義結(jié)合了網(wǎng)絡(luò)數(shù)字對象數(shù)據(jù)的特點，在DC都柏林元數(shù)據(jù)的基礎(chǔ)上進(jìn)行了擴(kuò)展，包括唯一標(biāo)識符、題名、主題、格式、創(chuàng)建者、上載時間戳等12個必要元素。數(shù)據(jù)提供者獲得收割命令，解析后將倉儲中符合要求的元數(shù)據(jù)條目打包成一個XML格式的OAI響應(yīng)返回。

圖4　數(shù)據(jù)提供者實現(xiàn)框架圖

3.2系統(tǒng)模塊實現(xiàn)及運行測試

3.2.1系統(tǒng)模塊實現(xiàn)

系統(tǒng)從實現(xiàn)的角度可以劃分為3個模塊，分別是Socket通信模塊、XML文件的解析與生成模塊和MySQL數(shù)據(jù)庫連接模塊。

Socket通信模塊基于C/S(Client/Server)服務(wù)器客戶端通信模式搭建系統(tǒng)，選用速度快且可雙工傳輸數(shù)據(jù)的Socket套接字通信方法。套接字的類型有兩種：流式Socket和數(shù)據(jù)報式Socket。面向連接的是流式套接字，適用于可靠傳輸。而數(shù)據(jù)報式套接字是一種面向無連接、不可靠的傳輸方式。本系統(tǒng)為TCP連接，所以采用流式套接字；XML文件解析模塊采用TinyXML開源解析庫實現(xiàn)。它主要由DOM模型類和操作類構(gòu)成。因為它的API接口和Java的十分類似，有很好的面向?qū)ο笮?，可對XML schema中各節(jié)點進(jìn)行指定查詢、指定刪除、指定增加和修改；MySQL數(shù)據(jù)庫連接模塊使用VC++中自帶的MySQL API庫中的函數(shù)實現(xiàn)即可。

3.2.2系統(tǒng)運行測試

為了驗證系統(tǒng)在獨立的兩臺服務(wù)器間通信和數(shù)據(jù)傳輸?shù)目尚行?，在服?wù)器與客戶端分別建立了符合OAI協(xié)議的元數(shù)據(jù)倉儲。服務(wù)器端作為服務(wù)提供者向數(shù)據(jù)提供者進(jìn)行收割操作，對于系統(tǒng)元數(shù)據(jù)各收割功能進(jìn)行測試?？蛻舳藗}儲中數(shù)據(jù)包括大量數(shù)字文化資源和一部分網(wǎng)絡(luò)影視資源的DC格式元數(shù)據(jù)信息，分別測試History_mass、Hisory_single和Fresh_mass這3個動詞，分析返回結(jié)果，均滿足收割請求條件要求且完整。以對History_mass動詞進(jìn)行測試舉例，客戶端元數(shù)據(jù)倉儲接收結(jié)果如圖5所示，下面是收割完成后返回的元數(shù)據(jù)XML schema片段：

……

……

圖5　全部收割后數(shù)據(jù)倉儲顯示結(jié)果(截圖)

4　小結(jié)

目前，OAI-PMH協(xié)議已廣泛應(yīng)用于數(shù)字圖書館等相關(guān)領(lǐng)域，但在網(wǎng)絡(luò)資源管理方面涉及不多。本文設(shè)計并實現(xiàn)了互聯(lián)網(wǎng)資源共享元數(shù)據(jù)收割示例系統(tǒng)，并面向網(wǎng)絡(luò)音視頻等互聯(lián)網(wǎng)數(shù)字資源構(gòu)建了元數(shù)據(jù)倉儲。此系統(tǒng)基于TCP網(wǎng)絡(luò)傳輸協(xié)議和OAI-PMH協(xié)議提出的收割流程進(jìn)行搭建，具有規(guī)模較小且簡單實用的特點，可在一般配置的計算機(jī)之間實現(xiàn)對各類互聯(lián)網(wǎng)資源元數(shù)據(jù)的單條收割、全部收割和增量收割功能，經(jīng)測試驗證準(zhǔn)確有效。目前本系統(tǒng)可獨立應(yīng)用于局域網(wǎng)內(nèi)小規(guī)模的元數(shù)據(jù)資源共享及管理。本文的下一步工作可在此系統(tǒng)基礎(chǔ)上擴(kuò)展對象資源收割、多用戶定時收割等功能，進(jìn)一步實現(xiàn)互聯(lián)網(wǎng)資源的共享與有效管理。

[1]CARL L. The open archives initiative protocol for metadata harvesting [EB/OL].[2015-10-08]. http://www.openarchives.org.

[2]NELSON M，WARNER S. The open archives initiative protocol for metadata harvesting protocol [EB/OL] [2015-10-08].http://www.openarchives.org/OAI/2.0/openarchivesprotocol.html.

[3]MALY K，ZUBAIR M，LIU X M. An OAI data service provider for the individual [J].D-Lib magazine，2001，7(4)：1082-9873.

[4]齊華偉，王軍. OAI-PMH與數(shù)字圖書館的互操作[J].圖書館論壇，2005(4)：19-22.

[5]王秀慧. OAI-PMH中元數(shù)據(jù)同步模型的研究[D].太原：太原科技大學(xué)，2009.

[6]LAGOZE C，KRAFFT D，CORNWELL T，et al. Metadata aggregation and automated digital libraries: A retrospective on the NSDL experience[C]//Proc. 6th ACM/IEEE-CS Joint Conference on Digital Libraries.[S.l.]：ACM，2006：230-239.

[7]LIU X，MALY K，ZUBAIR M，et al. Arc-an OAI service provider for digital library federation [J]. D-Lib magazine，2001，7(4)：12.

[8]Dspace [EB/OL].[2015-09-15]. http://dspace.org/.

[9]OAICat[EB/OL].[2015-09-09].http://www.oclc.org/research/themes/data-science/oaicat.html.

[10]孟喆. 基于開源環(huán)境的數(shù)字倉儲系統(tǒng)的研究與實現(xiàn)[D].北京：北京郵電大學(xué)，2009.

[11]王蜀安，汪萌，張銘. 支持OAI-PMH的元數(shù)據(jù)互操作體系結(jié)構(gòu)設(shè)計與實現(xiàn)[J].計算機(jī)工程與應(yīng)用，2003，39(20)：168-172.

陳夢(1992— )，女，碩士生，主研數(shù)字電視技術(shù)，網(wǎng)絡(luò)視頻處理等；

孟放(1972— )，碩士生導(dǎo)師，主要研究方向為數(shù)字電視技術(shù)、視頻圖像處理、網(wǎng)絡(luò)工程等。

責(zé)任編輯：許盈

Research of metadata harvesting system for internet resource sharing

CHEN Meng, MENG Fang

(SchoolofInformationEngineering,CommunicationUniversityofChina,Beijing100024,China)

With the rapid development of the Internet technologies, effective management and sharing of massive data become a challenge. Metadata harvesting will be helpful in sharing metadata resources and improving the utilization of those resources over the Internet. First, the process of metadata harvesting based on OAI-PMH and its applications are introduced. After that, a metadata harvesting system for Internet resource sharing is designed and implemented in this paper. This system that based on the MySQL5.6 and VC, can realize the metadata harvesting function between computers with general configuration. Experimental results show that the system can be used as an effective way for Internet resources sharing and management.

internet resource sharing; OAI-PMH; metadata harvesting

TP391.3

ADOI：10.16280/j.videoe.2016.07.014

國家科技支撐計劃項目(2012BAH01F00)

2015-11-25

文獻(xiàn)引用格式：陳夢，孟放. 面向互聯(lián)網(wǎng)資源共享的元數(shù)據(jù)收割系統(tǒng)研究[J].電視技術(shù)，2016，40(7)：60-64.

CHEN M，MENG F. Research of metadata harvesting system for internet resource sharing[J].Video engineering，2016，40(7)：60-64.