閆曉創(chuàng)/新華社辦公廳

網(wǎng)頁存檔（Web Archive，下簡稱WA）是對互聯(lián)網(wǎng)上的信息資源進行收集、保存并確保其能被長期安全使用的活動。2003年7月，美國、加拿大、英國、法國等國家的十幾個機構(gòu)聯(lián)合成立了國際互聯(lián)網(wǎng)保存聯(lián)盟（以下簡稱IIPC）[1]，目前該聯(lián)盟已擁有超過40個成員機構(gòu)，這些機構(gòu)涵蓋世界上著名的圖書館、檔案館、大學(xué)、非營利組織以及商業(yè)服務(wù)供應(yīng)商，成員機構(gòu)的多元化極大地促進了國際上關(guān)于網(wǎng)頁存檔的合作和交流共享。IIPC還在結(jié)構(gòu)、元數(shù)據(jù)、標準規(guī)范等諸多方面建立了一系列技術(shù)規(guī)范，并資助成員機構(gòu)開發(fā)能夠?qū)崿F(xiàn)網(wǎng)絡(luò)資源采集、管理、存儲、利用等功能的高質(zhì)量、具有較高易用性的開源性軟件工具[2]。

1 IIPC成員基本情況分析

IIPC的成員包含了目前世界上絕大多數(shù)在WA領(lǐng)域具有極高研究水平的機構(gòu)。這些成員機構(gòu)共有32個，分布在世界各個大洲，其中亞洲2個、非洲1個、歐洲20個、大洋洲2個、北美洲7個，成員機構(gòu)主要WA項目及基本情況如表1。

表1 IIPC成員及其WA項目基本情況

國家 負責(zé)機構(gòu) 開始時間存檔語言 獲取方式 收割方式西班牙 加泰羅尼亞圖書館 2005加泰羅尼亞語、西班牙語、英語URL檢索、關(guān)鍵詞檢索、字母順序瀏覽、主題瀏覽、熱門搜集區(qū)域內(nèi)域名收割、大量收割、選擇收割、事件收割、主題收割法國 法國國家圖書館 2002 法語URL檢索、關(guān)鍵詞檢索、全文檢索、熱門搜集全國域名內(nèi)收割、大量收割、選擇性收割、事件收割、主題收割法國 法國國家圖書館 2009 法語URL檢索、關(guān)鍵詞檢索、字母順序瀏覽、主題瀏覽、熱門搜集選擇性收割、主題收割愛沙尼亞愛沙尼亞國家圖書館2010愛沙尼亞語URL檢索、關(guān)鍵詞檢索、局部瀏覽選擇性收割、事件收割、主題收割克羅地亞克羅地亞國家圖書館2004克羅地亞語、英語URL檢索、關(guān)鍵詞檢索、高級檢索、字母順序瀏覽、主題瀏覽選擇性收割、全國域名內(nèi)收割、主題收割荷蘭 互聯(lián)網(wǎng)記憶基金會2005英語URL檢索、關(guān)鍵詞檢索全國域名內(nèi)收割、選擇性收割、事件收割冰島 冰島國家和大學(xué)圖書館1996冰島語、少量英語URL檢索全國域名內(nèi)收割、選擇性收割、事件收割芬蘭 芬蘭國家圖書館 2006芬蘭語、瑞典語、英語URL檢索、全文檢索全國域名內(nèi)收割、區(qū)域內(nèi)域名收割、事件收割、主題收割瑞典 瑞典國家圖書館 1997 瑞典語 URL檢索全國域名內(nèi)收割、大量收割、選擇性收割丹麥丹麥皇家圖書館、奧胡斯州和大學(xué)圖書館2005丹麥語、英語 URL檢索全國域名內(nèi)收割、大量收割、選擇收割、事件收割挪威 挪威國家圖書館2001挪威語關(guān)鍵詞檢索全國域名內(nèi)收割、事件收割斯洛文尼亞斯洛文尼亞國家和大學(xué)圖書館2007斯洛文尼亞語URL檢索、字母順序瀏覽、全文檢索選擇收割、事件收割英國 英國國家檔案館 1996 英語U R L檢索、全文檢索、字母順序瀏覽、主題瀏覽、熱門搜集選擇性收割、事件收割、主題收割英國 英國國家圖書館 2005 英語URL檢索、字母順序瀏覽、全文檢索、主題瀏覽選擇性收割、事件收割、主題收割荷蘭 荷蘭國家圖書館2007荷蘭語URL檢索、字母順序瀏覽、全文檢索選擇收割捷克 捷克國家圖書館2000捷克語URL檢索、主題瀏覽全國域名內(nèi)收割、事件收割奧地利 奧地利國家圖書館 2008 德語 URL檢索、熱門搜集全國域名內(nèi)收割、大量收割、選擇收割、事件收割、主題收割瑞士 瑞士國家圖書館 2008德語、法語、意大利語、英語URL檢索、關(guān)鍵詞檢索、全文檢索、主題瀏覽、熱門搜集選擇性收割、事件收割、主題收割拉脫維亞拉脫維亞國家圖書館 2005拉脫維亞語、俄語、英語URL檢索、關(guān)鍵詞檢索、熱門搜集選擇性收割、事件收割、主題收割新西蘭 新西蘭國家圖書館 1999 英語URL檢索、關(guān)鍵詞檢索、字母順序瀏覽、主題瀏覽選擇收割澳大利亞澳大利亞國家圖書館 1996 英語URL檢索、關(guān)鍵詞檢索、字母順序瀏覽、主題瀏覽、全文檢索選擇收割、事件收割

國家 負責(zé)機構(gòu) 開始時間存檔語言 獲取方式 收割方式韓國 韓國國家圖書館2005韓語URL檢索、關(guān)鍵詞檢索、主題瀏覽選擇收割日本 日本國會圖書館2002日語關(guān)鍵詞檢索、全文檢索、熱門搜集大量收割、選擇收割埃及 亞歷山大圖書館 1996 英語 URL檢索 大量收割

2 IIPC成員開發(fā)的WA工具和軟件分析

目前全球范圍內(nèi)IIPC成員開發(fā)的WA工具和軟件的功能涵蓋了網(wǎng)絡(luò)資源采集、保存、檢索、利用這幾個方面，是比價成熟的開源軟件。表2從軟件名稱、簡要情況說明、開發(fā)情況等進行了較為詳細的說明。

表2 IIPC成員開發(fā)的WA應(yīng)用軟件[3]

JHOVE2開源的格式描述工具，主要用于描述ARC、WARC和GZIP等格式加利福尼亞數(shù)字圖書館、斯坦福大學(xué)圖書館、法國國家圖書館及NETARKIVET.DK MediaWiki Memento Extension存儲和保管（Collection storage and maintenance）用于MediWiki的插件，它支持用戶找到過去某一時刻MediWiki 所呈現(xiàn)的內(nèi)容美國奧多明尼昂大學(xué)和美國洛斯阿拉莫斯國家實驗室Site Story針對事務(wù)性文件的存檔工具，該工具可選擇性地獲取和存儲分別對應(yīng)在web瀏覽器和服務(wù)器中的內(nèi)容美國洛斯阿拉莫斯國家實驗室WebArchive Transformation(WAT) Format用于網(wǎng)絡(luò)資源存檔的格式 互聯(lián)網(wǎng)檔案館（Internet Archive）WebArchive Transformation(WAT) Utilities用于從WARC格式的文件中提取元數(shù)據(jù)進行數(shù)據(jù)分析的數(shù)據(jù)集互聯(lián)網(wǎng)檔案館（Internet Archive）WarcManager 用于檢索WARC格式文件內(nèi)容的工具 美國馬里蘭大學(xué)WARC Tools用于讀取和操作WARC格式文件，并將ARC格式文件轉(zhuǎn)化為WARC格式的工具集美國半藏檔案公司和互聯(lián)網(wǎng)檔案館（ Internet Archive）TimeTravel Portal通過輸入原始的URL、時間等來查找存檔網(wǎng)絡(luò)資源的檢索入口L y u d m i l a B a l a k i r e v a,HariharShankar,Ilya Kremer,Herbert Van de Sompel Time Travel APIs用于降低檢索存檔網(wǎng)絡(luò)資源時所遇到的障礙并實現(xiàn)對存檔網(wǎng)絡(luò)資源自由利用的APIs Lyudmila Balakireva,Harihar Shankar, Herbert Van de Sompel Memento Time Travel chrome的擴展程序，它支持網(wǎng)站的時間瀏覽，并能夠規(guī)避死鏈接。該程序使用Memento協(xié)議，發(fā)現(xiàn)分布式網(wǎng)絡(luò)檔案資源，以此方式規(guī)避死鏈接Harihar Shankar NutchWAX(Nutch with WA eXtensions)獲取和檢索工具（Access and finding aids）利用Nutch搜索引擎和擴展程序來檢索網(wǎng)絡(luò)資源的工具互聯(lián)網(wǎng)檔案館（Internet Archive）和北歐國家圖書館聯(lián)盟WERA (WEbaRchive Access)網(wǎng)頁存檔的搜索和導(dǎo)航應(yīng)用程序，利用NWA工具集進行構(gòu)建，可通過一個網(wǎng)絡(luò)歸檔程序進行網(wǎng)頁存檔并且允許全文檢索互聯(lián)網(wǎng)檔案館（Internet Archive）和挪威國家圖書館Wayback Machine ARC或WARC格式的網(wǎng)絡(luò)存檔資源回放工具，允許對網(wǎng)絡(luò)存檔資源進行臨時瀏覽互聯(lián)網(wǎng)檔案館（Internet Archive）Xinq (XML INQuire)用于XML數(shù)據(jù)庫檢索和瀏覽的工具 澳大利亞國家圖書館

2.1 IIPC成員開發(fā)WA工具

采集獲取工具。從功能角度看，采集工具中的Heritrix支持復(fù)雜的爬行定義和過濾，具有豐富的可配置功能，如抓取頻率可設(shè)置為每天、每周、每月等。它采用廣度優(yōu)先算法，用來抓取完整的、精確的站點內(nèi)容，并進行深度復(fù)制；在重新抓取相同的URL時，不刪除之前的版本，實現(xiàn)多個版本的同時保存。從開發(fā)角度看，該應(yīng)用程序采用模塊化設(shè)計，用戶可以在運行時選擇適用的模塊。Heritrix由核心類和插件模塊構(gòu)成，核心類可以配置，但不能被覆蓋；插件模塊可以由第三方模塊取代，所以用戶可以用第三方模塊來取代默認的插件模塊，滿足個性化需要。其他幾個采集工具在不同的機構(gòu)也都有相應(yīng)應(yīng)用。該軟件適合大規(guī)模的網(wǎng)絡(luò)存檔。目前北歐國家圖書館聯(lián)盟采用該采集工具，并取得較好成果。

采集管理工具。IIPC提供的采集相關(guān)的工具包括Building Collections on the Web（BCWeb）、CINCH、Net archive Suite、WebCurator Tool（WCT）。其中BCWeb是一個允許圖書管理員來定義選擇性收割（正在進行的和主題事件）的管理工具，主要由法國國家圖書館負責(zé)運營和維護。Net archive Suite和WCT都是通過底層調(diào)用Heritrix進行資源采集的，其中Net archive Suite是一個可以讓圖書管理員定義和控制網(wǎng)絡(luò)材料收割的管理工具，支持主題采集、選擇性采集和國家頂級域名采集；WCT主要用于實現(xiàn)選擇性采集，支持圖書館和其他收藏機構(gòu)管理web收割過程，并且支持非技術(shù)用戶對收割過程實現(xiàn)完全控制。

存儲保管工具。在存儲和保管工具方面，IIPC提供了HTTrack2ARC、Java Web Archive Toolkit（JWAT）、Site Story、WARC Tools等9個相關(guān)的工具。這些工具主要用于對采集的數(shù)據(jù)進行格式轉(zhuǎn)換、內(nèi)容抽取、內(nèi)容識別驗證。數(shù)據(jù)的封裝有AFF、ARC、WARCIP等格式，各種格式幾期特點如表3。其中WARC格式是運用較為廣泛的存檔格式，它在平臺獨立性、易用性、支持更新、標準化、開發(fā)性等八個方面均占優(yōu)勢，更適合對網(wǎng)絡(luò)資源進行長久保存。

表3 數(shù)據(jù)封裝的格式與特點

獲取檢索工具。IIPC提供的獲取檢索工具主要有Time Travel Portal、NutchWAX（Nutch with WA eXtensions）、Wayback Machine等，其中使用最廣泛的為Wayback Machine。該工具主要由IA研發(fā)，集索引、摘要、呈現(xiàn)等多種功能于一體，可實現(xiàn)WARC文檔的增量索引，并提供基于URL的檢索訪問WA資源的服務(wù)。

2.2 IIPC成員所開發(fā)工具和軟件的特點

開源性。這些軟件都具有良好的開源性，在互聯(lián)網(wǎng)上可以獲取這些軟件，并且可以結(jié)合實際做多次開發(fā)，以適應(yīng)自身情況。WA項目中各環(huán)節(jié)的開源軟件均可在開源網(wǎng)站Source Forge上找到[4]，并且可以找到同一個功能軟件的若干版本。

功能齊全。IIPC成員所開發(fā)出來的軟件包含了WA項目的各個環(huán)節(jié)，這些環(huán)節(jié)包括了資源的獲取、管理、存儲和保管、獲取和檢索等，各個環(huán)節(jié)都有配套軟件程序來實現(xiàn)相關(guān)功能。

3 IIPC成員進行WA項目研究的情況分析

3.1 IIPC成員在WA項目研究上取得的成果

IIPC在WA項目的發(fā)展中做出了相當重要的貢獻。具體來說，IIPC作為國際組織，為相關(guān)發(fā)展WA項目的機構(gòu)提供了一個平臺，各個機構(gòu)在此平臺開展充分的交流和協(xié)作，從而極大地促進了WA項目的發(fā)展。IIPC針對WA項目的各個環(huán)節(jié)成立不同的協(xié)作組，并針對相關(guān)難題進行公關(guān)，同時資助項目成員開展新的研究項目。IIPC成員針對WA項目的采集、管理、存儲、利用等環(huán)節(jié)開發(fā)了大量的軟件，這些軟件基本都為開源性，各個成員可以針對自身的實際情況進行個性化調(diào)整。

互聯(lián)網(wǎng)檔案館（Internet Archive，下簡稱IA）是IIPC的代表性成員，它作為一個全球性的非營利組織，在WA領(lǐng)域中的發(fā)展較為深入，是IIPC成員中唯一個面向全球網(wǎng)頁進行選擇性采集、存檔的機構(gòu)[5]。IA作為一個非營利性的公益組織，它的發(fā)展較為全面、深入，對其他國家、機構(gòu)發(fā)展WA具有很強的引領(lǐng)和指導(dǎo)作用，如為方便較小的組織機構(gòu)開展WA項目，IA開發(fā)了ARCHVIE-IT軟件，僅需通過簡易的設(shè)置，就可對一定范圍內(nèi)需要存檔的網(wǎng)頁進行相關(guān)操作[6]。

3.2 IIPC成員進行WA項目研究的價值分析

WA項目的價值會隨著時間變遷顯得越來越重要，未來的世界必定是互聯(lián)網(wǎng)高度繁榮的世界，WA項目在互聯(lián)網(wǎng)上進行存檔以備未來查考，因為通過互聯(lián)網(wǎng)查閱相關(guān)資料，將會是未來查考歷史的主要手段，這正是互聯(lián)網(wǎng)時代發(fā)展的必然結(jié)果。較之于傳統(tǒng)的史料，WA項目可更為真切地反映歷史事件，且通過WA項目我們可以在未來的任何一個時刻更為全面地了解一個重要歷史事件，以及這一事件的前因后果。此外，IIPC的成員機構(gòu)為圖書館、博物館以及高校等，它們通過發(fā)展WA項目，能夠?qū)崿F(xiàn)對現(xiàn)有業(yè)務(wù)的補充與完善。

3.3 IIPC成員進行WA項目研究的特點

合作性。中國互聯(lián)網(wǎng)信息中心（CNNIC）發(fā)布的《第36次中國互聯(lián)網(wǎng)發(fā)展狀況統(tǒng)計報告》顯示，截至2015年6月，中國的網(wǎng)站總數(shù)為357萬個；國家在線數(shù)據(jù)統(tǒng)計網(wǎng)站于2014年9月16日更新的數(shù)據(jù)顯示，全球互聯(lián)網(wǎng)網(wǎng)站數(shù)量已經(jīng)超過10億，且仍在急速增長。面對如此龐大的數(shù)據(jù)資源，僅僅依靠某個機構(gòu)的力量完成歷史記憶記錄，顯然是不可能的。必須加強國家之間、機構(gòu)之間的密切協(xié)作，成立專門的協(xié)調(diào)組織來完成此項工作。IIPC作為一個國際范圍內(nèi)的互聯(lián)網(wǎng)保存聯(lián)盟，對于推動相關(guān)機構(gòu)間的國際合作起到了非常重要的作用，如，IIPC的成員機構(gòu)針對Web Archive項目的各個環(huán)節(jié)成立了若干工作組，包括標準組、收割組、獲取組、保存組、結(jié)構(gòu)組、研究人員需求組、獲取工具組、內(nèi)容管理組、深層網(wǎng)頁組、度量和測試平臺組、互操作性工作組，等等。這些工作組針對所負責(zé)的領(lǐng)域進行深入探討研究，極大推動了世界范圍內(nèi)WA項目的發(fā)展[7]。

開放性。網(wǎng)絡(luò)的一個最大、最明顯的特征就是自由（在相應(yīng)的法律規(guī)范之下）與多元，這樣的特性能夠便于成員機構(gòu)對接工作、開展研究。

技術(shù)性。WA項目具有較強的技術(shù)性，項目中網(wǎng)頁資源的采集、網(wǎng)頁資源的保存、網(wǎng)頁資源的查找、網(wǎng)頁資源的深層次開發(fā)等都會牽涉到非常多的技術(shù)問題。如WA項目的存檔策略在各個項目之間有不同的實現(xiàn)方式，IA是基于外部索引的壓縮存檔，PANDORA是基于多文件服務(wù)的存檔，NWA（瑞典、芬蘭、冰島、挪威四國合作的web資源存檔項目）是基于格式遷移的存檔，ERA（美國國家檔案館開展的一項對電子記錄進行保存和訪問的研究項目）是基于特征抽取的存檔等。其他如WA的采集流程、檢索利用等也都有很強的技術(shù)性。

公益性。WA項目是功在當代、利在千秋的事業(yè)，正是由于其公益性且實踐工作耗資巨大，因此在國內(nèi)該項目的進展非常緩慢，進行項目研究的只有幾家公共單位。在國外，該項目由于擁有資金扶持，加之公眾具有較強的資源保存與開發(fā)利用意識，因此進展速度較快。如，Internet Archive作為一個非營利組織，它依靠捐款開展研究工作，從1996年至今它已近保存了超過1600億個網(wǎng)頁資源，為人類留下了寶貴財富。

4 IIPC成員開展WA項目研究對我國發(fā)展WA項目的啟示

4.1 進一步強化理論研究并突出重點主題

WA項目研究主題非常豐富，包括存檔技術(shù)、系統(tǒng)、工作流程、法律規(guī)范、人員、組織、項目評價等，其中法律規(guī)范、人員、組織與項目評價的相關(guān)研究成果最能體現(xiàn)一國或地區(qū)的特色，不容忽視。目前，國內(nèi)關(guān)于WA項目的研究尚處于初級階段，國內(nèi)的研究大部分局限于對國外研究的淺層次介紹和分析，很少有對WA相關(guān)的技術(shù)、法律等問題進行深入討論的。因此，我們要進一步強化理論研究，并且突出研究主題。

4.2 將網(wǎng)絡(luò)存檔納入國家戰(zhàn)略

如何存儲和保存海量的網(wǎng)絡(luò)資源，需要從國家層面加以統(tǒng)籌考慮。網(wǎng)絡(luò)存檔是一個功在當代、利在千秋的偉大事業(yè)，我國需要盡早將這項工作納入國家戰(zhàn)略之中。建議國家成立相應(yīng)的機構(gòu)負責(zé)統(tǒng)籌工作開展，可參照設(shè)置國家電子文件管理部際聯(lián)席會議辦公室管理電子文件[8]的模式，成立國家層面的機構(gòu)負責(zé)網(wǎng)絡(luò)存檔工作。此外，還要加強國內(nèi)圖書館、檔案館、博物館等單位的溝通與合作。

4.3 建立我國網(wǎng)絡(luò)資源存儲聯(lián)盟

目前，國內(nèi)對于網(wǎng)絡(luò)資源存儲的研究較為分散，亟需建立一個聯(lián)盟性質(zhì)的機構(gòu)把相關(guān)機構(gòu)單位統(tǒng)一起來，實現(xiàn)優(yōu)勢互補與資源的合理利用，不斷提升研究水平。國內(nèi)WA項目做得較好的國家圖書館、北京大學(xué)、中科院文獻情報中心等，可聯(lián)合起來建立聯(lián)盟，并吸引國內(nèi)其他有興趣、有實力的機構(gòu)參與進來，共同推動WA項目的開展。在此基礎(chǔ)上，可建立工作試點單位，試點單位應(yīng)從聯(lián)盟內(nèi)部進行挑選，優(yōu)先選擇工作起步早、工作基礎(chǔ)扎實、立足工作前沿的單位進行試點，開展試點工作時注意總結(jié)經(jīng)驗、發(fā)現(xiàn)問題，并及時推廣試點經(jīng)驗，為早日實現(xiàn)全國范圍內(nèi)的網(wǎng)絡(luò)資源存儲做出貢獻。

4.4 建立健全與網(wǎng)絡(luò)資源保存相關(guān)的法律法規(guī)

目前，國內(nèi)對于網(wǎng)絡(luò)資源歸檔的工作僅限于學(xué)術(shù)研究領(lǐng)域，政府并未出臺相應(yīng)的法律法規(guī)。隨著網(wǎng)絡(luò)存檔實踐的不斷發(fā)展，必須建立健全相關(guān)的法律法規(guī)，規(guī)范網(wǎng)絡(luò)資源保存的相關(guān)內(nèi)容。制定法律法規(guī)應(yīng)當循序漸進，要充分借鑒相關(guān)行業(yè)的工作做法，如參照圖書館領(lǐng)域的呈繳本制度、考察網(wǎng)絡(luò)資源的版權(quán)保護問題，還要主動學(xué)習(xí)國外的相關(guān)做法，確保法律法規(guī)的完備與齊全。

注釋與參考文獻：

[1]IIPC [EB/OL]. [2015-12-05]. http://netpreserve.org/.

[2]張松巖.以IIPC為中心的全球Web Archvie項目研究[J].數(shù)字與縮微影像.2011(3):36-38.

[3]Tools and Software[EB/OL]. [2015-12-05].http://netpre-serve.org/Web-archiving/tools-andsoftware.

[4]S O U R C E F O R G E.h t t p s://sourceforge.net/projects/archive-crawler/?s ource=directory[EB/OL].[2016-2-15].

[5]InternetArchive[EB/OL].[2015-12-05].http://www.interne-tarchive.org/.

[6]About the Internet Archive ［EB / OL］.［2015-12-28］.http : / /archive.org / about /.

[7]林穎，吳振新，張智雄.Web Archive存檔策略分析[J].現(xiàn)代圖書情報.技術(shù).2009(1):16-21.

[8]閆曉創(chuàng).國外Web Archive項目對我國的借鑒和啟示——以澳大利亞的PANDORA項目為例[J].檔案學(xué)研究.2012(5):79-83.