劉金亞，顧立平，陳新蘭

（1.中國科學(xué)院 文獻情報中心；2.中國科學(xué)院大學(xué) 經(jīng)濟與管理學(xué)院，北京 100190）

0 引言

數(shù)字圖書館的出現(xiàn)，始于1994 年美國國家科學(xué)基金會、國防部先進研究項目局和美國國家航空與航天局聯(lián)合啟動的為期4 年的數(shù)字圖書館研究項目［1］。經(jīng)過長期發(fā)展與實踐，數(shù)字圖書館現(xiàn)已成為用戶獲取信息，滿足日常知識需求的重要方式。在過去20 年，圖書館建立了成熟的數(shù)字圖書館知識服務(wù)體系和豐富的資源內(nèi)容［2］，圖書館學(xué)界關(guān)于數(shù)字圖書館鏈接研究內(nèi)容不斷增加。

其中，晁亞男等［3］從用戶使用意愿出發(fā)，發(fā)現(xiàn)平臺設(shè)計質(zhì)量、用戶期望和信息質(zhì)量是數(shù)字圖書館知識鏈接用戶使用意愿的主要影響因素；Mirghafoori 等［4］研究結(jié)果表明，網(wǎng)站缺乏跳轉(zhuǎn)到用戶的鏈接是高校圖書館提高數(shù)字服務(wù)質(zhì)量的主要原因之一；Cheng 等［5］提出一種基于關(guān)鍵詞—引用—關(guān)鍵詞網(wǎng)絡(luò)的學(xué)科知識結(jié)構(gòu)分析方法以檢測具備較高語義關(guān)系的關(guān)鍵詞間的間接鏈接關(guān)系；Page 等［6］提出了一個更好訪問數(shù)字音樂圖書館的鏈接數(shù)據(jù)框架，該框架利用可重用的工具包，以支持通過實時事件定制的用戶界面；Wenige 等［7］研究了如何在數(shù)字圖書館中使用鏈接開放數(shù)據(jù)進行推薦和信息檢索的方法。然而，數(shù)字圖書館中鏈接相關(guān)研究在不斷豐富的同時，如何簡單有效地幫助管理者解決無效鏈接問題，維護數(shù)字圖書館鏈接的長期可持續(xù)性，始終困擾著數(shù)字圖書館的用戶和網(wǎng)站管理者。譚園園等［8］對無效鏈接的解決方法進行了早期探索，后期也有相關(guān)學(xué)者對無效鏈接的清除方法作出了改進，例如可通過百度搜索資源平臺查看網(wǎng)站失效鏈接［9］；Zheng 等［10］提出了一種針對可存活鏈接中共享鏈接失效的快速恢復(fù)算法，以應(yīng)對網(wǎng)絡(luò)鏈接失效問題。

鏈接雖然在豐富數(shù)字圖書館服務(wù)內(nèi)容，提高數(shù)字圖書館服務(wù)質(zhì)量方面起重要作用［11］，但白海燕［12］的研究表明，無效鏈接仍是影響數(shù)字圖書館服務(wù)質(zhì)量的重要原因之一。Paris［13］認為無效鏈接影響了數(shù)據(jù)質(zhì)量，建議學(xué)術(shù)界研究無效鏈接的影響和解決方法。而調(diào)查分析發(fā)現(xiàn)，學(xué)術(shù)界并未有針對數(shù)字圖書館無效鏈接的解決辦法，數(shù)字圖書館中的無效鏈接問題，仍未得到很好的解決。

無效鏈接指無法打開響應(yīng)的鏈接指向，無法實現(xiàn)鏈接的鏈接類型［8］。無效鏈接根據(jù)表現(xiàn)方式，可分為錯誤鏈接、死鏈接及重疊鏈接3 種。

（1）錯誤鏈接。錯誤鏈接指根本不存在的鏈接，是由于域名、URL 地址輸入錯誤等原因而生成的鏈接。

（2）死鏈接。死鏈接指原本存在，但由于長期無人維護，對外鏈接的網(wǎng)頁或文件更改了位置，或所鏈接到的網(wǎng)頁被替換，服務(wù)器或數(shù)據(jù)庫不再支持原有網(wǎng)頁鏈接而生成的鏈接。

（3）重疊鏈接。重疊鏈接指原本存在，但網(wǎng)站在更新維護過程中，更改了部分內(nèi)容，卻未對原始網(wǎng)頁進行清除，而導(dǎo)致原始網(wǎng)頁內(nèi)容和新網(wǎng)頁內(nèi)容部分重疊的鏈接。重疊鏈接是由于網(wǎng)站內(nèi)部管理不當而造成的結(jié)果。雖然不會影響用戶最終瀏覽結(jié)果，卻給網(wǎng)站管理員造成了困擾，也降低了終端用戶瀏覽時的精確度和使用體驗。

隨著時間的不斷推移，數(shù)字圖書館累積了較多的無效鏈接。若不能有效清除，不僅影響了用戶使用體驗，還會降低用戶獲取信息的準確性，使用戶喪失對網(wǎng)站的信任［12］。為了解決該問題，本文以某國內(nèi)數(shù)字圖書館為例，并隨機選取了國家科技圖書文獻中心（National Science and Technology Digital Library，NSTL）［14］及中國高等教育文獻保障系統(tǒng)（China Academic Library &Information System，CALIS）［15］的38 家成員館進行了驗證分析。

1 研究過程

1.1 數(shù)據(jù)來源

本文以某國內(nèi)數(shù)字圖書館網(wǎng)站為實驗對象，利用預(yù)先設(shè)計的代碼，對實驗對象進行了測試，具體分析處理過程主要由3 部分構(gòu)成（見圖1）。

（1）確定分析目標。選取官網(wǎng)鏈接為分析對象，檢驗該網(wǎng)站內(nèi)無效鏈接狀況。

（2）選擇分析工具。選取Python3.8.5［16］版本為分析工具，新建腳本文件，編寫識別無效鏈接的程序代碼。

（3）輸出分析結(jié)果。測試數(shù)字圖書館的無效鏈接情況及代碼可行性。根據(jù)分析結(jié)果，總結(jié)數(shù)字圖書館中無效鏈接的類型和清除方法。

Fig.1 Analysis process圖1 分析處理過程

1.2 研究方法

下載Python 工具，并為其選用合適的運行環(huán)境；下載并調(diào)用訪問網(wǎng)頁的urllib 庫［17］，分析網(wǎng)頁用的BeautifulSoup庫［18］；根據(jù)設(shè)計的代碼返回運行結(jié)果。具體分析流程如圖2 所示。

Fig.2 Code analysis process圖2 代碼分析流程

（1）導(dǎo)入分析工具并輸入待分析的網(wǎng)頁鏈接。結(jié)合計算機終端狀況和需求，下載合適的Python 版本。之后，選取合適的運行環(huán)境（例如Spider［19］、Pycharm［20］等）。一切就緒后，打開運行環(huán)境，并新建文件，輸入待分析的網(wǎng)頁地址。

（2）抽取鏈接信息，形成對應(yīng)的數(shù)據(jù)結(jié)構(gòu)。根據(jù)待檢測的網(wǎng)站網(wǎng)址，分析該網(wǎng)址的鏈接內(nèi)容，形成以元組（tuples）表示的數(shù)據(jù)結(jié)構(gòu)，例如http404Error=（404，“Not Found”）。

（3）遍歷網(wǎng)站，并反饋結(jié)果。分析網(wǎng)頁鏈接時，若發(fā)現(xiàn)網(wǎng)站內(nèi)確實存在失效鏈接，則將這些鏈接內(nèi)容以反饋信息和響應(yīng)url 信息的形式返回到運行界面。

根據(jù)上述分析流程，本文設(shè)計了一段簡單的代碼，在經(jīng)過初始代碼的運行與調(diào)試后，得到了準確的代碼內(nèi)容，具體代碼見算法1。

2 結(jié)果及討論

本文將某國內(nèi)數(shù)字圖書館官方網(wǎng)址輸入到代碼測試區(qū)，運行代碼后最終得到了該網(wǎng)站的無效鏈接狀況，部分結(jié)果見算法2。

Algorithm 2：The Invalid Links Results of A Digital Library

算法2：某國內(nèi)數(shù)字圖書館無效鏈接運行結(jié)果

輸入網(wǎng)站網(wǎng)址：http：//www.las.ac.cn

網(wǎng)頁信息“查找網(wǎng)絡(luò)數(shù)據(jù)庫”的情況“http：//www.las.ac.cn/subpage/Information_Content.jsp？InformationID=6159”可能是無效鏈接。

網(wǎng)頁信息“信息素質(zhì)教育”的情況“http：//il.las.ac.cn”可能是無效鏈接。

網(wǎng)頁信息“正在進行的活動”的情況“http：//www.las.ac.cn/others/news_activity.jsp”可能是無效鏈接。

網(wǎng)頁信息“資源動態(tài)消息”的情況“http：//www.las.ac.cn/others/news_resource.jsp”可能是無效鏈接。

網(wǎng)頁信息“總體概況”的情況“http：//www.las.cas.cn/gkjj/”可能是無效鏈接。

網(wǎng)頁信息“60 周年館慶網(wǎng)”的情況“http：//www.las.ac.cn/60/”可能是無效鏈接。

網(wǎng)頁信息“館史陳列室”的情況“http：//www.las.ac.cn/history/”可能是無效鏈接。

網(wǎng)頁信息“第六次文獻情報會議”的情況“http：//wxqb6.las.ac.cn/”可能是無效鏈接。

網(wǎng)頁信息“博士后流動站”的情況“http：//www.las.cas.cn/jypx/bshldz/”可能是無效鏈接。

網(wǎng)頁信息“2020 年中國專業(yè)圖書館學(xué)術(shù)年會征文通知”的情況“http：//www.csla.org.cn”可能是無效鏈接。

根據(jù)算法2 可知，代碼準確且運行結(jié)果可信。網(wǎng)站管理員可根據(jù)運行結(jié)果，進入網(wǎng)站服務(wù)器或用戶終端瀏覽器。若發(fā)現(xiàn)網(wǎng)站內(nèi)確實存在結(jié)果中的無效鏈接，則可根據(jù)鏈接的內(nèi)容和位置，對無效鏈接進行剔除和更改。

本文主要目的是通過簡單的程序代碼，一鍵了解網(wǎng)站無效鏈接概況，旨在方便日常鏈接維護，提高無效鏈接處理效率。結(jié)果發(fā)現(xiàn)，某國內(nèi)數(shù)字圖書館的無效鏈接主要存在3 種類型：

一是網(wǎng)頁更替過程中，新舊網(wǎng)頁大部分內(nèi)容相似，只是所使用標簽和內(nèi)容表述發(fā)生了變化，即重疊鏈接。產(chǎn)生該現(xiàn)象的原因是網(wǎng)站建設(shè)者或管理員在內(nèi)部測試時，找到了管理或技術(shù)上的問題，改變了網(wǎng)頁的窗口樣式、顏色、語言描述等。該部分的網(wǎng)頁雖并未給用戶增添較大的檢索負擔(dān)，但用戶若不了解網(wǎng)頁內(nèi)容的新舊情況，則會由于雙重標準而困擾，用戶無法判斷網(wǎng)頁信息內(nèi)容是否準確有效。

二是用戶在搜索網(wǎng)頁過程中，被提示網(wǎng)頁正在跳轉(zhuǎn)中或返回到首頁。該鏈接在網(wǎng)站中實際并不存在，終端用戶無法看到最終網(wǎng)頁，即錯誤鏈接。產(chǎn)生這種現(xiàn)象的原因可能是網(wǎng)站在建設(shè)或更新過程中，網(wǎng)站建設(shè)者或管理員輸入錯誤的網(wǎng)頁地址或撰改了原始網(wǎng)頁信息，導(dǎo)致網(wǎng)頁無法跳轉(zhuǎn)，用戶無法判斷網(wǎng)頁內(nèi)容是否真的存在。尤其是用戶網(wǎng)絡(luò)狀況較差時，用戶可能將關(guān)注點放在網(wǎng)速上，其搜索時間被無限拖長。

三是指網(wǎng)頁鏈接存在，但無法打開，即死鏈接。產(chǎn)生這種鏈接內(nèi)容的原因可能是網(wǎng)站建立初期，有足夠的資金和資源支撐數(shù)字圖書館的運作。但在網(wǎng)站運營過程中，負責(zé)該網(wǎng)站的建設(shè)者可能轉(zhuǎn)移了工作重心，網(wǎng)站缺少資金支持，導(dǎo)致一部分鏈接無人維護或更新。鏈接指向發(fā)生了變更，用戶在搜索時，仍可看到該鏈接。在點擊時，卻無法打開，進而可能讓終端用戶誤以為網(wǎng)頁正在維護中，仍可能會有最新消息發(fā)布。

之后，為檢驗同類機構(gòu)網(wǎng)站無效鏈接狀況，本文隨機選取NSTL 及CALIS 38家成員館進行驗證分析，如表1所示。

Table 1 Invalid links results of digital libraries表1 數(shù)字圖書館無效鏈接存在情況

分析發(fā)現(xiàn)，除無法訪問的網(wǎng)站外，同類機構(gòu)網(wǎng)站中幾乎都存在無效鏈接，但數(shù)量不一、浮動較大。其中，最大值為89，最小值為2。為更直觀地對比各數(shù)字圖書館的無效鏈接情況，本文進行了譜段分析（見圖3）。由圖3 可知，各數(shù)字圖書館的無效鏈接數(shù)量大多處于1～13 之間，有個別超過了37。分析發(fā)現(xiàn)，各數(shù)字圖書館無效鏈接類型集中表現(xiàn)為死鏈接，其次為錯誤鏈接。但整體而言，無效鏈接基本為以上3 種。而具體網(wǎng)站無效鏈接狀況，讀者可自行驗證。

Fig.3 Invalid links distribution圖3 無效鏈接分布狀況

3 結(jié)語

數(shù)字圖書館隨著時間推移，其鏈接數(shù)量會不斷增多。雖然無效鏈接的存在為正?，F(xiàn)象，但若出現(xiàn)太多則有必要仔細檢查和梳理。否則用戶將會在搜索過程中，逐漸喪失其耐性，降低對網(wǎng)站的滿意度。此外，數(shù)字圖書館網(wǎng)頁多、項目進展快速、內(nèi)容更新頻繁等，也可能造成更多的無效鏈接。為了解決這一問題，本文設(shè)計了簡單代碼并運行。希望通過簡單的方法，幫助網(wǎng)站管理員解決較為麻煩的無效鏈接問題。其具體作用主要包含以下幾方面：①該段簡潔代碼和上述所述簡單操作，可以協(xié)助數(shù)字圖書館的館員（或一般網(wǎng)站管理員）檢查網(wǎng)站鏈接狀況，以便對無效鏈接進行及時更新、剔除或新增，以優(yōu)化用戶使用網(wǎng)站時的體驗；②可用于檢查無效鏈接外網(wǎng)頁的處理情況，測量網(wǎng)頁管理情況，決定非無效鏈接下網(wǎng)頁間的相互鏈接關(guān)系，以幫助網(wǎng)站管理員更好地組織網(wǎng)頁間的鏈接關(guān)系，提高用戶使用網(wǎng)站的效率；③可用于檢查數(shù)字圖書館網(wǎng)站管理工作，全面了解數(shù)字資源基本狀況，定期對數(shù)字資源內(nèi)容進行檢查，避免資源重復(fù)建設(shè)。

以往依靠人工計算不免費時耗力，需改善網(wǎng)頁鏈接，借助自動化方式，提高無效鏈接檢查效率和準確性，并直接計算結(jié)果，但對于如何及時預(yù)警并改善數(shù)字圖書館無效鏈接機制需進一步研究。并且，無效鏈接間的比較，不能簡單地用數(shù)量進行評估，應(yīng)采用一種合適的計量方式：①網(wǎng)站總數(shù)除以無效鏈接數(shù)；②實現(xiàn)步驟①中結(jié)果標準化，即介于0 和1 之間的數(shù)值；③考慮個別圖書館在全部圖書館的無效鏈接頻譜上的位置，并檢查無效鏈接數(shù)的真實數(shù)值，進行合理判斷。

因此，未來研究中，將會利用自動化方式，探索更多測量指標，并與富有經(jīng)驗的一線業(yè)務(wù)人員合作，以形成更全面、更有效的無效鏈接預(yù)防機制。