王玉瓊

(阜陽職業(yè)技術(shù)學(xué)院工程科技學(xué)院, 安徽 阜陽 236001)

數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng)是圖書館圖書資源與現(xiàn)代計(jì)算機(jī)信息化技術(shù)相結(jié)合的產(chǎn)物,可以向用戶提供數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索服務(wù),目前，在國外部分國家已將數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng)應(yīng)用到各大高校中,并且國外技術(shù)研發(fā)人員還研發(fā)出了相關(guān)配套技術(shù),比如系統(tǒng)自動(dòng)化更新、調(diào)試、安全保護(hù)等,國內(nèi)數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng)仍處于初級發(fā)展階段,雖然有些高校也引進(jìn)了圖書館個(gè)性化服務(wù)系統(tǒng),但在應(yīng)用中還存在一些問題,比如系統(tǒng)響應(yīng)較慢、檢索效率較低等,傳統(tǒng)系統(tǒng)已經(jīng)無法滿足數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索需求,為此,本文設(shè)計(jì)一種基于元搜索引擎的數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng).元搜索引擎是一種信息檢索設(shè)備,其檢索網(wǎng)絡(luò)信息資源原理是:從種子URL數(shù)據(jù)集合開始,提取出種子URL在數(shù)字圖書館網(wǎng)絡(luò)上內(nèi)部鏈接的URL,在獲取數(shù)字圖書資源的過程中,不斷從當(dāng)前網(wǎng)絡(luò)頁面上抽取新的URL放入到URL種子集合,從URL種子集合中篩選出符合檢索主題條件的URL并獲取網(wǎng)絡(luò)信息資源,一直如此循環(huán)下去,直至滿足預(yù)先設(shè)定的檢索深度為止.元搜索引擎會(huì)根據(jù)檢索主題有針對性地獲取網(wǎng)絡(luò)上的信息資源,以此獲取到與主題相關(guān)的網(wǎng)頁信息[1].由于元搜索引擎具有檢索效率高、精度高、對數(shù)據(jù)響應(yīng)速度快等優(yōu)點(diǎn),已經(jīng)得到了廣泛應(yīng)用,將元搜索引擎應(yīng)用到數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng)中,可提高系統(tǒng)的響應(yīng)性能,具有重要的現(xiàn)實(shí)意義.

1 系統(tǒng)硬件設(shè)計(jì)

在傳統(tǒng)檢索系統(tǒng)硬件設(shè)備基礎(chǔ)上引用元搜索引擎作為數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng)的核心硬件,主要任務(wù)就是獲取數(shù)字圖書館中的所有網(wǎng)絡(luò)信息資源,并通過超鏈接的方式使網(wǎng)頁與系統(tǒng)相對應(yīng),并且能夠達(dá)到高效、快速、準(zhǔn)確的應(yīng)用效果[2].元搜索引擎主要有InfoSpace、Dogpile、Vivisimo三種.InfoSpace元搜索引擎是將多個(gè)單一獨(dú)立的搜索引擎進(jìn)行整合,利用計(jì)算機(jī)索引程序掃描網(wǎng)絡(luò)信息資源中的所有文字?jǐn)?shù)據(jù),并且能夠明確找到網(wǎng)絡(luò)信息資源的位置;Dogpile元搜索引擎是一個(gè)獨(dú)立的搜索引擎,特點(diǎn)是能夠?qū)D片信息資源進(jìn)行搜索;Vivisimo元搜索引擎是一個(gè)分布式搜索引擎,主要是對音樂、視頻等網(wǎng)絡(luò)信息資源進(jìn)行檢索.

根據(jù)系統(tǒng)設(shè)計(jì)需求,選取InfoSpace元搜索引擎,該引擎具有云端全功能AI芯片,能夠在100 W以上的功耗下達(dá)到200萬億次/s的運(yùn)算速度,并且內(nèi)存寬帶達(dá)到了126 GB/s,可以有效提高系統(tǒng)的響應(yīng)性能.此外,InfoSpace元搜索引擎還包括API接口檢索數(shù)據(jù)、GUI接口下載數(shù)據(jù)、編寫引擎程序下載數(shù)據(jù)三種數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索途徑,可分別用于檢索不同種類的數(shù)據(jù)信息.1) API接口抓取數(shù)據(jù)用于檢索對格式要求嚴(yán)格或復(fù)雜的數(shù)據(jù),API是一種應(yīng)用程序編程接口,該接口是通過預(yù)選定義的函數(shù)為應(yīng)用程序提供例程能力[3],通過該接口可以快速的獲取到所需要的數(shù)字圖書館網(wǎng)絡(luò)信息資源,不需要了解元搜索引擎具體檢索過程,用API接口直接下載數(shù)字圖書館網(wǎng)絡(luò)信息數(shù)據(jù),可以有效保證檢索到的數(shù)據(jù)格式的完整性、數(shù)據(jù)結(jié)構(gòu)的良好性;2) GUI接口下載數(shù)據(jù)用于檢索圖形類數(shù)據(jù)資源[4],GUI是一種圖形接口,該接口具有強(qiáng)大的圖形獲取功能,元搜索引擎通過該接口完成圖形網(wǎng)絡(luò)資源的抓取,將獲取到的網(wǎng)絡(luò)信息資源以最直觀的圖形方式呈現(xiàn)出來,并且該途徑不需要元搜索引擎記憶大量的檢索命令,元搜索引擎只需要執(zhí)行少量的選擇命令、執(zhí)行命令完成檢索任務(wù),該途徑占用的網(wǎng)絡(luò)資源較少,且具有較高的可靠性[5];3) 編寫引擎程序下載數(shù)據(jù)用于對質(zhì)量要求較高的資源進(jìn)行檢索,相對于前兩種路徑它具有高效、高質(zhì)量等檢索優(yōu)點(diǎn),使元搜索引擎可以在數(shù)字圖書館的公開數(shù)據(jù)獲取中支持正則表達(dá)式操作[6],該路徑具有強(qiáng)大的腳本語言系統(tǒng)得以支持引擎檢索,可以精準(zhǔn)地獲取到與檢索主題相關(guān)的數(shù)字圖書館網(wǎng)絡(luò)信息數(shù)據(jù),操作簡單高效、接口穩(wěn)定性良好.元搜索引擎搜索流程如圖1所示.

圖1 元搜索引擎搜索流程

2 系統(tǒng)軟件設(shè)計(jì)

2.1 數(shù)字圖書館網(wǎng)絡(luò)信息資源存儲(chǔ)

利用數(shù)據(jù)庫軟件實(shí)現(xiàn)系統(tǒng)的數(shù)字圖書館網(wǎng)絡(luò)信息資源存儲(chǔ)功能.數(shù)據(jù)庫的設(shè)計(jì)是數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng)在設(shè)計(jì)開發(fā)過程中非常重要的一個(gè)環(huán)節(jié),并且數(shù)據(jù)庫也是系統(tǒng)的核心軟件,根據(jù)系統(tǒng)對網(wǎng)絡(luò)信息資源存儲(chǔ)的需求,此次采用Django數(shù)據(jù)庫,該數(shù)據(jù)庫是一個(gè)分布式數(shù)據(jù)庫,可以自動(dòng)將數(shù)字圖書館網(wǎng)絡(luò)信息資源以表格的形式存儲(chǔ),方便資源管理與檢索,為后續(xù)數(shù)據(jù)調(diào)用提供支持[7].Django采用OBS(object based storage)數(shù)據(jù)存儲(chǔ)機(jī)制,能夠自動(dòng)生成數(shù)據(jù)表,無需再通過手動(dòng)去創(chuàng)建表格,并且將所有的數(shù)字圖書館網(wǎng)絡(luò)信息資源統(tǒng)一格式和進(jìn)行分類,自動(dòng)將資源添加到事先建立的數(shù)據(jù)表格中[8].Django數(shù)據(jù)庫具有一個(gè)獨(dú)立的接口與元搜索引擎相連接,可以實(shí)現(xiàn)快速的數(shù)據(jù)交換,提高系統(tǒng)的數(shù)據(jù)傳輸速度[9].信息資源存儲(chǔ)部分代碼如圖2所示.

圖2 資源存儲(chǔ)部分代碼

此外,Django數(shù)據(jù)庫還設(shè)有用戶權(quán)限,用戶需要通過密匙進(jìn)入數(shù)據(jù)庫,可有效保證數(shù)據(jù)圖書館網(wǎng)絡(luò)信息資源的存儲(chǔ)安全.

2.2 數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索

在建立數(shù)據(jù)庫的基礎(chǔ)上,利用Sphinx軟件檢索數(shù)據(jù)圖書館網(wǎng)絡(luò)信息資源,Sphinx軟件可以很好地與系統(tǒng)數(shù)據(jù)庫和元搜索引擎集成,具有索引文件自動(dòng)更新的功能,當(dāng)面臨海量數(shù)字圖書館網(wǎng)絡(luò)信息資源時(shí)能夠快速完成檢索任務(wù),具體檢索流程如圖3所示.

圖3 數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索流程圖

Sphinx軟件主要是利用Indexer、Searchd、APP(客戶端程序)、Dctabast四個(gè)程序?qū)崿F(xiàn)數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索.Dctabast程序與系統(tǒng)數(shù)據(jù)庫連接,由數(shù)據(jù)庫為Sphinx軟件提供數(shù)據(jù)源,Dctabast再將數(shù)據(jù)傳輸給Indexer程序[10]；Indexer是Sphinx軟件的索引程序,其主要任務(wù)是對數(shù)據(jù)進(jìn)行分詞,并根據(jù)分詞生產(chǎn)多個(gè)索引,當(dāng)數(shù)據(jù)源數(shù)據(jù)量過大時(shí),Indexer能夠?qū)λ饕M(jìn)行自動(dòng)更新,重新建立新的索引[11];Indexer建立完數(shù)據(jù)索引后將其傳送給Searchd程序,Searchd利用索引快速處理系統(tǒng)接收查詢服務(wù),根據(jù)用戶輸入的關(guān)鍵詞匹配到與其相符的索引[12];將檢索結(jié)果傳送給APP,由APP向用戶展示最終檢索到的數(shù)據(jù)圖書館網(wǎng)絡(luò)信息資源,以此實(shí)現(xiàn)數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索.

3 對比試驗(yàn)

3.1 試驗(yàn)設(shè)計(jì)

試驗(yàn)以檢驗(yàn)本系統(tǒng)的更新處理時(shí)間、數(shù)據(jù)轉(zhuǎn)換時(shí)間、數(shù)據(jù)傳輸時(shí)間為目標(biāo),并與傳統(tǒng)系統(tǒng)進(jìn)行對比.此次試驗(yàn)環(huán)境中共部署了5臺R780機(jī)架式服務(wù)器,其中將3臺服務(wù)器分配到系統(tǒng)Python集群,2臺服務(wù)器分配到系統(tǒng)Storm集群,表1為5臺服務(wù)器的部署情況.

表1 服務(wù)器配置參數(shù)

試驗(yàn)時(shí)分別向兩個(gè)系統(tǒng)發(fā)送200個(gè)檢索服務(wù)請求,記錄此時(shí)兩系統(tǒng)時(shí)間,當(dāng)系統(tǒng)頁面轉(zhuǎn)跳到檢索頁面時(shí),再記錄此時(shí)系統(tǒng)的時(shí)間,當(dāng)系統(tǒng)檢索頁面顯示出最終的檢索結(jié)果時(shí),再對系統(tǒng)時(shí)間進(jìn)行記錄,最后將以上三個(gè)時(shí)間差作為系統(tǒng)響應(yīng)性能的量化結(jié)果,對兩個(gè)系統(tǒng)進(jìn)行對比.

3.2 試驗(yàn)結(jié)果分析

試驗(yàn)設(shè)定兩個(gè)系統(tǒng)對單個(gè)檢索服務(wù)的響應(yīng)時(shí)間在4 s之內(nèi),計(jì)算出200個(gè)檢索服務(wù)系統(tǒng)的平均響應(yīng)時(shí)間,將兩個(gè)系統(tǒng)進(jìn)行對比,試驗(yàn)結(jié)果如表2所示.

表2 兩個(gè)系統(tǒng)響應(yīng)時(shí)間對比

從表2可以看出,設(shè)計(jì)系統(tǒng)在響應(yīng)時(shí)間方面的性能符合要求,并且響應(yīng)時(shí)間比傳統(tǒng)系統(tǒng)更快一些,證明本文設(shè)計(jì)系統(tǒng)可以滿足數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索效率要求.

4 結(jié)語

本文設(shè)計(jì)了基于元搜索引擎的數(shù)字圖書館網(wǎng)絡(luò)信息資源檢索系統(tǒng),通過應(yīng)用元搜索引擎,不但能夠優(yōu)化傳統(tǒng)系統(tǒng)的檢索方案,還能夠完成傳統(tǒng)系統(tǒng)所不能發(fā)揮的檢索功能,有效提高了系統(tǒng)的檢索效率,也提高了數(shù)字圖書館網(wǎng)絡(luò)信息資源的利用率,具有一定的現(xiàn)實(shí)意義.