劉昱甫

摘 要：現(xiàn)代信息技術(shù)的發(fā)展使得網(wǎng)絡(luò)中的信息數(shù)據(jù)呈爆炸式增長。海量的數(shù)據(jù)確實對社會發(fā)展產(chǎn)生了巨大貢獻，但同時龐大數(shù)據(jù)的提取與應(yīng)用則成為一個難題，尤其在對成千上萬類別的信息數(shù)據(jù)進行搜索時，其為搜索引擎的功能、性能都帶來巨大考驗。現(xiàn)有的搜索引擎主要是針對網(wǎng)絡(luò)中的數(shù)據(jù)全文進行索引，而缺少足夠的針對性，難以充分滿足用戶的信息篩選需求。因此，如何對現(xiàn)有搜索引擎技術(shù)進行改善和優(yōu)化就成為互聯(lián)網(wǎng)領(lǐng)域的一個重要研究課題。文章主要圍繞特定領(lǐng)域內(nèi)基于知識圖譜的搜索引擎技術(shù)及其實現(xiàn)展開研究，提出了一種更能夠理解用戶需求的搜索引擎解決方案。

關(guān)鍵詞：搜索引擎;知識圖譜;數(shù)據(jù)提取;用戶需求

1 基于知識圖譜的搜索引擎技術(shù)概述

知識圖譜是融合現(xiàn)代應(yīng)用數(shù)學(xué)、圖形學(xué)、信息可視化技術(shù)、計量學(xué)引文分析等理論與方法而形成的一種現(xiàn)代理論[1-4]。在互聯(lián)網(wǎng)領(lǐng)域，知識圖譜則具體指基于實體或概念之間的語義關(guān)系構(gòu)建而形成的一種知識網(wǎng)絡(luò)。一直以來，知識圖譜都是互聯(lián)網(wǎng)領(lǐng)域的重點研究對象，并且在一些領(lǐng)域的信息抽取系統(tǒng)中得到深入應(yīng)用，如Never-Ending語言學(xué)習(xí)系統(tǒng)、Google搜索引擎等。而隨著互聯(lián)網(wǎng)的高速發(fā)展，針對某一領(lǐng)域或全網(wǎng)范圍進行知識圖譜的建構(gòu)也是當(dāng)前互聯(lián)網(wǎng)領(lǐng)域的重點工作之一[5]。目前，基于知識圖譜的搜索引擎技術(shù)主包含本體庫、網(wǎng)絡(luò)爬蟲、索引和查詢等[6]。而這些技術(shù)形成不同的模塊共同構(gòu)成了基于知識圖譜的搜索引擎。此外，這種搜索引擎的體系結(jié)構(gòu)一般包含3部分：網(wǎng)絡(luò)爬蟲模塊、索引與檢索模塊、知識圖譜模塊[7]。

2 基于知識圖譜的搜索引擎技術(shù)

2.1 爬蟲技術(shù)

在互聯(lián)網(wǎng)搜索引擎中，爬蟲技術(shù)是最重要的技術(shù)之一[8-9]。搜索過程中網(wǎng)絡(luò)爬蟲會自動的對所有可以訪問的內(nèi)容進行采集同時按照搜索要求從中抓取相應(yīng)數(shù)據(jù)。從互聯(lián)網(wǎng)搜索引擎誕生之初，該技術(shù)就一直在被應(yīng)用。網(wǎng)絡(luò)爬蟲技術(shù)的實現(xiàn)涉及協(xié)議處理器、內(nèi)容提取、URL提取以及URL處理器4部分。而網(wǎng)絡(luò)爬蟲在進行頁面信息抓取時通常采取廣度優(yōu)先、深度優(yōu)先以及最優(yōu)選擇3種策略。

2.2 索引與檢索技術(shù)

索引與檢索技術(shù)的基礎(chǔ)是Lucene開源全文檢索框架[10]。該框架能夠有效融入程序，從而使各種應(yīng)用借助這一框架實現(xiàn)搜索功能。該檢索框架由索引組件以及搜索組件兩部分組成。索引組件的主要作用在于將原始數(shù)據(jù)轉(zhuǎn)換成可以被檢索的數(shù)據(jù)，以提升數(shù)據(jù)檢索效率。搜索組件則主要用以進行目標(biāo)關(guān)鍵詞與相關(guān)條目的匹配，進而完成數(shù)據(jù)搜索命中的任務(wù)。

2.3 知識圖譜技術(shù)

知識圖譜技術(shù)是互聯(lián)網(wǎng)搜索引擎技術(shù)領(lǐng)域中的一個巨大突破，它為網(wǎng)絡(luò)搜索引擎的發(fā)展帶來巨大變革。以知識圖譜技術(shù)為基礎(chǔ)，搜索引擎可以更深入地理解用戶需求，理解相關(guān)搜索問題并提供信息和知識解答。可以說，知識圖譜技術(shù)使搜索引擎擺脫了傳統(tǒng)泛化搜索的局面。

知識圖譜技術(shù)主要涉及知識圖譜模型的構(gòu)建方法，而其模型又主要由Web實體挖掘及數(shù)據(jù)處理模塊、知識表示模塊、知識圖譜引擎模塊和數(shù)據(jù)分析接口模塊構(gòu)成。

3 基于知識圖譜的搜索引擎技術(shù)應(yīng)用

作為一種先進的搜索引擎技術(shù)，基于知識圖譜的搜索引擎在具體應(yīng)用中需要通過以下項目的構(gòu)建來實現(xiàn)。

3.1 搜索引擎構(gòu)建

搜索引擎的構(gòu)建需要確定好相應(yīng)的數(shù)據(jù)爬取框架和索引引擎。此處搜索引擎的構(gòu)建采用Scrapy框架與Solr索引引擎。Scrapy爬蟲在相應(yīng)的網(wǎng)站中進行實體數(shù)據(jù)的實現(xiàn)方法如圖1所示。

Solr數(shù)據(jù)檢索的構(gòu)建和實現(xiàn)可以分為實體數(shù)據(jù)向索引數(shù)據(jù)的轉(zhuǎn)換和匹配關(guān)鍵詞完成數(shù)據(jù)檢索兩部分。

3.2 知識圖譜構(gòu)建

知識圖譜的構(gòu)建過程如下：首先需要將相關(guān)搜索領(lǐng)域的實體插入圖譜，隨后再將內(nèi)容實體插入，最后將內(nèi)容實體與其他實體之間的關(guān)聯(lián)建構(gòu)起來，從而形成一個完整的知識圖譜。此外，在節(jié)點的插入過程中，還應(yīng)該依據(jù)實體類型來進行屬性信息索引的建構(gòu)，從而進一步提升檢索的準(zhǔn)確性和效率。

3.3 檢索結(jié)果排序

基于知識圖譜的搜索引擎構(gòu)建還涉及最終的檢索結(jié)果排序問題。本文采用的Lucene框架下的搜索結(jié)果排序方式一般有按照索引先后順序和按照匹配相似度計算的分值兩種，但這兩種排序方式都有一定的弊端。因此，本文提出了一個全新的檢索結(jié)構(gòu)排序模型。該模型下的基本排序步驟為：（1）對每個實體及其屬性值與檢索詞的匹配值進行計算;（2）對屬性匹配值與屬性權(quán)重累加和進行相乘;（3）對命中實體和其他命中實體的關(guān)系值進行相加，若兩者有關(guān)系，記為1，若無關(guān)則記為0;（4）將上述計算值乘以權(quán)重再求和。

3.4 信息推薦

在搜索引擎中，檢索得到最終結(jié)果后還需要對檢索到的內(nèi)容進行推薦，這也是搜索引擎構(gòu)建中必須要完成的一環(huán)。由于傳統(tǒng)搜索引擎基于內(nèi)容的推薦算法已經(jīng)無法滿足人們的需求，本文在構(gòu)建搜索引擎的過程中以知識圖譜為基礎(chǔ)提出了一種信息推薦方法，即以命中實體與其他實體間的距離來進行推薦，而這一距離則代表著實體間的匹配度。A，B兩個節(jié)點間的距離由路徑代表。在信息推薦過程中依據(jù)對每種關(guān)系的賦值就可以將不同節(jié)點間的距離準(zhǔn)確計算出來，隨后再結(jié)合這一距離值進行信息的推薦。這一推薦方式可以在實踐中優(yōu)先推薦與特定實體匹配度高的實體。

4 結(jié)語

通過上述基于知識圖譜的搜索引擎技術(shù)及其應(yīng)用的研究，我們基本可以了解到這一技術(shù)的基本內(nèi)容和搜索引擎構(gòu)建的基本思路。然而在實際應(yīng)用中，該技術(shù)還需要技術(shù)人員明確具體的應(yīng)用領(lǐng)域后，有針對性地開展搜索引擎構(gòu)建、知識圖譜構(gòu)建以及排序方式和信息推薦方式的設(shè)計。該技術(shù)在實踐中仍有較大的研究空間。

[參考文獻]

[1]郭蘊穎.基于知識圖譜的電網(wǎng)信息搜索引擎的設(shè)計與實現(xiàn)[D].北京：中國科學(xué)院大學(xué)，2020.

[2]秦長江，侯漢清.知識圖譜—信息管理與知識管理的新領(lǐng)域[J].大學(xué)圖書館學(xué)報，2009（1）：30-37，96.

[3]陳悅，劉則淵，陳勁，等.科學(xué)知識圖譜的發(fā)展歷程[J].科學(xué)學(xué)研究，2008（3）：449-460.

[4]陳悅，劉則淵.悄然興起的科學(xué)知識圖譜[J].科學(xué)學(xué)研究，2005（2）：149-154.

[5]徐增林，盛泳潘，賀麗榮，等.知識圖譜技術(shù)綜述[J].電子科技大學(xué)學(xué)報，2016（4）：589-606.

[6]劉春圃.基于疾病知識圖譜的關(guān)聯(lián)搜索技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[7]劉嶠，李楊，段宏，等.知識圖譜構(gòu)建技術(shù)綜述[J].計算機研究與發(fā)展，2016（3）：582-600.

[8]孫立偉，何國輝，吳禮發(fā).網(wǎng)絡(luò)爬蟲技術(shù)的研究[J].電腦知識與技術(shù)，2010（15）：4112-4115.

[9]周立柱，林玲.聚焦爬蟲技術(shù)研究綜述[J].計算機應(yīng)用，2005（9）：1965-1969.

[10]高龍，張涵初，楊亮.基于知識圖譜與語義計算的智能信息搜索技術(shù)研究[J].情報理論與實踐，2018（7）：42-47.

（編輯 傅金睿）