焦萍萍

摘要：隨著學校數(shù)字化建設(shè)的加快，校園的各種信息也不斷增加，對信息進行查找和定位也逐漸變得的困難。大多學校還是使用一般搜索引擎進行站內(nèi)信息的搜索，利用這樣的搜索引擎一般不能及時地得到新消息。而且如果一些學校使用的二級域名或是用，P地址直接作為網(wǎng)站，那么很難被通用的搜索引擎給搜索到。所以本文將基于Python技術(shù)對校園的搜索引擎進行分析，提供一些設(shè)計方案僅供參考。

關(guān)鍵詞：校園搜索引擎；python技術(shù)；設(shè)計

當今時代是一個信息化的社會，人們通過互聯(lián)網(wǎng)可以看到各種信息，隨著互聯(lián)網(wǎng)的普遍使用，網(wǎng)絡(luò)信息也不斷地增長。想要提高信息搜索的效率，主要的就是對搜索引擎進行改進。而隨著校園的信息化建設(shè)，建立一個高效搜索引擎變得非常重要。所以，本文將結(jié)合python語言對搜索引擎的設(shè)計進行分析，探討一下該語言在校園網(wǎng)中的建設(shè)。

1.搜索引擎建立的流程分析

1.1框架的分析

建立校園搜索引擎首先就是要進行設(shè)計流程的分析；其次就是分析Python語言中Scrapy相關(guān)的開源爬蟲結(jié)構(gòu)設(shè)計，其中在Scrapy爬蟲框架中有關(guān)URL的去重功能的分析；再則就是基于Python語言中關(guān)于Whoosh索引檢索庫的分析；最后就是對建立的系統(tǒng)進行測試。

根據(jù)多種的搜索引擎設(shè)計案例，總結(jié)出設(shè)計搜索引擎的基本流程：首先就是建立一個文件集合（collection），之后利用索引器（indexer）對這些文件進行索引建設(shè)。接著用戶就可以進行關(guān)鍵詞（query）的輸入，這樣系統(tǒng)就可以利用索引進行檢索。而且索引模塊可以對查詢的結(jié)果進行分析排序，最后將搜索結(jié)果按照用戶的要求進行排列呈現(xiàn)出來。在這之前要通過網(wǎng)絡(luò)爬蟲程序?qū)⑦@些集合文件下載好。因此，建立搜索引擎需要完成這幾個模塊：首先就是網(wǎng)絡(luò)爬蟲系統(tǒng)的建立，其次就是索引查詢系統(tǒng)的建立，最后就是顯示答案的模塊。

1.2網(wǎng)絡(luò)爬蟲

在1993年，“互聯(lián)網(wǎng)漫游者”誕生，它是世界上首個網(wǎng)路爬蟲程序，也被稱為是網(wǎng)絡(luò)機器人。網(wǎng)絡(luò)爬蟲通過利用圖論中的遍歷算法對互聯(lián)網(wǎng)中的大量信息進行下載，在建立搜索引擎時，是不可缺少圖論的遍歷算法的。該方法是將互聯(lián)網(wǎng)比作一個大圖，將每個網(wǎng)頁作為一個點，通過每個網(wǎng)頁中的超鏈接，就可以將它們相互連接起來了。

寬度優(yōu)先搜索（BFS），也可以稱為是廣度的優(yōu)先搜索，它也是屬于通圖中的一種遍歷對策。首先建立一張圖對該算法進行分析。如圖1所示。

如果想要得到V0到V6之間最短的路徑，那么就是分析與V0各個連接的節(jié)點，分別是V1、V2、V3，之后分析和三者相連的節(jié)點有：{V0、V4}，{V0、V1、V6}，{V0、V1、V5}，將我們已經(jīng)分析過的節(jié)點V1、V2、V3進行排除，那么就剩下V4、V6、V5，之后通過找出與V2的連接點V6，就可以得出一條路徑：VO-V2-V6，然后再尋找V5的連接點，就可以得到另外一個路徑：VO-V3-V5-V6，但是這條路徑不是所要的最短路徑。這些就是寬度搜索的基本邏輯，但是該訪問方式比較消耗內(nèi)存。

深度優(yōu)先搜索（DFS）方式，它是和廣度搜索相反，它是“一條道走到黑”的邏輯。詳細來說就是當訪問走到頭，就去訪問其他相鄰的節(jié)點，假如有很多節(jié)點，那么訪問左邊的節(jié)點，直到?jīng)]有別的節(jié)點，然后在進行其他節(jié)點的訪問。這種搜索選擇邏輯效率比較慢，但是它可以和廣度有限搜索相結(jié)合，如此可以實現(xiàn)優(yōu)勢互補的效果。

非完全的PageRank邏輯選擇：它是屬于連接分析算法，主要是分析網(wǎng)頁重要性的。所以，在進行網(wǎng)頁優(yōu)先等級選擇時可以利用PageRank邏輯進行分析：將下載好的網(wǎng)頁，和需要獲取的網(wǎng)頁組成一個集合，之后在利用PageRank邏輯進行計算。計算完之后，將獲取的URL根據(jù)PageRank計算出的得分高低進行排列，然后爬蟲就在這些排列中進行URL列表的搜索。

1.3搜索引擎的索引

索引的核心部分就是進行布爾集合運算，不管搜索引擎多么的智能，它的基礎(chǔ)都是運用布爾運算。在布爾運算中主要使用0個1兩個值，具有三種邏輯：OR、AND、NOT。