黃皓凌，張凡

（深圳大學(xué)信息中心，廣東深圳518060）

隨著IPv4地址用盡，IPv6的推廣正在加快步伐。中國從教育網(wǎng)開始建立IPv6網(wǎng)絡(luò)，現(xiàn)在愈來愈多的網(wǎng)站支持IPv6。本文描述我們研制的專用IPv6搜索引擎[1]“6搜”。6搜只搜索支持IPv6協(xié)議的網(wǎng)站，即搜索只支持IPv6的網(wǎng)站也搜索既支持IPv6又支持IPv4的網(wǎng)站，如果一個網(wǎng)站僅支持IPv4則不在6搜搜索范圍之內(nèi)，不管這個網(wǎng)站的內(nèi)容與IPv6主題有關(guān)與否。

其他IPv6搜索引擎包括CERNET網(wǎng)絡(luò)中心自主開發(fā)的網(wǎng)絡(luò)指南針[2]，上海交通大學(xué)的IPv6網(wǎng)站搜索引擎Search6[3]，華南理工大學(xué)廣東省網(wǎng)絡(luò)重點實驗室和華中科技大學(xué)、北京大學(xué)、清華大學(xué)聯(lián)合研制的下一代互聯(lián)網(wǎng)分布式搜索引擎Se6[4]。

另一個與IPv6有關(guān)的搜索引擎是谷歌IPv6。但它不是一個“IPv6搜索引擎”，也不是“專用IPv6搜索引擎”。谷歌IPv6搜索的回復(fù)內(nèi)容和谷歌IPv4網(wǎng)站搜索回復(fù)的內(nèi)容是完全一樣的。谷歌IPv6沒有提供功能以區(qū)分網(wǎng)站支持IPv6還是IPv4，或兩者都支持。谷歌IPv6的搜索回復(fù)內(nèi)容既包含IPv4網(wǎng)站的網(wǎng)頁也包含IPv6網(wǎng)站的網(wǎng)頁。用戶無法區(qū)分，除非用戶只有IPv4或IPv6而導(dǎo)致點擊僅支持所缺協(xié)議的網(wǎng)站會無法連接。ipv6.google.com是www.google.com在IPv6上的鏡像，用戶可以通過IPv6訪問谷歌原有的的搜索引擎。所以稱ipv6.google.com為IPv6搜索引擎是不合適的。它是一個“支持IPv6的搜索引擎”。這里支持有兩個方面，一是支持用戶通過IPv6訪問，二是搜索內(nèi)容包括支持IPv6的網(wǎng)站。如果從第二方面講，www.google.com也是“支持IPv6的搜索引擎”，因為其搜索內(nèi)容中也包含支持IPv6的網(wǎng)站。但用戶不能通過IPv6訪問www.google.com。所以通常不認(rèn)為它是“支持IPv6的搜索引擎”。

6搜現(xiàn)在收集有近2000萬IPv6網(wǎng)頁，而且網(wǎng)頁在不斷更新，包括中國和國外的網(wǎng)頁。查詢回復(fù)時間在一秒以內(nèi)。相比之下，網(wǎng)絡(luò)指南針使用的是wget程序采集網(wǎng)頁，而非使用專用的網(wǎng)頁采集程序。Se6網(wǎng)頁數(shù)比較多但搜索回復(fù)時間比較長，并且不是專用的IPv6搜索引擎，也搜索IPv4網(wǎng)頁。Search6沒有中文分詞功能，沒有搜索網(wǎng)站功能，網(wǎng)頁數(shù)量少。

1 6搜的設(shè)計和結(jié)構(gòu)

在研制6搜的過程中，在開源搜索引擎Nutch[5]的基礎(chǔ)上進(jìn)行了修改、調(diào)整和創(chuàng)新。6搜網(wǎng)頁采集速度在每秒100頁以上，可以迅速判斷網(wǎng)站是否支持IPv6，跳過只支持IPv4的網(wǎng)站，專搜支持IPv6的網(wǎng)站。6搜顯示搜索結(jié)果時同時提供“搜索”和“搜索網(wǎng)站”功能，此為6搜的創(chuàng)新點之一。搜索是搜索網(wǎng)頁，在所有含關(guān)鍵字的網(wǎng)頁被找到后進(jìn)行排序。因為IPv6網(wǎng)站的數(shù)目少于IPv4網(wǎng)站的數(shù)目，排序之后時常會發(fā)生搜索結(jié)果中一部分或者相當(dāng)多的網(wǎng)頁是來自相同的網(wǎng)站?！八阉鳌惫δ懿粚@樣的結(jié)果進(jìn)行修改。而6搜的“搜索網(wǎng)站”功能對搜索結(jié)果進(jìn)行合并，按照每個網(wǎng)站排名最高的網(wǎng)頁對網(wǎng)站進(jìn)行排名。

描述“搜索網(wǎng)站”結(jié)果的算法如下：

Algorithm 1搜索網(wǎng)站

Require：排序后的網(wǎng)頁URL字符串?dāng)?shù)組pages（索引范圍從1到n）

建立包含兩個字符串域site，top_page結(jié)構(gòu)的數(shù)組sites

j←1

for i=1 to n do

site_of_page←pages[i]所在的網(wǎng)站

if（site_of_page∈sites[1 to j-1].site）=false then

sites[j].site←site_of_page

sites[j].top_page←pages[i]

j←j+1

end if

end for

{按順序逐個輸出sites內(nèi)的網(wǎng)站和網(wǎng)頁，在每個網(wǎng)頁的下方建立一個鏈接指向此

網(wǎng)站的更多網(wǎng)頁}

for j=1 to j-1 do

print site[j].top_page

print摘要

print超鏈接含有anchor文本：site[j].site+“網(wǎng)站內(nèi)更多搜索結(jié)果”

end for

實現(xiàn)這個算法的方法是把Nutch提供的搜索結(jié)果處理程序進(jìn)行修改。

以下以實例描述搜索網(wǎng)站和搜索的區(qū)別以及搜索網(wǎng)站功能的特點。在6搜按搜索鍵搜索“傳感器”關(guān)鍵字的結(jié)果是：

第1-10項（共有3，738項查詢結(jié)果）:

2010無線傳感器網(wǎng)絡(luò)及物聯(lián)網(wǎng)技術(shù)國際研討會-教育信息化-中國教育和科研計算機(jī)網(wǎng)CERNET

...交流階段，緊密圍繞無線傳感器網(wǎng)絡(luò)應(yīng)用關(guān)鍵技術(shù)和工業(yè)界...傳感器網(wǎng)絡(luò)產(chǎn)業(yè)技術(shù)開發(fā)、無線傳感器...117億會議信息2010無線...

http://www.edu.cn/xs_hui_yi_5674/20101125/t20101125_544371.shtml cached explain anchors

物聯(lián)網(wǎng)傳感器芯片三年后30%國產(chǎn)化-教育信息化-中國教育和科研計算機(jī)網(wǎng)CERNET

...普通轎車約安裝一百多只傳感器，豪華轎車傳感器甚至多達(dá)二百余只。（文章...IPv6如何大顯身手？物聯(lián)網(wǎng)傳感器...

http://www.edu.cn/gjjs_7951/20100914/t20100914_521589.shtm l cached explain anchors

三大技術(shù)推進(jìn)物聯(lián)網(wǎng)的實現(xiàn)：IPv6傳感器云-教育信息化-中國教育和科研計算機(jī)網(wǎng)CERNET

...技術(shù)推進(jìn)物聯(lián)網(wǎng)的實現(xiàn)：IPv6傳感器云-教育信息化-中國教育...技術(shù)推進(jìn)物聯(lián)網(wǎng)的實現(xiàn)：IPv6傳感器云http://www.edu.cn 2011-01-05作者...

http://www.edu.cn/pl_9660/20110105/t20110105_566637.shtm l cached explain anchors

注意到排名前三位的網(wǎng)頁均出自www.edu.cn。相比之下，在6搜按“搜索網(wǎng)站”鍵搜索“傳感器”關(guān)鍵字的結(jié)果是：

第1-10項（共有3，738項查詢結(jié)果）:

2010無線傳感器網(wǎng)絡(luò)及物聯(lián)網(wǎng)技術(shù)國際研討會-教育信息化-中國教育和科研計算機(jī)網(wǎng)CERNET

...交流階段，緊密圍繞無線傳感器網(wǎng)絡(luò)應(yīng)用關(guān)鍵技術(shù)和工業(yè)界...傳感器網(wǎng)絡(luò)產(chǎn)業(yè)技術(shù)開發(fā)、無線傳感器...117億會議信息2010無線...

http://www.edu.cn/xs_hui_yi_5674/20101125/t20101125_544371.shtm l cached explain anchors

www.edu.cn網(wǎng)站內(nèi)更多搜索結(jié)果

清華大學(xué)-Tsinghua University

...基于頻率變化的數(shù)字量傳感器

http://www.tsinghua.edu.cn/publish/th/6176/index.htm l cached explain anchors

www.tsinghua.edu.cn網(wǎng)站內(nèi)更多搜索結(jié)果

開放課題指南

...異構(gòu)性強(qiáng)、數(shù)量龐大的無線傳感器網(wǎng)絡(luò)，研究無線傳感器網(wǎng)絡(luò)的管理架構(gòu)、管理信息...效率分析。課題2：無線...

http://www.int.bupt.cn/topic/2009-08-13-17-26-21.htm l cached explain anchors

www.int.bupt.cn網(wǎng)站內(nèi)更多搜索結(jié)果

搜索網(wǎng)站結(jié)果中，除了www.edu.cn網(wǎng)站排第一位的網(wǎng)頁被保留以外，其它所有出自www.edu.cn網(wǎng)站的網(wǎng)頁都不再顯示，取而代之的是www.edu.cn網(wǎng)站內(nèi)更多搜索結(jié)果的鏈接。其他網(wǎng)頁下面也有各自的…網(wǎng)站內(nèi)更多搜索結(jié)果的鏈接。

Google搜索的網(wǎng)站因含純IPv4網(wǎng)站，所以數(shù)量多，出現(xiàn)搜索結(jié)果中含有多個網(wǎng)頁出于同一個網(wǎng)站并且排名連續(xù)的情況比較少，但這個問題有時會出現(xiàn)，比如在Google搜索關(guān)鍵詞“Java”有以下結(jié)果：

1）Download Free Java Software

This page is your source to download or update your existing Java Runtime Environment，also known as the Java Virtual Machine（JVM，VM，and Java VM），...

www.java.com/getjava/-Cached

2）java.com:Java+You

Get the latest Java Software and explore how Java technology provides a...

www.java.com/-Cached-Similar

3）What is Java and why do I need it?

Java is a programming language and computing platform first released by Sun...

www.java.com/en/download/faq/whatis_java.xm l-Cached-Similar

Show more results from java.com

4）Java（programming language）-Wikipedia，the free encyclopedia

Java is a programming language originally developed by James Gosling at Sun Microsystems（which is now a subsidiary of Oracle Corporation）and released in...

en.wikipedia.org/wiki/Java_（programming_language）-Cached-Similar

注意到第3項有Show more results from java.com而第4項卻沒有Show more results from en.wikipedia.org。給人印象是java.com網(wǎng)站里有多個含有java關(guān)鍵字的網(wǎng)頁而維基百科沒有，實際上維基百科（en.wikipedia.org）里含有Java詞條也不止一個，比如http://en.wikipedia.org/wiki/Java就是一個維基百科里Java的搜索結(jié)果，但是谷歌并沒有提供“顯示更多維基百科的Java搜索結(jié)果”鏈接使得用戶可以通過點擊這個鏈接而同時看到Java編程語言和Java（爪哇）島的條目。6搜的“搜索網(wǎng)頁”功能會在維基百科的結(jié)果下列出Show more results from en.wikipedia.org。原Nutch的搜索結(jié)果呈現(xiàn)方法是每個網(wǎng)站只列出排名最高的前兩個網(wǎng)頁，而在每個網(wǎng)站第一個網(wǎng)頁的下方列出其網(wǎng)站（more from http://...）提示用戶點擊以列出網(wǎng)站中的其它搜索結(jié)果。網(wǎng)頁下方換頁的鍵是next page。在顯示了幾頁后，顯示頁面下方的鍵從next page換為show all hits，用戶點擊show all hits以后，Nutch轉(zhuǎn)入網(wǎng)頁列出模式，列出所有網(wǎng)頁而不列出網(wǎng)站。這樣就常會出現(xiàn)多個網(wǎng)頁出自同一個網(wǎng)站，而且這些網(wǎng)頁往往在排名上是連續(xù)的，在屏幕上連在一起。Nutch這種中途轉(zhuǎn)換顯示方式的方法雖然提供了兩種不同的結(jié)果顯示方法，但卻使不少用戶感到迷惑，因為這種結(jié)果顯示方式和其他搜索引擎的顯示方式不同。

6搜的創(chuàng)新解決方法是提供前面提到的“搜索網(wǎng)站”功能。在實現(xiàn)過程中，對Nutch源代碼進(jìn)行修改。在Nutch源碼中每個網(wǎng)站列出的網(wǎng)頁數(shù)是可以選擇的，6搜設(shè)置每個網(wǎng)站列出的網(wǎng)頁數(shù)為1而且提供在這個參數(shù)下的搜索結(jié)果為搜索網(wǎng)站的搜索結(jié)果（再加上網(wǎng)站鏈接）。所以6搜的搜索網(wǎng)站的搜索結(jié)果是網(wǎng)站和這些網(wǎng)站排名最前的網(wǎng)頁。網(wǎng)站的排名是由網(wǎng)站內(nèi)排名最前的網(wǎng)頁的排名決定的。6搜直接提供“搜索”和“搜索網(wǎng)站”的功能而不是象Nutch那樣在顯示了幾頁結(jié)果之后轉(zhuǎn)入另一種模式。用戶從開始有了選擇搜索方式的選項。

谷歌使用的是一種既含有搜索又含有搜索網(wǎng)站的搜索結(jié)果呈現(xiàn)方式。谷歌根據(jù)算法列出有些網(wǎng)頁所在的網(wǎng)站，而對有些網(wǎng)頁則不列出其網(wǎng)站，即使在同一網(wǎng)站有其他網(wǎng)頁有相同的關(guān)鍵字。百度搜索結(jié)果似乎全部是網(wǎng)頁。以Java的搜索結(jié)果為例，在第1頁里百度并沒有列出www.java.com更多搜索的結(jié)果的鏈接，而僅在tieba.baidu.com的一個網(wǎng)頁下顯示“更多貼吧相關(guān)討論”。

6搜是基于開源搜索引擎Nutch 1.1版。Nutch是基于Lucene搜索引擎。Nutch和Lucene都使用Java語言，可以支持分布式，幾億或更多網(wǎng)頁的搜索。Nutch網(wǎng)絡(luò)爬蟲的原理是從種子網(wǎng)站出發(fā)，一層一層采集由超鏈接連接起來的網(wǎng)頁。每遍歷一層把收取的網(wǎng)頁進(jìn)行分析，篩選出排名最高的網(wǎng)頁進(jìn)行下一次的采集。總的來說，采集IPv6網(wǎng)頁的方法有兩種，一是從IPv6的網(wǎng)站種子出發(fā)，跟隨IPv6的超鏈接進(jìn)行采集，這樣收集到的網(wǎng)頁從種子到網(wǎng)頁都是經(jīng)過IPv6網(wǎng)站的超鏈接。另一種方法是從種子出發(fā)收集IPv6和IPv4網(wǎng)頁，并對每個網(wǎng)頁進(jìn)行標(biāo)記（IPv6和∕或IPv4），搜索時根據(jù)需要提供IPv6、IPv4的網(wǎng)頁。如果不使用超鏈接遍歷，采取IP地址的全范圍采集，在IPv6地址域上是難以進(jìn)行的，因為IPv6地址數(shù)量巨大，有3.4×1038個地址，不可能在較短時間內(nèi)遍歷地址。

6搜采取的是IPv6超鏈接遍歷法。以網(wǎng)上收集到的IPv6網(wǎng)站做種子作為采集的開始。以下介紹為了進(jìn)行IPv6網(wǎng)頁采集對Nutch爬蟲的修改。Nutch的爬蟲有一個隊列填充器，多個隊列，（其中每個隊列對應(yīng)一個網(wǎng)站，即是同一個網(wǎng)站在本次將被收集的所有網(wǎng)頁都在一個隊列里），多個采集網(wǎng)頁的線程。在采集網(wǎng)頁線程中做如下判斷，如果進(jìn)行IPv6網(wǎng)頁采集（這個功能在程序運行時用一個開關(guān)-ipv6控制，如果沒有這個選項，網(wǎng)頁爬蟲不進(jìn)行IPv6過濾），對每個網(wǎng)站主機(jī)名做一次IP地址查詢。因為一個網(wǎng)站可能有IPv4地址或IPv6地址，或既有IPv4地址又有IPv6地址，6搜把查詢結(jié)果的返回順序設(shè)為先返回IPv6地址，后返回IPv4地址。如果返回的地址是IPv4在先，就說明這個網(wǎng)站沒有IPv6地址，是一個純IPv4網(wǎng)站，6搜采集網(wǎng)頁線程即跳過這個網(wǎng)站不進(jìn)行采集。如果先返回的地址是IPv6，說明這是一個支持IPv6的網(wǎng)站，6搜不管下一個地址是不是IPv4地址，采集網(wǎng)頁線程會開始采集這個網(wǎng)頁。

提高網(wǎng)頁采集速度可以在同樣的時間內(nèi)采集更多的網(wǎng)頁，還可以加快網(wǎng)頁更新的速度。采集網(wǎng)頁線程進(jìn)行多線程地址查詢的時候需要進(jìn)行高速、并行的地址解析。Java的地址解析函數(shù)InetAddress.getHostAddress自帶緩存[6]，如果有查詢到已經(jīng)查詢過的網(wǎng)站，InetAddress會在緩存中查找地址，速度很快。緩存項的保留時間需要被改得長一些，比如兩個星期。但是這個緩存在JVM運行之后就會消失，下次運行爬蟲的時候又要進(jìn)行緩存的建立過程，而這個建立過程是比較緩慢的，通常要等一段時間以后大部分的域名才被加入緩存。進(jìn)一步的方法是同時使用建立在服務(wù)器上的專用緩存DNS服務(wù)器。6搜使用BIND，在Recursive DNS Cache模式上實現(xiàn)。緩存項保存時間設(shè)為三個星期。這樣，緩存項就長期保存在專用DNS服務(wù)器里面。

6搜爬蟲有時會遇到截短的zip文件，它們會導(dǎo)致zip解析/解壓器進(jìn)入無限循環(huán)而降低網(wǎng)頁采集速度并加重服務(wù)器的負(fù)載。解決這個問題需要下載apache-commons-compres-1.1.jar替換原先在plugins/parse-tika目錄里的1.0版本。

能處理中文的搜索引擎需要有中文分詞功能，中文分詞就是把一個中文的句子分成詞，如果沒有特制的中文分詞功能，最簡單的方法就是每個字被分作一個詞。如果這樣搜索“互聯(lián)網(wǎng)”會把含有“互”、“聯(lián)”、“網(wǎng)”單字的網(wǎng)頁也搜索出來。Nutch自帶的中文分詞即是把每個字分做一個詞。6搜整合了極易中文分詞JEAnalysis[7]以實現(xiàn)中文分詞功能。

2 6搜采集的數(shù)據(jù)

6搜自從2010年11月上線以來到2011年6月，采集了54195個IPv6網(wǎng)站的網(wǎng)頁。其中IPv6網(wǎng)站最多的頂級域名如表1和圖1所示。

圖1 世界IPv6網(wǎng)站分布Fig.1 World IPv6 web site distribution

根據(jù)IPv6論壇發(fā)布，截止2011年6月8日，全球共有1 206個網(wǎng)站獲得IPv6 Enabled WWW Logo，其中中國大陸有276個網(wǎng)站獲得Logo，占全球總量的25%左右，居世界首位[8]。相比之下，6搜記錄的是網(wǎng)絡(luò)爬蟲采集過網(wǎng)頁的網(wǎng)站，其中一些是使用虛擬主機(jī)（Virtual Hosting）共享IP地址的網(wǎng)站，包括博客網(wǎng)站等，與IPv6論壇手工登記的網(wǎng)站不完全相同。

3 與IPv6有關(guān)的搜索引擎

6搜與其它與IPv6有關(guān)的搜索引擎在表2中比較。6搜自2011年11月上線兩個月后在多個主流搜索引擎（百度，谷歌，搜狗，搜搜）“IPv6搜索”關(guān)鍵字搜索下均排名領(lǐng)先。

4 結(jié)束語

6搜是已知目前國內(nèi)領(lǐng)先的專用IPv6搜索引擎。6搜協(xié)助推廣IPv6網(wǎng)絡(luò)，為用戶提供IPv6內(nèi)容詳細(xì)搜索。并且，對已采集IPv6網(wǎng)站的統(tǒng)計也展示了IPv6的快速發(fā)展?fàn)顩r。由于IPv6上的一項重要應(yīng)用是物聯(lián)網(wǎng)，IPv6物聯(lián)網(wǎng)搜索是今后研究的一個課題。另外隨著IPv6的普及，IPv6網(wǎng)站內(nèi)容越來越多，6搜的采集規(guī)模也將逐步擴(kuò)大。

表1 世界IPv6網(wǎng)站分布Tab.1 World IPv6 web site distribution

表2 與IPv6有關(guān)的搜索引擎比較Tab.2 IPv6 related search engine comparison

[1] 黃皓凌，張凡.6搜[EB/OL].（2011-07-05）.http://6sou.szu.edu.cn.

[2]葉紹志，劉輝，李粵，等.從搜索引擎看IPv6網(wǎng)絡(luò)增長[J].中興通訊技術(shù)，2002，8（3）：1-3.YE Shao-zhi，LIU Hui，LI Yue，et al.Viewing the growth of IPv6 networks through search engine[J].ZTE Technology Journal，2002，8（3）:1-3.

[3] 上海交通大學(xué)網(wǎng)絡(luò)信息中心.Search6[EB/OL].（2011-07-05）.http://search6.sjtu.edu.cn

[4] 華南理工大學(xué)廣東省網(wǎng)絡(luò)重點實驗室.下一代互聯(lián)網(wǎng)分布式搜索引擎[EB/OL].華南理工大學(xué)，（2011-07-05）.http://www.se6.edu.cn

[5] Apache Nutch.Nutch[EB/OL].（2011-07-05）.http://nutch.apache.org

[6] Heydon A，Najork M.Mercator:A scalable，extensible Web crawler[J].World Wide Web，1999，2（4）:219-229.

[7] 極易軟件.極易中文分詞[EB/OL].（2010-11-01）.http://jesoft.cn:9080.

[8] IPv6論壇.全球支持IPv6網(wǎng)站破千中國大陸位居第一[EB/OL].（2011-07-05）.http://www.ipv6day.cn/ipv6day.aspArticleID=563

[9] 李明.百度將于今年三季度正式提供IPv6訪問服務(wù).[EB/OL].（2011-07-5）http://www.cnbeta.com/articles/139543.htm.