方　鋮　王　琦

摘要：介紹了用于網頁智能搜索的數據挖掘技術以及如何創(chuàng)建多維的網頁語義數據庫。

關鍵詞：智能搜索語義結構數據挖掘

網頁搜索引擎的基礎是基于關鍵字的索引，而將數據挖掘用于網頁分類則是對基于關鍵字索引的一個有力的補充。數據挖掘可以幫助網頁搜索引擎發(fā)現更高質量的網頁，并且提高網頁點擊流的分析質量。然而，為了使網頁發(fā)揮它的最大潛能，我們必須改進它的服務，使它更加方便理解，并且增加它的可用性。

1設計難點

如何設計智能化的網頁是主要難題之一，需要解決兩個基本問題：在抽象層上，用來訪問網頁上的海量數據的傳統模式面向的是基于文本、基于關鍵字的網頁視圖，而我們認為面向數據的網頁視圖將更加有效；第二：在服務層次上，我們必須用能夠遍歷整個網絡的更加全面的訪問模式來取代現有的原始的訪問模式。

2網頁數據挖掘工作任務

如果我們想要有效地利用數據挖掘技術來開發(fā)網頁搜索智能，就必須完成如下幾個工作任務。

(1)對網頁搜索引擎數據進行數據挖掘

基于索引的網頁搜索引擎在網絡上運行，對網頁創(chuàng)建索引，創(chuàng)建并且存儲大量的基于關鍵字的索引，以幫助定位包含某些特定關鍵字的網頁。

基于關鍵字的搜索引擎存在如下二個缺陷：第一，一個范圍稍微大一些的主題會包含數十萬個結果文檔。這樣搜索引擎會返回大量的文檔，其中很多與主題關系不大，包含的有用信息很少；第二，很多高度相關的文檔可能并不顯式地包含關鍵字，這種現象可能是一詞多義引起的。

基于以上這些因素，可以把數據挖掘和網頁搜索引擎結合起來，這樣能提高網頁搜索質量。網頁鏈接和網頁動態(tài)分析為如何發(fā)現高質量的文檔提供了基礎。

(2)分析網頁鏈接結構

權威頁面的秘密隱藏在網頁鏈接中。這些超鏈接包含了大量的最新的人們對網頁所做的標記，它們能夠幫助網頁搜索自動地找到權威的頁面，當一個網頁的作者創(chuàng)建了一個指向另一個頁面的超鏈接的時候，這一行為可以認為是對另一個頁面的認可。如果不同的作者都認可同一個頁面，這就表示這個頁面很重要，這樣自然就產生了權威的頁面。所以說網頁的超鏈接數據提供了一個非常豐富的用于網頁搜索數據挖掘的數據源。然而不是每個超鏈接都表示對該頁面的認可，頁面作者有時候會出于其它的目的創(chuàng)建超鏈接，例如做廣告，但是，從整體上來說，如果大多數的超鏈接都代表一種認可的話，那么集體的意見還是能占主流。另外屬于商業(yè)性質或者帶有競爭目的的網頁很少會有指向其競爭對手的超鏈接。權威的頁面也很少會有說明式描述。

網絡鏈接結構的這些特點，研究者們開始考慮另一種重要的網頁類型：Hub頁面。Hub頁面指的是一組網頁，它們包含了指向一組權威網頁的超鏈接。也許這些Hub頁面并不是很重要，也只有很少幾個超鏈接引用到它們，然而它們卻提供了指向有關于某個主題的一組關鍵網站的鏈接。

通常，一個好的Hub網頁指向很多好的權威的網頁，反過來，一個網頁被多個Hub網頁引用，則可以認為它是一個好的權威網頁。Hub頁面和權威頁面之間這種相互確認的關系可以幫助用戶對權威網頁進行數據挖掘，從而自動地發(fā)現高質量的網頁結構和資源。

研究者們依據這種辨別權威網頁和Hub網頁的方法開發(fā)了PageRankPl和HITSl31算法。一些商業(yè)網頁搜索引擎，例如Coogle，就是用這些方法構建的。通過分析網頁鏈接和上下文信息，這些系統能夠產生更高質量的搜索結果。

(3)自動給網頁文檔分類

類，我們還是希望能夠自動進行分類。典型的分類方法利用正面和反面的例子作為訓練集，然后給每個文檔分配一個類別標簽，這些標簽來自于基于預先分類的文檔示例的一組預定義的主題分類。

與其他的分類模式不同，自動分類模式通常不能定義反面的示例。如，我們只知道某個預分類好的文檔屬于哪個類別，但不知道某個類別不包含哪些文檔。因此，網頁分類模式通常不需要顯式地標注反面的示例。

(4)網頁語義結構和頁面內容數據挖掘

目前，對自然語言進行自動解析還存在種種限制，全自動地抽取網頁結構和語義內容還是很困難的，然而，半自動的方法已經能夠識別大部分的網頁語義結構。專家可能還需要定義一種特定的頁面類型包含哪些類型的結構和語義內容。接著，頁面結構抽取系統就可以分析網頁看看它的一個片斷的內容是否能夠套用某個語義結構。開發(fā)者還可以測試用戶反饋來提高訓練和測試的過程并且改進所抽取的網頁結構和語義內容的質量。

(5)網頁動態(tài)性數據挖掘

網頁數據挖掘也能夠發(fā)現網頁的動態(tài)性一網頁的內容、結構和訪問方式如何發(fā)生變化。存儲與網頁搜索數據挖掘參數相關的歷史信息能夠幫助發(fā)現網頁內容和鏈接的變化。我們可以比較不同時間的鏡像來發(fā)現網頁有哪些更新。與關系數據庫系統不同，網頁涉及面很廣，存儲了海量的信息，基本不可能系統地存儲歷史鏡像或者是更新日志。這些限制使得發(fā)現網頁的動態(tài)變化幾乎不可行。而另一方面，對網頁訪問活動進行數據挖掘則是可行的，而且在很多應用中，它也是有用的。

有了這項技術，用戶可以對網頁的日志記錄進行數據挖掘，從而發(fā)現網頁訪問模式。分析網頁日志記錄中的規(guī)律性可以提高互聯網信息服務質量，并幫助把這些信息傳遞到終端用戶，改善網頁服務器系統的性能，并且識別出電子商務潛在的客戶。

研究者們已經利用這些網頁日志文件來分析系統性能，通過網頁高速緩沖、網頁預取和交換來改進系統設計，確定網頁吞吐量，評估用戶對網站設計的認可度。

網頁日志分析還可以幫助為每個用戶構建可定制的網頁服務。由于網頁日志數據提供了關于某些特定網頁的流行程度和訪問方法的信息，這些信息可以和網頁內容和鏈接結構信息結合起來，對它們進行數據挖掘，能夠幫助給網頁定級、給網頁文檔分類，并構建一個多層次的網頁信息庫。

(6)創(chuàng)建多層次、多維的網頁

通過如下三個主要步驟來創(chuàng)建并且使用多維網頁：

第一步，系統分析一組網頁，包括對網頁內容、結構、鏈接和使用模式的分析，進行分析的目的是：將一組高度相關的本地頁面組成一個集群，稱為語義網頁；如果一個單獨的網頁組成一個獨立的集群，則把這一個網頁作為語義網頁。分析完成后，會為每個語義網頁產生一個描述符，包含了創(chuàng)建網頁目錄時需要用到的一組關鍵的特性。

第二步，基于專家提供的本體和網頁語義描述符數據庫，構造一個基于語義的、自適應的、多層次的多維的網頁信息目錄?？梢岳眠@個目錄系統來提供查詢和信息服務、信息分析和數據挖掘，構建一個多層次的網頁信息庫來方便互聯網上的資源發(fā)現，多維分析和數據挖掘。

3結束語

網頁智能搜索的數據挖掘將成為網頁技術的一個重要研究方向，全面的利用網絡上的海量信息，才能把網頁變成我們很容易共享的更豐富、更友好也更智能的數據源。