陳 陽，陳興蜀，吳 麒

（1.四川大學(xué)計算機學(xué)院 網(wǎng)絡(luò)與可信計算研究所，四川 成都610065；2.中國電子科技集團公司第二十九研究所 信息綜合控制國家重點實驗室，四川 成都610065）

0 引 言

隨著互聯(lián)網(wǎng)的快速發(fā)展，萬維網(wǎng) （world wide web，WWW）已成為人們獲取信息或分享信息的重要平臺。根據(jù)美國加州伯克利大學(xué)的統(tǒng)計，僅2002年世界上就產(chǎn)生了5EB的數(shù)據(jù)，年增長30%。這相當于37000個美國國會圖書館存儲的信息，也相當于歷史上存在過的每一個人說過的每一句話的數(shù)據(jù)量。這些數(shù)據(jù)中，92%的數(shù)據(jù)存儲在磁性介質(zhì)中上并能夠通過互聯(lián)網(wǎng)進行訪問。面對如此豐富的網(wǎng)絡(luò)信息資源，一些應(yīng)用應(yīng)運而生，例如，搜索引擎，Web數(shù)據(jù)內(nèi)容挖掘。但是，它們在處理網(wǎng)頁時都會面臨一個問題，Web網(wǎng)頁的主題信息一般都會被廣告鏈接、導(dǎo)航條、版權(quán)信息等 “網(wǎng)頁噪音”所包圍，而這些噪音往往會對這些應(yīng)用造成負面影響。因此，如何準確高效地從Web網(wǎng)頁中提取出主題信息對基于互聯(lián)網(wǎng)的信息檢索、數(shù)據(jù)挖掘等應(yīng)用具有很高的價值。

1 相關(guān)研究

在Web信息抽取領(lǐng)域，國內(nèi)外研究者針對網(wǎng)頁正文信息的抽取已經(jīng)做了大量的研究工作。

文獻 ［1－3］通過構(gòu)建網(wǎng)頁模板規(guī)則，將符合規(guī)則的信息從網(wǎng)頁中提取出來，雖然信息抽取結(jié)果準確性較高，但這些方法都存在一個缺點，即只能針對使用同一個模板生成的網(wǎng)頁，而構(gòu)建抽取模式也是一個費時的工作，在網(wǎng)頁形式多樣化的今天，這種方法不具有通用性。文獻 ［4－8］采用基于視覺特征的方法，這種方法是在微軟亞洲研究院提出的VIPS（vision－based page segmentation）網(wǎng)頁分塊算法的基礎(chǔ)上抽取信息。VIPS算法利用HTML中的一些視覺信息，比如背景顏色、字體顏色和大小、邊框、邏輯塊和邏輯塊之間的間距等等來識別出頁面中的語義塊，再結(jié)合DOM樹結(jié)構(gòu)分析進行頁面分塊。雖然，在此基礎(chǔ)上進行正文抽取可以達到很好的效果，但是VIPS算法也有其局限性，因為VIPS算法在提取網(wǎng)頁視覺信息依賴于瀏覽器內(nèi)核代碼，故提取需要耗費較長時間 （通常每個頁面超過1s），而且其算法本身相對復(fù)雜，迭代輪數(shù)較多。因此，基于視覺特征的方法并沒有得到廣泛地應(yīng)用。文獻 ［9］采用基于標記窗的方法，雖然可提取當正文文字短到與網(wǎng)頁其余部分文字 （如廣告、導(dǎo)航條、版權(quán)）長度相當?shù)那闆r，但計算標記窗中字符串與標題詞之間的相似度方法容易導(dǎo)致很多噪聲無法濾除，并對分詞技術(shù)有較高要求。文獻［10－12］把網(wǎng)頁表示成的一棵標簽樹，然后根據(jù)字符數(shù)、鏈接比例等特征統(tǒng)計信息抽取網(wǎng)頁正文。此方法不依賴于限定數(shù)據(jù)源，算法也比較簡單，對正文信息的抽取可以達到較好的效果。但是，當前網(wǎng)頁越來越趨于復(fù)雜化，有些網(wǎng)頁包含大量的噪音塊，干擾了對正文特征信息的統(tǒng)計，使提取結(jié)果包含一些噪音或是漏掉部分正文信息。文獻［13－14］根據(jù)文本內(nèi)容的特征，對文本內(nèi)容是否是網(wǎng)頁正文進行判斷，但由于此類方法并沒有采用分塊的思想，因此極易遺漏部分正文信息。文獻 ［15］通過確定正文特征屬性，然后采用粒子群優(yōu)化算法對特征權(quán)值及閾值進行優(yōu)化和確定，從而確定正文信息所在的塊，但該方法依賴許多正文特征屬性，而且計算繁雜，其適用范圍有一定的局限。

針對目前網(wǎng)頁正文抽取研究工作中存在的問題，提出基于信息量衰減幅度的正文提取方法。該方法首先根據(jù)正文信息量的衰減幅度找到主題區(qū)域子樹，把提取正文的范圍限制在該子樹中，從而可以有效地消除大部分噪音干擾。然后再從這棵子樹中提取正文信息。由于主題區(qū)域子樹是一棵包含全部正文信息的子樹，即使網(wǎng)頁標簽樹中有多個正文信息塊，采用這樣的方法也能將它們?nèi)刻崛〕鰜怼?/p>

2 基于信息量衰減幅度的正文提取方法

通常情況，網(wǎng)頁分為3種類型：主題型網(wǎng)頁、導(dǎo)航型網(wǎng)頁、圖片型網(wǎng)頁。主題型網(wǎng)頁一般通過成段而連續(xù)的文字描述一個或多個主題，這些文字在網(wǎng)頁居中部分形成一個相對獨立的矩形區(qū)域，使用戶從視覺上就能輕易地識別出來，在本文中將此矩形區(qū)域稱為正文區(qū)域。在正文區(qū)域的周圍往往會分布著許多相關(guān)鏈接、導(dǎo)航條、廣告、版權(quán)說明等無關(guān)信息，在本文中將這部分內(nèi)容劃分為噪音。導(dǎo)航型網(wǎng)頁本身由許多超鏈接塊組成，其主要目的是方便用戶找到所感興趣的網(wǎng)頁，提高瀏覽效率。而圖片型網(wǎng)頁的主體部分都是圖片，僅含有少量文字信息對圖片進行說明。因此，后兩種類型的網(wǎng)頁都沒有一個明確的文本主題。本文提出的基于文本信息量的衰減幅度的正文提取方法針對主題型網(wǎng)頁，并且是基于以下三點推論：

（1）主題型網(wǎng)頁中的正文往往會分為多個段落，從視覺上看它們是聚集在一起的連續(xù)段落，相互之間不會間隔太遠。把網(wǎng)頁表示成HTML標簽樹后，其中正文區(qū)域會對應(yīng)一棵子樹。圖1為一棵HTML標簽樹，網(wǎng)頁的正文信息被組織在以DIV＊為父節(jié)點的各個P節(jié)點下，稱這些節(jié)點為正文信息節(jié)點。一般，一個正文信息節(jié)點對應(yīng)正文中的一個段落。這些節(jié)點不會跨越正文區(qū)域所對應(yīng)的子樹，即所有的正文信息節(jié)點都是該子樹的子孫節(jié)點，不會出現(xiàn)從P＊節(jié)點開始到P＃結(jié)束的情況。

圖1 HTML標簽樹

（2）正文文本是正文信息節(jié)點的子孫節(jié)點，如圖1所示，P＊中的直接子節(jié)點就是正文文本，P＋的子節(jié)點是SPAN，正文文本是SPAN節(jié)點的子節(jié)點。無論正文信息節(jié)點P下面如何組織正文文本，正文信息節(jié)點P都有共同的父節(jié)點，即它們都處于樹的同一層次，互相之間是兄弟節(jié)點關(guān)系。

（3）網(wǎng)頁中出現(xiàn)的文本可以分為兩類，一類為鏈接型文本 （也稱錨文本），另一類是非鏈接文本。在主題型網(wǎng)頁中，正文中間通常不會加入大量的超鏈接，而非正文信息通常是伴隨著超鏈接出現(xiàn)的。因此，在一個主題型網(wǎng)頁中，非鏈接文本主要是由正文文本構(gòu)成，鏈接文本主要是由非正文信息構(gòu)成。

以上三點結(jié)論是通過大量觀察與一些實際經(jīng)驗總結(jié)出來的。并且，到目前為止還沒有發(fā)現(xiàn)違反以上三點結(jié)論的例子。

本文所提出的方法中，獲取主題區(qū)域子樹這一步直接關(guān)系到能否正確提取正文信息?；谝陨先c結(jié)論，從標簽樹的根節(jié)點開始查找，選擇其非鏈接文本長度最大的子樹作為當前子樹，下次從當前子樹的根節(jié)點繼續(xù)查找，這樣就盡可能的保證當前子樹下包含了所有的正文信息。與此同時，在查找的過程中每獲取一棵子樹就考察其父節(jié)點下的子樹到該子樹中非鏈接文本的衰減幅度。如果被考察的子樹包含全部正文信息，那么兩者的非鏈接文本長度就不會有大幅度的變化，而當遍歷到正文信息節(jié)點時有以下兩種情況：

（1）正文信息節(jié)點數(shù)量多于一個。此時它們當中非鏈接文本長度最大的節(jié)點作為當前子樹的根節(jié)點，其余節(jié)點信息全部丟失，則造成非鏈接文本信息量突變。

（2）正文信息節(jié)點是文本節(jié)點且唯一。由HTML規(guī)范可知文本節(jié)點沒有子節(jié)點，所以在考察其子節(jié)點時會丟失全部非鏈接文本信息，同樣造成信息量突變，而且更加明顯。

對于一個網(wǎng)頁，用本文提出的正文提取方法需要經(jīng)過4個步驟：

（1）構(gòu)建一個網(wǎng)頁HTML標簽樹。如圖1所示。

（2）獲取主題區(qū)域子樹。在圖1中為以DIV＊為根節(jié)點的子樹。

（3）剪裁主題區(qū)域子樹，去除噪音。

（4）提取主題區(qū)域中的正文信息。

相應(yīng)的正文提取方法流程如圖2所示。

圖2 正文提取流程

2.1 HTML標簽樹的構(gòu)造

從輸入網(wǎng)頁構(gòu)建標簽樹是許多數(shù)據(jù)抽取算法中的一個必要步驟。本文中采用HTML標簽來生成對應(yīng)的標簽樹。通常，HTML標簽是成對使用的。每一對由一個開始標簽和一個結(jié)束標簽組成 （分別用＜＞和＜/＞來表示）。在每個對應(yīng)的標簽對間，可以有其他標簽對，從而構(gòu)成嵌套結(jié)構(gòu)，所以用一張網(wǎng)頁的HTML編碼來構(gòu)建一棵標簽樹是很自然的。在這棵樹中，每一對標簽都是一個節(jié)點，在其間嵌套的標簽對則是這個節(jié)點的子節(jié)點。本文在構(gòu)造標簽樹的過程中需要3個步驟：

（1）HTML編碼清理：由于HTML編碼在有語法錯誤的時候，瀏覽器也能將其正常地顯示出來，所以，有些網(wǎng)頁就會存在不規(guī)范的HTML編碼格式，但是在構(gòu)建標簽樹的時候必須將其修正為格式良好的XHTML（XML的子集）。

（2）標簽樹的構(gòu)建：依據(jù)網(wǎng)頁中HTML標簽的嵌套塊來構(gòu)建標簽樹。

（3）標簽樹的裁剪：由于我們在提取正文信息時，關(guān)心的是那些包含有用文本內(nèi)容的節(jié)點，把無關(guān)節(jié)點刪除將有助于后續(xù)處理的效率。本文按以下規(guī)則處理：

1）刪除子孫節(jié)點中不含有文本節(jié)點的節(jié)點以及注釋節(jié)點。

2）刪除根節(jié)點為script標簽、style標簽、select標簽、option標簽、iframe標簽、textarea標簽、object標簽、input標簽的子樹。

3）對樹中含有的實體符號做等價替換，例如，將“＆quot；”替換為 “””，將 “＆lt；”替換為 “＜”。

2.2 獲取主題區(qū)域子樹

在本文中定義主題區(qū)域子樹滿足如下要求：

（1）該樹是初始網(wǎng)頁HTML標簽樹的一棵子樹。

（2）該樹包含所有的正文信息。

（3）該樹中的任何子樹都不能包含完整的正文信息。

獲取該子樹的目的是在于不遺漏正文信息的前提下，最大程度地降低網(wǎng)頁噪音的干擾，進而簡化正文提取過程中的繁雜工作。在網(wǎng)頁HTML標簽樹中獲取主題區(qū)域子樹的算法中，預(yù)先設(shè)置常量T為信息量衰減幅度閾值。Lc（MT）表示以節(jié)點MT為根節(jié)點的子樹中非鏈接文本的長度，MaxClearText（curNode.Children）表示獲取curNode子節(jié)點中非鏈接文本長度最大的節(jié)點。Range（Clen，Mlen）計算curNode的非鏈接文本長度Clen到MT的非鏈接文本長度Mlen的衰減幅度。

算法1（獲取主題區(qū)域子樹算法）

FindMT （Node，T）

curNode＝Node；

if size （curNode.Children）＝1then

FindMT （curNode.Children，T）；

endif

Clen＝ Lc （curNode）；

MT＝ MaxClearText（curNode.Children）；

Mlen＝ Lc（MT）；

if Range（Clen，Mlen）＞Tthen

returnMT；

else FindMT （MT，T）；

endif

Procedure Range（Clen，Mlen）

r＝ （Clen－Mlen）/Clen；

returnr；

相應(yīng)的獲取主題區(qū)域子樹的算法流程如圖3所示。

圖3 獲取主題區(qū)域子樹流程

2.3 正文信息提取

定義1（鏈接節(jié)點）鏈接節(jié)點是一個標簽節(jié)點，該節(jié)點的子孫節(jié)點不包括正文信息，但含有多個標簽節(jié)點＜a＞且含有大量鏈接文字。

在本文中，正文信息是指包含在正文區(qū)域中的內(nèi)容，但不包括其作者、標題、發(fā)布日期等元信息，也不包括與正文信息無關(guān)的信息以及鏈接節(jié)點對應(yīng)的鏈接塊。

盡管主題區(qū)域子樹中幾乎都是正文信息，但還是可能存在一些鏈接節(jié)點。所以，在提取正文的時候應(yīng)該對主題區(qū)域子樹進行裁剪，刪除鏈接節(jié)點。本文采用簡單而有效的鏈接密度統(tǒng)計信息來判斷節(jié)點是否為鏈接節(jié)點。在裁剪主題區(qū)域子樹算法中，設(shè)常量DLmax為鏈接密度的最大閾值。對于一個節(jié)點curNode來說，計算其鏈接密度的公式為：DL（curNode）＝LinksLength（curNode）/TextLength（curNode），其中DL（curNode）為節(jié)點curNode的鏈接密度，LinksLength（curNode）為節(jié)點curNode中所有鏈接文本的長度，TextLength（curNode）為所有文本的長度。如果鏈接密度超過DLmax，則認為該節(jié)點為鏈接節(jié)點。

算法2（裁剪主題區(qū)域子樹算法）

CleanTree（Node，DLmax）

curNode＝Node；

if DL （curNode）＞DLmaxthen

remove （curNode）；

endif

for eachChild∈Node.Childrendo

CleanTree（Child，DLmax）；

endfor

Procedure DL （Node）

d＝ LinksLength （Node）/TextLength （Node）；

returnd；

最后，經(jīng)過裁剪后得到一棵只包含全部正文信息的子樹，只需要將所有文本節(jié)點中的文字提取出來就可以得到這張網(wǎng)頁的正文文本。

3 實驗結(jié)果及分析

為了驗證本文提出的算法，我們從7個不同網(wǎng)站上獲取了數(shù)量不同的網(wǎng)頁，共計3718張，作為主題網(wǎng)頁測試集。

在主題區(qū)域子樹的提取過程中，T值的大小決定了主題區(qū)域子樹的準確率，T值太大，正文信息可能會丟失，反過來，T值太小會把無關(guān)信息包含進去。由此，從主題網(wǎng)頁測試集不同站點中各隨機抽取 （不放回）100張，共計700張網(wǎng)頁進行實驗，T的取值從0.2到0.5，測試間隔為0.02。分別考察了獲取主題區(qū)域子樹的準確率。實驗結(jié)果如圖4所示。

圖4 T值取值范圍實驗結(jié)果

從實驗結(jié)果可以看出，T值取0.34時準確率最高，因此，將T值設(shè)置為0.34。

本文規(guī)定在正文提取過程中，提取結(jié)果符合下列要求之一即視為正確提取網(wǎng)頁正文信息：

（1）提取結(jié)果與人工觀察實際網(wǎng)頁所得正文信息一致。

（2）提取結(jié)果包括了全部正文信息，也包含了少量非正文信息 （該信息在文章前或文章后，不超過一句話，且長度不能超過正文信息的10%），但不會影響閱讀。

定義主題網(wǎng)頁測試集中的網(wǎng)頁數(shù)量為Pages＿Total，提取過程中正確獲取主題區(qū)域子樹的網(wǎng)頁數(shù)量為Valid＿Total，從獲取的主題區(qū)域子樹中正確提取正文信息的網(wǎng)頁數(shù)量為Precision＿Total，則：

準確率 （Precision）＝Precision＿Total/Pages＿Total

裁剪準確率 （Clip＿Precision）＝Precision＿Total/Valid＿Total

準確率衡量的是在整個測試集中正文提取正確的網(wǎng)頁數(shù)量的比例，裁剪準確率衡量的是在網(wǎng)頁返回的主題區(qū)域子樹集合中正確提取了正文信息的網(wǎng)頁數(shù)量比例。

我們對主題網(wǎng)頁測試集中剩下的部分，共計3018張網(wǎng)頁作為正文提取系統(tǒng)的測試集。其中，根據(jù)參考文獻 ［7］設(shè)置鏈接密度的閾值DLmax為0.65。實驗統(tǒng)計結(jié)果見表1。

表1 實驗結(jié)果

實驗結(jié)果顯示，本文所提出的方法對主題型網(wǎng)頁的正文提取準確率較高，對整個測試集的準確率達到了95.12%，而且準確率在93%～97%之間，表現(xiàn)出良好的穩(wěn)定性，具有較好的工程應(yīng)用價值。通過進一步觀察，其中裁剪準確率達到了一個較高的水平，各個測試站點集的準確率都在96%以上。由此可知，從主題區(qū)域子樹中提取正文信息具有較高的準確率。

在實驗中，通過對錯誤結(jié)果的觀察，多數(shù)情況是因為丟失了正文文章中的一些段落，進一步分析其原因可知，這些段落長度在整個正文中占有較小的比例 （不超過20%），而其余正文信息都集中在一個段落里面。在這種情況下，正文信息量衰減幅度往往不能超過設(shè)定的閾值，在獲取主題區(qū)域子樹的過程便丟失了這部分正文信息，導(dǎo)致最終結(jié)果沒有包含完整的正文信息。

4 結(jié)束語

針對主題型網(wǎng)頁，本文提出的基于信息量衰減幅度的正文提取方法能有效的提取出網(wǎng)頁正文信息。該方法首先根據(jù)HTML標簽子樹的信息量衰減幅度來判斷獲取主題區(qū)域子樹，然后對獲取的主題區(qū)域子樹進行裁剪，最后提取出正文信息。

實驗表明，該方法能針對各類主題型網(wǎng)頁，有效的從鏈接塊、圖片等噪音中提取出正文信息，具有較高的應(yīng)用價值。在下一步研究中，將著重提高獲取主題子樹的準確率，以獲得更高的正文提取準確率。

［1］YANG SH，LIN HL，HAN YB.Automatic data extraction from template－generated Web pages ［J］.Journal of Software，2008，19 （2）：209－223 （in Chinese）. ［楊少華，林海略，韓燕波.針對模板生成網(wǎng)頁的一種數(shù)據(jù)自動抽取方法 ［J］.軟件學(xué)報，2008，19 （2）：209－223.］

［2］OU Jianwen，DONG Shoubin，CAI Bin.Topic information extraction from template web pages ［J］.J Tsinhua Univ（Sci＆Tech），2005，45 （1）：1743－1747 （in Chinese）.［歐健文，董守斌，蔡斌.模板化網(wǎng)頁主題信息的提取方法 ［J］.清華大學(xué)學(xué)報：自然科學(xué)版，2005，45 （1）：1743－1747.］

［3］Chakrabarti D，Kumar R，Punera K.Page－level template detection via isotonic smoothing ［C］.Proc 16th Intl Conf on World Wide Web，2007：61－70.

［4］Liu W，G H，Liu X，et al.Detection of pubishing web pages based on visual similarity ［C］.Proc 14th Int’l World Wide Web Conf，2005.

［5］Simon K，Lausen G.ViPER：Augmenting automatic information extraction with visual perceptions ［C］.Proc of the ACM CIKM Int’l Conf on Information and Knowledge Management.Bremen：ACM Press，2005：381－388.

［6］AN Zengwen，XU Jiefeng.The research on vision－based web page information extraction algorithm ［J］.Microcom－puter ＆Its Application，2010，9 （3）：38－41 （in Chinese）.［安增文，徐杰鋒.基于視覺特征的網(wǎng)頁正文提取方法研究 ［J］.微型機與應(yīng)用，2010，9 （3）：38－41.］

［7］Chibane I，Doan B－L.A web page topic segmentation algorithm based on visual criteria and content layout［C］.SIGIR.ACM，2007.

［8］HUANG Wen－pei，YANG Jing，GU Jun－zhong.The research on segmention－based Web pages information extraction algorithm ［J］.Computers Application，2007，27 （6）：24－26 （in Chinese）.［黃文蓓，楊靜，顧君忠.基于分塊的網(wǎng)頁正文信息提取算法研究 ［J］.計算機應(yīng)用，2007，27 （6）：24－26.］

［9］ZHAO Xin－xin，SUO Hong－guang，LIU Yu－shu.Web content information extraction method based on tag window ［J］.Application Research of Computers，2007，24 （3）：144－145 （in Chinese）.［趙欣欣，索紅光，劉玉樹.基于標記窗的網(wǎng)頁正文信息抽取方法 ［J］.計算機應(yīng)用研究，2007，24 （3）：144－145.］

［10］ WANG Shao－kang，DONG Ke－jun，YAN Bao－ping. Web content information extraction using density of feature text.［J］.Computer Engineering and Applications，2010，46（20）：1－3 （in Chinese）. ［王少康，董科軍，閻保平.使用特征文本密度的網(wǎng)頁正文提取 ［J］.計算機工程與應(yīng)用，2010，46 （20）：1－3.］

［11］LIU Jun，ZHANG Jing.Dom based extraction of topical information from Web page ［J］.Computer Applications and Software，2010，27 （5）：188－190 （in Chinese）. ［劉軍，張凈.基于DOM的網(wǎng)頁主題信息抽取 ［J］.計算機應(yīng)用與軟件，2010，27 （5）：188－190.］

［12］Mantratzis GC，Orgun M A，Cassidy S.Separating xhtml content from navigation clutter using dom－structure block analysis［C］.S Reich，Tzagarakis M.Hypertext，Pages.ACM，2005：145－147.

［13］Javier A M，Koen D，Marie F M.Language independent content extraction from web pages ［C］.Proc of the 9th Dutch－Belgian Information Retrieval Workshop.Enschede：University of Twente，2009：50－55.

［14］LI Dong－bing，WANG Ye－xin，ZHANG Yan，et al.Primary content extraction with mountain model［C］.Proc of the 8th IEEE International Conference on Computer and Information Technology.Sydney：IEEE Press，2008：479－484.

［15］WU Qi，CHEN Xing－shu，TAN Jun.Content Extraction algorithm of HTML pages based on optimized weight ［J］.Journal of South China University of Technology：Natural Science Edition，2011，39 （4）：32－37 （in Chinese）. ［吳麒，陳興蜀，譚駿.基于權(quán)值優(yōu)化的網(wǎng)頁正文內(nèi)容提取算法［J］.華南理工大學(xué)學(xué)報：自然科學(xué)版，2011，39 （4）：32－37.］