標(biāo)簽節(jié)點(diǎn)，依據(jù)節(jié)點(diǎn)權(quán)重、標(biāo)簽個數(shù)、純文本比率等因素進(jìn)行標(biāo)簽清除，達(dá)到清除塊內(nèi)網(wǎng)頁噪音的效果。其中，positive和negative以節(jié)點(diǎn)的標(biāo)簽屬性進(jìn)行正則匹配產(chǎn)生節(jié)點(diǎn)權(quán)重。

4　Readability算法的改進(jìn)

Readability算法在正文塊生成部分僅簡單地考慮節(jié)點(diǎn)分?jǐn)?shù)和

標(biāo)簽節(jié)點(diǎn)的文本特性, 易丟失其它可能含有正文信息的文本標(biāo)簽， 如標(biāo)簽、 不含

的

標(biāo)簽節(jié)點(diǎn)的文本特性， 取純文本比率和文本長度作為文本特性參數(shù)。同時，為有效過濾部分文本特性與正文相似的網(wǎng)頁噪音，根據(jù)正文信息在網(wǎng)頁分布上的緊密集中性，在原算法基礎(chǔ)上添加節(jié)點(diǎn)相對距離作為正文節(jié)點(diǎn)的評估因子。

定義1文本節(jié)點(diǎn)：若節(jié)點(diǎn)文本長度大于等于L、純文本比率大于p1，或者節(jié)點(diǎn)文本長度小于L、純文本比率大于p2，其中p1

定義2節(jié)點(diǎn)相對距離：根據(jù)標(biāo)簽出現(xiàn)順序定義節(jié)點(diǎn)索引，設(shè)節(jié)點(diǎn)N1索引為i1，節(jié)點(diǎn)N2索引為i2，則節(jié)點(diǎn)相對距離RD定義為

RD=|i1-i2|

(1)

設(shè)正文主塊節(jié)點(diǎn)為contentNode，創(chuàng)建一參考節(jié)點(diǎn)為refferNode，并通過當(dāng)前節(jié)點(diǎn)與參考節(jié)點(diǎn)的相對距離來衡量節(jié)點(diǎn)在分布上與正文的緊密性程度，結(jié)合前面的分析，正文塊生成算法如下：

算法1：正文塊生成算法

(1)通過Readability算法獲取contentNode，并將其初始化refferNode，使得refferNode=contentNode。

(2)以contentNode為起點(diǎn)分別向前、向后依次搜索其同輩節(jié)點(diǎn)。若當(dāng)前節(jié)點(diǎn)node的節(jié)點(diǎn)分?jǐn)?shù)大于閾值Tscore，或其與參考節(jié)點(diǎn)的相對距離小于等于閾值Tdistance并且為文本節(jié)點(diǎn)，則標(biāo)注該節(jié)點(diǎn)為正文節(jié)點(diǎn)，并更新參考節(jié)點(diǎn)為該節(jié)點(diǎn)，即refferNode=node，繼續(xù)搜索；否則，如果其與參考節(jié)點(diǎn)的相對距離大于閾值，停止搜索；如果與參考節(jié)點(diǎn)的相對距離小于等于閾值，但不為文本節(jié)點(diǎn)，則繼續(xù)搜索。

(3)搜索完畢，創(chuàng)建正文塊節(jié)點(diǎn)，將正文主塊節(jié)點(diǎn)和篩選得到的正文節(jié)點(diǎn)拼接到其中。

算法中考慮了所有標(biāo)簽節(jié)點(diǎn)的文本特性，并引入當(dāng)前節(jié)點(diǎn)與參考節(jié)點(diǎn)的相對距離體現(xiàn)正文節(jié)點(diǎn)與正文節(jié)點(diǎn)分布上的緊密性、與網(wǎng)頁噪音節(jié)點(diǎn)分布上的非緊密性，有效排除了網(wǎng)頁噪音，保證了正文塊的純凈度和完整性。其中，節(jié)點(diǎn)分?jǐn)?shù)閾值Tscore繼承Readability算法的設(shè)置。

圖2為正文節(jié)點(diǎn)篩選過程，其中每個圓圈代表每個節(jié)點(diǎn)，節(jié)點(diǎn)中數(shù)字表示節(jié)點(diǎn)索引。點(diǎn)填充圓圈表示正文節(jié)點(diǎn)、斜線填充圓圈表示網(wǎng)頁噪音節(jié)點(diǎn)、空白圓圈表示待篩選節(jié)點(diǎn)。由于最開始只知道正文主塊節(jié)點(diǎn)為正文節(jié)點(diǎn)，所以其它節(jié)點(diǎn)均為待篩選節(jié)點(diǎn)，如圖2(a)所示。然后以獲取的正文主塊節(jié)點(diǎn)為起點(diǎn)，分別向前、向后搜索，參考節(jié)點(diǎn)初始為正文主塊節(jié)點(diǎn)。圖2(b)為向前搜索過程，通過節(jié)點(diǎn)文本特性評估前一個節(jié)點(diǎn)為網(wǎng)頁噪音節(jié)點(diǎn)，因此繼續(xù)向前搜索，參考節(jié)點(diǎn)不變。假設(shè)設(shè)定閾值Tdistance為2，則圖2(b)中當(dāng)搜索到第(m-3)個待篩選節(jié)點(diǎn)時，由于該節(jié)點(diǎn)與參考節(jié)點(diǎn)的相對距離等于3，因此評估該節(jié)點(diǎn)為網(wǎng)頁噪音，并停止搜索。圖2(c)為向后搜索過程，其后一個節(jié)點(diǎn)評估為正文節(jié)點(diǎn)，因此將參考節(jié)點(diǎn)指向該節(jié)點(diǎn)繼續(xù)向后搜索。繼而評估第(m+2)個節(jié)點(diǎn)為網(wǎng)頁噪音節(jié)點(diǎn)，繼續(xù)搜索到第(m+3)個節(jié)點(diǎn)，評估其為正文節(jié)點(diǎn)，再次更新參考節(jié)點(diǎn)，并繼續(xù)搜索。

圖2　正文節(jié)點(diǎn)搜索篩選

4.2　正文塊剪枝

在獲得正文塊后，塊內(nèi)可能含有純文本形式的正文信息、錨文本形式的正文信息、網(wǎng)頁噪音。對于網(wǎng)頁中含錨文本較多的容器節(jié)點(diǎn)，如

節(jié)點(diǎn)， 應(yīng)用Readability算法對正文塊進(jìn)行剪枝時，由于正文內(nèi)部分

標(biāo)簽的文本特性與網(wǎng)頁噪音相似， 因此會被誤刪，導(dǎo)致剪枝過度從而使得正文塊信息不完整。改進(jìn)的算法中，通過調(diào)整剪枝范圍來改善該問題。

通過觀察統(tǒng)計大量網(wǎng)頁結(jié)構(gòu)，發(fā)現(xiàn)不管是正文信息集中分布在一個容器節(jié)點(diǎn)還是分散位于多個不同容器節(jié)點(diǎn)，其正文塊中的網(wǎng)頁噪音主要分布于正文主塊節(jié)點(diǎn)中，并且通常位于其首尾兩端。基于此，將剪枝范圍從正文塊節(jié)點(diǎn)調(diào)整為正文主塊節(jié)點(diǎn)內(nèi)的子節(jié)點(diǎn)，并從首尾兩邊開始逐步剪枝，當(dāng)節(jié)點(diǎn)不符合剪枝條件時，停止該方向的剪枝，盡可能地避免了正文內(nèi)部錨文本較多的容器節(jié)點(diǎn)被當(dāng)做網(wǎng)頁噪音過濾。以節(jié)點(diǎn)權(quán)重、文本特性作為評估因子進(jìn)行剪枝判斷，正文塊剪枝算法如下：

算法2：正文塊剪枝算法

(1)確定剪枝條件為節(jié)點(diǎn)權(quán)重weight小于0或為非文本節(jié)點(diǎn)。

(2)從正文主塊的第一個子節(jié)點(diǎn)開始，向后依次搜索，若該節(jié)點(diǎn)滿足剪枝條件則刪除該節(jié)點(diǎn)并繼續(xù)搜索，否則停止剪枝。

(3)同樣地，從正文主塊的最后一個子節(jié)點(diǎn)開始向前依次搜索，若該節(jié)點(diǎn)滿足剪枝條件則刪除該節(jié)點(diǎn)并繼續(xù)搜索，否則停止剪枝。

算法中節(jié)點(diǎn)weight值由Readability算法中的negative與positive匹配加權(quán)得到。

5　實驗結(jié)果及分析

使用java語言，調(diào)用第三方軟件包JSoup來解析HTML文件并構(gòu)造DOM樹，其在解析過程中有以下優(yōu)點(diǎn)：

(1)能夠修復(fù)不完整標(biāo)簽對、隱式標(biāo)簽、創(chuàng)建可靠的HTML結(jié)構(gòu)，得到一個干凈的解析結(jié)果。

(2)提供選擇器語法查找、操作元素，根據(jù)深度建立標(biāo)簽索引。

(3)防止跨站腳本攻擊，消除不受信任的HTML。

5.1　實驗結(jié)果

為了驗證該算法的有效性，從國內(nèi)各大博客、新聞、科普、專業(yè)類8個不同網(wǎng)站各隨機(jī)抽取200張網(wǎng)頁，共計1600張，作為主題網(wǎng)頁測試集。對正文提取結(jié)果的正確性做如下規(guī)定：

(1)提取結(jié)果與人工觀察實際網(wǎng)頁所得正文信息一致，則完全正確。

(2)提取結(jié)果除包含全部正文信息外，含少量非正文信息(不超過正文信息的5%，該信息位于正文內(nèi)容前后)，不影響閱讀，則也視為正確。

(3)提取結(jié)果缺少部分正文信息或包含較多網(wǎng)頁噪音內(nèi)容(超過正文信息5%)，視為不正確。

定義3設(shè)主題網(wǎng)頁測試集中的網(wǎng)頁數(shù)量為web_sum，正確提取正文信息的網(wǎng)頁數(shù)量為correct_num，則正文提取準(zhǔn)確率P定義為

P=correct_num/web_sum

(2)

其衡量的是在整個測試集中正文提取正確的網(wǎng)頁數(shù)量的比例，實驗統(tǒng)計結(jié)果見表2。實驗中取L=25，p1=0.5，p2=0.7，Tdistance=2。



表2　實驗統(tǒng)計結(jié)果

5.2　結(jié)果分析

從實驗結(jié)果可以看出，Readability算法總體上有較好的正文提取效果，特別是針對新聞類網(wǎng)站，準(zhǔn)確率達(dá)到95%以上。但在百度百科和網(wǎng)易這兩個網(wǎng)站上，其正文提取準(zhǔn)確率偏低，與改進(jìn)后的算法在正文提取準(zhǔn)確率上有較大差距。

分析發(fā)現(xiàn)，百度百科網(wǎng)頁中常含有大量錨文本表格或列表，Readability算法會因為剪枝過度而缺失部分正文信息。而網(wǎng)易其部分網(wǎng)頁(如汽車專欄)，正文由分散的多個容器節(jié)點(diǎn)拼接構(gòu)成，Readability算法在正文節(jié)點(diǎn)拼接過程中遺漏正文子塊，導(dǎo)致正文提取準(zhǔn)確率偏低。

改進(jìn)后的Readability算法針對以上問題，通過正文塊生成和剪枝兩個方面有效地保證了正文內(nèi)容的準(zhǔn)確提取。其正文提取準(zhǔn)確率達(dá)到95%以上，平均準(zhǔn)確率97.81%，具有較強(qiáng)的通用性。

6　結(jié)束語

Readability算法在應(yīng)用到大規(guī)模正文提取時，易丟失正文信息中的部分字段、錨文本、結(jié)構(gòu)數(shù)據(jù)。在搜集大量網(wǎng)頁總結(jié)網(wǎng)頁布局及正文特征規(guī)律基礎(chǔ)上，就正文塊生成和剪枝兩個方面對Readability算法進(jìn)行改進(jìn)。

實驗結(jié)果表明，改進(jìn)后的方法能在有效過濾網(wǎng)頁噪音基礎(chǔ)上，改善Readability算法丟失部分正文信息的問題，從而提高網(wǎng)頁正文提取的準(zhǔn)確率。

參考文獻(xiàn)：

[1]YANG Liuqing,LI Xiaodong,GENG Guanggang.Study of web pages content extraction based on layout similarity[J].Application Research of Computers,2015,32(9):2581-2586(in Chinese).[楊柳青,李曉東,耿光剛.基于布局相似性的網(wǎng)頁正文內(nèi)容提取研究[J].計算機(jī)應(yīng)用研究,2015,32(9):2581-2586.]

[2]Mane TB,Potdar GP.Template extraction from heteroge-neous web pages[J].International Journal of Advanced Computer Research,2012,2(6):197-201.

[3]Kadam V,Devale PR.A methodology for template extraction from heterogeneous web pages[J].Indian Journal of Computer Science & Engineering,2012,3(3):449-452.

[4]HU Bo.Research of text extraction algorithm based on visual semantic block[D].Hangzhou:Zhejiang University,2013(in Chinese).[胡波.基于視覺語義塊的網(wǎng)頁正文提取算法研究[D].杭州:浙江大學(xué),2013.]

[5]XIE Fangli,ZHOU Guomin,WANG Jian.Approach of extracting web page informational content based on node type an- notation[J].Computer Science,2016,43(s2):31-34(in Chinese).[謝方立,周國民,王健.基于節(jié)點(diǎn)類型標(biāo)注的網(wǎng)頁主題信息抽取方法[J].計算機(jī)科學(xué),2016,43(s2):31-34.]

[6]XIONG Zhongyang,LIN Xianqiang,ZHANG Yufang,et al.Content extraction method combining web page structure and text feature[J].Computer Engineering,2013,39(12):200-203(in Chinese).[熊忠陽,藺顯強(qiáng),張玉芳,等.結(jié)合網(wǎng)頁結(jié)構(gòu)與文本特征的正文提取方法[J].計算機(jī)工程,2013,39(12):200-203.]

[7]CHEN Yang,CHEN Xingshu,WU Qi.Extraction of content from web pages based on magnitude of reduction of information quantity[J].Computer Engineering and Design,2012,33(7):2555-2560(in Chinese).[陳陽,陳興蜀,吳麒.基于信息量衰減幅度的網(wǎng)頁正文提取[J].計算機(jī)工程與設(shè)計,2012,33(7):2555-2560.]

[8]LONG Long,DENG Wei.Text content extraction algorithm for green network web age[J].Computer Engineering,2013,39(7):252-256(in Chinese).[龍瓏,鄧偉.綠色網(wǎng)絡(luò)網(wǎng)頁正文內(nèi)容提取算法[J].計算機(jī)工程,2013,39(7):252-256.]

[9]AN Zengwen,XU Jiefeng.The research on vision-based web page information extraction algorithm[J].Microcomputer & Its Application,2010,29(3):38-41(in Chinese).[安增文,徐杰鋒.基于視覺特征的網(wǎng)頁正文提取方法研究[J].微型機(jī)與應(yīng)用,2010,29(3):38-41.]

[10]WU Qi,CHEN Xingshu,TAN Jun.Content extraction algorithm of HTML pages based on optimized weight[J].Journal of South China University of Technology(Natural Science Edition),2011,39(4):32-37(in Chinese).[吳麒,陳興蜀,譚駿.基于權(quán)值優(yōu)化的網(wǎng)頁正文內(nèi)容提取算法[J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2011,39(4):32-37.]

[11]Kim M,Kim Y,Song W,et al.Main content extraction from web documents using text block context[M]//Database and Expert Systems Applications.Springer Berlin Heidelberg,2013:81-93.

猜你喜歡
剪枝正文噪音
人到晚年宜“剪枝”
保健醫(yī)苑(2022年5期)2022-06-10 07:47:22
更正聲明
傳媒論壇(2022年9期)2022-02-17 19:47:54
更正啟事
科學(xué)養(yǎng)魚(2021年6期)2021-11-30 18:02:10
基于YOLOv4-Tiny模型剪枝算法
成都信息工程大學(xué)學(xué)報(2021年6期)2021-02-12 03:00:54
噪音，總是有噪音！
小學(xué)科學(xué)(學(xué)生版)(2020年10期)2020-10-28 07:52:12
無法逃避的噪音
瘋狂英語·新悅讀(2019年10期)2019-12-13 09:02:32
噪音的小把戲
小火炬·閱讀作文(2017年8期)2017-09-26 06:30:48
白噪音的三種用法
Coco薇(2017年9期)2017-09-07 22:09:28
剪枝
天津詩人(2017年2期)2017-03-16 03:09:39
一種面向不平衡數(shù)據(jù)分類的組合剪枝方法
計算機(jī)工程(2014年6期)2014-02-28 01:26:33

計算機(jī)工程與設(shè)計2018年4期

計算機(jī)工程與設(shè)計的其它文章

基于多類預(yù)測器學(xué)習(xí)的超分辨率復(fù)原算法

改進(jìn)的Eclat算法研究與應(yīng)用

改進(jìn)的輕量級移動RFID雙向認(rèn)證協(xié)議

融合顏色特征和灰度特征的時空上下文跟蹤

基于非下采樣輪廓波變換的模糊圖像質(zhì)量評價

融合用戶偏好與流行事件分析的微博推薦算法

雜志排行

1. 1《師道·教研》2024年10期

2. 2《思維與智慧·上半月》2024年11期

3. 3《現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化》2024年2期

4. 4《微型小說月報》2024年10期

5. 5《工業(yè)微生物》2024年1期

6. 6《雪蓮》2024年9期

7. 7《世界博覽》2024年21期

8. 8《中小企業(yè)管理與科技》2024年6期

9. 9《現(xiàn)代食品》2024年4期

10. 10《衛(wèi)生職業(yè)教育》2024年10期

關(guān)于參考網(wǎng)