等之間的文本內(nèi)容(不包括標(biāo)簽本身)稱為“文本塊”,它可以嵌套在其他文本塊中,也就是說(shuō),文本塊可以包含多個(gè)子文本塊。 包含正文內(nèi)容的文本塊稱為正文塊,沒(méi)有正文內(nèi)容的文本塊稱為噪聲塊[12]。大量研究發(fā)現(xiàn)正文節(jié)點(diǎn)一般分布在DOM樹(shù)的葉節(jié)點(diǎn)中。 因此,采用DOM樹(shù)的深度優(yōu)先遍歷來(lái)分析葉子節(jié)點(diǎn)中的信息。步驟如下:
(1) 深度優(yōu)先遍歷DOM樹(shù),從葉子節(jié)點(diǎn)開(kāi)始,找到最底層的第一個(gè)容器標(biāo)簽,讀取該節(jié)點(diǎn)信息加入文本塊隊(duì)列,并標(biāo)記已訪問(wèn)。
(2) 判斷葉子節(jié)點(diǎn)有未被訪問(wèn)的兄弟節(jié)點(diǎn),若有則讀取節(jié)點(diǎn)信息加入文本塊隊(duì)列,并標(biāo)記已訪問(wèn)。若無(wú)則讀取父節(jié)點(diǎn)信息,若父節(jié)點(diǎn)未被訪問(wèn),并且不是body節(jié)點(diǎn),則重復(fù)(1)過(guò)程。直到將所有的節(jié)點(diǎn)都訪問(wèn),輸出文本塊隊(duì)列。
2 SVM文本塊分類
在本文中,去噪被認(rèn)為是二元分類問(wèn)題,即正文塊和噪音塊。在實(shí)驗(yàn)中,SVM用于解決二元分類問(wèn)題。 假設(shè)在n維空間中定義了訓(xùn)練集,正類表示正文塊,負(fù)類表示噪聲塊。選擇了可以區(qū)分正文塊和噪音塊的五個(gè)重要特征屬性,即可以訓(xùn)練出五維的特征屬性矩陣。
2.1 文本特征標(biāo)注
文本塊特征會(huì)直接影響SVM的分類效果,通過(guò)分析網(wǎng)頁(yè)結(jié)構(gòu)發(fā)現(xiàn),雖然各個(gè)網(wǎng)站的風(fēng)格有差異,但主題網(wǎng)站的結(jié)構(gòu)是很相似的。通過(guò)使用數(shù)學(xué)模型分析其組成并計(jì)算其比例,形成具有不同含義的特征文本的密度值。本文使用五種密度值進(jìn)行特征標(biāo)注,分別如下:
(1) 超鏈接密度:“超鏈接”形式的文本長(zhǎng)度與文本塊總長(zhǎng)度的比例稱為文本塊的超鏈接密度,其公式為:
(1)
式中:HLL為超鏈接文字長(zhǎng)度,AL為文本塊包含的文字總長(zhǎng)度。諸如廣告、友情鏈接、目錄和導(dǎo)航之類的大量“網(wǎng)絡(luò)噪聲”通常以“超鏈接”的形式存在,并且與正文內(nèi)容在不同文本塊中。 也就是說(shuō),文本塊中超鏈接的密度越高,該文本塊屬于噪音塊的概率就越大。
(2) 噪音詞密度:通常用于標(biāo)識(shí)網(wǎng)站自身的功能,與頁(yè)面正文內(nèi)容無(wú)關(guān)的詞語(yǔ)數(shù)量,(如“首頁(yè)”、“搜索”、“聲明”、“版權(quán)”、“幫助”等)與整個(gè)文本塊詞語(yǔ)數(shù)量之比,稱為該文本塊的噪音詞密度,其公式為:
(2)
式中:NWC是文本塊中有噪音的詞語(yǔ)的數(shù)量,AWC是文本塊中的詞語(yǔ)總數(shù)。 噪音詞的出現(xiàn)并非偶然。 通過(guò)對(duì)大量網(wǎng)頁(yè)的研究,發(fā)現(xiàn)文本塊中的噪音詞的比例越高,該文本塊是噪音塊的概率越大。本文通過(guò)哈爾濱工業(yè)大學(xué)信息檢索研究中心開(kāi)發(fā)分詞工具來(lái)對(duì)文本塊內(nèi)容進(jìn)行分詞處理,并提取出詞語(yǔ)信息來(lái)進(jìn)行計(jì)算。
(3) 中文標(biāo)點(diǎn)密度:在某一文本塊中,中文標(biāo)點(diǎn)與文本塊內(nèi)字符總長(zhǎng)度之比,稱為該文本塊的中文標(biāo)點(diǎn)密度,其公式為:
(3)
式中:SCL是文本塊中中文標(biāo)點(diǎn)的數(shù)量,ACL是文本塊中字符的總數(shù)量。通過(guò)對(duì)網(wǎng)頁(yè)的研究和分析,發(fā)現(xiàn)網(wǎng)頁(yè)文本通常分段顯示。 段落通常包含標(biāo)準(zhǔn)標(biāo)點(diǎn)符號(hào),而網(wǎng)頁(yè)中的噪音信息通常不包含或僅包含一個(gè)標(biāo)點(diǎn)符號(hào)。
(4) 文本修飾標(biāo)簽密度:“strong”、“b”、“I”、“h1”、“h2”、“u”等修飾文字的標(biāo)簽稱為文本修飾標(biāo)簽。某一文本塊中,文本修飾標(biāo)簽數(shù)量與文本塊中所有標(biāo)簽數(shù)量之比,稱為該文本塊的文本修飾標(biāo)簽密度,其公式為:
(4)
式中:LC為文本塊包含的文本修飾標(biāo)簽的數(shù)量,ALC為文本塊中所有標(biāo)簽的數(shù)量。文本修飾標(biāo)簽對(duì)文本的內(nèi)容進(jìn)行裝飾,增加文本的可讀性,通常修飾標(biāo)簽會(huì)在正文中體現(xiàn)。
(5) 網(wǎng)頁(yè)區(qū)域密度:在整個(gè)HTML中,正文文本塊通常集中在網(wǎng)頁(yè)的某個(gè)區(qū)域位置,稱為該正文文本塊的網(wǎng)頁(yè)區(qū)域密度,其公式為:
(5)
式中:NS為該文本塊容器標(biāo)簽所在的節(jié)點(diǎn)序數(shù),ANS為整個(gè)DOM樹(shù)的節(jié)點(diǎn)總數(shù)。經(jīng)過(guò)大量的研究發(fā)現(xiàn),正文容器標(biāo)簽的區(qū)域密度通常在18%~55%范圍內(nèi),這對(duì)我們進(jìn)一步判斷正文文本塊有很大的參考價(jià)值。
2.2 數(shù)據(jù)模型訓(xùn)練
本文從網(wǎng)易、新浪、人民網(wǎng)等主題網(wǎng)站隨機(jī)提取10個(gè)頁(yè)面作為訓(xùn)練網(wǎng)頁(yè),通過(guò)特征提取器針對(duì)2.1節(jié)提出的五種密度特征來(lái)提取,并且人工標(biāo)注文本塊的類別(-1:噪音塊、1:正文塊)。針對(duì)訓(xùn)練期間所出現(xiàn)的問(wèn)題,文本通過(guò)以下方法解決:
(1) 數(shù)值歸一化處理。為了讓結(jié)果更加準(zhǔn)確,在處理不同取值范圍的特征值時(shí),通常采用數(shù)值歸一化方法,本文將任意取值范圍的特征值轉(zhuǎn)化為(0,1)區(qū)間內(nèi)的值,公式如下:
(6)
式中:newValue為特征值數(shù)值歸一化后新的值,oldValue為原始特征值,max和min分別是數(shù)據(jù)集中的最小特征值和最大特征值。
(2) 確定訓(xùn)練矩陣。將上述五個(gè)特征屬性用作輸入?yún)?shù),得到訓(xùn)練矩陣。
(3) 選擇核函數(shù)。核函數(shù)的作用就是隱含著一個(gè)從低維空間到高維空間的映射,而這個(gè)映射可以把低維空間中線性不可分的兩類點(diǎn)變成線性可分的。SVM中常用的內(nèi)核函數(shù)有四種:線性核函數(shù),高斯核函數(shù),多項(xiàng)式核函數(shù),感知核函數(shù)[13]。多實(shí)證應(yīng)用表明高斯核函數(shù)(RBF)SVM具有良好的學(xué)習(xí)能力,其公式如下:
(7)
式中:σ為核函數(shù)的參數(shù),需要人工根據(jù)經(jīng)驗(yàn)調(diào)整。
(4) 調(diào)參方法。在模型中,有兩個(gè)超參數(shù)分別是懲罰系數(shù)C和RBF核函數(shù)的系數(shù)σ是需要人工調(diào)整的。當(dāng)C越大,σ越小,核函數(shù)對(duì)x的衰減越快,這就放大了數(shù)據(jù)之間的差別,致使該模型只適用于支持向量附近,未知樣本分類效果差,訓(xùn)練精度高,而測(cè)試精度不高的可能;如果C值越小,σ值越大,平滑效果越大,訓(xùn)練精度不高,從而也會(huì)影響測(cè)試精度。本文使用交叉檢驗(yàn)法來(lái)確定此數(shù)據(jù)模型的參數(shù)σ1、C1。
(5) 交叉檢驗(yàn)法。首先把數(shù)據(jù)集分為兩部分:訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集;為了判斷一個(gè)模型的優(yōu)秀程度,我們將模型的訓(xùn)練數(shù)據(jù)集替換成驗(yàn)證集進(jìn)行檢驗(yàn),從而獲得驗(yàn)證結(jié)果。但我們不能只對(duì)數(shù)據(jù)集進(jìn)行一次分割,而是必須將其隨機(jī)分割幾次,從而每次都得到一個(gè)結(jié)果。再求所有結(jié)果的均值,就可以對(duì)訓(xùn)練模型進(jìn)行評(píng)估了。我們可以在其間不斷地調(diào)整模型參數(shù),通過(guò)比較結(jié)果可以得出這個(gè)模型的最佳參數(shù)。
2.3 文本塊分類
通過(guò)SVM數(shù)據(jù)模型對(duì)文本塊進(jìn)行分類,需要注意的是,這時(shí)已經(jīng)完成了文本塊處理相關(guān)的工作,具體步驟如下:
(1) 先對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)處理并生成DOM樹(shù)。
(2) 遍歷DOM樹(shù)獲得文本塊并加入到隊(duì)列中。
(3) 利用特征提取器對(duì)每個(gè)文本塊進(jìn)行密度特征提取。
(4) 將文本塊密度特征輸入到SVM數(shù)據(jù)模型中,返回相應(yīng)結(jié)果R。
(5) 保存R>0的文本塊(R為結(jié)果值,R<0:噪音塊,R>0:正文塊)。
根據(jù)上述方法,得到正文塊的具體步驟如圖1所示。

圖1 正文塊獲取步驟
3 SVM正文塊內(nèi)降噪
經(jīng)過(guò)上述步驟處理之后,就可以獲得正文塊。文本塊中仍有一些需要去除的噪聲信息。研究分析發(fā)現(xiàn)塊內(nèi)噪音一般存在以下特點(diǎn)[12]:
(1) 噪音信息不會(huì)太長(zhǎng),通常只有幾個(gè)詞,而且不包含標(biāo)點(diǎn)符號(hào)信息。
(2) 塊內(nèi)噪音通常存在于正文塊的頭部或尾部,并且不會(huì)出現(xiàn)在混淆文本內(nèi)容的段落。
根據(jù)上述特點(diǎn),本文以段落為基本單位分析正文文本塊,提出“段落文字密度”,“段落標(biāo)點(diǎn)密度”和“段落區(qū)域密度”的概念,以評(píng)估某個(gè)段落是否為塊內(nèi)噪音段落。
常用的HTML分段指示標(biāo)記有:
、
、
、、、、、、
、、
、和
,源HTML腳本中的回車符可以忽略不計(jì)[14],這些標(biāo)記對(duì)之間的文本(不再被其他標(biāo)記分隔)稱為段落。定義1(段落文字密度) 劃分某正文文本塊為若干段落,每個(gè)段落中的文字?jǐn)?shù)量與整個(gè)文本塊文字?jǐn)?shù)量之比,稱為該段落的段落文字密度。
定義2(段落標(biāo)點(diǎn)密度) 劃分某正文文本塊為若干段落,每個(gè)段落中的中文標(biāo)點(diǎn)數(shù)量與該段落的內(nèi)容字符數(shù)之比,稱為該段落的段落標(biāo)點(diǎn)密度。
定義3(段落區(qū)域密度) 劃分某正文文本塊為若干段落,每一段落所占文本塊的起始位置到終止位置的行數(shù),稱為該段落的區(qū)域。整個(gè)區(qū)域相對(duì)于段落的位置,稱為段落區(qū)域密度。
段落區(qū)域是一個(gè)范圍值,因此我們使用均值法得到一個(gè)中間密度值作為該段落區(qū)域密度,其公式為:
(8)
式中:MIN(PC)為段落區(qū)域中最小行對(duì)應(yīng)的正文塊中段落序數(shù),APC為正文塊中段落總數(shù),MAX(PC)為段落區(qū)域中最大行對(duì)應(yīng)的正文塊中段落序數(shù)。
針對(duì)這2個(gè)特征建立SVM數(shù)據(jù)模型,參數(shù)σ2、C2是由交叉檢驗(yàn)法得出,分類步驟如下:
(1) 循環(huán)遍歷圖1已經(jīng)得到的正文塊隊(duì)列。
(2) 隨機(jī)選取100個(gè)段落進(jìn)行特征提取,建立數(shù)據(jù)模型,將特征輸入到數(shù)據(jù)模型中訓(xùn)練。
(3) 利用訓(xùn)練好的數(shù)據(jù)模型來(lái)對(duì)文本塊的段落進(jìn)行分類。
(4) 保存R>0的段落(R為結(jié)果值,R<0:噪音段落,R>0:正文段落)。
根據(jù)上述方法,得到正文段落的具體步驟如圖2所示。

圖2 正文段落獲取步驟
4 實(shí)驗(yàn)及結(jié)果分析
實(shí)驗(yàn)選取互聯(lián)網(wǎng)中3個(gè)的主題網(wǎng)站:網(wǎng)易、新浪、人民網(wǎng),和2個(gè)多主題網(wǎng)站:新浪博客、博客網(wǎng)。每個(gè)網(wǎng)站隨機(jī)爬取110個(gè)網(wǎng)頁(yè),其中100個(gè)作為測(cè)試集,10個(gè)作為訓(xùn)練集。訓(xùn)練集需要進(jìn)行人工標(biāo)注和整理,并將每個(gè)網(wǎng)站的訓(xùn)練集隨機(jī)分成2個(gè)驗(yàn)證數(shù)據(jù)集和8個(gè)訓(xùn)練數(shù)據(jù)集。
實(shí)驗(yàn)環(huán)境是Windows7 X64,開(kāi)發(fā)工具為PyCharm4.5.4,anaconda4.4.0,選用機(jī)器學(xué)習(xí)開(kāi)發(fā)包sklearn進(jìn)行開(kāi)發(fā)。本文使用sklearn中的網(wǎng)格搜索,即GridSearchCV類實(shí)現(xiàn)調(diào)參工作。實(shí)驗(yàn)證明,將SVM文本塊分類和SVM文本塊內(nèi)降噪的高斯核函數(shù)參數(shù)σ1、σ2分別設(shè)定為1.6、1.2。懲罰參數(shù)C1、C2分別設(shè)定為3.0、2.0。這種情況下,分類驗(yàn)證結(jié)果是最好的。
采用信息檢索技術(shù)中的準(zhǔn)確率(P)、召回率(R)和F值(F)三個(gè)指標(biāo)來(lái)衡量該方法返回結(jié)果的實(shí)際效果。定義網(wǎng)頁(yè)中有效正文內(nèi)容總行數(shù)WebValidRow,返回結(jié)果的總行數(shù)為ResultAllRow,返回結(jié)果中屬于有效正文內(nèi)容的行數(shù)為ResultValidRow,則:
(9)
(10)
(11)
實(shí)驗(yàn)對(duì)比了三種文本提取方法的準(zhǔn)確率、召回率和F值,結(jié)果如表2-表4所示。

表2 正文文本提取準(zhǔn)確率P對(duì)比 %

表3 正文文本提取召回率R對(duì)比 %

表4 正文文本提取綜合對(duì)比 %
由上述測(cè)試結(jié)果可見(jiàn),對(duì)于單主題的網(wǎng)頁(yè),這三種均擁有較高的召回率和不錯(cuò)的準(zhǔn)確率,且本文方法的準(zhǔn)確率要略優(yōu)于文獻(xiàn)[10]方法;而對(duì)于多主題網(wǎng)頁(yè),本文方法在準(zhǔn)確率和召回率方面要明顯優(yōu)于其他兩種方法??梢?jiàn),本文方法總體表現(xiàn)上要優(yōu)于文獻(xiàn)[10]方法,特別在多主題網(wǎng)頁(yè)的處理方面,優(yōu)勢(shì)較為明顯。
5 結(jié) 語(yǔ)
與傳統(tǒng)的文本提取方法相比,本文方法在準(zhǔn)確率、召回率上都有所提高。 從實(shí)驗(yàn)結(jié)果來(lái)看,本文中使用的方法可以應(yīng)用于大多數(shù)網(wǎng)站,但在個(gè)別網(wǎng)頁(yè)中也存在一些不準(zhǔn)確的文本塊提取。特別是一些比較簡(jiǎn)短的正文文本,該類信息密度特征提取不準(zhǔn)確,致使分類時(shí)將其作為噪音信息濾掉。這將是今后算法改進(jìn)的方向。
亚洲精品综合久久中文字幕
|
日韩AV不卡一区二区三区无码|
免费无遮挡毛片中文字幕|
中文字幕乱码在线婷婷|
日本饥渴人妻欲求不满|
亚洲精品美女久久久久久久|
一区二区三区乱码在线 | 欧洲|
日本在线观看|
精品一区二区三区在线观看l|
毛茸茸的女性外淫小视频|
97久久国产亚洲精品超碰热|
免费a级毛片无码a∨免费软件|
无码一区二区三区在线在看|
国产又湿又爽又猛的视频|
日本污ww视频网站|
精品人妻一区二区三区四区|
在线观看亚洲你懂得|
日本一区二区免费看片|
免费无码精品黄av电影|
a国产一区二区免费入口|
无码av专区丝袜专区|
国产91成人精品高潮综合久久
|
男女性杂交内射妇女bbwxz|
少妇高潮惨叫喷水在线观看|
亚洲乱精品中文字字幕|
色综合久久五十路人妻|
国产一区二区三区精品免费av
|
人人妻人人澡av|
日本免费观看视频一区二区|
亚洲av不卡一区二区三区|
亚洲天堂免费视频|
日韩av在线免费观看不卡|
豆国产96在线 | 亚洲|
最近中文字幕在线mv视频在线
|
美女被搞在线观看一区二区三区
|
国产精品国产三级野外国产|
久久久g0g0午夜无码精品|
极品美女高潮喷白浆视频|
伊人久久亚洲综合av影院|
免费网站内射红桃视频|
亚洲日韩欧美一区二区三区|