亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        詞性對(duì)新聞以及微博網(wǎng)絡(luò)話題檢測(cè)的影響研究

        2015-08-09 09:39:06繆俊芳
        新媒體研究 2015年3期
        關(guān)鍵詞:區(qū)分語(yǔ)料特征

        繆俊芳

        (河源廣播電視臺(tái),廣東河源 517000)

        話題檢測(cè)是一項(xiàng)信息處理技術(shù),它所關(guān)心話題是某個(gè)具體事件。其目標(biāo)在于對(duì)新話題進(jìn)行檢測(cè),然后對(duì)后續(xù)報(bào)道進(jìn)行收集。隨著互聯(lián)網(wǎng)飛速發(fā)展,話題線索往往會(huì)散布在各類網(wǎng)絡(luò)平臺(tái)上,而不同網(wǎng)絡(luò)平臺(tái)線索特征不同,傳統(tǒng)新聞文本檢測(cè)方法不能完全適用于各網(wǎng)絡(luò)平臺(tái),需用詞性檢測(cè)方法來(lái)適應(yīng)現(xiàn)代網(wǎng)絡(luò)發(fā)展。

        1 詞性標(biāo)注與數(shù)據(jù)處理

        1.1 詞性標(biāo)注

        進(jìn)行實(shí)驗(yàn)需選取相對(duì)權(quán)威的標(biāo)注集,目前我國(guó)比較權(quán)威的詞性標(biāo)注集主要有北京大學(xué)、復(fù)旦大學(xué)以及中國(guó)科學(xué)院的文本詞性標(biāo)注集。根據(jù)收集的數(shù)據(jù)情況,本文選取的是復(fù)旦大學(xué)漢語(yǔ)文本詞性標(biāo)注集。然后,需用此標(biāo)注集標(biāo)注微博語(yǔ)料與新聞?wù)Z料?;诿麑?shí)體自身特征,本文將其標(biāo)記為特殊詞性。微博中常用特殊符號(hào)有“@”等,為了探究這些符號(hào)對(duì)話題檢測(cè)是否有影響,本文也將這一類符號(hào)作為特殊詞性特征。細(xì)分詞性有利于文本深層處理,但是詞性特征過(guò)細(xì)也會(huì)影響話題檢測(cè),因而本文處理合并了以上詞性,合并后的詞性如表1所示。

        1.2 處理數(shù)據(jù)過(guò)程

        根據(jù)實(shí)驗(yàn)?zāi)康?,主要選取新聞和微博兩個(gè)數(shù)據(jù)集作為研究對(duì)象。新聞數(shù)據(jù)集來(lái)自于搜狗實(shí)驗(yàn)室,新聞篇數(shù)為953,其中108個(gè)話題經(jīng)過(guò)了人工標(biāo)記。微博數(shù)據(jù)集主要來(lái)自數(shù)據(jù)堂,微博篇數(shù)為4 257,其中16個(gè)話題被人工標(biāo)記。新聞?wù)Z料選用搜狐2008年版本中特別版相關(guān)數(shù)據(jù)進(jìn)行研究,從而構(gòu)建新聞數(shù)據(jù)集,數(shù)據(jù)集只包含文本內(nèi)容。微博語(yǔ)料對(duì)2013年8月6日到19日的微博數(shù)據(jù)進(jìn)行了收集,預(yù)處理過(guò)程中,對(duì)微博正文所有內(nèi)容進(jìn)行了保留,然后對(duì)各條微博進(jìn)行標(biāo)記。

        表1 合并后的復(fù)旦大學(xué)漢語(yǔ)文本詞性標(biāo)注集

        完成語(yǔ)料預(yù)處理后,實(shí)驗(yàn)根據(jù)以上兩種語(yǔ)料特點(diǎn),構(gòu)建了2個(gè)詞性空間。進(jìn)行數(shù)據(jù)處理首先需利用FudanNLP對(duì)兩個(gè)數(shù)據(jù)集中每篇報(bào)道進(jìn)行分詞處理,去掉文本中的標(biāo)點(diǎn)、運(yùn)算符以及表情符,當(dāng)然,包含特殊符號(hào)的標(biāo)點(diǎn)和其他符號(hào)不能去掉,對(duì)兩個(gè)數(shù)據(jù)集的報(bào)道詞集進(jìn)行構(gòu)建。然后,需標(biāo)注報(bào)道詞集中的詞,標(biāo)注時(shí)需根據(jù)表1中合并詞性進(jìn)行。最后,按照詞性將2個(gè)語(yǔ)料集分成16個(gè)不同文檔集,用一種詞性來(lái)表示每個(gè)文檔中各篇報(bào)道。

        2 實(shí)驗(yàn)過(guò)程以及實(shí)驗(yàn)結(jié)構(gòu)分析

        2.1 詞性特征在2種數(shù)據(jù)集上分布情況

        統(tǒng)計(jì)2組語(yǔ)料詞性結(jié)果表明名詞詞數(shù)比例在2組數(shù)據(jù)集中比例最大。對(duì)比每種詞性詞數(shù)比例可得出:數(shù)次、介詞、連詞、量詞、定位詞、助詞詞性在微博數(shù)據(jù)集上所占比例低于新聞,其他詞性詞數(shù)比例無(wú)明顯區(qū)別。單從數(shù)量分析,各個(gè)詞性在單一網(wǎng)絡(luò)數(shù)據(jù)集所占比重與話題劃分后的平均詞數(shù)比例基本一致,由此可見(jiàn),詞性特征分布不隨檢測(cè)話題改變。

        2.2 網(wǎng)絡(luò)話題檢測(cè)性能評(píng)價(jià)方法

        本文對(duì)話題進(jìn)行檢測(cè)采用的是經(jīng)典聚類算法。為了保證實(shí)驗(yàn)數(shù)據(jù)相對(duì)準(zhǔn)確,設(shè)定了108個(gè)新聞文檔集類聚個(gè)數(shù),16個(gè)微博文檔集類聚個(gè)數(shù)。報(bào)道集中文檔被劃分到正確話題的優(yōu)劣程度是其主要評(píng)價(jià)方法。本文采用表4方法對(duì)話題檢測(cè)性能進(jìn)行評(píng)價(jià),其中A、B、C、D表示4種情況下文檔數(shù)量。

        輸出類-話題類矩陣表

        根據(jù)評(píng)價(jià)需求,確定召回率(recall)、準(zhǔn)確率(precision)以及宏平均F。它們之間關(guān)系為:Recall=A/(A+C),if(A+C)>0;否則無(wú)定義。Precision=A/(A+B),if(A+B)>0;否則無(wú)定義。F=2×Recall×Precision/(Recall+Precision)

        2.3 單一詞性特征對(duì)網(wǎng)絡(luò)話題檢測(cè)影響

        根據(jù)前面提到的評(píng)價(jià)方法可以計(jì)算出召回率,準(zhǔn)確率和F值,得出新聞與微博話題檢測(cè)會(huì)受詞性特征影響,如果只保留名詞,話題檢測(cè)效果最好。命名實(shí)體對(duì)話題檢測(cè)結(jié)果和對(duì)全部詞性進(jìn)行保留的檢測(cè)結(jié)果基本相同,但是其詞數(shù)在全部詞性所占比重僅在5%左右,因此,用命名實(shí)體檢測(cè)話題可以有效降低話題檢測(cè)特征維度。同時(shí),動(dòng)詞對(duì)新聞話題檢測(cè)的影響比微博話題檢測(cè)影響大;量詞、數(shù)詞和時(shí)間短語(yǔ)對(duì)微博話題檢測(cè)的貢獻(xiàn)比新聞稍低;形容詞對(duì)微博話題檢測(cè)的貢獻(xiàn)比新聞要略高;特殊符號(hào)和網(wǎng)址可以對(duì)微博數(shù)據(jù)話題進(jìn)行區(qū)分,但是不能對(duì)區(qū)分新聞報(bào)道話題;命名實(shí)體和名詞對(duì)兩者的話題檢測(cè)貢獻(xiàn)度都較大。

        根據(jù)以上分析,只選取某一種詞性作為文本詞性時(shí),名詞對(duì)話題的區(qū)分能力最強(qiáng),命名實(shí)體僅次于名詞。動(dòng)詞對(duì)新聞話題進(jìn)行區(qū)分的能力比對(duì)微博話題進(jìn)行區(qū)分的能力強(qiáng),形容詞則對(duì)于微博話題的區(qū)分能力更強(qiáng)。其他詞性特征雖然也會(huì)對(duì)以上2種話題產(chǎn)生影響,但是卻遠(yuǎn)遠(yuǎn)比不上以上這4種詞性。

        2.4 組合詞性特征對(duì)網(wǎng)絡(luò)話題檢測(cè)的影響

        研究組合詞性對(duì)話題檢測(cè)的影響目的在于找到一組最佳詞性特征組合,在保證實(shí)驗(yàn)效果的基礎(chǔ)上,最大化降低文本特征緯度。研究組合詞性與話題檢測(cè)關(guān)系采用的方法是波士頓圖分析法,它可以顯示多種特征在不同標(biāo)準(zhǔn)下對(duì)話題的區(qū)分能力。為了找到最佳詞性組合,將選取的基準(zhǔn)詞性確立為單一詞性中研究效果最好的名詞和命名實(shí)體,將波士頓分析過(guò)程中區(qū)分能力較高的詞性與這兩種詞性進(jìn)行組合。利用哈爾濱工業(yè)大學(xué)停用詞表對(duì)將這些組合進(jìn)行停用詞處理,可得出相關(guān)檢測(cè)結(jié)果,即通常情況下,兩個(gè)詞性組合成的詞組對(duì)話題的區(qū)分能力比單一詞性強(qiáng),但效果不明顯,但兩兩組合詞性區(qū)分話題能力又不如多組詞性組合。

        通過(guò)以上研究可得出如下結(jié)論:選取詞性組合檢測(cè)話題,名詞或命名實(shí)體、時(shí)間短語(yǔ)、量詞、數(shù)詞以及形容詞的組合對(duì)新聞話題檢測(cè)具有較好效果,而名詞或命名實(shí)體、量詞、形容詞、數(shù)詞以及特殊符號(hào)與網(wǎng)址的組合對(duì)微博語(yǔ)料的檢測(cè)效果較好。

        3 結(jié)束語(yǔ)

        綜上所述,無(wú)論是單一詞性還是組合詞性都會(huì)在一定程度上對(duì)新聞和微博這兩類網(wǎng)絡(luò)話題的檢測(cè)結(jié)果造成影響,但是不同詞性以及不同詞性組合對(duì)其造成影響的程度又不同。

        [1]崔瑞飛,于洪濤,楊赟,等.基于評(píng)論樹(shù)的微博社區(qū)熱門話題檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究,2014(12):3776-3779,3827.

        [2]劉瑋,王麗宏,李銳.面向話題的微博網(wǎng)絡(luò)測(cè)量研究[J].通信學(xué)報(bào),2013(11):171-178.

        [3]方然,苗奪謙,張志飛.一種基于情感的中文微博話題檢測(cè)方法[J].智能系統(tǒng)學(xué)報(bào),2013(03):208-213.

        猜你喜歡
        區(qū)分語(yǔ)料特征
        區(qū)分“旁”“榜”“傍”
        你能區(qū)分平衡力與相互作用力嗎
        如何表達(dá)“特征”
        不忠誠(chéng)的四個(gè)特征
        教你區(qū)分功和功率
        抓住特征巧觀察
        基于語(yǔ)料調(diào)查的“連……都(也)……”出現(xiàn)的語(yǔ)義背景分析
        華語(yǔ)電影作為真實(shí)語(yǔ)料在翻譯教學(xué)中的應(yīng)用
        罪數(shù)區(qū)分的實(shí)踐判定
        《苗防備覽》中的湘西語(yǔ)料
        所有视频在线观看免费| 亚洲AⅤ无码片一区二区三区| 中文字幕天天躁日日躁狠狠| 国产精品成人有码在线观看| 97精品人妻一区二区三区在线| 51看片免费视频在观看| 小12萝8禁在线喷水观看| 国产精品无码专区av在线播放| japanesehd中国产在线看| 中文字幕亚洲综合久久| 蜜桃视频中文字幕一区二区三区| 国产精品成人一区二区在线不卡| 久久久久88色偷偷| 国产精品久久久久电影网| 欧美激情国产一区在线不卡| 精品人妻av中文字幕乱| 国产熟妇疯狂4p交在线播放| 中文字幕aⅴ人妻一区二区| 中国凸偷窥xxxx自由视频| 国产国语对白一区二区三区| 97女厕偷拍一区二区三区| 日本不卡一区二区三区在线视频| 好男人社区影院www| 亚洲无毛片| 人妻无码人妻有码不卡| 少妇被粗大的猛进69视频| 日本又色又爽又黄的a片18禁| 欧美z0zo人禽交欧美人禽交| 人妖熟女少妇人妖少妇| 国产av一级黄一区二区三区| 久久久久九九精品影院| 免费看久久妇女高潮a| 久久99精品久久久久久国产人妖| 亚洲天堂一区二区三区视频| 日本免费视频| 亚洲精品无码久久久久av麻豆 | 无码熟妇人妻AV不卡| 中文字幕在线乱码av| 亚洲精品成人无限看| 日日噜噜夜夜爽爽| 亚洲精品一区二区三区播放|