亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        加權(quán)信息論下的突發(fā)事件新聞主題抽取方法

        2016-12-28 09:19:55關(guān)莉莉
        山西青年 2016年24期
        關(guān)鍵詞:文本方法

        關(guān)莉莉

        吉林電視臺,吉林 長春 130021

        加權(quán)信息論下的突發(fā)事件新聞主題抽取方法

        關(guān)莉莉

        吉林電視臺,吉林 長春 130021

        新聞媒體是傳遞信息的重要途徑,在突發(fā)事件發(fā)生后,人們往往希望能夠通過新聞及時了解到突發(fā)事件產(chǎn)生的緣由以及后續(xù)發(fā)展情況。為了能夠?qū)⑼话l(fā)事件新聞文本更好的分類,需要采取有效的主題抽取方法,而基于加權(quán)信息論的抽取方法,便得以產(chǎn)生并開始運用于該項工作中。本文就加權(quán)信息論下的突發(fā)事件新聞主題抽取方法進行了研究分析。

        加權(quán)信息論;突發(fā)事件新聞;主題抽取方法

        突發(fā)事件新聞文本中,主題詞出現(xiàn)的位置等都具有一定的特點,通過加權(quán)信息論,能夠?qū)崿F(xiàn)對主題詞的精準查找,考慮新聞文本主題本身所帶有的相關(guān)統(tǒng)計信息,從而實現(xiàn)對突發(fā)事件新聞的有效分類。因此,相關(guān)工作者在工作中,還應積極分析基于加權(quán)信息論的主題抽取方法,并予以合理運用,從而進一步完善突發(fā)事件新聞分類體系,推動新聞事業(yè)的快速發(fā)展。

        一、突發(fā)事件新聞統(tǒng)計分析

        突發(fā)事件主要是人們難以預測的、隨時隨地都有可能發(fā)生的、完全隨機的時間,而突發(fā)事件新聞,則是對這一類時間的新聞報道。突發(fā)事件的發(fā)生往往與人們的生活有密切關(guān)聯(lián),因而,人們對突發(fā)事件報道也十分關(guān)心。相關(guān)學者也針對人們在各個階段的新聞關(guān)注熱點,進行了統(tǒng)計分析。本文選取了“煤礦爆炸”、“非洲埃博拉病毒疫情”以及“恐怖襲擊”三類新聞進行闡述分析,從Web上獲取了各500篇語料。

        經(jīng)過一系列的統(tǒng)計分析發(fā)現(xiàn),這幾類突發(fā)事件新聞文本具有兩方面特點。第一,在形式結(jié)構(gòu)上。突發(fā)事件新聞文本主要分為正文及標題兩部分,標題是對文本內(nèi)容、事件情況的充分概括,主要由突發(fā)事件的發(fā)生的地點、事件名稱以及帶來的影響組成,正文則是包含多個句子,闡明了信息的來源、突發(fā)事件的基本信息及其原因、后果等。且正文中的第一句話,往往就會直接表述本信息的來源,其他內(nèi)容則會在后續(xù)句子中進行表述。第二,在文本長度上,通過對這幾類文本的統(tǒng)計分析,發(fā)現(xiàn)其標題字數(shù)平均在18-20字之間,相差不大,正文句數(shù)平均在7.43-11.95句,而字數(shù)從100字到400字不等(如表1)。

        表1 突發(fā)事件各類新聞文本統(tǒng)計分析數(shù)據(jù)

        二、加權(quán)信息論下突發(fā)事件新聞主題抽取

        當前對突發(fā)事件新聞主題進行抽取,主要是通過對突發(fā)事件主題詞在文本主題方面的貢獻程度進行分析,從而將其中貢獻最大的主題詞找出來。在加權(quán)算法的運用中,主要是通過對主題詞在突發(fā)事件新聞文本中的位置、頻率以及不同文本間的引用關(guān)系等進行計算,一些專家學者還能夠通過構(gòu)詞能力、特征字串、語言理解角度等進行抽取。而據(jù)相關(guān)調(diào)查以及研究表明,基于加權(quán)信息論的突發(fā)事件新聞主體抽取,也能夠獲得良好的效果。詞在文本中的包含的信息量計算公式為H(wi)=-N(wi)×log p(wi)。其中,wi為突發(fā)事件新聞文本中的一個詞匯,文本用d表示,H(wi)表示該詞信息量,N(wi)為該詞出現(xiàn)頻率,p(wi)則為該詞概率分布。通過極大似然估計方法,對詞的概率分布進行計算,公式為p(wi)=F(wi)×F。其中,F(xiàn)(wi)為訓練文本中該詞出現(xiàn)的頻次,F(xiàn)則表示文本集中總詞頻數(shù)[1]。為了能夠結(jié)合主題詞的實際分布情況,還需基于加權(quán)信息論,將文本形式特征以及詞匯所處位置加入計算中。設Y為句權(quán)向量,Xi為詞位向量,且Y=(s1,s2,…,sj),Xi=(pi1,pi2,…,pik),sj為該詞在文本中j句的重要性因子,pik則為該詞在j句中出現(xiàn)的頻次,n為總句數(shù)。兩個向量的乘積,就是最終詞匯的位置權(quán)重,通過將其與信息論特征抽取方法結(jié)合,便能夠獲得最終結(jié)果。文本首句即標題句,在主題中貢獻最大,權(quán)值最大,其次為第三、四,五句,再者為第二句消息來源,最后為其余句子,權(quán)值較小。

        加權(quán)信息論下的突發(fā)事件新聞主題抽取方法應用中,應先進行文本預處理。分詞并獲取詞集合,對一些語氣詞、介詞等詞匯進行剔除,獲得候選詞集c(w1,w2,…,wm)。其次,需要進行權(quán)威計算,對c中的所有詞匯按照上述方法進行位置權(quán)重計算,并結(jié)合H(wi)值,計算出wi的總權(quán)重。最后,對所有詞的權(quán)重計算結(jié)果進行排列,選取權(quán)值最大的幾個詞,組合成最終的主題。

        三、加權(quán)信息論下的突發(fā)事件新聞主題抽取結(jié)果分析

        為證明加權(quán)信息論下的突發(fā)事件新聞主題抽取方法的有效性,將這一方法與人工抽取方法一同運用,并對所獲取結(jié)果進行比較分析。選用“煤礦爆炸”類突發(fā)事件新聞100篇、“非洲埃博拉病毒疫情”類突發(fā)事件新聞100篇以及“恐怖襲擊”類突發(fā)事件新聞100篇,用于訓練語料,同時,每一類別中選出25篇文本作為測試語料。運用兩種方式對新聞主題進行抽取后發(fā)現(xiàn),“煤礦爆炸”文本中,有22篇結(jié)果一致,與人工抽取一致比率在88%,正確率在96%?!胺侵薨2├《疽咔椤蔽谋局?,有13篇結(jié)果一致,比率在52%,正確率在36%,其主題偏離率較大的原因主要是文本本身結(jié)構(gòu)性較差、內(nèi)容分散。而在“恐怖襲擊”文本中,有21篇結(jié)果一致,比率在84%,正確率在88%。且據(jù)相關(guān)學者對加權(quán)信息論以及信息論下的主題抽取結(jié)果比較發(fā)現(xiàn),加權(quán)信息論下的突發(fā)事件新聞主題抽取方法的準確度與人工抽取相比,明顯呈現(xiàn)出了提高趨勢,由此,可見這一方法在主題抽取中的重要性及良好的效果。

        四、結(jié)論

        本文基于突發(fā)事件新聞文本相關(guān)統(tǒng)計數(shù)據(jù),運用加權(quán)信息論方法進行主題抽取,并將抽取結(jié)果與人工抽取相比較,得出了這一方法具有良好性能的結(jié)果。相關(guān)工作人員也應加強對這一方法的研究,并將其靈活運用在其他文本中,以促進當前新聞領(lǐng)域相關(guān)技術(shù)方法的進一步發(fā)展。

        [1]韓永峰,許旭陽,李弼程,朱武斌,陳剛.基于事件抽取的網(wǎng)絡新聞多文檔自動摘要[J].中文信息學報,2012,1(1):58-66.

        [2]夏華林,張仰森.基于規(guī)則與統(tǒng)計的Web突發(fā)事件新聞多層次分類[J].計算機應用,2012,2(2):392-394.

        [3]曹學艷,張仙,劉樑,方寬,段飛飛,李仕明.基于應對等級的突發(fā)事件網(wǎng)絡輿情熱度分析[J].中國管理科學,2014,3(3):82-89.

        TP

        A

        猜你喜歡
        文本方法
        初中群文閱讀的文本選擇及組織
        甘肅教育(2020年8期)2020-06-11 06:10:02
        在808DA上文本顯示的改善
        學習方法
        基于doc2vec和TF-IDF的相似文本識別
        電子制作(2018年18期)2018-11-14 01:48:06
        可能是方法不對
        用對方法才能瘦
        Coco薇(2016年2期)2016-03-22 02:42:52
        文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學隱喻
        論《柳毅傳》對前代文本的繼承與轉(zhuǎn)化
        人間(2015年20期)2016-01-04 12:47:10
        四大方法 教你不再“坐以待病”!
        Coco薇(2015年1期)2015-08-13 02:47:34
        賺錢方法
        日韩十八禁在线观看视频| 成人片黄网站色大片免费观看app 亚洲av无码专区亚洲av | 亚洲一区亚洲二区视频在线| 男人女人做爽爽18禁网站| 欧美日韩精品一区二区三区不卡| 亚洲一区二区久久青草| 久久精品国产亚洲av豆腐| 国产精品久久国产精品99 gif| 精品一区二区三区免费播放| 一区二区免费电影| 亚洲av一二三四五区在线| 欧美国产亚洲日韩在线二区| 最近日本中文字幕免费完整| 国产丝袜精品丝袜一区二区 | 免费在线国产不卡视频| 亚洲日韩欧美一区、二区| 自拍偷自拍亚洲精品播放| 精品国产又大又黄又粗av| 一区二区三区人妻av| 欧美一区二区三区激情| 本道无码一区二区久久激情| 国成成人av一区二区三区| 久久久国产精品va麻豆| 一二三四在线视频社区3| 亚洲中文字幕黄色小视频| 免费黄片小视频在线播放| 日韩吃奶摸下aa片免费观看| 天天狠天天透天干天天| 日本国产一区二区在线观看| 亚洲国产日韩欧美综合a| 国产高潮刺激叫喊视频| 国产毛片一区二区三区| 国产成人综合久久久久久| 欧美熟妇色ⅹxxx欧美妇| 无码久久精品蜜桃| 精品国产一区二区三区av麻| 国产精成人品日日拍夜夜免费| 91久久精品无码人妻系列| 亚洲最大不卡av网站| 女人被爽到高潮视频免费国产| 福利网址在线观看|