馬志程，顧凱成，楊 鵬

（1.國(guó)網(wǎng)甘肅省電力公司信息通信公司 甘肅 蘭州730050；2.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，甘肅蘭州730050）

基于文本分類(lèi)的電企輿情識(shí)別方案設(shè)計(jì)與實(shí)現(xiàn)

馬志程1，顧凱成2，楊 鵬1

（1.國(guó)網(wǎng)甘肅省電力公司信息通信公司 甘肅 蘭州730050；2.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，甘肅蘭州730050）

根據(jù)電力企業(yè)輿情管控工作的需要，設(shè)計(jì)了一種基于文本分類(lèi)技術(shù)的企業(yè)輿情主題識(shí)別實(shí)驗(yàn)平臺(tái)，技術(shù)人員只需根據(jù)需要設(shè)定文本分類(lèi)中不同的基本參數(shù)，即可針對(duì)相應(yīng)的輿情文本測(cè)試不同參數(shù)方案下主題文本的識(shí)別效果，最后利用JAVA實(shí)現(xiàn)了特定方案下輿情主題識(shí)別系統(tǒng)（原型）。實(shí)際應(yīng)用表明，該實(shí)驗(yàn)平臺(tái)和原型系統(tǒng)能夠?yàn)楸酒髽I(yè)進(jìn)一步深化輿情管控工作提供可靠的研究平臺(tái)和應(yīng)用系統(tǒng)，從而提升企業(yè)品牌建設(shè)和品牌維護(hù)工作的水平。

輿情主題；文本分類(lèi)；電力企業(yè)；實(shí)驗(yàn)平臺(tái)

隨著國(guó)有企業(yè)改革的不斷深入，電力企業(yè)也正處于改革的重要時(shí)期，輿情危機(jī)一旦出現(xiàn)將會(huì)對(duì)企業(yè)帶來(lái)極大的危害[1-2]。因此，國(guó)網(wǎng)甘肅省電力公司所屬各單位已開(kāi)展輿情管控工作，由省公司組織各地市單位的輿情管理人員將各地的輿情信息進(jìn)行搜集和反饋，然而，面對(duì)海量的網(wǎng)絡(luò)以及現(xiàn)實(shí)輿情信息，因人員編制的問(wèn)題，技術(shù)人員和輿情管理人員多為兼職工作，勞動(dòng)量大、工作效率不高。為此，將文本分類(lèi)技術(shù)應(yīng)用于本公司輿情主題識(shí)別中，提出了輿情主題識(shí)別系統(tǒng)的關(guān)鍵設(shè)計(jì)方案，利用C++實(shí)現(xiàn)了基于文本分類(lèi)技術(shù)的輿情主題識(shí)別實(shí)驗(yàn)平臺(tái)，幫助技術(shù)人員針對(duì)不同的輿情主題樣本進(jìn)行測(cè)試，從而可以獲得更好的輿情主題識(shí)別方案。由于C++的移植性和操作性較差，因此本文針對(duì)實(shí)驗(yàn)樣本測(cè)試獲得的最優(yōu)方案后利用JAVA實(shí)現(xiàn)了輿情主題識(shí)別系統(tǒng)（原型）。通過(guò)本公司輿情主題識(shí)別實(shí)驗(yàn)平臺(tái)和原型系統(tǒng)的實(shí)現(xiàn)，能夠深化電力企業(yè)輿情管控工作，有效減輕企業(yè)輿情管理人員的工作量，搶占輿情管控時(shí)機(jī)，及時(shí)開(kāi)展危機(jī)公關(guān)，維護(hù)公司品牌形象[3-4]。

1 實(shí)驗(yàn)平臺(tái)設(shè)計(jì)

該實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)如圖1所示，分詞模塊對(duì)輿情訓(xùn)練文本進(jìn)行分詞等預(yù)處理，用戶設(shè)定特征選擇模塊中相關(guān)實(shí)驗(yàn)方案后對(duì)預(yù)處理過(guò)輿情文本進(jìn)行特征詞選取，權(quán)重計(jì)算模塊給予選取好的特征詞對(duì)應(yīng)的權(quán)重，繼而對(duì)分類(lèi)器進(jìn)行訓(xùn)練。輿情測(cè)試樣本經(jīng)過(guò)同樣的預(yù)處理后利用已訓(xùn)練好的分類(lèi)器進(jìn)行分類(lèi)識(shí)別，并對(duì)結(jié)果進(jìn)行測(cè)評(píng)。

圖1 實(shí)驗(yàn)平臺(tái)結(jié)構(gòu)圖

1.1 分詞模塊

分詞模塊主要功能是對(duì)輿情訓(xùn)練文本和輿情測(cè)試文本進(jìn)行詞條分割，并對(duì)停用詞和常用詞進(jìn)行處理。在分詞階段常用的方法包括[5]：基于詞典匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計(jì)的分詞方法。中科院ICTCLAS分詞系統(tǒng)結(jié)合了詞典匹配、統(tǒng)計(jì)分析這兩種分詞方法，既擁有詞典匹配法的速度快、效率高的優(yōu)點(diǎn)，又發(fā)揮統(tǒng)計(jì)分析法結(jié)合上下文識(shí)別新詞、消除歧義的特點(diǎn)，分詞速度達(dá)500 kb/s，精度達(dá)98.45%，包含各種詞典數(shù)據(jù)壓縮后加起來(lái)不足3 MB的存儲(chǔ)空間[6]，并且開(kāi)源，因此本模塊通過(guò)調(diào)用ICTCLAS_Init接口進(jìn)行分詞系統(tǒng)的初始化，加載分詞詞典和停用詞表，最后分析輿情訓(xùn)練文本，枚舉出文本的主題數(shù)量和每個(gè)主題的文本數(shù)，對(duì)每個(gè)主題的輿情文本調(diào)用ICTCLAS_File Process接口進(jìn)行文本分詞操作，編程時(shí)參考ICTCLAS的設(shè)計(jì)文檔就可以了。

1.2 特征選取模塊

特征選取模塊的功能是提取出一部分?jǐn)?shù)量最具識(shí)別特征的詞條，供文本分類(lèi)模塊進(jìn)行分類(lèi)識(shí)別。常用的特征選取方法有[7]：信息增益（Information Gain，IG）、互信息（Mutual Information，MI）、期望交叉熵（Expected Cross Entropy，ECE）、卡方檢驗(yàn) （x2-test，CHI）。另外特別重要的是特征詞選擇范圍的方式分為兩種即全類(lèi)主題選擇和單類(lèi)主題選取，全類(lèi)主題選取方式把所有主題的特征詞構(gòu)建成一個(gè)詞空間，通過(guò)特征選取方法對(duì)每個(gè)特征詞進(jìn)行一個(gè)識(shí)別能力評(píng)估，最后按照評(píng)估值進(jìn)行排序，再根據(jù)用戶設(shè)定的特征詞目篩選特征詞。而單類(lèi)主題選取是先在每個(gè)主題中進(jìn)行評(píng)估、排序和選擇，然后再總體選擇，經(jīng)過(guò)特征選擇處理輿情主題文本就變成一個(gè)詞空間的數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)[8]。采用何種特征詞選擇范圍、何種特征選取方法以及預(yù)留多少特征詞目，針對(duì)不同類(lèi)型的輿情主題文本，需要采用反復(fù)的實(shí)驗(yàn)來(lái)驗(yàn)證哪種方案是最好的。因此本輿情主題識(shí)別實(shí)驗(yàn)平臺(tái)分別編程實(shí)現(xiàn)了信息增益、互信息、期望交叉熵、卡方檢驗(yàn)這四種特征選擇方法，預(yù)留特征詞目輸入接口以及特征詞按照全類(lèi)還是單類(lèi)選擇接口。

1.3 權(quán)重計(jì)算模塊

經(jīng)過(guò)前面的特征選擇方案選擇出相應(yīng)的特征詞，但是不同特征詞對(duì)每個(gè)主題的識(shí)別能力不同，所以要計(jì)算各個(gè)特征詞的權(quán)重大小，TF*IDF權(quán)重計(jì)算是最為廣泛應(yīng)用的一種權(quán)重計(jì)算方法[9-10]：特征詞在某類(lèi)主題下某個(gè)樣本中出現(xiàn)的頻率越高，則該特征詞對(duì)該類(lèi)主題區(qū)分度越大，識(shí)別能力越強(qiáng)，相反特征詞越廣泛分布在所有的主題樣本中，即在各主題類(lèi)中該特征詞出現(xiàn)次數(shù)比較接近，則該特征詞對(duì)所有樣本的主題區(qū)分度比較小，識(shí)別能力較弱，其計(jì)算如公式（1），文中通過(guò)編程實(shí)現(xiàn)TF*IDF特征詞權(quán)重計(jì)算。

其中，Wi指第i個(gè)特征詞的權(quán)重，TFi（t，d）指特征詞t出現(xiàn)在輿情文本d中的次數(shù)，N是輿情文本總數(shù)，DF（t）指某主題輿情文本中所有含有特征詞t的輿情文本數(shù)。

1.4 分類(lèi)模塊

分類(lèi)模塊的功能是實(shí)現(xiàn)分類(lèi)算法，利用輿情訓(xùn)練文本，為經(jīng)過(guò)分詞和特征選取以及權(quán)重計(jì)算后的輿情測(cè)試文本確定主題類(lèi)別。常用的分類(lèi)算法有貝葉斯分類(lèi)算法，神經(jīng)網(wǎng)絡(luò)分類(lèi)算法，決策樹(shù)分類(lèi)算法，近鄰算法和支持向量機(jī)等[11]，支持向量機(jī)相對(duì)于其他算法對(duì)于文本特征相關(guān)性和稀疏性不敏感，其處理文本向量高維數(shù)問(wèn)題具有更大的優(yōu)勢(shì)，同時(shí)已有文獻(xiàn)也表明支持向量機(jī)算法在文本分類(lèi)中是最優(yōu)算法[12]，因此本實(shí)驗(yàn)平臺(tái)的分類(lèi)模塊通過(guò)編程實(shí)現(xiàn)支持向量機(jī)作為分類(lèi)模塊。

2 實(shí)驗(yàn)平臺(tái)應(yīng)用

實(shí)驗(yàn)平臺(tái)主界面和方案選擇界面如圖2所示。為了展示該平臺(tái)的應(yīng)用，文中通過(guò)人工和網(wǎng)絡(luò)爬蟲(chóng)軟件從天涯論壇、中國(guó)新聞網(wǎng)、新浪微博等網(wǎng)站上采集了其他幾種輿情主題樣本，而“國(guó)家電網(wǎng)”輿情主題樣本從各地市公司反饋的輿情樣本中篩選了200例，訓(xùn)練樣本和測(cè)試樣本按照1:1隨機(jī)劃分，樣本的主題描述和樣本劃分如表1所示。

表1 主題描述和樣本劃分

圖2 實(shí)驗(yàn)平臺(tái)主界面和方案選擇界面

在文本分類(lèi)的研究中，采用查全率（Recall，R）、查準(zhǔn)率（Precision，P）和F1值來(lái)測(cè)試文本分類(lèi)的效果[13-15]，因此本實(shí)驗(yàn)平臺(tái)的識(shí)別結(jié)果測(cè)評(píng)同樣采用的這3種評(píng)價(jià)指標(biāo)對(duì)輿情文本的識(shí)別結(jié)果進(jìn)行評(píng)估。

將上述輿情主題訓(xùn)練樣本導(dǎo)入實(shí)驗(yàn)平臺(tái)中，在方案選擇界面選擇期望交叉熵作為特征選擇方式，特征詞個(gè)數(shù)設(shè)置為1 000，分別選擇全類(lèi)主題和單類(lèi)主題進(jìn)行訓(xùn)練，訓(xùn)練完成后對(duì)輿情主題測(cè)試樣本進(jìn)行測(cè)試如表2所示。

表2 不同特征選擇詞選擇范圍識(shí)別評(píng)測(cè)

對(duì)結(jié)果進(jìn)行分析發(fā)現(xiàn)，全類(lèi)主題的特征詞選擇方式下輿情主題識(shí)別的查全率、查準(zhǔn)率、F1值都遠(yuǎn)大于單類(lèi)主題的特征詞選擇，每一項(xiàng)評(píng)估指標(biāo)平均值高出20%左右，故，技術(shù)員可認(rèn)為，使用全類(lèi)主題特征詞選擇方式更適用于所實(shí)驗(yàn)的輿情主題樣本。

同樣的，將上述輿情主題訓(xùn)練樣本導(dǎo)入實(shí)驗(yàn)平臺(tái)中，在方案選擇界面將全類(lèi)主題作為特征詞選擇方式，特征詞個(gè)數(shù)設(shè)置為1 000，分別選擇信息增益、互信息、期望交叉熵、卡方檢驗(yàn)作為特征選擇方式，篇幅原因只將“國(guó)家電網(wǎng)”主題實(shí)驗(yàn)結(jié)果羅列如表3所示。

表3 不同特征選擇方式識(shí)別評(píng)測(cè)

對(duì)結(jié)果進(jìn)行分析發(fā)現(xiàn)，期望交叉熵作為特征選擇方式，“國(guó)家電網(wǎng)”主題識(shí)別的查全率、查準(zhǔn)率、F1值都略優(yōu)于其他特征選擇方式，互信息效果最差最不適合該輿情實(shí)驗(yàn)樣本，因此，技術(shù)員可優(yōu)先使用期望交叉熵作為該輿情主題實(shí)驗(yàn)樣本識(shí)別系統(tǒng)的特征選擇方式，該方案下識(shí)別效果最好。

其他情況下的實(shí)驗(yàn)過(guò)程與上述類(lèi)似，這里就不再一一贅述了。技術(shù)員只需要將輿情主題實(shí)驗(yàn)樣本導(dǎo)入實(shí)驗(yàn)平臺(tái)后，通過(guò)簡(jiǎn)單的選取操作就能分析不同方案組合下識(shí)別效果的優(yōu)良，從而快速的確定最優(yōu)識(shí)別系統(tǒng)的方案。在今后的實(shí)驗(yàn)平臺(tái)使用中，技術(shù)員可以通過(guò)人工識(shí)別的電力企業(yè)關(guān)于服務(wù)評(píng)價(jià)、供電質(zhì)量評(píng)價(jià)、收費(fèi)評(píng)價(jià)、招投標(biāo)評(píng)價(jià)等不同輿情主題實(shí)現(xiàn)主題識(shí)別測(cè)試從而確定識(shí)別方案[15]。

3 輿情主題識(shí)別系統(tǒng)

技術(shù)人員通過(guò)實(shí)驗(yàn)平臺(tái)對(duì)相應(yīng)的輿情文本進(jìn)行測(cè)試分析后確定最優(yōu)的識(shí)別系統(tǒng)方案，經(jīng)過(guò)反復(fù)的對(duì)本文的實(shí)驗(yàn)樣本進(jìn)行測(cè)試，特征詞選擇范圍采用全類(lèi)主題、特征選擇方式采用期望交叉熵、特征詞目設(shè)定1 000個(gè)方案下輿情主題識(shí)別效果最好。但鑒于C++編程要求高、移植性和操作性較差，為了方便輿情管理人員對(duì)輿情樣本進(jìn)行自動(dòng)化識(shí)別，文中利用JAVA實(shí)現(xiàn)輿情主題識(shí)別系統(tǒng)，開(kāi)發(fā)包和系統(tǒng)界面如圖3所示，系統(tǒng)結(jié)構(gòu)設(shè)計(jì)與實(shí)驗(yàn)平臺(tái)類(lèi)似，只是特征選擇模塊中相關(guān)參數(shù)已經(jīng)根據(jù)上述實(shí)驗(yàn)方案進(jìn)行最優(yōu)化設(shè)置， 技術(shù)員分別執(zhí)行開(kāi)發(fā)包中ProduceClassLabel、TrainProcess、UiMain對(duì)輿情訓(xùn)練文本進(jìn)行主題標(biāo)簽生成、特征選取以及分類(lèi)器訓(xùn)練等過(guò)程，形成相應(yīng)輿情文本的識(shí)別模型，將模型文件分發(fā)給輿情管理人員。

輿情管理人員只需將模型文件導(dǎo)入識(shí)別系統(tǒng)對(duì)應(yīng)文件夾內(nèi)就能完成主題識(shí)別系統(tǒng)的配置，然后選擇好未知主題的輿情文本信息后點(diǎn)擊“開(kāi)始識(shí)別”就能對(duì)這些輿情文本進(jìn)行自動(dòng)化識(shí)別，通過(guò) “導(dǎo)出結(jié)果”按鈕進(jìn)行分類(lèi)導(dǎo)出。

圖3 輿情主題識(shí)別系統(tǒng)開(kāi)發(fā)包和界面

在實(shí)際的測(cè)試應(yīng)用過(guò)程中，該主題識(shí)別系統(tǒng)能夠方便、快捷、直觀地幫助輿情管理人員進(jìn)行主題識(shí)別，大大的減少輿情管理人員工作量，幫助公司減少人員配置，更好地開(kāi)展輿情管控工作。

4 結(jié) 論

利用文中設(shè)計(jì)的輿情主題識(shí)別實(shí)驗(yàn)平臺(tái)，能夠簡(jiǎn)化技術(shù)人員對(duì)主題識(shí)別方案設(shè)計(jì)的過(guò)程，通過(guò)簡(jiǎn)單、直觀的選擇就能輕松得到相應(yīng)輿情主題文本的最優(yōu)識(shí)別方案，而輿情主題系統(tǒng)能夠形象、直觀、方便的幫助輿情管控人員對(duì)輿情主題進(jìn)行識(shí)別，大大減輕輿情文本識(shí)別的工作量，降低勞動(dòng)力成本，提高工作效率，為提升公司品牌建設(shè)和品牌維護(hù)水平起到積極的作用。

[1]溫超.電力企業(yè)輿情風(fēng)險(xiǎn)管理[J].中國(guó)電力企業(yè)管理，2015（3）:93-94.

[2]趙晶晶，劉婷.淺析電網(wǎng)企業(yè)對(duì)外輿情危機(jī)應(yīng)對(duì)[J].中國(guó)電力教育，2013（2）:213-214.

[3]欒霞，馬晨辰.基于Single-Pass的部隊(duì)醫(yī)院網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)設(shè)計(jì)[J].電子設(shè)計(jì)工程，2015，23（4）: 60-63.

[4]王鵬舉，薛惠鋒，張永恒，等.基于云服務(wù)的政府輿情監(jiān)測(cè)平臺(tái)架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程. 2015，23（6）:78-81.

[5]陳之彥，李曉杰，朱淑華，等.基于Hash結(jié)構(gòu)詞典的雙向最大匹配分詞法 [J].計(jì)算機(jī)科學(xué)，2015，42（11）:49-53.

[6]薛亮.基于SVM的中文文本分類(lèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].重慶:重慶大學(xué)，2012.

[7]石慧，賈代平，苗培.基于詞頻信息的改進(jìn)信息增益文本特征選擇算法[J].計(jì)算機(jī)應(yīng)用，2014，34（11）: 3279-3282.

[8]任永功，楊榮杰，尹明飛，等.基于信息增益的文本特征選擇方法[J].計(jì)算機(jī)科學(xué)，2012，39（11）:127-130.

[9]郭頌，馬飛.文本分類(lèi)中信息增益特征選擇算法的改進(jìn)[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30（8）:139-142.

[10]黃志艷.一種基于信息增益的特征選擇方法[J].山東農(nóng)業(yè)大學(xué)學(xué)報(bào)，2013，44（2）:252-256

[11]平源.基于支持向量機(jī)的聚類(lèi)及文本分類(lèi)研究[D].北京:北京郵電大學(xué)，2012.

[12]Ping Y，Tian YJ，Zhou Y J，et al.Convex decomposition based cluster labeling method for sacpport vector clacstering[J].Journal of Computer Science and Technology，2012，27（2）:428-442.

[13]鞏軍，劉魯．一種K-NN文本分類(lèi)器的改進(jìn)方法[J]．情報(bào)學(xué)報(bào)，2007，26（1）:56-59．

[14]黃九鳴.面向輿情分析和屬性發(fā)現(xiàn)的網(wǎng)絡(luò)文本挖掘技術(shù)研究[D].長(zhǎng)沙:國(guó)防科學(xué)技術(shù)大學(xué)，2011.

[15]葉智強(qiáng).提高電網(wǎng)企業(yè)輿情應(yīng)對(duì)能力[J].中國(guó)電力企業(yè)管理,2012（10）:34-35.

Design of public opinion recognition scheme for power enterprise based on text classification

MA Zhi-cheng1，GU Kai-cheng2，YANG Peng1
（1.State Grid Gansu Information and Telecommunication Company，Lanzhou 730050，China；2.School of Computer&Communication，Lanzhou University of Technology，Lanzhou 730050，China）

According to the need of electric power enterprise management and control of public opinion，the experimental platform of public opinion was designed based on text classification，technicians set different parameters in text classification and test effect of different parameters，finally this paper used JAVA to realize the theme of public opinion system under the specific program.Practical application shows that this platform and system for the enterprise，further deepening the control provides reliable public opinion research platforms and application systems，thereby raising the standard of corporate brand building and brand maintenance.

public opinion topic；text classification；electric power enterprise；experimental platform

TN02

：A

：1674－6236（2017）03-0028-04

2016-01-27稿件編號(hào)：201601250

馬志程（1969—），男，甘肅蘭州人，碩士，教授級(jí)高工。研究方向：電力信息化、企業(yè)數(shù)據(jù)挖掘。