文/楊更修 孫甲飛 馮恩達(dá) 殷琳

1.項(xiàng)目背景

新聞稿件的文字校對(duì)，是新聞生產(chǎn)發(fā)布過(guò)程中必不可少的重要環(huán)節(jié)，是保障發(fā)稿安全、維護(hù)新聞嚴(yán)謹(jǐn)性的關(guān)鍵防線。各大媒體出版機(jī)構(gòu)的稿件審核流程雖不盡相同，但在正式發(fā)布之前各家都有一個(gè)相同的環(huán)節(jié)——校對(duì)。

伴隨著不同時(shí)期媒體行業(yè)對(duì)文字校對(duì)的需求，校對(duì)系統(tǒng)先后經(jīng)歷了三代的發(fā)展：第一代系統(tǒng)主要基于計(jì)算機(jī)的存儲(chǔ)和基本運(yùn)算，通過(guò)積累大量的錯(cuò)詞庫(kù)，對(duì)稿件的文字內(nèi)容進(jìn)行逐字、逐詞匹配，實(shí)現(xiàn)詞匯級(jí)的檢校；第二代系統(tǒng)采用智能技術(shù)來(lái)實(shí)現(xiàn)整句級(jí)別的文字檢查，能夠根據(jù)句子整體表達(dá)的語(yǔ)境，識(shí)別其中詞匯的不合理搭配問(wèn)題；第三代檢校系統(tǒng)是一種類(lèi)人系統(tǒng)，在第二代系統(tǒng)的能力基礎(chǔ)之上，通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)語(yǔ)義分析，對(duì)稿件內(nèi)容進(jìn)行全面分析和理解。在把握全文的觀點(diǎn)、基調(diào)的基礎(chǔ)上，判斷文稿內(nèi)每句話、每個(gè)字詞是否合理，是否存在感情色彩矛盾或者邏輯不通順的地方。

隨著媒體融合進(jìn)入深水區(qū)，新聞的傳播渠道也越來(lái)越多元化，時(shí)效性要求也越來(lái)越高，市場(chǎng)對(duì)內(nèi)容生產(chǎn)的速度、廣度、深度、總量都提出了更高的要求，媒體機(jī)構(gòu)內(nèi)容生產(chǎn)的質(zhì)量管控和發(fā)稿安全面臨新的挑戰(zhàn)。全媒體指揮中心項(xiàng)目利用當(dāng)下語(yǔ)義分析和深度學(xué)習(xí)的最新發(fā)展成果，在內(nèi)容生產(chǎn)流程中探索引入人工智能檢校，并對(duì)檢校效果進(jìn)行統(tǒng)計(jì)評(píng)估。

2.智能檢校技術(shù)分析

2.1 智能檢校的難點(diǎn)

智能檢校的難點(diǎn)在于對(duì)情感和語(yǔ)義的分析，在全文的基調(diào)上，判斷每個(gè)詞、每句話是否合理。目前主流的文章情感分析包括基于情感詞典的分析和基于機(jī)器學(xué)習(xí)的分析。

大多數(shù)的文章情感分析主要是針對(duì)學(xué)習(xí)詞典的建模分析和機(jī)器學(xué)習(xí)算法進(jìn)行研究，通過(guò)對(duì)情感詞典、否定詞詞典、程度副詞詞典、停用詞詞典分析，計(jì)算上下文情感傾向的方法。分析新聞主題和詞語(yǔ)修飾成分之間的搭配關(guān)系來(lái)計(jì)算詞語(yǔ)極性，綜合詞典資源用于構(gòu)建情感詞庫(kù)，同時(shí)采用加權(quán)線性組合方法，以實(shí)現(xiàn)判斷文章的情感傾向。

基于機(jī)器學(xué)習(xí)的文章情感分析方法是將情感視作一種多分類(lèi)問(wèn)題，屬于有監(jiān)督的學(xué)習(xí)方法。機(jī)器學(xué)習(xí)方法要經(jīng)過(guò)文本的預(yù)處理、特征選擇、特征加權(quán)、訓(xùn)練分類(lèi)器并進(jìn)行分類(lèi)等過(guò)程。該方法的分類(lèi)性能要優(yōu)于傳統(tǒng)的特征加權(quán)方法TF-IDF（term frequency-inverse document frequency）。

2.2 自然語(yǔ)言處理的應(yīng)用

自然語(yǔ)言處理（Natural Language Processing）是信息時(shí)代最重要的技術(shù)之一，是人工智能的重要組成部分?；贜LP技術(shù)衍生出的應(yīng)用已經(jīng)在各領(lǐng)域得到廣泛運(yùn)用，包括拼寫(xiě)檢查、機(jī)器翻譯、語(yǔ)音識(shí)別、聊天機(jī)器人等。

深度學(xué)習(xí)提供了一個(gè)靈活、通用、可學(xué)習(xí)的框架，它在語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域取得了突破性的進(jìn)展。檢校工作主要是跟文字相關(guān)，NLP可以讓計(jì)算機(jī)實(shí)現(xiàn)對(duì)內(nèi)容的閱讀和理解，對(duì)錯(cuò)誤處給出提示，實(shí)現(xiàn)檢校工作的自動(dòng)化。

2.3 智能檢校系統(tǒng)的構(gòu)建

針對(duì)目前主流的檢校系統(tǒng)，通過(guò)搜集大量錯(cuò)誤錄入字詞的典型可以發(fā)現(xiàn)，中文檢校系統(tǒng)最常見(jiàn)的錯(cuò)誤包括字詞級(jí)錯(cuò)誤、語(yǔ)法級(jí)錯(cuò)誤和語(yǔ)義級(jí)錯(cuò)誤。字詞級(jí)錯(cuò)誤主要由錯(cuò)字、別字、少字、多字、異位引起。通過(guò)對(duì)稿件的文字內(nèi)容進(jìn)行逐字、逐詞匹配，將與錯(cuò)詞庫(kù)中內(nèi)容相匹配的詞認(rèn)定為字詞錯(cuò)誤，提示給使用者。比如：“倡儀”（倡議）、“國(guó)?！保▏?guó)家）、“總埋”（總理）；語(yǔ)法級(jí)錯(cuò)誤主要指詞語(yǔ)的錯(cuò)誤搭配或者漏字等情況。通過(guò)大量學(xué)習(xí)正確語(yǔ)料，讓計(jì)算機(jī)系統(tǒng)自主分析歸納語(yǔ)言的習(xí)慣用法、模式等，使機(jī)器對(duì)句子形成一定的理解和判斷能力，從而實(shí)現(xiàn)在一個(gè)句子的維度上對(duì)字、詞進(jìn)行分析判斷，識(shí)別其中的異常、不合理內(nèi)容，達(dá)到檢查校對(duì)的目的。

智能檢校系統(tǒng)在全媒體指揮中心的應(yīng)用不僅實(shí)現(xiàn)了詞匯檢查、語(yǔ)句檢查，還能對(duì)情感做一定分析，對(duì)稿件內(nèi)容進(jìn)行全面分析和理解。在全文觀點(diǎn)、基調(diào)的基礎(chǔ)上，判斷每句話、每個(gè)字詞是否合理，是否存在觀點(diǎn)矛盾或者邏輯不通順的地方。通過(guò)基于主題融合的深度學(xué)習(xí)，用中文文本預(yù)處理方法將非結(jié)構(gòu)化或半結(jié)構(gòu)化的信息轉(zhuǎn)換為計(jì)算機(jī)能理解的結(jié)構(gòu)化信息，對(duì)內(nèi)容進(jìn)行全面分析和理解，從而自動(dòng)識(shí)別文本的情感類(lèi)別，實(shí)現(xiàn)校驗(yàn)的智能化。

文章的主題與文章情感通常存在一定的共性，深度學(xué)習(xí)模型可以通過(guò)融合向量提高文章情感分類(lèi)模型的準(zhǔn)確率。檢校系統(tǒng)引入雙向LSTM情感算法，實(shí)現(xiàn)詞語(yǔ)的上下文信息融合，既克服了傳統(tǒng)RNN的梯度消失問(wèn)題，還解決了傳統(tǒng)LSTM只能較好地融合上文信息、缺少下文信息融合的問(wèn)題。通過(guò)融合文本的主題特征，構(gòu)建更精準(zhǔn)的情感分類(lèi)模型。

3.構(gòu)建全流程的內(nèi)容安全

傳統(tǒng)的新聞稿檢校工作通常是稿件發(fā)布前的最后一個(gè)環(huán)節(jié)，檢校的時(shí)間緊、任務(wù)重，檢出的錯(cuò)誤需要退回修改然后再檢校。而在媒體深度融合大環(huán)境下，稿件數(shù)量井噴式增加，移動(dòng)端的實(shí)時(shí)新聞經(jīng)常追求最快速度發(fā)稿，晚一秒鐘可能就失去了這條新聞最佳的傳播機(jī)會(huì)。在這樣的環(huán)境下，再把校對(duì)工作完全放在發(fā)布前的最后一個(gè)環(huán)節(jié)的做法，在實(shí)踐中已經(jīng)不能滿足現(xiàn)今媒體新聞稿件多形式、低時(shí)間寬容度、零錯(cuò)誤容忍度的要求，更難以滿足未來(lái)建設(shè)“四全媒體”的長(zhǎng)遠(yuǎn)目標(biāo)。智能檢校系統(tǒng)將主動(dòng)檢校和自動(dòng)檢校結(jié)合起來(lái)，采用SAAS布局模型，使智能檢校系統(tǒng)既可以嵌入稿件編輯系統(tǒng)又能作為獨(dú)立的輔助審核模塊使用。

智能檢校工作分布在內(nèi)容生產(chǎn)的各個(gè)關(guān)鍵環(huán)節(jié)，編輯隨時(shí)都可以將當(dāng)前編寫(xiě)的稿件內(nèi)容發(fā)起人工智能檢校。這樣就將查錯(cuò)、糾錯(cuò)的時(shí)間分?jǐn)偟礁寮鬓D(zhuǎn)的過(guò)程中，減輕最后檢校環(huán)節(jié)的壓力，將因時(shí)間過(guò)緊和數(shù)量過(guò)多引起的檢校差漏降至最低。

系統(tǒng)總體結(jié)構(gòu)

在稿件采編環(huán)節(jié)，檢校系統(tǒng)實(shí)時(shí)參與其中，編輯記者可以點(diǎn)選檢校，系統(tǒng)會(huì)對(duì)文字稿件進(jìn)行詞語(yǔ)錯(cuò)用、語(yǔ)義表述錯(cuò)誤等提示并給出修改建議，為編輯寫(xiě)稿把好第一關(guān)。同時(shí)，通過(guò)檢校智能助手與編輯進(jìn)行互動(dòng)，編輯點(diǎn)擊右側(cè)的每條提示，編輯框中的焦點(diǎn)會(huì)隨之定位，節(jié)省了編輯再去原文中找對(duì)應(yīng)點(diǎn)的時(shí)間。與此同時(shí)，在編輯對(duì)所提示錯(cuò)誤做出修改或忽略的決策時(shí)，智能檢校系統(tǒng)會(huì)對(duì)這一決策進(jìn)行記錄與學(xué)習(xí)。

采編環(huán)節(jié)檢校

在稿件簽發(fā)環(huán)節(jié)，如果編輯在提交新聞稿件時(shí)沒(méi)有將稿件中的問(wèn)題完全修改完善，或者是修改后又引發(fā)了新的錯(cuò)誤，編輯沒(méi)有注意直接提交至了稿庫(kù)。在該稿件簽發(fā)時(shí)，審核人員可以利用智能檢校系統(tǒng)會(huì)再一次對(duì)稿件進(jìn)行重新檢校。通過(guò)在流程必經(jīng)節(jié)點(diǎn)上實(shí)施二次檢校，盡早將差錯(cuò)的糾正工作往流程的前面節(jié)點(diǎn)安排。

簽發(fā)環(huán)節(jié)檢校

將智能檢校的環(huán)節(jié)前置并不意味著在稿件發(fā)布之前不再進(jìn)行檢校，稿件進(jìn)入簽發(fā)庫(kù)后還會(huì)進(jìn)行全庫(kù)檢查。為了避免同一個(gè)智能檢校系統(tǒng)存在檢校結(jié)果上的趨同性定勢(shì)，全媒體指揮中心系統(tǒng)引入另一套檢校系統(tǒng)對(duì)“終稿庫(kù)”的稿件進(jìn)行批量檢校，并給出錯(cuò)誤風(fēng)險(xiǎn)提示。

批量交叉檢校錯(cuò)誤風(fēng)險(xiǎn)提示列表

4.雙系統(tǒng)交叉檢校

目前，單個(gè)基于語(yǔ)義分析與深度學(xué)習(xí)的智能檢校系統(tǒng)在現(xiàn)實(shí)應(yīng)用中還會(huì)出現(xiàn)一些未能檢測(cè)出的錯(cuò)誤，基于不同的語(yǔ)料庫(kù)的學(xué)習(xí)結(jié)果也會(huì)出現(xiàn)對(duì)詞匯、語(yǔ)義、情感等元素理解判斷上的差異。智能檢校系統(tǒng)除了將檢校工作在流程中分層前移以外，同時(shí)引入了兩套不同的智能檢校系統(tǒng)，利用兩套系統(tǒng)對(duì)新聞稿件進(jìn)行交叉檢校。第一套系統(tǒng)負(fù)責(zé)對(duì)單個(gè)稿件進(jìn)行檢校，第二套系統(tǒng)負(fù)責(zé)將通過(guò)第一套系統(tǒng)檢校過(guò)的稿件再一次全文檢校，并通過(guò)統(tǒng)計(jì)列表將簽發(fā)庫(kù)中稿件的問(wèn)題形成差錯(cuò)警示表，并將此結(jié)果反饋給智能檢校系統(tǒng)的學(xué)習(xí)模塊，使系統(tǒng)不斷自我完善。如此一來(lái)，就可以充分利用各家所長(zhǎng)，最大限度提升智能檢校對(duì)稿件質(zhì)量的把控效果。

結(jié)語(yǔ)

結(jié)合智能檢校系統(tǒng)的應(yīng)用，通過(guò)對(duì)內(nèi)容生產(chǎn)流程進(jìn)行融合再造，將自然語(yǔ)義分析與深度學(xué)習(xí)的技術(shù)成果引入內(nèi)容生產(chǎn)全流程。經(jīng)過(guò)一段時(shí)間的運(yùn)行，從采編人員的使用情況調(diào)研和每階段的稿件差錯(cuò)統(tǒng)計(jì)報(bào)告來(lái)看，比傳統(tǒng)檢校更有優(yōu)勢(shì)，檢出了一些傳統(tǒng)檢校不能檢出的關(guān)鍵錯(cuò)誤。

未來(lái)，智能檢校系統(tǒng)將進(jìn)一步在基于私有數(shù)據(jù)學(xué)習(xí)和基于互聯(lián)網(wǎng)大數(shù)據(jù)學(xué)習(xí)兩個(gè)方面不斷完善，通過(guò)本地化學(xué)習(xí)進(jìn)一步完善檢校規(guī)則，不斷增強(qiáng)其嚴(yán)謹(jǐn)性；通過(guò)互聯(lián)網(wǎng)大數(shù)據(jù)學(xué)習(xí)，跟進(jìn)行業(yè)龍頭在稿件檢校標(biāo)準(zhǔn)方面的發(fā)展，同時(shí)及時(shí)了解互聯(lián)網(wǎng)新生表達(dá)方式，充分發(fā)揮出全流程檢校和交叉檢校的疊加作用，達(dá)到“1 + 1 ＞ 2”的效果。