楊 非 ，黃鴻發(fā) ，那澤琛

（1.水利部信息中心，北京 100053；2.拓爾思信息技術(shù)股份有限公司，北京 100101）

0 引言

網(wǎng)絡輿情是社情民意集中在互聯(lián)網(wǎng)空間的映射，當前互聯(lián)網(wǎng)上的各類涉水信息和網(wǎng)絡輿論進入一個“新常態(tài)”，圍繞水資源短缺、水生態(tài)損害、水環(huán)境污染、水災害威脅四大水問題，對水利行業(yè)監(jiān)管、工程建設運行、水資源管理、水生態(tài)保護等水利業(yè)務工作帶來不同程度的影響。因此，亟須建立全國一體化的水利輿情指揮系統(tǒng)和研判預警機制，進行輿情管控引導，服務水利行業(yè)內(nèi)外宣傳工作[1]。在水利行業(yè)輿情管理應用基礎上，利用自然語言處理（NLP）和人工智能等技術(shù)和手段，豐富水利行業(yè)互聯(lián)網(wǎng)維度的大數(shù)據(jù)，構(gòu)建具有預測、預警、預演、預案功能的水利輿情大數(shù)據(jù)分析平臺（以下簡稱平臺），以精確定位網(wǎng)絡輿情信息的敏感點、關(guān)鍵點、發(fā)酵點，實現(xiàn)信息萃取，數(shù)據(jù)提取，為水利行業(yè)智慧監(jiān)督管理提供有力數(shù)據(jù)支撐[2]。

1 平臺總體設計

1.1 平臺功能

平臺可分為水利行業(yè)輿情研判預警和指揮、互聯(lián)網(wǎng)輿情采集處理、智能數(shù)據(jù)加工等 3 個子系統(tǒng)，每個子系統(tǒng)實現(xiàn)特定功能，各子系統(tǒng)之間相互聯(lián)系、支撐，從而強化支撐，構(gòu)成整體。

1）水利行業(yè)輿情研判預警和指揮系統(tǒng)。采用互聯(lián)網(wǎng)大數(shù)據(jù)存儲及分析平臺軟件，在重大活動、重要會議、敏感時期進行實時監(jiān)控，支撐水利內(nèi)外宣傳、水利部網(wǎng)站宣傳和輿情管理工作[3]。

2）水利互聯(lián)網(wǎng)輿情采集處理系統(tǒng)。完成水利行業(yè)基礎詞庫、行業(yè)本體和知識體系等水利知識圖譜構(gòu)建，研發(fā)互聯(lián)網(wǎng)數(shù)據(jù)分析處理模型，為水利大數(shù)據(jù)分析提供數(shù)據(jù)產(chǎn)品及服務接口調(diào)用。

3）水利智能數(shù)據(jù)加工系統(tǒng)。從水資源、水生態(tài)、水環(huán)境、水利工程等多個方面進行加工分析，為業(yè)務監(jiān)督管理等提供多維度數(shù)據(jù)產(chǎn)品服務。

1.2 總體架構(gòu)

平臺總體架構(gòu)按照分層設計原則構(gòu)建[4]，自下而上分為采集層、存儲層、支撐層、分析層、服務層等 5 層[5]，并且由標準規(guī)范、安全保障和運行維護 3 個體系共同組成，總體架構(gòu)如圖1 所示。

圖1 系統(tǒng)總體架構(gòu)

1）采集層。采集各業(yè)務系統(tǒng)需要的業(yè)務、互聯(lián)網(wǎng)、微博、微信等數(shù)據(jù)，包括文字、圖片、視頻、用戶數(shù)據(jù)等內(nèi)容。

2）存儲層。將采集到的數(shù)據(jù)存儲至數(shù)據(jù)庫中，方便用戶的查找及數(shù)據(jù)的后續(xù)使用。

3）分析層。面向系統(tǒng)提供數(shù)據(jù)分析服務。在大數(shù)據(jù)分析平臺內(nèi)置多種詞典，基于數(shù)據(jù)挖掘、深度神經(jīng)網(wǎng)絡等技術(shù)，實現(xiàn)文本分類、文本聚類、情感分析、熱點發(fā)現(xiàn)、數(shù)據(jù)比對、信息萃取、數(shù)據(jù)提取等智能分析服務。

4）服務層。為水利部門戶網(wǎng)站、河（湖）長制、水資源管理、地下水監(jiān)測、防汛會商等業(yè)務系統(tǒng)，提供數(shù)據(jù)服務、共享和監(jiān)控管理。

5）標準規(guī)范體系。標準規(guī)范體系是遵照國家相關(guān)標準體系并參考相關(guān)行業(yè)標準，制定的數(shù)據(jù)和接口服務規(guī)范。

6）安全保障體系。在遵照執(zhí)行信息安全等級保護相關(guān)規(guī)定的基礎上，結(jié)合業(yè)務特點，通過在應用系統(tǒng)設計、實現(xiàn)，以及安全系統(tǒng)配置、使用等多個層面上實現(xiàn)全方位的安全保障，確保系統(tǒng)及數(shù)據(jù)的保密性、完整性、可用性、可控性和不可否認性[6]。

7）運行維護體系。運行維護體系是參照 ITIL（IT 基礎架構(gòu)庫）標準規(guī)范，建立的平臺運營管理模式。

2 平臺關(guān)鍵技術(shù)

2.1 數(shù)據(jù)采集分析加工技術(shù)

針對平臺功能需求，進行數(shù)據(jù)采集、提取、分析，并對系統(tǒng)功能進行適時開發(fā)配置和優(yōu)化處理。

1）數(shù)據(jù)處理流程。根據(jù)數(shù)據(jù)質(zhì)量要求，對平臺進行整體開發(fā)、調(diào)整和優(yōu)化，涉及從數(shù)據(jù)采集推送、數(shù)據(jù)解析入庫、指標提取、數(shù)據(jù)評分到數(shù)據(jù)分析界面的整體流程，數(shù)據(jù)采集處理加工流程如圖2 所示。

圖2 數(shù)據(jù)采集處理加工流程圖

2）數(shù)據(jù)分析處理。接收推送的數(shù)據(jù)后，系統(tǒng)定時自動解析數(shù)據(jù)，生成裝庫文件后將數(shù)據(jù)初始化到全文檢索數(shù)據(jù)庫中，然后自動根據(jù)分類、提取、評分模板處理數(shù)據(jù)，提取或標注數(shù)據(jù)的類型、分值、指標，并根據(jù)系統(tǒng)設定閾值將數(shù)據(jù)顯示到系統(tǒng)前臺對應欄目。定時任務可以根據(jù)業(yè)務需求隨時進行調(diào)整，保障用戶隨時隨地從系統(tǒng)前端頁面了解數(shù)據(jù)增量、處理情況，并和中心數(shù)據(jù)進行對比，找出差異和變化[7]。

3）數(shù)據(jù)質(zhì)量控制。優(yōu)化數(shù)據(jù)采集加工的流程，細化質(zhì)量控制節(jié)點，并針對控制節(jié)點制定工作標準，以保證數(shù)據(jù)質(zhì)量。

2.2 數(shù)據(jù)分析模板技術(shù)

原始數(shù)據(jù)經(jīng)過文本分析及結(jié)構(gòu)化處理后，形成符合包括河長制、水資源等多個業(yè)務系統(tǒng)要求的數(shù)據(jù)，這個過程是數(shù)據(jù)分析模板定制開發(fā)和優(yōu)化的過程。根據(jù)不同用業(yè)務應用，需要定制評分、分類、提取等模版并持續(xù)優(yōu)化，這是一個反復迭代的過程，最終形成符合本項目要求的結(jié)果數(shù)據(jù)集。整個數(shù)據(jù)處理流程如圖3 所示。

圖3 數(shù)據(jù)處理流程圖

1）數(shù)據(jù)排重。推送入庫的數(shù)據(jù)，經(jīng)過自動分類和排重后，形成各類目標數(shù)據(jù)庫[8]。借助文本挖掘工具，設定數(shù)據(jù)分類和排重規(guī)則，進行數(shù)據(jù)分類、排重和過濾，為下一步實現(xiàn)數(shù)據(jù)智能分析提供數(shù)據(jù)準備。對于不符合需求的內(nèi)容，將數(shù)據(jù)刪除不入庫。

標簽的方式可采用排除關(guān)鍵詞規(guī)則，或用自動分類方式解決。自動分類方式，通過對初期采集內(nèi)容進行人工設定，如分為有用和無用，交由機器進行自動學習，形成智能處理模板。

2）價值信息萃取?；趦r值信息定義，構(gòu)建信息評價模型，實現(xiàn)價值信息萃取。根據(jù)互聯(lián)網(wǎng)分類信息，制定并優(yōu)化萃取模版（算法）和評分模型，通過語義、規(guī)則優(yōu)化，進一步提高數(shù)據(jù)萃取效果，信息評分模型如圖4 所示。

圖4 信息評分模型

3）實體對象（指標）數(shù)據(jù)提取。萃取后的高價值密度數(shù)據(jù)，多以文本形式存在，通過文本分析技術(shù)抽取信息，實現(xiàn)對閘門名稱、類型、流速、流量等實體名稱和各類指標的抽取，形成結(jié)構(gòu)化目標數(shù)據(jù)[9]。文本信息抽取采用基于規(guī)則與統(tǒng)計相結(jié)合的技術(shù)，從非結(jié)構(gòu)化的文本信息中抽取有意義的事實信息，被抽取的事實信息以結(jié)構(gòu)化的形式描述，并存入結(jié)構(gòu)化數(shù)據(jù)庫中，供分析使用。對于水利工程指標的提取，可根據(jù)當前成果庫對象分類分級體系，進行抽取對象的整理，作為信息抽取的對象詞庫。

3 平臺應用

以本研究技術(shù)模式構(gòu)建的水利輿情大數(shù)據(jù)分析平臺，在提供輿情中心及搜索功能的基礎上，完成了水利行業(yè)監(jiān)管、水資源、水生態(tài)、水環(huán)境、水利工程建管等多個方面數(shù)據(jù)的篩選分析，通過接口為水利部網(wǎng)站[10]、河長制管理系統(tǒng)、水資源管理系統(tǒng)、水資源大數(shù)據(jù)系統(tǒng)等提供所需數(shù)據(jù)，提供多維度數(shù)據(jù)產(chǎn)品，進行水利大數(shù)據(jù)分析，為水利行業(yè)監(jiān)管提供互聯(lián)網(wǎng)線索信息支撐等。

3.1 數(shù)據(jù)成果

截至 2021 年 12 月底，經(jīng)過篩選的高密度輿情數(shù)據(jù)大庫中的數(shù)據(jù)已達 4 億多條，整體數(shù)據(jù)分為新聞、論壇、博客、微博、客戶端、微信、電子報等7 種數(shù)據(jù)類型，入庫量情況整體相對比較穩(wěn)定，價值較高。

3.2 平臺展示

平臺提供了輿情中心功能，包含事件線索、脈絡列表、事件溯源、熱點排行、地域聲量排行、信息列表、新聞報道分析、網(wǎng)民關(guān)注分析、涉事分析、微博分析等。通過事件線索可以清晰地展示事件原始報道點及傳播途徑，脈絡列表主要展示與事件相關(guān)的網(wǎng)絡信息，事件溯源則根據(jù)事件的引爆點和傳播時間序列追蹤事件發(fā)生源頭，熱點排行根據(jù)事件網(wǎng)絡熱點信息進行綜合排行，網(wǎng)民關(guān)注分析主要針對社會公眾關(guān)注的某個主題或事件進行分析。其中事件溯源和熱點排行示例如圖5 和 6 所示。

圖5 事件溯源

圖6 熱點排行

4 結(jié)語

本研究通過構(gòu)建水利輿情大數(shù)據(jù)分析平臺，利用 NLP 構(gòu)建水利行業(yè)基礎詞庫、行業(yè)本體和知識體系（初始和特定領(lǐng)域），針對水利內(nèi)外宣傳、行業(yè)監(jiān)管、生態(tài)保護、水資源管理和水利工程建管特定特征業(yè)務需求，研發(fā)互聯(lián)網(wǎng)數(shù)據(jù)分析處理、信息萃取模型，實現(xiàn)了網(wǎng)絡輿情信息價值點、敏感點、關(guān)鍵點、發(fā)酵點的發(fā)現(xiàn)，精確定位，標引及提取，并對接業(yè)務系統(tǒng)提供數(shù)據(jù)產(chǎn)品及服務調(diào)用，實現(xiàn)輿情信息、互聯(lián)網(wǎng)數(shù)據(jù)與業(yè)務數(shù)據(jù)的融合服務與展現(xiàn)。驗證了互聯(lián)網(wǎng)維度數(shù)據(jù)支持水利業(yè)務監(jiān)管的有效途徑，對促進水利各項業(yè)務融合輿情，圍繞水資源短缺、水生態(tài)損害、水環(huán)境污染、水災害威脅四大水問題的水利行業(yè)監(jiān)管業(yè)務效率和能力建設有重要價值，有利于加強水利網(wǎng)絡文明建設，強化網(wǎng)絡平臺管理，凈化網(wǎng)絡輿論環(huán)境，推進網(wǎng)絡生態(tài)治理，提升網(wǎng)絡輿情應對能力，為水利治理能力智能化、體系結(jié)構(gòu)化、效能現(xiàn)代化和水利高質(zhì)量發(fā)展提供支撐保障。