黎嘉明

(廣東省環(huán)境信息中心, 廣州 510220 )

0 引 言

機器學習是人工智能目前應用最廣泛、最成功的一個分支。在解決某一類問題時，機器學習讓計算機可以從觀測數據(樣本)中尋找規(guī)律，并利用學習到的規(guī)律(模型)對未知或無法觀測的數據進行預測。近年來，在深度學習算法以及專用處理器軟硬雙引擎的推動下，機器學習已廣泛應用于數據挖掘、計算機視覺、生物特征識別、語音識別、語音合成、機器翻譯、無人機等領域，并接近甚至超過人類的水平。從2017年開始，本文作者將機器學習的技術應用到政務辦公系統(tǒng)中，希望人工智能的引入能大大提升其中一些關鍵環(huán)節(jié)的工作效率。經過對業(yè)務數據的發(fā)掘和模型的測試，基于哈工大ltp、谷歌 tensorflow、keras、LSTM等技術，開發(fā)出人工智能系統(tǒng)，可實現批示文本和部門分工的預置。

1 政務辦公系統(tǒng)的痛點——“中樞節(jié)點”

政務辦公系統(tǒng)是政府信息化中發(fā)展比較成熟的系統(tǒng)，其推行使政府部門實現了“無紙化”辦公，大大提高了工作效率，也使政府內部的辦公流程實現了標準化和規(guī)范化。政務系統(tǒng)的工作流中有各種各樣的節(jié)點，如收文、辦文、存檔等，每個節(jié)點是一個處理環(huán)節(jié)，有固定的處理人員和工作任務。其中有一個特殊的節(jié)點，所有公文都需要先匯集到此，然后經過其分發(fā)，稱為“中樞節(jié)點”。處理人需要根據來文的內容，做出初步的批示，以及將任務分工給相應的領導或者部門。這項工作需要處理人對部門分工非常熟悉、對業(yè)務工作有廣泛的認識，而且言辭要嚴謹得當，辦理速度要快捷。這個節(jié)點也成為政務辦公流程中的“痛點”，一方面所有流程都經過該節(jié)點，而且時效要求高，一旦滯后會影響后續(xù)很多的環(huán)節(jié)；另一方面其工作質量要求高，能高質量完成這個處理工作的處理人員又很少。

2 為“中樞節(jié)點”提供預置數據

在煩雜的文件處理過程中，若“中樞節(jié)點”的2項工作成果(批示和分工)能夠在一開始就預置好，處理人員就可以此為藍本做些修改或者直接使用其作為結果，這無疑可以大大提高處理的效率，加快流轉的速度。利用機器學習技術，基于歷史數據作為樣本，可以訓練出一個模型，實現這些預置數據的推演生成。在“中樞節(jié)點”這個場景中，樣本就是十年來積累的約4萬個來文的信息(包括時間、標題、來文部門、文號、正文等)以及處理人員做出的結果(包括批示和分工)。可以把來文信息設為x，而把做出的結果設為y，利用現有樣本數據訓練出x->y規(guī)律的模型，有新的來文時，就是新的x，可以通過模型推演出新的y，作為預置的批示和分工。

作為模型輸入的來文信息，都是文本這種非結構化的數據，而對于文本(字符串)一類數據在機器學習領域比較成熟有效的方法是使用循環(huán)神經網絡(Recurrent Neural Network) ，簡稱RNN，以及其派生的LSTM等模型。但作為模型輸出結果數據的批示和分工是2種不同類型，其中批示是文本，同樣可以用RNN、LSTM模型來處理。目前，機器學習領域可使用seq2seq(sequence to sequence，即序列到序列)模型實現字符序列(文本)到另一個字符串序列的轉換，即用LSTM對輸入序列進行編碼，得到一個向量，然后用LSTM對向量解碼，生成輸出的序列。另外一種輸出結果是分工，這里的分工是指比如有30個部門，應該由哪些部門對這個文件做處理，這其實是一個多選結果(multi-hot)的結構化的數據。目前，可以用文本分類(text classifier)模型來實現字符串序列(文本)到多選結果的轉換。

3 預置系統(tǒng)的開發(fā)過程

系統(tǒng)采用python3.6語言開發(fā)，運行在ubuntu 16.04操作系統(tǒng)上，使用tensorflow1.6作為機器學習框架，硬件加速設備為一個nvidia 970 GPU，使用這些平臺和工具主要是因為這些平臺和工具都是業(yè)界比較成熟和主流的技術，有非常多的學習資料和經驗可供借鑒，可減少搭建開發(fā)平臺的耗時，將時間集中用于業(yè)務數據的分析和模型的實現。

預置系統(tǒng)需要通過4萬多條的樣本數據訓練2個模型，通過測試并達到較高的準確度后，再與政務辦公系統(tǒng)連接，自動為“中樞節(jié)點”推演出預置的批示和分工，提供給處理人員參考。系統(tǒng)還會將處理人員實際的操作結果(有可能修改了預置的內容)用于持續(xù)訓練模型，使后面的推演更接近新的實際的要求。其中，推演的步驟比較簡單，只要加載之前訓練好的模型，將新的x(來文信息)輸入，即可推演出新的y(批示和分工)，以此作為預置交給政務辦公系統(tǒng)。而持續(xù)訓練的步驟與初始訓練差不多，差別只在于樣本的多少。因此，本文主要介紹模型的初始訓練過程。如圖1所示，訓練主要由3部分組成，第一部分是對樣本數據的預處理，然后針對2種結果數據(批示、分工)分別建立模型做訓練。

預處理是訓練之前必不可少的步驟，其目的是將從政務辦公系統(tǒng)中獲取的“業(yè)務”數據轉化成一般的機器學習模型可處理的“矢量”數據。例如，來文信息文本為“關于召開全省‘ 兩 學一做’ 學習 教育工作會議的通知”，需轉化成數字序列“72 96 326 97 1219 4550 1032 299 107 448 740 142 82 80 83”?！笆噶俊鞭D換需要對原始文本分離編碼，根據漢語的特點，要以“詞”而不是以“字”為單位對文本進行分離，這就是“分詞”。本系統(tǒng)使用了哈工大社會計算與信息檢索研究中心研制的語言技術平臺(ltp)作為分詞工具。而且根據政務的特點，將單位部門以及單位領導的全名和簡稱都作為ltp工具的預置詞典，可讓分詞更加準確。將分詞后的詞去重，一行一個詞歸納到一個文本文件中，行號(數字)就成為這個詞的代號，這就歸納成了一個囊括樣本數據中所有詞的“詞典表”，通過這個詞典表的詞與行號的映射，就可將文本的詞序列轉變?yōu)閿底中蛄小?/p>

圖1 模型初始訓練過程圖

生成批示的模型是一個seq2seq模型，其輸入輸出都是文本序列，主要思路是通過深度神經網絡模型(常用的是多個LSTM——長短記憶網絡)將一個作為輸入的序列映射為一個作為輸出的序列，這一過程由編碼輸入與解碼輸出2個環(huán)節(jié)組成。本系統(tǒng)測試了多個seq2seq模型，嘗試了在不同參數下使用4萬多條樣本數據對這些模型進行訓練，對比這些模型的準確率、損失、耗時等指標，選定了在編碼和解碼各自使用2層LSTM，并使用注意力機制(Attention Model)，這樣構造的seq2seq模型在效率和準確率方面都有令人滿意的結果。模型的訓練監(jiān)視曲線如圖2所示。

生成分工的模型使用的是一個文本分類(textclassifier)模型，文本分類是根據文本內容本身將文本歸為不同的類別。在本系統(tǒng)中的模型，需要的是多種分類的映射，即一個文本可以在若干個分類中對應多個，類似多選題，而每一個分類，在本系統(tǒng)的場景中，就代表一個分工。此外，在筆者工作的部門，“中樞節(jié)點”有3種類型的分工：領導辦理、部門主辦、部門傳閱。因此，還需要為3種類型的分工各自訓練文本分類模型。經過對比測試，使用了詞向量和雙向LSTM層來實現這些文本分類模型，可以得到比較好的準確率和運行效率。模型訓練的監(jiān)視界面如圖3所示。

由圖中數據可以看到驗證的準確率已經達到0.98以上。預置系統(tǒng)中的2個經過訓練的模型準確度較高，與政務辦公系統(tǒng)連接后，則每15 min查詢“中樞節(jié)點”中未處理的來文。根據來文信息利用模型推演出批示和分工信息，并預置到辦公系統(tǒng)中。待處理人員辦理時，將依據預置的信息去辦文，一般只需要少量的改動或者不改就可以形成處理結果，工作效率大大提高。

圖2 模型的訓練監(jiān)視圖

圖3 模型訓練的監(jiān)視界面

4 結束語

機器學習技術應用在政務辦公系統(tǒng)“中樞節(jié)點”上能取得這么好的應用效果，可以說是“好鋼用在刀刃”上?！昂娩摗敝傅氖枪ご髄tp、tensorflow、LSTM這一系列先進成熟的技術，“刀刃”就是“痛點”所在的中樞節(jié)點。一方面，這個節(jié)點很需要這種高效的輔助手段，因為這個節(jié)點的處理量很大，時限要求又高，處理滯后就會造成系統(tǒng)堵車；另一方面，機器學習技術也恰好適用于“中樞節(jié)點”的特點，這是因為“中樞節(jié)點”要求的處理結果是“明確的”、“嚴謹的”，短期內不易變化的，可以說是一種“規(guī)范化”的處理，這樣的場景比較適合機器學習發(fā)揮其經驗學習、歷史模仿的優(yōu)勢。相反，倘若一個場景需要更多的創(chuàng)造性、自由發(fā)揮的思維，機器學習就難以給出滿意的答案了。