李卓軒 趙璇 曹進德 儲越

0 引言

“互聯(lián)網(wǎng)+”及Web2.0時代的到來,不僅影響著公眾的日常生活方式,而且還對政府與民眾之間的交互模式帶來了一場變革[1]．當(dāng)前,我國地方政府為推動電子政務(wù)建設(shè),將互聯(lián)網(wǎng)技術(shù)引入政務(wù)服務(wù)．為進一步提高公民參與水平及積極性、增強政府回應(yīng)及時性與透明度,各地政府陸續(xù)打造并推出“智慧政務(wù)”平臺以提高服務(wù)效率、增強服務(wù)質(zhì)量．截至2020年6月,我國網(wǎng)民規(guī)模達9.40億,相較上一年度,增加了8 500余萬[2]．越來越多的民眾選擇互聯(lián)網(wǎng)作為其公共訴求、反映現(xiàn)實問題的重要載體[3]．因此,政府與民眾之間在互聯(lián)網(wǎng)上的交流互動日益成為人們表達訴求、政府獲悉民意的重要方式．

學(xué)術(shù)界與地方政府重視“智慧政務(wù)”和政府與民眾在網(wǎng)絡(luò)環(huán)境下的交互行文．習(xí)近平總書記曾指出:“各級黨政機關(guān)和領(lǐng)導(dǎo)干部要學(xué)會通過網(wǎng)絡(luò)走群眾路線……了解群眾所思所愿,收集好想法好建議,積極回應(yīng)網(wǎng)民關(guān)切、解疑釋惑．”[4]2020年1月,江蘇省人民政府辦公廳積極履行法定主管部門職責(zé),研究制定了《江蘇省政府信息公開申請辦理答復(fù)規(guī)范》[5],對答復(fù)文本從文本上作規(guī)定.然而,至今未有一個全國范圍完整、統(tǒng)一的答復(fù)評價標準．

鑒于此背景,為答復(fù)意見做質(zhì)量評價對提升政務(wù)服務(wù)水平具有重要意義,有助于規(guī)范答復(fù)文本格式,促進答復(fù)內(nèi)容更完整、更全面,也更利于民眾理解．同時,對答復(fù)文本作分析也有助挖掘如今政務(wù)答復(fù)普遍存在的問題,促進政務(wù)服務(wù)優(yōu)化,構(gòu)建數(shù)字政府,打造“智慧政務(wù)”．孫宗鋒等[6]以青島市市長信箱數(shù)據(jù)為例,進行了網(wǎng)絡(luò)情境下地方政府政民互動研究分析,探究了其中公民訴求表達與政府回應(yīng)．姚水瓊等[7]針對美國數(shù)字政府建設(shè)發(fā)展過程,研究其構(gòu)建數(shù)據(jù)驅(qū)動戰(zhàn)略體系,分析了我國構(gòu)建數(shù)字政府的切入點．段哲哲等[8]采用德爾菲法建構(gòu)領(lǐng)導(dǎo)信箱回應(yīng)績效指標體系,設(shè)計了針對66個政府網(wǎng)站領(lǐng)導(dǎo)信箱的實驗,探究了互聯(lián)網(wǎng)下的政府回應(yīng)邏輯．王李[9]結(jié)合公共服務(wù)導(dǎo)向、信息公平公開、信息回復(fù)質(zhì)量等一級指標建立了市長電子信箱回應(yīng)性評估指標體系．王思迪等[10]運用多層神經(jīng)網(wǎng)絡(luò)算法分析市長信箱的文本分類,并對比樸素貝葉斯算法、隨機森林算法以及決策樹算法,建立了政府網(wǎng)站信箱自動傳遞方法．

本文利用某市的群眾問政留言記錄,及相關(guān)部門對部分群眾留言的答復(fù)意見,結(jié)合《2020年中國政府網(wǎng)站績效評估報告》[11]中的內(nèi)容,總結(jié)出5個答復(fù)意見特征,設(shè)計并定義了特征指標和評價指標,通過回歸分析方法對答復(fù)意見類型進行分析.采用K-means聚類[12]、DBSCAN聚類算法[13]、Meanshift聚類算法[14]、HC聚類算法[15]4種聚類算法對答復(fù)意見等級進行分析,根據(jù)4種聚類算法效果對比結(jié)果,選用K-means聚類算法和回歸分析的結(jié)果結(jié)合,對答復(fù)意見進行評價,將評價等級分為6類．本文通過對群眾留言的答復(fù)意見數(shù)據(jù)進行挖掘,建立留言回復(fù)的評價模型．本文模型建立了政府答復(fù)意見數(shù)據(jù)與答復(fù)意見評價分析的有效關(guān)聯(lián),具有更高的準確性與科學(xué)性．

1 政府答復(fù)意見特征提取

本文所利用某市的群眾問政留言記錄,及相關(guān)部門對部分群眾留言的答復(fù)意見,共2 816條,包括留言編號、留言用戶、留言主題、留言時間、留言詳情、答復(fù)意見、答復(fù)時間,具體數(shù)據(jù)(部分)如表1所示．

本文根據(jù)所給數(shù)據(jù),設(shè)計并提取出以下政府答復(fù)意見特征參數(shù)．

1.1 答復(fù)意見相似性

為描述答復(fù)意見與留言的相關(guān)程度,即主題的契合程度,要求答復(fù)意見描述內(nèi)容與留言所描述的必須是同樣一個事件,引入答復(fù)意見相似度概念．相似性用于描述答復(fù)與留言的文本相似程度,刻畫答復(fù)內(nèi)容的準確度．例如,答復(fù)主題與留言主題相去甚遠,認為這是相似度低的、不可靠的答復(fù)．

留言與回復(fù)屬于長文本特性,通過TF-IDF算法[16]生成文本向量,依據(jù)關(guān)鍵詞計算余弦相似度[17],通過式(1)計算文本相似程度:

(1)

留言包括正文、標題,標題在一定程度上反映了留言主題,正文是留言的主要部分．故用留言標題與留言正文分別與答復(fù)計算文本進行相似度計算,根據(jù)計算公式:

Stotal=Stitle+Scontent

(2)

其中Stitle為留言標題與答復(fù)計算文本的相似度,Scontent為留言正文與答復(fù)計算文本的相似度,得到最終的相似度數(shù)值Stotal．

留言有重述標題的情況存在,如“市民同志:你好!您反映的‘請加快提高民營幼兒園教師的待遇’的來信已收悉．現(xiàn)答復(fù)如下:”,之后才是正式的答復(fù),因此,計算相似度時將此類不屬于正式答復(fù)的內(nèi)容去掉,否則影響相似度結(jié)果．

1.2 答復(fù)意見完整性

為提高可讀性和可理解性,便于發(fā)帖人閱讀,答復(fù)意見不能是毫無章程的、混亂的,如同書信、網(wǎng)絡(luò)電子郵件,答復(fù)意見應(yīng)該滿足一套格式標準,這個標準使得答復(fù)意見清晰可閱．為評價答復(fù)文本格式的規(guī)范性,建立標準答復(fù)格式,引入答復(fù)意見完整性概念,完整性用于描述答復(fù)文本的規(guī)范程度．

如同書信,答復(fù)文本格式應(yīng)該盡可能規(guī)范．一般書信的完整格式應(yīng)該有5個部分,包括稱呼、正文、結(jié)尾、署名和日期．完整的群眾意見答復(fù)應(yīng)有:起首語、問候語、祝頌語、表示已收到市民留言的語句、署名、日期．

綜合考慮書信、網(wǎng)絡(luò)回帖、政務(wù)答復(fù)特征,建立規(guī)范答復(fù)格式如圖1示.

表1 群眾留言原始數(shù)據(jù)

圖1 規(guī)范答復(fù)格式Fig.1 A standardized reply format

答復(fù)意見完整性計算流程如下:

1) 計算起首語得分.將疑似起首語與標準起首語語料庫比較,計算得到編輯操作次數(shù),取單字符編輯操作次數(shù)最小值為n．因起首語語料文本長度均為5,若最小編輯次數(shù)大于3,改動過大,即認為不存在起首語,起首語分數(shù)置0．當(dāng)最小編輯次數(shù)≤3時,如起首語為“同志”、“網(wǎng)友ASX000”,這是正常的情況,可計算該文本起首語與標準起首語料庫相似度分數(shù)．起始語分數(shù):

(3)

2) 計算問候語得分.采用疑似問候語句搜索匹配,若存在標準問候語給1分,不存在記為0分．

3) 計算祝頌語得分.疑似祝頌語中若存在“感謝”、“祝愿”等詞語,則認為存在祝頌語,給1分,否則記為0分．

4) 計算署名得分.設(shè)定署名長度閾值為3,記署名語句長度為l,對疑似署名語句進行長度檢查,若長度大于等于署名長度閾值,則給1分．署名分數(shù)計算方法如下:

(4)

5) 計算日期得分.針對疑似日期語句,若表達日期則給1分,無則0分．

6) 對表示已收到市民信件,并明確分割出具體答復(fù)正文的答復(fù)進行評分．以最長公共子序列(Longest Common Subsequence,LCS)算法[18]將疑似語句與“已收到”標準語料庫及答復(fù)內(nèi)容作對比,即可得到此項分數(shù):

f(Lmax)=Lmax/Ls,

(5)

其中Lmax為各語料最長子序列長度最大值,Ls為標準語句長度．

7) 計算總分.上述每項評分標準滿分1分,總分為6分,進行求和并求得平均分記為該答復(fù)完整性分數(shù)．

1.3 答復(fù)意見可解釋性

給出的答復(fù)意見必須可信度高、說服力強,在一定程度上符合常理,滿足法律條例規(guī)范要求,這樣的答復(fù)意見才能使發(fā)帖者信服、使大眾滿意,才能解決民眾問題、滿足大眾訴求．為此,在評價體系中引入可解釋性概念．可解釋性用于描述答復(fù)的合理程度、說服力度．嚴密而合理的答復(fù)內(nèi)容,可解釋性強,使發(fā)帖者信服．

本文對答復(fù)意見文本引用法律條文數(shù)情況進行了統(tǒng)計分析．答復(fù)中引用法律條文的情況有兩種情況．第一種情況:用書名號括起文獻名稱．第二種情況:未出現(xiàn)書名,但引用了法律條例,如 “根據(jù)省廳文件精神”、“讓學(xué)校根據(jù)調(diào)檔函要求將檔案寄至人力資源服務(wù)中心”．根據(jù)政務(wù)答復(fù)文本書面性較強的特點,引用文獻時一般使用如下句式:“根據(jù)……規(guī)定”、“按照……原則”．構(gòu)建“根據(jù)”的同義語料庫,構(gòu)建“規(guī)定”的同義語料庫,對答復(fù)內(nèi)容進行匹配,得到文獻名序列,即為第二種情況的引用法律條文．兩種情況的法律條文序列合并去重統(tǒng)計,即得到引用法律條文數(shù)．統(tǒng)計數(shù)據(jù)中的各答復(fù)引用的法律條文數(shù)統(tǒng)計如圖2所示.

圖2 引用法律條文數(shù)統(tǒng)計Fig.2 Statistics on the number of legal provisions cited

其中,A類:法律條文數(shù)大于等于3部;

B類:法律條文數(shù)為2部;

C類:法律條文數(shù)為1部;

D類:未引用法律條文.

可知,17%的答復(fù)引用了2部及2部以上法律條文,18%的答復(fù)引用了1部法律條文,其余65%未引用法律條文．

針對政務(wù)服務(wù)特點,需要理論支撐或?qū)嵉卣{(diào)查的情況有:所給信息有錯誤;所給信息不全導(dǎo)致無法回答;所提出的問題與實際情況不符．以上情況都應(yīng)給出合理的解釋．若無解釋則認為此文本可解釋性低．答復(fù)意見可解釋性計算流程如下:

1) 每條答復(fù)給基準分0.4分.

2) 根據(jù)答復(fù)引用法律條文數(shù)目分布情況,制定給分規(guī)則如下,其中n為引用法律條文數(shù)目:

(6)

3) 判斷是否存在實地勘察行為,存在實地調(diào)查行為,給0.3分,否則此項給0分.

4) 該答復(fù)是否無法解決問題,若屬于“無法解決發(fā)帖者問題”情況,且此時并未識別出理論支撐或給出存在實地調(diào)查行為,則認為此答復(fù)可解釋性低,總分置0．

1.4 答復(fù)意見及時性

為及時解決民眾問題,滿足大眾訴求,應(yīng)在一定時間范圍內(nèi)及時答復(fù)發(fā)帖者,若拖延時間過長,民眾心聲得不到回復(fù),則認為這是不好的情況．故在評價體系中引入及時性概念.及時性用于描述答復(fù)的時效,若答復(fù)時間與發(fā)帖時間的時間間隔較小,則認為此答復(fù)是及時的,在時間上是優(yōu)秀的．以小時為單位,統(tǒng)計所有帖子的提問時間與答復(fù)時間的間隔時間差(不包括雙休日)．求時間差最大值tmax、最小值tmin.答復(fù)意見及時性評分計算方法如下:

(7)

其中qi是第i條答復(fù)意見的及時性評分,ti是第i條答復(fù)意見的答復(fù)時長,tmax是樣本中答復(fù)意見的最大答復(fù)時長,tmin是樣本中答復(fù)意見的最小答復(fù)時長．

2 群眾留言答復(fù)意見評價模型

2.1 數(shù)據(jù)處理

群眾留言答復(fù)共有約2 816條原始數(shù)據(jù),根據(jù)上節(jié)介紹的提取特征的方法,對原始文本數(shù)據(jù)的處理結(jié)果如表2所示．

2.2 技術(shù)路線

首先,提出并詳細定義群眾留言答復(fù)意見的評價指標,包括答復(fù)長度、相似性、完整性、可解釋性和及時性．答復(fù)長度及相似性用于分析答復(fù)意見的類型;完整性、可解釋性和及時性用于描述答復(fù)意見等級．

接著,對答復(fù)意見類型進行分析,將答復(fù)長度與答復(fù)意見相似性作回歸分析,回歸線的下方為簡潔可靠型,上方為繁雜離題型．采用K-means聚類、DBSCAN聚類算法、Meanshift聚類算法、HC聚類算法將答復(fù)意見分為3個等級,并進行對比．

最后,將聚類算法和回歸分析的結(jié)果結(jié)合,對答復(fù)意見進行評價,將評價等級分為6類,建立起完整的答復(fù)意見評價模型．

2.3 答復(fù)意見類型的回歸分析

答復(fù)長度在一定程度上可以與答復(fù)相似性產(chǎn)生聯(lián)系．單從文本長度而言,長文本相似度高的概率大于短文本的相似度,因為內(nèi)容更豐富、匹配的概率更高．若答復(fù)文本短,而相似度高,則此答復(fù)是簡明扼要的,可靠性高;答復(fù)文本長,而相似度低,那么答復(fù)是繁雜冗長的,可靠性低．因此,將答復(fù)意見風(fēng)格分為兩種,一類是“簡潔可靠型”,另一類記為“繁雜離題型”．

回歸分析是通過建立模型來研究變量之間相互關(guān)系的密切程度、結(jié)構(gòu)狀態(tài)及進行模型預(yù)測的一種有效工具,通常用于定量地分析兩個變量之間的相關(guān)性[19]．因此,本文采用回歸估計來定量分析答復(fù)長度與答復(fù)意見相似度之間的關(guān)系,以此判斷答復(fù)意見類型．其公式為

(8)

表2 群眾留言答復(fù)意見特征參數(shù)數(shù)據(jù)(部分)

(9)

(10)

為了使式(10)得到的結(jié)果最小,求解偏微分方程組:

(11)

(12)

(13)

根據(jù)表3中的數(shù)據(jù),使用最小二乘法進行分析,得到回歸直線,進而得到群眾留言答復(fù)意見的兩種答復(fù)類型．

利用表3中的數(shù)據(jù),運行結(jié)果如圖3所示．其中縱截距為0.502,斜率為1.432,即得到的回歸直線為

y=1.423x+0.502.

(14)

根據(jù)答復(fù)意見相似性與文本長度的關(guān)系可知,位于回歸直線上方的答復(fù)意見風(fēng)格是簡潔可靠型,位于回歸直線下方的是繁雜離題型．

表3 歸一化文本長度和答復(fù)意見相似性(部分)

圖3 回歸分析結(jié)果Fig.3 Regression analysis result

2.4 答復(fù)意見等級的聚類分析

由于訓(xùn)練樣本是無標簽的數(shù)據(jù),答復(fù)意見的等級分類結(jié)果未知,且答復(fù)意見復(fù)雜性很高,如果使用手動標注分類則具有太強的主觀性,故選用聚類這種無監(jiān)督學(xué)習(xí)的方式來對數(shù)據(jù)進行分類．本文將答復(fù)意見等級分為3類,所以將聚類數(shù)目確定為3．

聚類算法的種類有很多,為了確定哪種聚類算法更適合本次研究的數(shù)據(jù),采用基于劃分的K-means算法進行聚類,并與DBSCAN聚類算法、Meanshift聚類算法、HC聚類算法進行對比．

1) K-means 聚類算法

K-means算法是典型的基于距離的非層次聚類算法,在最小化誤差函數(shù)的基礎(chǔ)上將數(shù)據(jù)劃分為預(yù)定的類數(shù)K,采用距離作為相似性的評價指標,即認為兩個對象的距離越近,其相似度就越大．具體算法過程如下:

1) 從N個答復(fù)意見特征數(shù)據(jù)中隨機選取K個樣本作為初始的聚類中心;

2) 分別計算每個樣本到各聚類中心的距離,將對象分配到最近的類簇中;

3) 所有對象分配到所屬類簇后,重新計算K個類簇的聚類中心;

4) 與3)中計算得到的K個聚類中心比較,如果聚類中心發(fā)生變化,轉(zhuǎn)2),否則轉(zhuǎn)5);

5) 當(dāng)聚類中心不發(fā)生變化時停止計算,并輸出聚類結(jié)果．

根據(jù)表2中提取的答復(fù)意見特征,包括答復(fù)意見完整性、答復(fù)意見可解釋性、答復(fù)意見及時性,將這3個特征進行K-means聚類分析,得到3個等級,給出的K-means聚類分布如圖4所示．其中定義3個等級,等級1、2、3分別對應(yīng)優(yōu)良中,則圖中藍色為等級1,綠色為等級2,紅色為等級3．

圖4 K-means 聚類分析結(jié)果Fig.4 K-means clustering analysis result

2) 聚類效果對比

由于無明確的類別指標,所以采用 Calinski-Harabaz 指數(shù)和輪廓指數(shù)這兩種指標來對聚類效果進行評價．

a) Calinski-Harabaz指數(shù)

這個評價指標計算簡單直接,得到的分數(shù)值越大則說明聚類效果越好．其公式如下:

(15)

其中,m為訓(xùn)練樣本數(shù),k為類別數(shù),Bk為類別之間的協(xié)方差矩陣,Wk為類別內(nèi)部數(shù)據(jù)的協(xié)方差矩陣,tr(·)為矩陣的跡．換言之,類別內(nèi)部數(shù)據(jù)的協(xié)方差越小越好,類別之間的協(xié)方差越大越好,這樣的Calinski-Harabasz分數(shù)越高．

b) 輪廓系數(shù)

輪廓系數(shù)(Silhouette Coefficient)適用于實際類別信息未知的情況．對于單個樣本,設(shè)a是與它同類別中其他樣本的平均距離,b是與它距離最近的不同類別中樣本的平均距離,則對于這個樣本，它的輪廓系數(shù)為

(16)

對于一個樣本集合,它的輪廓系數(shù)是所有樣本輪廓系數(shù)的平均值．輪廓系數(shù)的取值范圍是[-1，1],同類別樣本距離越近且不同類別樣本距離越遠,輪廓系數(shù)的數(shù)值越大．對比結(jié)果如表4所示．

表4 聚類效果評價

從Calinski-Harabasz指數(shù)來看,K-means聚類明顯大于其余聚類算法,說明其類別內(nèi)部數(shù)據(jù)的協(xié)方差更小,且類別之間協(xié)方差更大,使得答復(fù)優(yōu)良程度的分類更加清晰．另外,從輪廓系數(shù)來說,雖然DBCAN算法比K-means算法稍大,但DBSCAN的Calinski-Harabasz指數(shù)過低,這算是不理想且不符合預(yù)期的．除DBSCAN聚類算法以外,K-means算法的輪廓系數(shù)大于其他聚類算法,說明其同類別樣本距離更近且不同類別樣本距離更遠,聚類結(jié)果更為準確．因此,由這兩個指數(shù)的對比可知,對于答復(fù)意見,K-means聚類算法較為理想．

2.5 結(jié)果分析

綜合考慮答復(fù)意等級與答復(fù)意見類型2個指標,將答復(fù)優(yōu)良等級分為6個等級．如表5所示.

表5 答復(fù)意見評價等級

對2 816則答復(fù)進行數(shù)據(jù)預(yù)處理,進行答復(fù)意見特征提取,再采用回歸分析得到答復(fù)風(fēng)格,得到答復(fù)風(fēng)格回歸直線．其中:回歸直線上的為簡潔可靠型,有1 456則,占總文本的52%;回歸直線下方的為繁雜離題型,有1 360則,占總文本的48%．

由圖5可知,繁雜離題型答復(fù)幾乎占據(jù)了總文本數(shù)的一半,政務(wù)工作者答復(fù)時應(yīng)盡量簡潔凝練,為民眾給出較為核心的解決辦法．

圖5 答復(fù)風(fēng)格統(tǒng)計Fig.5 Reply style statistics

采用K-means算法進行分析,得到答復(fù)意見優(yōu)良程度的3個等級．其中:等級1有答復(fù)1 066則,占總答復(fù)的37.855%；等級2有答復(fù)915則,占總答復(fù)的32.493%；等級3有答復(fù)833則,占總答復(fù)的29.581%．

由圖6可知,答復(fù)意見等級分布均勻,但仍有近1/3的答復(fù)文本是較不規(guī)范的,政務(wù)工作人員應(yīng)重視此問題,對答復(fù)質(zhì)量做出改進．

圖6 K-means劃分等級結(jié)果統(tǒng)計Fig.6 Reply grades according to K-means clustering

綜合分析以上2個評級指標,分析2 816則答復(fù)的優(yōu)良程度．將“簡潔可靠型+等級1”評價為優(yōu)秀;“簡潔可靠型+等級2”評價為較優(yōu)秀;“簡潔可靠型+等級3”評價為良好;“繁雜離題型+等級1”評價為較良好;“繁雜離題型+等級2”評價為較一般;“繁雜離題型+等級3”評價為一般．評價結(jié)果如圖7所示.

圖7 評價結(jié)果統(tǒng)計Fig.7 Reply evaluation result

由圖7可知：優(yōu)秀答復(fù)有357則,占總文本數(shù)12.677%;較優(yōu)秀答復(fù)有711則,占總文本數(shù)25.249%;良好答復(fù)有388則,占總文本數(shù)13.778%;較良好答復(fù)有527則,占總文本數(shù)18.714%;較一般答復(fù)有432則,占總文本數(shù)15.34%;一般答復(fù)有401則,占總文本數(shù)14.24%．綜上,可見評價結(jié)果是均勻的、良好的,故評價體系是可靠的．政務(wù)工作人員應(yīng)加強對答復(fù)質(zhì)量的重視程度,給出更行之有效、更規(guī)范、更優(yōu)秀的答復(fù)意見,完善政務(wù)服務(wù)工作．

3 結(jié)論

本文利用數(shù)據(jù)挖掘技術(shù)提取并量化了群眾答復(fù)意見的特征參數(shù),并對2 816條群眾答復(fù)意見,186萬字文本數(shù)據(jù)進行處理,得到能夠初步表征群眾答復(fù)意見的數(shù)據(jù)．用回歸分析分析群眾答復(fù)意見類型,結(jié)合聚類分析對群眾答復(fù)意見進行等級劃分,建立了群眾答復(fù)意見評價模型．根據(jù)模型的評價結(jié)果,地方政府可以有針對性地提高政府的服務(wù)水平．進一步可以通過分析海量數(shù)據(jù),提取出更多有效的群眾答復(fù)意見特征,從而建立更加實時高效的檢測模型,完善評估群眾答復(fù)意見的完整體系．