劉媛媛 朱振華 汪寧

摘 要：在高風險、高強度的公安工作領(lǐng)域，基礎(chǔ)的預測分析模型存在風險點分析不全面、可解釋性差等問題，已經(jīng)不能滿足實際工作需求。而近年來，注意力機制在深度學習中的各個領(lǐng)域被廣泛應用并取得較好的效果，因此本文提出了一種基于注意力機制的神經(jīng)網(wǎng)絡(luò)模型來預測某人犯罪的可能性，并對影響犯罪行為的因素進行解釋性分析。

關(guān)鍵詞：犯罪;預測分析;注意力機制;神經(jīng)網(wǎng)絡(luò)

1、研究背景

隨著大數(shù)據(jù)戰(zhàn)略在公安行業(yè)的逐步推進，在公安信息化建設(shè)中需采用大數(shù)據(jù)思維，利用大數(shù)據(jù)技術(shù)帶來的高性能，挖掘數(shù)據(jù)的核心價值，支撐治安防護、綜合研判等方面的業(yè)務(wù)需求[1]。其中使用挖掘算法對海量數(shù)據(jù)進行分析和建模，挖掘出各類數(shù)據(jù)背后所蘊含的內(nèi)在的、必然的因果關(guān)系，進而判斷出某一事件發(fā)生的概率、科學預測其發(fā)展趨勢，可以服務(wù)打防管控等警務(wù)工作[2]，而當前流行的基于深度學習和神經(jīng)網(wǎng)絡(luò)的預測模型存在風險點分析不全面、可解釋性差、業(yè)務(wù)人員難以理解、黑箱決策等問題。

注意力機制的靈感來源于人對環(huán)境的生理感知，近幾年來也被廣泛應用，如阿里巴巴提出一種基于注意力機制的用戶異構(gòu)行為序列的建?？蚣埽⑵鋺玫酵扑]場景中。他們將不同種類的用戶行為序列進行分組編碼，并映射到不同子空間中，利用 self-attention 對行為間的互相影響進行建模，最終得到用戶的行為表征[3]。

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中加入注意力機制模型主要是基于三點考慮：首先是這些模型在眾多的任務(wù)中取得了非常好的性能，比如機器翻譯、問答系統(tǒng)、情感分析等;其次，在提升模型性能的同時，注意力機制增加了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可解釋性，由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是一個黑盒模型，因此提高其可解釋性可以提高機器學習模型的公平性、可靠性和透明性;最后，其能夠幫助緩解遞歸神經(jīng)網(wǎng)絡(luò)中的一些缺陷，比如增加輸入序列長度導致性能下降;處理輸入的順序?qū)е掠嬎阈实拖?。綜上，在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中加入注意力模型能一定程度上彌補基礎(chǔ)預測模型的缺點。

2、研究模型分析

2.1 模型的總體架構(gòu)

本文基于海量的資源庫原始數(shù)據(jù)，原始數(shù)據(jù)預處理后結(jié)合專家和大眾群體的意見進行特征提取，輸入到基于注意力機制的神經(jīng)網(wǎng)絡(luò)模型中，最終輸出某人的犯罪系數(shù)和比重較大的特征，以對模型做出可解釋性分析。

◆數(shù)據(jù)預處理：原始數(shù)據(jù)普遍存在雜亂性、重復性、不完整性等問題，必須加以處理才能用于分析。一方面可提高數(shù)據(jù)質(zhì)量，另一方面是更好的使數(shù)據(jù)適應特定的數(shù)據(jù)挖掘技術(shù)和工具。涉及到的處理方法包括數(shù)據(jù)清洗、缺失值處理、詞向量處理，同時為了讓不同維度之間的特征在數(shù)值上有一定比較性，對數(shù)據(jù)進行歸一化處理。

◆特征提取：數(shù)據(jù)預處理后的原始特征存在很多不相關(guān)數(shù)據(jù)和冗余數(shù)據(jù)，特征選取則是在原始特征上選取一個子集，使得在一定評價標準下特征空間得到最優(yōu)化減小，在這個過程中，吸取多年辦案專家給出的建議及大眾對犯罪群體的直觀認識從而加入業(yè)務(wù)特征。

2.2 模型主要組成部分

2.2.1 特征層

對各個維度的特征結(jié)合業(yè)務(wù)需求使用常用的機器學習算法如PCA進行特征提取、歸一化處理后，每個維度均保留一部分有用特征，例如特征維度1保留年齡，性別等。

2.2.2 注意力機制

注意力機制也就是一般所說的注意力焦點，對某些區(qū)域投入更多注意力以獲取更多需要關(guān)注目標的細節(jié)信息，而抑制其他無用信息，即對目標數(shù)據(jù)進行加權(quán)變化。當神經(jīng)網(wǎng)絡(luò)處理大量的輸入信息時，先借助注意力機制，只選擇一些關(guān)鍵的權(quán)重高的信息輸入進行處理，用來提高神經(jīng)網(wǎng)絡(luò)的效率。借用Soft Attention注意力機制的計算可以分為兩步：（1）在所有輸入信息上計算注意力分布;（2）根據(jù)注意力分布來計算輸入信息的加權(quán)平均。

◆注意力分布：從N個輸入向量[x1，x2，…，xn]中選擇出與

某個特定任務(wù)相關(guān)的信息，給定一個和任務(wù)相關(guān)的查詢向量q，用注意力變量

來表示被選擇信息的索引位置，即z=i表示選擇了第i個輸入向量并通過一個打分函數(shù)來計算每個輸入向量和查詢向量之間的相關(guān)性，首先計算在給定q和X下，選擇第i個輸入向量的概率α1;

◆加權(quán)平均：注意力分布α1可以解釋為在給定任務(wù)相關(guān)的查詢q時，第i個輸入向量受注意的程度，再采用卷積求和的信息選擇機制對輸入信息進行匯總，輸出加權(quán)平均。

2.2.3 神經(jīng)網(wǎng)絡(luò)層

使用一種簡單的前饋神經(jīng)網(wǎng)絡(luò)，采用單向多層結(jié)構(gòu)，各神經(jīng)元分層排列，每個神經(jīng)元只與前一層的神經(jīng)元相連。接收前一層的輸出，并輸出給下一層，各層間沒有反饋。

前饋網(wǎng)絡(luò)包括三類節(jié)點：

◆輸入層：外界信息輸入，不進行任何計算，僅向下一層節(jié)點傳遞信息;

◆隱藏層：接收上一層節(jié)點的輸入，進行計算，并將信息傳到下一層節(jié)點;

◆輸出層：接收上一層節(jié)點的輸入，進行計算，并將結(jié)果輸出。

3、模型實驗結(jié)果

通過下圖的實驗結(jié)果可以看出，模型經(jīng)過大量樣本的訓練后，對于某一給定人員，可以以較高概率準確的預測此人犯罪的可能性，并輸出影響權(quán)重比較大的人員特征屬性，給出模型的可解釋性。而實際上，文化程度、財產(chǎn)狀況、是否有犯罪前科也符合日常辦案中對某人進行犯罪側(cè)寫的考慮因素。

4 結(jié)束語

讓公安大數(shù)據(jù)能從“倉庫”走向?qū)崙?zhàn)，推動公安工作的改革，進一步提高公安工作的效率是當今公安大數(shù)據(jù)戰(zhàn)略不可或缺的需求。而基于“金盾工程”的推進和公安大數(shù)據(jù)的積累，建立高效穩(wěn)定的模型科學預測人或事物的發(fā)展，對于進一步深化大數(shù)據(jù)創(chuàng)新應用，打造新時代智慧警務(wù)意義重大。

本文提出的模型算法可以對人員的行為進行一定程度上的預測，但如何提高預測的準確性和效率，如何擴大數(shù)據(jù)的應用范圍，如何轉(zhuǎn)換成實戰(zhàn)應用等仍是現(xiàn)階段公安數(shù)據(jù)挖掘領(lǐng)域需致力解決的問題。

[參考文獻]

[1]王欣、郝久月、汪寧.基于大數(shù)據(jù)技術(shù)的公安綜合研判應用平臺設(shè)計.警察技術(shù).2015（3）.

[2]張旭.大數(shù)據(jù)背景下機器學習在公安工作中的應用.電子世界.2019（3）.

[3]ChangZhou，JingzeBai.ATRank： An Attention-Based User Behavior Modeling Framework for Recommendation.

（作者單位：公安部第一研究所，北京 100048）