劉鑫 王皓晨 黃宇煦

摘? 要： 為了清理互聯(lián)網(wǎng)與移動(dòng)通信網(wǎng)絡(luò)所帶來(lái)的不良詐騙信息，使用文本分類(lèi)技術(shù)來(lái)識(shí)別電信詐騙信息。采用中文分詞技術(shù)（jieba）對(duì)數(shù)據(jù)樣本的中文信息進(jìn)行分詞，用TF-IDF算法提取電信詐騙信息的特征，向量空間模型（VSM）構(gòu)建文本內(nèi)容的特征，選取樸素貝葉斯分類(lèi)算法的伯努利模型和多項(xiàng)式模型，分別訓(xùn)練數(shù)據(jù)并對(duì)比測(cè)試得出各自對(duì)電信詐騙信息的識(shí)別效果評(píng)估。

關(guān)鍵詞： 文本分類(lèi)； 電信詐騙信息； 機(jī)器學(xué)習(xí)； 樸素貝葉斯

中圖分類(lèi)號(hào)：TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1006-8228（2023）04-29-04

Abstract： To clean up the harmful fraudulent messages brought from the Internet and the mobile communication networks， the text classification technology is employed to identify telecom fraudulent messages. The Chinese word segmentation technology （jieba） is adopted to segment the Chinese messages in the data samples， TF-IDF algorithm is used to extract features from the telecom fraudulent messages， and the vector space model （VSM） is applied to construct the features of text content. The Bernoulli model and the polynomial model of the naive Bayes classification algorithm are selected to train the data and achieve their respective classification evaluation of the telecom fraudulent messages through contrastive tests.

Key words： text classification; telecom fraudulent message; machine learning; naive Bayes

0 引言

電信詐騙通過(guò)電話(huà)或網(wǎng)絡(luò)等方式對(duì)受害人實(shí)施遠(yuǎn)程、非接觸的詐騙，最終目的是獲得利益[1]。文字型垃圾信息是電信詐騙活動(dòng)的主要載體和開(kāi)端，可定義為：信息發(fā)送方未經(jīng)接收方的許可，向接收方傳輸其不愿接收或違法的信息[2]，這類(lèi)信息會(huì)破壞用戶(hù)對(duì)網(wǎng)絡(luò)服務(wù)的使用體驗(yàn)，并占用網(wǎng)絡(luò)資源而造成網(wǎng)絡(luò)擁堵、資源浪費(fèi)和更多治理成本[3]。通過(guò)有效篩查文字型垃圾信息，可以提高網(wǎng)絡(luò)資源的利用效率與電信服務(wù)機(jī)構(gòu)的信譽(yù)，實(shí)現(xiàn)相關(guān)機(jī)構(gòu)與社會(huì)環(huán)境的良性運(yùn)轉(zhuǎn)[4]。

1 研究背景

1.1 電信詐騙信息識(shí)別概述

目前針對(duì)電信詐騙信息的識(shí)別主要分為基于文本特征的過(guò)濾和基于文本內(nèi)容的二分類(lèi)方法[3]。基于文本特征的過(guò)濾方法主要有流量控制、黑名單過(guò)濾等。流量控制法是對(duì)某時(shí)間段發(fā)送量超過(guò)預(yù)設(shè)閾值的信息根據(jù)既定標(biāo)準(zhǔn)判定為涉嫌信息，據(jù)此監(jiān)控和限制發(fā)送方的信息發(fā)送。該方法有局限性。目前的識(shí)別研究主要側(cè)重在基于文本內(nèi)容的方法，采用文本分類(lèi)技術(shù)，過(guò)程從文本獲取開(kāi)始，經(jīng)過(guò)分詞、文本特征提取與表示、特征選擇、信息挖掘和決策應(yīng)用，涉及到各類(lèi)機(jī)器學(xué)習(xí)算法。

1.2 國(guó)內(nèi)外相關(guān)工作

八十年代初，侯漢清介紹了國(guó)外的分類(lèi)技術(shù)綜述，開(kāi)始了國(guó)內(nèi)中文文本分類(lèi)研究[5]。張培穎等提出了一種基于語(yǔ)義距離的分類(lèi)方法，將語(yǔ)義信息考慮在內(nèi)，有效地提高文本分類(lèi)的有效性[6]。程功平等提出了一種基于改進(jìn)貝葉斯算法的過(guò)濾方法，結(jié)合黑白名單機(jī)制有效減少了誤判，識(shí)別率普遍高于基于文本特征的方法[7]。李潤(rùn)川等將多種特征融合，結(jié)論表明各模型對(duì)垃圾短信的過(guò)濾均效果良好，但提取代表性特征的工作量龐大[8]。李根等提出了基于距離特征的自分類(lèi)簇和自學(xué)習(xí)算法，作為一種聚類(lèi)算法能學(xué)習(xí)新的詐騙信息樣本的特征實(shí)現(xiàn)自我更新，具有持續(xù)識(shí)別新加信息的能力[9]。

詐騙信息的識(shí)別逐漸凝練為構(gòu)建合理的語(yǔ)料庫(kù)、正確分詞、文本預(yù)處理、提取最具統(tǒng)計(jì)意義和代表性特征及建立科學(xué)高效的過(guò)濾模型[10]。對(duì)此，國(guó)外相關(guān)工作大致發(fā)展如下：Luhn在1950年提出了詞頻概念應(yīng)用于文本分類(lèi)，開(kāi)啟了領(lǐng)域研究[11]。Maron驗(yàn)證了概率索引與信息檢索的相關(guān)性，提出了概率模型，極大推動(dòng)了早期文本分類(lèi)技術(shù)[12]。Salton等在1975年提出了文本的空間向量表示模型，文本中具有區(qū)分度的關(guān)鍵詞表示特征項(xiàng)，文本向量的分量值表示特征項(xiàng)的權(quán)重[13]。Blei等于2003年提出了隱含狄利克雷模型，應(yīng)用貝葉斯方法構(gòu)建了一種基于主題的文本表示模型，將文檔集內(nèi)各子集的主題以概率分布的形式給出[14]。Mikolov在2016年提出的FastText引入了n-gram方法捕獲局部序列，較于傳統(tǒng)分類(lèi)器提升了速度和精度，且無(wú)需過(guò)多的非線性特征轉(zhuǎn)換和組合就能獲得良好的分類(lèi)特征[15]。Kalchbrenner等提出了一種CNN文本分類(lèi)模型，具有共享權(quán)值的網(wǎng)絡(luò)結(jié)構(gòu)和局部感知的特點(diǎn)，降低運(yùn)算復(fù)雜度，減少權(quán)值數(shù)量，借鑒CNN的特點(diǎn)把文本轉(zhuǎn)化為二維特征矩陣作為輸入，最終分類(lèi)效果非常理想[16]。

2 文本預(yù)處理和識(shí)別方法

2.1 文本分類(lèi)流程概述

文本分類(lèi)首先收集待分類(lèi)的文本數(shù)據(jù)集，然后對(duì)數(shù)據(jù)預(yù)處理（包括分詞、去除停用詞等），繼而將投入分類(lèi)模型[17]。

2.2 文本預(yù)處理

2.2.1 中文分詞

詞語(yǔ)是中文語(yǔ)句的基本單元，為了理解文本語(yǔ)義，必須對(duì)詞語(yǔ)有效劃分。目前，中文分詞算法主要包括基于理解、基于統(tǒng)計(jì)和基于詞典的分詞這三類(lèi)[17]?；诶斫馐峭ㄟ^(guò)模仿人對(duì)句子理解的思路分割語(yǔ)句，可采用ANN方法或者利用邏輯學(xué)原理；基于統(tǒng)計(jì)則是利用統(tǒng)計(jì)學(xué)原理，對(duì)于一個(gè)詞中的文字而言，如果它們?cè)诰渲锌偸窍噜彴殡S出現(xiàn)，則可以猜測(cè)它們是一個(gè)詞組，由此對(duì)文本統(tǒng)計(jì)并分詞；基于詞典是事先建立一個(gè)大容量詞典，將待分文本在其中匹配。

目前，常見(jiàn)的中文分詞工具包括NLPIR、SnowNLP、THULAC和jieba等，其中jieba目前受到廣泛使用，它作為Python的第三方庫(kù)開(kāi)源提供，基于查找最大概率路徑實(shí)現(xiàn)，支持自定義停用詞，分詞效果較好[18]。本文使用jieba實(shí)施分詞工作。

2.2.2 停用詞過(guò)濾

在文本分類(lèi)中，停用詞是指對(duì)分類(lèi)效果幾乎沒(méi)有貢獻(xiàn)的字詞或符號(hào)，有時(shí)停用詞甚至?xí)档头诸?lèi)精度。常見(jiàn)的停用詞有標(biāo)點(diǎn)符號(hào)、語(yǔ)氣詞、敏感序列等[17]。文本預(yù)處理過(guò)程應(yīng)去除停用詞，簡(jiǎn)化后序計(jì)算，清洗文本數(shù)據(jù)集，從而有助于提高分類(lèi)精度。

2.3 文本特征提取及表示

2.3.1 TF-IDF算法

文本特征提取作為文本分類(lèi)的基礎(chǔ)環(huán)節(jié)，必須在保持原義的前提下，提取出最具統(tǒng)計(jì)意義和代表性的特征。常用的文本特征提取方法包括詞頻-逆文檔頻率（Term Frequency-Inverse Document Frequency， TF-IDF）、互信息（MutualInformation， MI）和信息增益（Information Gain， IG）等[19]。本文采用TF-IDF算法，作為一種文本統(tǒng)計(jì)的方法它能反映單個(gè)詞在文檔集合中的區(qū)分度，其中TF指某個(gè)詞在某一文本中出現(xiàn)的次數(shù)，TF越大則該詞對(duì)所在文本的代表性越高，可作為文本的特征，但如果某個(gè)詞在某個(gè)文本中的TF很高且在文本集合內(nèi)其他文本中也多次出現(xiàn)，則降低了該詞對(duì)文本的代表性，因此需統(tǒng)計(jì)詞語(yǔ)在多個(gè)文本中出現(xiàn)的頻率，從而引入了IDF的概念，IDF越大說(shuō)明該詞在多個(gè)文檔中出現(xiàn)的頻率越低，能更好地區(qū)分文本類(lèi)別。單獨(dú)考慮TF或IDF都有所片面，需將兩者綜合考慮才能得到更合理的特征權(quán)重。

TF定義如下：設(shè)count（w，d）為詞w在文檔d中出現(xiàn)的次數(shù)，size（d）為文檔d中的總詞數(shù)，tf（w， d）為詞w在d中的詞頻，則有：

由于不同文本的詞數(shù)不一致，只計(jì)算詞頻會(huì)帶來(lái)偏差，因此公式⑴需要?dú)w一化。

IDF定義如下：設(shè)n為文本總數(shù)，D為文件集，docs（w， D）為文件集D中包含詞w的文件數(shù)，則有：

對(duì)于尚未在文本集D中收錄的詞，公式⑵無(wú)法得到一個(gè)有效值，需做一個(gè)平滑處理，有：

綜上，可以得到TF-IDF的定義：

2.3.2 向量空間模型（VSM）

計(jì)算機(jī)無(wú)法直接計(jì)算原始文本信息，所以需對(duì)文本數(shù)值化轉(zhuǎn)換。向量空間模型（Vector Space Model，VSM）作為文本表示的經(jīng)典方法之一，可將文本轉(zhuǎn)換為向量表示，向量的各個(gè)項(xiàng)為文本特征，文本特征取TF-IDF值，項(xiàng)數(shù)就是向量的維度[19]，將文本信息投影為某個(gè)維度空間中的點(diǎn)，通過(guò)計(jì)算向量間的距離判定文本間的相似程度。

設(shè)n維坐標(biāo)系t1，t2，...，tn，在該坐標(biāo)系中現(xiàn)有兩個(gè)文本向量Di=（wi1，wi2，...win），Dj=（wj1，wj2，...wjn），將n維向量Di與Dj表示在坐標(biāo)系中，如圖1所示。

計(jì)算Di與Dj相似度有內(nèi)積、Dice系數(shù)、Jaccard系數(shù)和夾角θ的余弦等方法[17]。

2.4 樸素貝葉斯分類(lèi)模型的分類(lèi)過(guò)程

對(duì)于樣本x=（x1，x2，x3，...，xn），其中xi（i=1，2，3，...，n）為樣本的一個(gè)特征，有類(lèi)別集合y={y1，y2，y3，...，ym}，yj（j=1， 2，3，...，m）為類(lèi)別集合中的一個(gè)類(lèi)別，該分類(lèi)模型會(huì)從訓(xùn)練集中學(xué)習(xí)到樣本的特征xi在類(lèi)別yj下的條件概率，從而可以得到一個(gè)集合C1={（xi，p（xi|yj））|1≤i≤n，1≤j≤m}。類(lèi)似地，在訓(xùn)練過(guò)程中可以獲得特征和特征在每個(gè)類(lèi)別中的條件概率，以上的樣本假設(shè)和類(lèi)別假設(shè)不變，樸素貝葉斯分類(lèi)器按以下流程對(duì)輸入集x進(jìn)行分類(lèi)：

p（yj）為可以根據(jù)以往的數(shù)據(jù)或經(jīng)驗(yàn)得出的先驗(yàn)概率，若不能確定其值，可根據(jù)貝葉斯假設(shè)獲得，而p（xi|yj）的值在分類(lèi)模型訓(xùn)練時(shí)得出的集合C1中，因此可以計(jì)算得到集合C2。欲判斷樣本x的所屬類(lèi)別，只需求出集合C2中的最大值：

其中1≤k≤m，樣本x所屬的類(lèi)別為yk。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本文采用某電信服務(wù)機(jī)構(gòu)提供的80萬(wàn)條短信數(shù)據(jù)集，每條短信的類(lèi)別已人工標(biāo)注完成，“1”表示包括電信詐騙信息在內(nèi)的不良短信，“0”表示正常短信。數(shù)據(jù)集中涉及人名、電話(huà)號(hào)碼、數(shù)量等內(nèi)容用“X”取代。表1為數(shù)據(jù)集中部分信息示例。

3.2 數(shù)據(jù)預(yù)處理與參數(shù)設(shè)置

使用Python庫(kù)jieba對(duì)數(shù)據(jù)集中的原始文本分詞后，首先定義停用詞庫(kù)，并從數(shù)據(jù)集中過(guò)濾停用詞，包括阿拉伯?dāng)?shù)字、標(biāo)點(diǎn)、語(yǔ)氣詞、疑問(wèn)詞、邏輯關(guān)聯(lián)詞、人稱(chēng)用語(yǔ)等。去除停用詞后，對(duì)數(shù)據(jù)集前三萬(wàn)條樣本中的垃圾信息和正常信息分別使用Python庫(kù)wordcloud生成詞云圖，其中正常信息26986條，垃圾信息3014條，如圖2所示，其中上半部為垃圾信息，下半部為正常信息。

圖2直觀顯示出垃圾信息與正常信息之間的區(qū)別，正常信息中的詞語(yǔ)包括而不限于“飛機(jī)”、“電梯”、“旅游”等以及一些地名，涉及領(lǐng)域廣泛而隨機(jī)，涵蓋日常生活各個(gè)領(lǐng)域，而電信詐騙信息中“活動(dòng)”、“免費(fèi)”、“優(yōu)惠”、“女人節(jié)”等詞匯，高度集中于營(yíng)銷(xiāo)獲利等行為且誘導(dǎo)性、針對(duì)性極強(qiáng)。

調(diào)用Python機(jī)器學(xué)習(xí)庫(kù)sklearn中的feature_extraction模塊內(nèi)的CountVectorizer函數(shù)將文本數(shù)據(jù)集轉(zhuǎn)換為向量空間，并調(diào)用TidTransformer函數(shù)采用TF-IDF算法提取特征，其中范數(shù)設(shè)為L(zhǎng)2。選擇樸素貝葉斯分類(lèi)器中的伯努利模型與多項(xiàng)式模型構(gòu)建分類(lèi)器，其中二者的拉普拉斯平滑參數(shù)α的值均為1.0，二值化閾值為0.0，驗(yàn)證方式用隨機(jī)采樣法，隨機(jī)選取數(shù)據(jù)集中80%的數(shù)據(jù)為訓(xùn)練集，剩余20%為測(cè)試集。

3.3 電信詐騙信息分類(lèi)的評(píng)估指標(biāo)

根據(jù)電信詐騙信息的分類(lèi)結(jié)果來(lái)評(píng)估，指標(biāo)主要有準(zhǔn)確率、精準(zhǔn)率和召回率三種，定義如下。

其中，準(zhǔn)確率關(guān)注整體分類(lèi)效果，精準(zhǔn)率關(guān)注模型預(yù)測(cè)的準(zhǔn)確性，召回率關(guān)注模型預(yù)測(cè)的完整性，在評(píng)估分類(lèi)結(jié)果時(shí)往往需要對(duì)上述指標(biāo)綜合考慮。

3.4 實(shí)驗(yàn)結(jié)果與分析

分別采用樸素貝葉斯分類(lèi)算法的伯努利模型與多項(xiàng)式模型完成文本數(shù)據(jù)集訓(xùn)練后，將測(cè)試集中算法得出的分類(lèi)標(biāo)簽與實(shí)際標(biāo)注類(lèi)別對(duì)比，最后針對(duì)各項(xiàng)評(píng)估指標(biāo)得出分類(lèi)效果如表2所示。

根據(jù)表2，在準(zhǔn)確率和精確率兩個(gè)指標(biāo)上，兩種分類(lèi)器都得到了超過(guò)97%的分值，表現(xiàn)優(yōu)良。其中伯努利模型在兩個(gè)指標(biāo)上都相較于多項(xiàng)式模型表現(xiàn)出0.005%左右的輕微優(yōu)勢(shì)；召回率方面分值尚可，其中伯努利模型取得93.055%召回率，多項(xiàng)式模型取得87.567%召回率，較于其他兩種指標(biāo)相比有所跌落?？傮w上兩種模型的分類(lèi)效果都呈優(yōu)良，但伯努利模型相較多項(xiàng)式模型效果更好。

4 結(jié)束語(yǔ)

本文針對(duì)計(jì)算資源和成本有限的情形，采用了傳統(tǒng)機(jī)器學(xué)習(xí)方法中的樸素貝葉斯算法，通過(guò)伯努利模型和多項(xiàng)式模型對(duì)電信詐騙信息的識(shí)別進(jìn)行了研究，通過(guò)對(duì)比實(shí)驗(yàn)將某電信運(yùn)營(yíng)機(jī)構(gòu)收集的80萬(wàn)條信息進(jìn)行訓(xùn)練和測(cè)試，兩種分類(lèi)模型均取得了較為優(yōu)良的分類(lèi)效果，其中伯努利模型相對(duì)于多項(xiàng)式模型在準(zhǔn)確率、精確率方面均呈現(xiàn)輕微優(yōu)勢(shì)，在召回率方面呈現(xiàn)明顯優(yōu)勢(shì)。在后續(xù)的研究可以進(jìn)一步橫向?qū)Ρ葌鹘y(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)方法的分類(lèi)效果，在實(shí)踐應(yīng)用中可以根據(jù)二者的橫向?qū)Ρ炔罹嗪涂陀^資源成本綜合考慮，做出合理選擇。

參考文獻(xiàn)（References）：

[1] 婁云敬.基于價(jià)值迭代的電信詐騙識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].碩士，北京郵電大學(xué)，2021

[2] 李洋.基于深度學(xué)習(xí)的垃圾短信智能識(shí)別算法研究[D].碩士，北京工業(yè)大學(xué)，2019

[3] 梁廳.基于深度學(xué)習(xí)的垃圾短信識(shí)別方法研究[D].碩士，成都理工大學(xué)，2019

[4] 袁婷婷.基于人工神經(jīng)網(wǎng)絡(luò)的垃圾短信識(shí)別研究[D].碩士，東北師范大學(xué)，2012

[5] 侯漢清.分類(lèi)法的發(fā)展趨勢(shì)簡(jiǎn)論[J].情報(bào)科學(xué)，1981（1）：58-63，30

[6] 張培穎，王雷全.基于語(yǔ)義距離的文本分類(lèi)方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（1）：128-130，134

[7] 陳功平，沈明玉，王紅，等.基于內(nèi)容的短信分類(lèi)技術(shù)[J].華東理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，37（6）：770-774

[8] 李潤(rùn)川，昝紅英，申圣亞，等.基于多特征融合的垃圾短信識(shí)別[J].山東大學(xué)學(xué)報(bào)（理學(xué)版），2017，52（7）：73-79

[9] 李根，王科峰，賁衛(wèi)國(guó)，等.基于自分簇自學(xué)習(xí)算法的垃圾短信識(shí)別[J].吉林大學(xué)學(xué)報(bào)（信息科學(xué)版），2021，39（5）：583-588

[10] 李圍圍.垃圾短信識(shí)別的探索與研究[D].碩士，廣西科技大學(xué)，2018

[11] Luhn H P.1958.Auto-encoding of documents for? information retrieval systems[M].IBM Research Center.

[12] Maron M E，Kuhns J L.On relevance， probabilistic indexing and information retrieval[J].Journalof the ACM（JACM），1960，7（3）：216-244

[13] Salton G， Wong A，Yang C S.A vectorSpace Model for Automatic Indexing[C].Communications of the ACM，1975，18（11）：613-620

[14] Blei D M， Ng A Y， Jordan M I. Latent dirichlet allocation[J].Journal of Machine Learning Research，2016，3：993-1022

[15] Joulin A， Grave E， Bojanowski P， et al. Bag of tricks for?efficient text classification[J].arXivpreprint arXiv：1607.01759，2016

[16] Kalchbrenner N， Grefenstette E， Blunsom P. 2014.A convolutionalneural network for modellingsentences[J]. arXiv preprint arXiv：1404.2188.

[17] 王紅.基于內(nèi)容的中文垃圾短信分類(lèi)技術(shù)的研究[D].碩士，安徽大學(xué)，2011

[18] 石鳳貴.基于機(jī)器學(xué)習(xí)的垃圾短信識(shí)別應(yīng)用[J].電腦知識(shí)與技術(shù)，2020，16（3）：202-204

[19] 趙衛(wèi)東，董亮.機(jī)器學(xué)習(xí)[M].北京：人民郵電出版社，2018：135-172

作者簡(jiǎn)介：劉鑫（1999-），男，貴州畢節(jié)人，研究生，主要研究方向：人工智能。

通訊作者：王皓晨（1988-），男，吉林省吉林市人，博士，講師，主要研究方向：機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘。