蓋 璇

(東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318)

0 引 言

現(xiàn)今，電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪胁豢苫蛉钡囊环N重要工具，主要用于多種信息交互[1]。電子郵件的快速發(fā)展和相關(guān)業(yè)務(wù)的開(kāi)發(fā)，使得電子郵件用戶(hù)數(shù)達(dá)到驚人的數(shù)量，隨之而來(lái)的就是垃圾郵件在網(wǎng)絡(luò)上的泛濫[2-4]。垃圾郵件主要來(lái)自匿名的轉(zhuǎn)發(fā)服務(wù)器、一次性賬戶(hù)和僵尸主機(jī)等。一些人為了推銷(xiāo)自己的產(chǎn)品或宣傳網(wǎng)站等，通過(guò)亂發(fā)電子郵件來(lái)達(dá)到自己的目的，使得垃圾郵件遠(yuǎn)遠(yuǎn)超過(guò)正常郵件數(shù)量，占用大量用戶(hù)郵箱空間和網(wǎng)絡(luò)帶寬，影響用戶(hù)使用的同時(shí)，損耗廣大用戶(hù)的合法權(quán)益，給郵件服務(wù)提供商帶來(lái)沉重的經(jīng)濟(jì)負(fù)擔(dān)和社會(huì)壓力[5-7]。這已經(jīng)不僅僅是技術(shù)性問(wèn)題，也不僅僅是政策法律問(wèn)題，而是一個(gè)全球性、綜合性的問(wèn)題。因此，如何快速有效地解決垃圾郵件問(wèn)題具有比較大的現(xiàn)實(shí)意義[8-9]。

現(xiàn)在有很多垃圾郵件識(shí)別方法，如溯源法、統(tǒng)計(jì)法等，這些方法有的基于服務(wù)器，有的基于郵件傳輸代理，也有基于郵件客戶(hù)端的[10-11]。目前國(guó)內(nèi)外采用的電子郵件識(shí)別技術(shù)主要有基于IP地址的識(shí)別技術(shù)和基于關(guān)鍵詞匹配的識(shí)別技術(shù)?；贗P地址的識(shí)別方法主要利用路由器的訪問(wèn)控制鏈表，使用比較簡(jiǎn)單，可以用于各個(gè)層次；基于關(guān)鍵詞匹配的識(shí)別技術(shù)主要針對(duì)郵件的內(nèi)容進(jìn)行識(shí)別，往往更加靈活[12-14]。以上2種方法各有優(yōu)點(diǎn)，但是在如今大數(shù)據(jù)時(shí)代，面對(duì)垃圾郵件內(nèi)容更新速度快的情況，以上2種方法在垃圾郵件的識(shí)別上存在詞匯識(shí)別精度差的問(wèn)題，識(shí)別方法的實(shí)際應(yīng)用水平需要進(jìn)一步加強(qiáng)。針對(duì)這一情況，本文提出一種基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法，利用聚類(lèi)分析算法處理和組織大量的文本數(shù)據(jù)，解決上述2種識(shí)別方法中存在的問(wèn)題。

1 基于聚類(lèi)分析算法的垃圾郵件識(shí)別

基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法主要是將郵件文本中關(guān)鍵分詞作為聚類(lèi)分析算法中的聚類(lèi)中心，依次將垃圾郵件從龐大的郵件集合中識(shí)別出來(lái)。具體的識(shí)別流程如圖1所示。

圖1 基于聚類(lèi)分析算法的垃圾郵件識(shí)別流程

依照?qǐng)D1中顯示的識(shí)別流程，逐步實(shí)現(xiàn)垃圾郵件的識(shí)別。

1.1 郵件預(yù)處理

電子郵件是一種特征的、半結(jié)構(gòu)化的文本形式，一個(gè)標(biāo)準(zhǔn)的郵件樣本包含郵件頭、郵件體，部分郵件還包含附件，各個(gè)郵件的格式并不統(tǒng)一。因此在郵件識(shí)別前預(yù)處理郵件，主要是對(duì)郵件文本內(nèi)容進(jìn)行分詞和去除停用詞處理。

文本分詞處理的主要原因是垃圾郵件中的部分詞語(yǔ)沒(méi)有明顯的區(qū)分標(biāo)記，對(duì)這樣的詞語(yǔ)進(jìn)行分析是郵件內(nèi)容處理的基礎(chǔ)和關(guān)鍵[15]。使用Rwordseg分詞工具，引用Ansj包，實(shí)現(xiàn)郵件內(nèi)容分詞、用戶(hù)自定義詞典等[16]。分詞之前需要注意的是Rwordseg只有在Java(JDK)環(huán)境變量設(shè)置成功后才能在R環(huán)境下被調(diào)用[17]。分詞主要分為3種情況。

1)中文分詞：

>library(rJava)

>library(Rwordseg)

####實(shí)現(xiàn)中文分詞

>segmentCH("我是實(shí)驗(yàn)小學(xué)的一名學(xué)生")

分詞結(jié)果為“我是、實(shí)驗(yàn)、小學(xué)、一名、學(xué)生”。

2)中文姓名的識(shí)別：

####isNameRecognition用來(lái)識(shí)別人的名字

>getOption("isNameRecogntion")#默認(rèn)是不進(jìn)行人名識(shí)別時(shí)，輸出FALSE，通過(guò)姓名識(shí)別的功能，將郵件文本內(nèi)容中的姓名單獨(dú)分離出來(lái)。

3)用戶(hù)自定義詞典：在對(duì)一些專(zhuān)業(yè)性相關(guān)的郵件文本分析時(shí)，需要用戶(hù)自己定義一個(gè)與其相關(guān)的詞典，創(chuàng)建獨(dú)立的詞庫(kù)再進(jìn)行分詞。在使用Rwordseg包時(shí)可以導(dǎo)入輸入法的細(xì)胞詞庫(kù)，在做分詞處理時(shí)遇到專(zhuān)業(yè)詞匯，這時(shí)在輸入法的詞庫(kù)中尋找相關(guān)的詞典，安裝到R中，從而達(dá)到分詞的目的[18]。

郵件系統(tǒng)在提取郵件內(nèi)容時(shí)，為了節(jié)省存儲(chǔ)空間自動(dòng)忽略了某些字或詞，這些就是停用詞[19]。這些詞出現(xiàn)在郵件文本中比較頻繁，對(duì)垃圾郵件的識(shí)別沒(méi)有太大的作用，將這些詞去除掉，能夠避免對(duì)垃圾郵件的識(shí)別產(chǎn)生影響。

在后續(xù)識(shí)別垃圾郵件時(shí)，利用的是垃圾郵件與正常郵件不同的特征，在分詞完成之后，將分詞中不能作為特征的詞和字剔除掉，采用降維的方法篩選出郵件文本特征[20-22]。

計(jì)算出劃分的分詞在郵件文本中出現(xiàn)的頻率，如果這個(gè)詞在這個(gè)郵件文本中出現(xiàn)的頻率比較高，在其它郵件文本中出現(xiàn)的頻率比較低，則這個(gè)詞可以被認(rèn)為是一個(gè)關(guān)鍵詞[23-25]，具有很好的被識(shí)別能力。利用公式計(jì)算此時(shí)該分詞的權(quán)重：

(1)

公式(1)中ψi,j表示分詞i在郵件j中出現(xiàn)的頻率權(quán)重，ri,j表示分詞i在郵件j中出現(xiàn)的次數(shù)。通過(guò)上述過(guò)程將無(wú)用的分詞剔除掉，為郵件特征的提取與聚類(lèi)做準(zhǔn)備。

1.2 郵件特征空間構(gòu)建

郵件經(jīng)過(guò)預(yù)處理后，分詞信息有些是連續(xù)信息，有些是不能直接使用，需要特征化的信息。為此，構(gòu)建郵件特征空間中選擇的特征屬性包含郵件的結(jié)構(gòu)特征屬性，郵件的特征屬性及屬性說(shuō)明等內(nèi)容如表1所示。

表1 郵件特征屬性

依據(jù)表1中的內(nèi)容確定特征集合，表中內(nèi)容在郵件中均以分詞的形式展示出來(lái)，選取經(jīng)過(guò)預(yù)處理后的分詞組成特征集合。

將分詞作為描述郵件內(nèi)容的基本特征，得到該郵件文本中包含的所有特征，對(duì)多個(gè)郵件段落的特征集合進(jìn)行合并，得到包含多個(gè)郵件特征的特征集合。將各個(gè)郵件視為特征向量，投影到特征集合代表的向量空間中，其中向量空間的維度與特征集合中的特征一一對(duì)應(yīng)。若郵件含某特征一次，則在該特征對(duì)應(yīng)的維度上，賦予郵件特征向量的權(quán)重值，起始為0，之后逐漸加1，最終一封郵件中某分詞對(duì)應(yīng)向量維度的值約等于該詞語(yǔ)在郵件文本中出現(xiàn)的頻次。

1.3 郵件特征提取

在提取郵件特征之前，若僅使用郵件特征空間，無(wú)法避免常用詞語(yǔ)對(duì)特征表示的影響，因此利用計(jì)算得到的分詞權(quán)重ψi,j為分詞賦值，賦值公式為：

(2)

公式(2)中w(i,j)表示賦值，ki表示所有文本中包含分詞i的文本數(shù)[20,26-27]。經(jīng)過(guò)賦值后，考慮郵件樣本中包含的詞語(yǔ)數(shù)過(guò)于龐大，因此，郵件向量化后得到的結(jié)果是高維的向量。針對(duì)高維向量，在優(yōu)化特征結(jié)構(gòu)的同時(shí)，實(shí)現(xiàn)對(duì)高維數(shù)據(jù)的降維。

假設(shè)郵件樣本集為S，維度為c，樣本數(shù)量為z，則樣本表示為S={s1,s2,…,sz}。記si=(si1,si2,…,sic)T，則協(xié)方差矩陣為：

(3)

(4)

公式(4)中ηj為協(xié)方差矩陣的特征值，對(duì)應(yīng)的特征值在協(xié)方差矩陣的特征值之和所占的比重為貢獻(xiàn)率，UT表示第j列與之對(duì)應(yīng)的ηj特征值向量構(gòu)成的矩陣。

通過(guò)公式(4)設(shè)定單個(gè)分詞對(duì)整個(gè)郵件文本的累積貢獻(xiàn)率，使累積達(dá)到一定閾值的主成分代替原有的特征，作為降維后的特征集合。

(5)

通過(guò)公式(5)進(jìn)行特征提取，得到所要提取的b個(gè)主成分H[28]。

通過(guò)特征提取，降低了特征的維度，郵件樣本被量化為由更精簡(jiǎn)特征表示的特征向量，將特征向量作為聚類(lèi)分析算法中的聚類(lèi)中心，通過(guò)迭代計(jì)算達(dá)到識(shí)別垃圾郵件的目的。

1.4 垃圾郵件識(shí)別

將提取出來(lái)的郵件特征作為初始聚類(lèi)中心，計(jì)算出每個(gè)郵件樣本與初始聚類(lèi)中心之間的距離，找出距離最近的聚類(lèi)中心，將其賦值給最近的簇，重新計(jì)算每個(gè)簇的平均值。在上述過(guò)程中，不斷進(jìn)行迭代計(jì)算，直到準(zhǔn)則函數(shù)收斂。采用平方誤差準(zhǔn)則得到聚類(lèi)結(jié)果，平方誤差準(zhǔn)則如下：

(6)

公式(6)中en表示第n個(gè)類(lèi)的聚類(lèi)中心，要想識(shí)別出垃圾郵件，就要計(jì)算出全局最優(yōu)解，必須滿(mǎn)足迭代的最大次數(shù)，找出其中使F最小的聚類(lèi)結(jié)果。在此情況下，計(jì)算出初始聚類(lèi)中心與其它樣本的歐氏距離，計(jì)算公式如下：

(7)

重復(fù)計(jì)算歐氏距離及賦值過(guò)程，直到達(dá)到最大迭代次數(shù)或新計(jì)算的F值與上一次迭代得到的F值的差別小于一個(gè)給定的閾值，結(jié)束計(jì)算后，輸出結(jié)果即為識(shí)別出的垃圾郵件。至此，基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法設(shè)計(jì)完成。

2 垃圾郵件識(shí)別方法實(shí)驗(yàn)研究

2.1 實(shí)驗(yàn)環(huán)境及要求

由前面設(shè)計(jì)可知，垃圾郵件處理的基礎(chǔ)是對(duì)郵件的分詞處理，根據(jù)分詞結(jié)果，通過(guò)聚類(lèi)算法來(lái)實(shí)現(xiàn)對(duì)郵件的分類(lèi)，因此實(shí)驗(yàn)包括2個(gè)環(huán)節(jié)：分詞提取實(shí)驗(yàn)和郵件分類(lèi)實(shí)驗(yàn)，具體實(shí)驗(yàn)環(huán)境、實(shí)驗(yàn)內(nèi)容及結(jié)果分析指標(biāo)如下：

1)實(shí)驗(yàn)環(huán)境：通過(guò)VB編寫(xiě)程序，Microsoft Access為數(shù)據(jù)庫(kù)平臺(tái)，Matlab為數(shù)據(jù)處理、分析工具。

2)實(shí)驗(yàn)數(shù)據(jù)：24 h內(nèi)，監(jiān)控某網(wǎng)絡(luò)中心的郵件服務(wù)器所有郵件。

3)實(shí)驗(yàn)內(nèi)容：基于聚類(lèi)分析算法與基于IP地址的識(shí)別方法及基于關(guān)鍵詞匹配的垃圾郵件識(shí)別方法在分詞識(shí)別準(zhǔn)確率、垃圾郵件分類(lèi)準(zhǔn)確率的對(duì)比實(shí)驗(yàn)。

4)分析指標(biāo)：分詞準(zhǔn)確率和垃圾分類(lèi)準(zhǔn)確率。分詞準(zhǔn)確率即為算法提取的分詞占所有準(zhǔn)確分詞的比例，垃圾分類(lèi)準(zhǔn)確率即為算法提取垃圾郵件占所有垃圾郵件的比率，用百分比表示。

2.2 實(shí)驗(yàn)準(zhǔn)備

垃圾郵件識(shí)別方法的實(shí)驗(yàn)研究中使用大量郵件樣本數(shù)據(jù)，其來(lái)源于網(wǎng)絡(luò)中心的郵件服務(wù)器，為了更貼近真實(shí)，盡可能正確反映目前網(wǎng)絡(luò)上垃圾郵件和合法郵件的比例。在實(shí)驗(yàn)準(zhǔn)備中，郵件樣本的選取采用多次隨機(jī)抽樣的方式，監(jiān)聽(tīng)點(diǎn)與郵件服務(wù)器處于同一網(wǎng)段，對(duì)郵件服務(wù)器的端口25進(jìn)行監(jiān)聽(tīng)，對(duì)監(jiān)聽(tīng)到的內(nèi)容通過(guò)SMTP協(xié)議分析后將郵件還原，提取出郵件樣本特征信息，建立訓(xùn)練樣本庫(kù)和測(cè)試樣本庫(kù)。郵件樣本選取的過(guò)程如圖2所示。

圖2 郵件樣本的選取

在研究中樣本數(shù)據(jù)的收集使用網(wǎng)絡(luò)監(jiān)聽(tīng)的方式，每隔半個(gè)小時(shí)選擇監(jiān)聽(tīng)到的前20封郵件拷貝作為樣本數(shù)據(jù)，重復(fù)上述過(guò)程，收集2000封訓(xùn)練樣本數(shù)據(jù)和1000封測(cè)試樣本數(shù)據(jù)。在實(shí)驗(yàn)準(zhǔn)備過(guò)程中，利用代碼編寫(xiě)一個(gè)監(jiān)聽(tīng)程序?qū)︵]件服務(wù)器端口進(jìn)行監(jiān)聽(tīng)，系統(tǒng)平臺(tái)使用Windows 10。監(jiān)聽(tīng)到的結(jié)果如圖3所示。

圖3 監(jiān)聽(tīng)到的郵件

監(jiān)聽(tīng)到的郵件經(jīng)過(guò)特征提取后，作為樣本數(shù)據(jù)應(yīng)用在后面的實(shí)驗(yàn)中，作為實(shí)驗(yàn)研究中的學(xué)習(xí)訓(xùn)練數(shù)據(jù)。在實(shí)驗(yàn)中使用Microsoft Access作為后臺(tái)數(shù)據(jù)庫(kù)。

2.3 郵件文本關(guān)鍵詞提取實(shí)驗(yàn)分析

在垃圾郵件識(shí)別中，提取郵件文本關(guān)鍵詞是關(guān)鍵的一步，在實(shí)驗(yàn)研究中，使用不同的垃圾郵件識(shí)別方法提取郵件文本中的關(guān)鍵詞，關(guān)鍵詞的提取與文本的長(zhǎng)度有密切關(guān)系，以郵件文本的字符數(shù)作為變量，計(jì)算出不同識(shí)別方法提取的關(guān)鍵詞的準(zhǔn)確率。在實(shí)驗(yàn)中引用的對(duì)比識(shí)別方法分別是基于IP地址的識(shí)別方法和基于關(guān)鍵詞匹配的垃圾郵件識(shí)別方法。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 不同識(shí)別方法提取關(guān)鍵詞準(zhǔn)確率實(shí)驗(yàn)結(jié)果

從圖4中結(jié)果可以看出，隨著郵件文本字符數(shù)的逐漸增加，2種常規(guī)方法的關(guān)鍵詞提取準(zhǔn)確率只在0.2～0.6之間，本文的垃圾郵件識(shí)別方法結(jié)果準(zhǔn)確率在0.8～1.0之間，相比之下，本文的基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法關(guān)鍵詞提取更加準(zhǔn)確。

2.4 郵件文本分詞精確度實(shí)驗(yàn)分析

郵件文本分詞精確度是一項(xiàng)影響垃圾郵件識(shí)別方法的重要指標(biāo)，通過(guò)一個(gè)簡(jiǎn)單的對(duì)比試驗(yàn)來(lái)分析不同識(shí)別方法的實(shí)際識(shí)別性能，利用少量的郵件來(lái)說(shuō)明提出的基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法的優(yōu)點(diǎn)。實(shí)驗(yàn)中的郵件樣本如表2所示。

表2 郵件樣本正文內(nèi)容

使用不同的識(shí)別方法對(duì)表2中的郵件樣本進(jìn)行分詞處理，處理后得到的分詞結(jié)果如表3所示。

表3 不同識(shí)別方法郵件樣本分詞結(jié)果

表3中識(shí)別方法1對(duì)應(yīng)的是基于IP地址識(shí)別方法，識(shí)別方法2對(duì)應(yīng)的是關(guān)鍵詞匹配的識(shí)別方法，識(shí)別方法3對(duì)應(yīng)的是本文的基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法。對(duì)比觀察表3中結(jié)果可知，識(shí)別方法1的郵件樣本分詞結(jié)果存在很多歧義詞，識(shí)別方法2中分詞過(guò)于簡(jiǎn)單，正常郵件與垃圾郵件沒(méi)有明顯的區(qū)別特征，識(shí)別方法3的分詞結(jié)果更簡(jiǎn)單、精準(zhǔn)，適合作為垃圾郵件識(shí)別的關(guān)鍵詞。

2.5 郵件分類(lèi)實(shí)驗(yàn)分析

郵件分類(lèi)實(shí)驗(yàn)主要是對(duì)不同識(shí)別方法的識(shí)別性能進(jìn)行進(jìn)一步的分析與判斷。在實(shí)驗(yàn)中使用Matlab軟件和VB軟件，隨機(jī)選取實(shí)驗(yàn)樣本，輸出分類(lèi)結(jié)果。結(jié)果如圖5所示。

(a) 基于IP地址的識(shí)別方法郵件分類(lèi)結(jié)果

(b) 基于關(guān)鍵詞匹配的識(shí)別方法郵件分類(lèi)結(jié)果

(c) 本文基于聚類(lèi)分析算法的識(shí)別方法分類(lèi)結(jié)果

圖5中顯示的圓點(diǎn)和三角點(diǎn)分別代表2類(lèi)樣本數(shù)據(jù)，其中三角點(diǎn)表示正常郵件樣本，圓點(diǎn)表示垃圾郵件樣本。觀察圖中結(jié)果，可直觀地看出常規(guī)的2種識(shí)別方法均存在正常樣本與垃圾郵件樣本混淆的情況，而基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法分類(lèi)結(jié)果中沒(méi)有出現(xiàn)混亂的情況，所有樣本數(shù)據(jù)均分類(lèi)成功。結(jié)合上述實(shí)驗(yàn)研究中的關(guān)鍵詞提取結(jié)果和分詞結(jié)果，可知，本文的基于聚類(lèi)分析算法的垃圾郵件識(shí)別方法對(duì)郵件內(nèi)文本處理更加精準(zhǔn)可靠，垃圾郵件的識(shí)別有效性更強(qiáng)。

3 結(jié)束語(yǔ)

全民信息化程度的加深使得垃圾郵件越來(lái)越泛濫，給用戶(hù)和企業(yè)帶來(lái)了很大困擾，因此，可通過(guò)識(shí)別垃圾郵件的方式來(lái)緩解這種情況的發(fā)生。在本文研究中主要根據(jù)垃圾郵件的分詞特征，識(shí)別出郵件集合中其它垃圾郵件，在此過(guò)程中，借助了聚類(lèi)分析算法的實(shí)時(shí)判別能力，達(dá)到了識(shí)別垃圾郵件的目的。但是研究過(guò)程中依然存在一些不足之處，如聚類(lèi)的精度和效率之間的平衡問(wèn)題，還需要進(jìn)一步研究。