楊 超，李子怡

(湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，湖北 武漢430062)

0 引 言

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，電子郵件是因特網(wǎng)上最為流行的應(yīng)用之一，具有重要的商業(yè)和社會(huì)價(jià)值。各種各樣的商業(yè)廣告、色情信息、郵件炸彈和很多來歷不明的郵件大量涌進(jìn)郵箱，侵害了電子郵件用戶的通信利益，影響了電子郵件服務(wù)的正常運(yùn)營秩序，危害互聯(lián)網(wǎng)安全和社會(huì)的穩(wěn)定，成為互聯(lián)網(wǎng)的一大公害。

傳統(tǒng)的反垃圾郵件技術(shù)主要是通過黑白名單垃圾郵件過濾［1］、智能分析的貝葉斯算法［2］、深度的內(nèi)容檢測［3］。然而，這些技術(shù)也存在著一些不可忽視的問題［4］:實(shí)時(shí)黑名單(RBL)存在部分IP 地址(段)錯(cuò)誤列入實(shí)時(shí)黑名單的情況。智能分析的貝葉斯算法對如何適應(yīng)圖片、PDF 等附件、內(nèi)嵌HTML 鏈接的垃圾郵件尚待進(jìn)一步研究?；谝?guī)則的評分系統(tǒng)、數(shù)字指紋/簽名等深度內(nèi)容分析技術(shù)，依賴于不斷更新的垃圾郵件特征數(shù)據(jù)庫來攔截垃圾郵件。因此，傳統(tǒng)的垃圾郵件檢測方法不能有效快速識別出垃圾郵件群發(fā)現(xiàn)象。

由于具有良好的多樣性、免疫記憶、自學(xué)習(xí)、自適應(yīng)和魯棒性的特點(diǎn)［5］，人工免疫系統(tǒng)已經(jīng)廣泛應(yīng)用于各類入侵檢測系統(tǒng)中。本文將人工免疫系統(tǒng)中危險(xiǎn)理論的思想應(yīng)用到垃圾郵件群發(fā)的檢測中，將危險(xiǎn)理論中的“危險(xiǎn)”與“不危險(xiǎn)”和垃圾郵件的判斷相對應(yīng)，搜集多種垃圾郵件特征，并將其定義為危險(xiǎn)信號，通過這些危險(xiǎn)信號綜合判定其是否為垃圾郵件。該方法可快速檢測出垃圾郵件，并具有較低的誤報(bào)率和漏報(bào)率。

1 相關(guān)研究

1.1 黑白名單垃圾郵件過濾

黑白名單技術(shù)是最早的反垃圾郵件技術(shù)，其主要是通過收集郵件中的發(fā)信地址和收信地址與黑白名單中的地址進(jìn)行比較來判斷郵件屬于垃圾郵件的可能性［6］。黑白名單技術(shù)分為:用戶黑白名單技術(shù)、網(wǎng)絡(luò)黑白名單技術(shù)。用戶黑白名單技術(shù)使用的是用戶自定義的黑白名單。使用用戶黑白名單機(jī)制可以快速準(zhǔn)確地過濾掉垃圾郵件，而且可以把經(jīng)常錯(cuò)誤過濾為垃圾郵件的用戶郵件快速分辨出來，減少誤判率;網(wǎng)絡(luò)黑白名單技術(shù)使用的是有互聯(lián)網(wǎng)用戶共同維護(hù)的黑白名單。目前在網(wǎng)絡(luò)黑名單技術(shù)上最流行的是實(shí)時(shí)黑名單技術(shù)。

黑白名單技術(shù)的缺點(diǎn)在于需要時(shí)間和精力來維護(hù)管理黑白名單列表，因?yàn)槔]件發(fā)送者在不斷更換它的域名和地址。為了讓該技術(shù)實(shí)時(shí)有效，黑白名單列表必須不斷地更新升級，這會(huì)對一些合法的服務(wù)器造成誤傷。

1.2 基于內(nèi)容的垃圾郵件檢測

基于內(nèi)容的垃圾郵件過濾技術(shù)是通過分析郵件的內(nèi)容來過濾垃圾郵件的一種技術(shù)。目前基于內(nèi)容的垃圾郵件過濾主要包括基于規(guī)則的方法和基于概率統(tǒng)計(jì)的方法［7］。

所謂規(guī)則，是通過訓(xùn)練得到顯示規(guī)則(通常是用產(chǎn)生式表示，如，如果郵件包含Advertisement，那么，該郵件為垃圾郵件)的判斷方法。優(yōu)點(diǎn)是可以生成人類理解的規(guī)則;缺點(diǎn)是在規(guī)律性不明顯的應(yīng)用領(lǐng)域效果較差［8］。

基于貝葉斯的過濾［9］，是先通過統(tǒng)計(jì)獲得特征項(xiàng)在垃圾郵件中出現(xiàn)的先驗(yàn)概率(prior probability)，再利用數(shù)學(xué)統(tǒng)計(jì)中的貝葉斯公式求得含有這些特征項(xiàng)的郵件是垃圾郵件的后驗(yàn)概率(posterior probability)。該方法在進(jìn)行過濾之前，需要學(xué)習(xí)統(tǒng)計(jì)大量的郵件［10］。

也有學(xué)者基于數(shù)字指紋/簽名等內(nèi)容分析技術(shù)對垃圾郵件進(jìn)行檢測。通過對垃圾郵件內(nèi)容進(jìn)行潛在的語義分析，獲取垃圾郵件的消息摘要，經(jīng)加密算法生成“郵件指紋”，并進(jìn)行入庫。但是它依賴于不斷更新的垃圾郵件特征數(shù)據(jù)庫，對于音頻、視頻、加密郵件的過濾情況并不如人意。

以上方法中，黑白名單需要實(shí)時(shí)更新名單庫;基于內(nèi)容過濾的算法需要對郵件內(nèi)容進(jìn)行分析和字符串的比對，且都是需要一定的學(xué)習(xí)和訓(xùn)練時(shí)間，因此，雖然檢測效率較好，但是檢測速度較慢，本文利用危險(xiǎn)理論的方法，從垃圾郵件群發(fā)的行為特征入手，實(shí)現(xiàn)垃圾郵件的快速檢測。

2 樹突狀細(xì)胞算法概述

在生物免疫系統(tǒng)中，樹突狀細(xì)胞(dendritic cells，DC)是機(jī)體功能最強(qiáng)的專職抗原遞呈細(xì)胞，未成熟DC 具有較強(qiáng)的遷移能力，成熟DC 能有效激活初始型T 細(xì)胞。未成熟的DC 從淋巴系統(tǒng)遷移到機(jī)體組織，在機(jī)體組織中攝取抗原并采集抗原所處環(huán)境中的分子信號，受到刺激即分化為成熟的DC，DC 在成熟的過程中由組織返回到淋巴結(jié)，并將抗原提呈給T 細(xì)胞識別［11］。

DC 算法(DCA)是Greensmith 根據(jù)固有免疫系統(tǒng)中DC的機(jī)理設(shè)計(jì)實(shí)現(xiàn)的一種人工免疫系統(tǒng)算法［12］，已成功運(yùn)用于端口掃描檢測和異常檢測領(lǐng)域［13～15］，DCA 具有效率高、負(fù)載小、低誤報(bào)率的特點(diǎn)。DCA 是基于DC 群體的算法，群體中每個(gè)DC 收集組織中的抗原，同時(shí)攝取四種環(huán)境信號:病原體相關(guān)分子模式(pathogen－associated molecular pattern，PAMP)、危險(xiǎn)信號(danger signal，DS)、安全信號(safe signal，SS)和致炎信號(inflammation signal，IS)。DC 把攝取到的四種環(huán)境信號作為輸入信號，通過權(quán)值矩陣和相關(guān)函數(shù)進(jìn)行融合處理后，產(chǎn)生三種輸出信號:協(xié)同刺激分子(costimulatory molecules，CSM)、半(semi)成 熟 信 號 和 成 熟(mat)信號，并對這三種輸出信號分別進(jìn)行累加，當(dāng)CSM 達(dá)到遷移閾值時(shí)，DC 發(fā)生遷移。此時(shí)，通過對結(jié)果進(jìn)行分析，semi 和mat 中的濃度較大者決定當(dāng)前的細(xì)胞環(huán)境。同時(shí)，根據(jù)當(dāng)前細(xì)胞環(huán)境狀態(tài)，對該DC 采集的所有抗原進(jìn)行標(biāo)記，標(biāo)記為semi 或mat。當(dāng)抗原達(dá)到判別次數(shù)后，計(jì)算代表該抗原異常程度的成熟環(huán)境抗原值(mature context antigen value，MCAV)，并與預(yù)先設(shè)定的異常閾值進(jìn)行比較，從而判斷抗原是否異常。DC 分化的過程如圖1 所示。

圖1 DC 分化過程圖Fig 1 Processing of DC differentiation

本文涉及到的生物學(xué)中的七種信號及其抽象信號與含義如表1 所示。

表1 DCA 相關(guān)信號及其含義Tab 1 Relative signal of DCA and its meaning

3 垃圾郵件檢測方法

3.1 垃圾郵件特征和抗原信號

垃圾郵件發(fā)送者在發(fā)送垃圾郵件時(shí)，主要有以下幾種特征:1)大量發(fā)送，即同一IP 同時(shí)的SMTP 連接數(shù)非常大，超過正常數(shù)量的請求。2)發(fā)送頻率頻繁，即短時(shí)間內(nèi)不斷地進(jìn)行聯(lián)機(jī)投遞。3)信頭發(fā)件人地址偽造。垃圾郵件一般采用群發(fā)軟件發(fā)送，發(fā)信人的地址是可以任意偽造的。4)垃圾郵件要么不會(huì)對服務(wù)器返回的錯(cuò)誤做出任何重試，要么在短時(shí)間內(nèi)會(huì)進(jìn)行瘋狂的重試。5)一般的郵件客戶端會(huì)對發(fā)送的郵件在傳輸過程中進(jìn)行加密處理，而垃圾郵件群發(fā)不會(huì)。基于上述特點(diǎn)，分析其一定時(shí)間段內(nèi)垃圾郵件的發(fā)送情況，采取該時(shí)間段內(nèi)的下列各指標(biāo)的平均值作為抗原信號:

1)SMTP 創(chuàng)建數(shù)目(記為SN):在進(jìn)行快速創(chuàng)建時(shí)，SMTP 連接創(chuàng)建數(shù)目會(huì)明顯高于正常情況。

2)SMTP 連接頻率(記為SF):發(fā)送垃圾郵件用戶的SMTP 連接頻率一般要高于合法用戶。

3)接收服務(wù)器錯(cuò)誤提示的重傳記錄(記為WM)。對于服務(wù)器會(huì)對不能正常傳輸?shù)泥]件返回錯(cuò)誤提示。因此，該指標(biāo)的出現(xiàn)有可能是垃圾郵件導(dǎo)致的。

4)郵件在傳輸過程中數(shù)據(jù)包是否加密(記為DE):在垃圾郵件群發(fā)時(shí)，發(fā)送郵件的數(shù)據(jù)包一般不會(huì)經(jīng)過加密處理，而正常發(fā)送的郵件的數(shù)據(jù)包會(huì)經(jīng)過加密處理后傳輸，因此，該指標(biāo)可以作為垃圾郵件判斷的一種方式。

3.2 數(shù)據(jù)預(yù)處理和算法實(shí)現(xiàn)

3.2.1 信號映射

針對前文提到的各項(xiàng)指標(biāo)，對其進(jìn)行預(yù)處理，通過映射函數(shù)統(tǒng)一將其規(guī)格化到1 ～10 之間。定義規(guī)格化函數(shù)f(x)如式(1)

其中，x 為原始信號值，當(dāng)x∈［m，n］時(shí)，進(jìn)行線性映射;當(dāng)x∈［0，∞)時(shí)，信號取最大值10。

現(xiàn)將檢測垃圾郵件相關(guān)指標(biāo)進(jìn)行如下映射:

1)PAMP:病原體相關(guān)分子模式，表明系統(tǒng)非健康，存在異常行為的特征，不能正常響應(yīng)用戶的處理請求。定義PAMP={〈WM〉}。

2)DS:危險(xiǎn)信號，表明系統(tǒng)亞健康，異常的可能性較高，系統(tǒng)仍然可以工作，但存在不可用的可能。定義DS={〈SN，SF，WM〉}。

3)SS:安全信號，表示正常的可能性較高，系統(tǒng)處于健康狀態(tài)。定義SS={〈SN，SF，DE〉}。

4)IS:致炎因子，表明組織總體上存在異常，起到放大PAMP，DS，SS 信號的作用。定義IS={〈DE〉}，其中，IS 為1 表示郵件服務(wù)器無法正常連接，IS 為0 表示正常服務(wù)。

3.2.2 權(quán)值矩陣

DC 收集組織中的抗原，并對四類輸入信號(PAMP，DS，SS，IS)進(jìn)行處理，計(jì)算出三個(gè)輸出信號:協(xié)同刺激(CSM)信號、半成熟(semi)信號與成熟(mat)信號。由輸入信號值到輸出信號值的轉(zhuǎn)換權(quán)值矩陣如表2 所示。

表2 DCA 信號轉(zhuǎn)換權(quán)值矩陣Tab 2 Weight matrix of DCA signal conversion

表2 中的權(quán)值矩陣表明:PAMP 信號和DS 對CSM 信號和MAT 信號具有正影響，起促進(jìn)作用，而對SEMI 信號則沒有影響。SS 對CSM 信號和SEMI 信號值的累加具有正影響，而對MAT 信號則具有負(fù)影響。值的大小表示各輸入信號對輸出信號的影響程度，值越大，表明其相應(yīng)的影響程度越大。由輸入信號值轉(zhuǎn)換為輸出信號值的計(jì)算如式(2)所示

其中，CP，CD，CS分別為輸入信號PAMP，DS，SS 的值，WP，WD，WS為相應(yīng)的權(quán)值。

3.2.3 算法流程描述

應(yīng)用到垃圾郵件檢測中的DCA 流程圖如圖2 所示。

圖2 DCA 流程圖Fig 2 Flow chart of DCA

具體描述如下:

輸入:四個(gè)抗原信號值，PAMP，DS，SS，IS;

輸出:CSM，smDC 或mDC;

說明:DC 遷移閾值:Z;DC 生命周期:T;抗原判別閾值:M;抗原異常閾值:N

Begin

初始化抗原池采集數(shù)目;

初始化DC 細(xì)胞種群;

For 每個(gè)DC

If CSM ＜遷移閾值Z then

Begin

在抗原池中隨機(jī)采集未被標(biāo)記的抗原，并計(jì)算PAMP，DS，SS 及IS 信號值and 依據(jù)權(quán)值矩陣計(jì)算CSM，semiMature，Mature 并累加;

End;

If CSM≥遷移閾值Z then

Begin

比較semiMature，Mature 大小，并標(biāo)記該DC 的狀態(tài)AND 標(biāo)記該DC 采集的抗原狀態(tài)，DC 發(fā)生遷移;

If 抗原判定總次數(shù) =抗原判別閾值M then

Begin

計(jì)算MCAV = 抗原被判為異常次數(shù)/抗原判定總次數(shù)，比較MCAV 與異常閾值N 的大小，

If MCAV ≥N then

抗原標(biāo)記為異常;

Else

抗原標(biāo)記為正常;

End

End

If DC 采集抗原次數(shù)≥DC 生命周期T then

拋棄該DC;

End

4 實(shí)驗(yàn)與結(jié)果分析

本文選用一種垃圾郵件群發(fā)器模擬群發(fā)垃圾郵件，與foxmail 郵件客戶端模擬正常郵件發(fā)送進(jìn)行對比。

該垃圾郵件群發(fā)器具有如下特點(diǎn):

1)選擇郵件發(fā)送模式:特快專遞(MX)、正常模式(SMTP);

2)使用HELO 域名設(shè)置自動(dòng)創(chuàng)建虛擬郵箱(僅限于特快專遞);

3)發(fā)送失敗自動(dòng)更換郵箱發(fā)送一次;

4)檢測封IP 后重新?lián)芴柣驌QIP。

通過使用wireshark 工具捕獲正常郵件和垃圾郵件的群發(fā)行為和數(shù)據(jù)包情況。

實(shí)驗(yàn)情景設(shè)置如下:

1)分別用垃圾郵件發(fā)送器和foxmail 郵件客戶端發(fā)送給100 個(gè)郵箱，垃圾郵件發(fā)送器采用特快專遞方式中的HELO 域名設(shè)置自動(dòng)創(chuàng)建虛擬郵箱。

2)分別用垃圾郵件發(fā)送器和foxmail 郵件客戶端發(fā)送給200 個(gè)郵箱，垃圾郵件發(fā)送器采用特快專遞方式，發(fā)送50 封后檢測封IP 后重新?lián)芴柣驌QIP。

3)分別用垃圾郵件發(fā)送器和foxmail 郵件客戶端發(fā)送給300 個(gè)郵箱，垃圾郵件發(fā)送器發(fā)送失敗采用相同模式重發(fā)5 次。

4)分別用垃圾郵件發(fā)送器和foxmail 郵件客戶端發(fā)送給400 個(gè)郵箱，垃圾郵件發(fā)送器采用正常模式發(fā)送。

該四種情景，列舉了垃圾郵件群發(fā)器的不同設(shè)置，調(diào)整每次發(fā)送的個(gè)數(shù)，比較它們與正常郵件群發(fā)的不同，使實(shí)驗(yàn)結(jié)果更具有一般性。實(shí)驗(yàn)結(jié)果記錄如表3 所示。

表3 實(shí)驗(yàn)結(jié)果記錄Tab 3 Record of experimental result

分析結(jié)果如表4 所示。

表4 實(shí)驗(yàn)結(jié)果分析Tab 4 Analysis on experimental result

大量實(shí)驗(yàn)顯示，運(yùn)用DCA 進(jìn)行垃圾郵件檢測，準(zhǔn)確率可以達(dá)到93.255%，漏報(bào)率和誤報(bào)率均比較低，垃圾郵件群發(fā)具有SMTP 創(chuàng)建數(shù)目多、頻率快、失敗后重傳次數(shù)多、傳輸過程不加密的特點(diǎn)，具有較低的誤報(bào)率和漏報(bào)率。因此，DCA 可以有效地識別垃圾郵件群發(fā)現(xiàn)象。

5 結(jié)束語

DCA 在垃圾郵件的檢測上能得到很好的結(jié)果，對垃圾郵件的檢測準(zhǔn)確率上高于其他一些檢測算法，算法在實(shí)現(xiàn)上方便簡潔，只需抓住垃圾郵件的特點(diǎn)，將信號與信號轉(zhuǎn)換權(quán)值矩陣定義合理，即可獲得比較理想的結(jié)果。該檢測可以應(yīng)用于郵件客戶端上，對用戶發(fā)送郵件過程中進(jìn)行主動(dòng)型垃圾郵件行為模式的識別，從而做到主動(dòng)對垃圾郵件行為進(jìn)行防御和阻斷，可最大程度地提高垃圾郵件識別率、攔截率，降低資源消耗。由于實(shí)驗(yàn)的局限性，該算法有待于進(jìn)一步的改進(jìn)。

［1］ 甘棠儀.基于屬性論方法的垃圾郵件過濾系統(tǒng)設(shè)計(jì)與研究［D］.上海:上海海事大學(xué)，2005:2－3.

［2］ 張艦波.基于內(nèi)容的垃圾郵件智能過濾系統(tǒng)的研究［D］.貴陽:貴州大學(xué)，2008:19－23.

［3］ 桑 寅，孟少卿，鹿凱寧.基于DPI 和機(jī)器學(xué)習(xí)方法傳輸層檢測的P2P 流量識別模型［J］.電子測量技術(shù)，2011，34(10):45－48.

［4］ 李智明.Websense 安全專家解讀當(dāng)前垃圾郵件形式.［EB/OL］.［2008—11—01］.http:∥www.cioage.com/art/200807/72741.htm.

［5］ Cooper K D，Hall M W，Kennedy K.Procedure cloning［C］∥Proceedings of the 1992 International Conference on Computer Languages，1992:96－105.

［6］ 林丹寧.反垃圾郵件關(guān)鍵技術(shù)研究與實(shí)現(xiàn)［D］.杭州:浙江大學(xué)，2007:16－17.

［7］ 王 斌，潘文鋒.基于內(nèi)容的垃圾郵件過濾技術(shù)綜述［J］.中文信息學(xué)報(bào)，2005，19(5):4－6.

［8］ 鄭 梅.基于規(guī)則的垃圾郵件過濾系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［D］.成都:電子科技大學(xué)，2008:19－39.

［9］ 詹 川.反垃圾郵件技術(shù)的研究［D］.成都:電子科技大學(xué)，2005:36－37.

［10］曾志中.基于貝葉斯算法的垃圾郵件過濾系統(tǒng)的分析與實(shí)現(xiàn)［D］.北京:北京郵電大學(xué)，2009:5－60.

［11］Wang Hui.Research on instruction detection algorithm based on dendritic cell algorithm［J］.Journal of Guangxi University for Nationalitiest:Natural Science Edition，2011(2):42－44.

［12］Julie Greensmith.Introducing dendritic cells as a novel immuneinspired algorithm for anomaly detection［C］∥Proceedings of 4th International Conference，ICARIS 2005，Banff，Alberta，Canada，2005:153－167.

［13］陳岳兵，馮 超.樹突狀細(xì)胞算法原理及其應(yīng)用［J］.計(jì)算機(jī)工程，2010，36(8):173－175.

［14］Dasgupta D，Yu Senhua，Majumdar N S.MILA－multilevel immune learning algorithm［C］∥Proceedings of GECCO，Chicago，2003:183－194.

［15］Al－Hammadi Y，Uwe Aickelin，Julie Greensmith.DCA for bot detection［C］∥Proceedings of the IEEE World Congress on Computational Intelligence(WCCI 2008)，Hong Kong，2008:1807－1816.