顏世瑩

（國(guó)家知識(shí)產(chǎn)權(quán)局專利局, 北京 100088）

1 引言

手機(jī)短信已經(jīng)融入到人們的日常生活。然而，垃圾短信也隨之而來(lái)并逐漸泛濫。愈演愈烈的垃圾短信不僅影響了人們的日常生活、浪費(fèi)了寶貴資源和時(shí)間、甚至破壞了和諧的社會(huì)環(huán)境。全面徹底地治理垃圾短信需要從立法、管理、技術(shù)、宣傳等多個(gè)角度進(jìn)行。其中，從技術(shù)角度建立高效的垃圾短信過(guò)濾機(jī)制具有較低的實(shí)施成本和實(shí)施難度，因此有必要深入研究垃圾短信的過(guò)濾技術(shù)并部署垃圾短信過(guò)濾系統(tǒng)。

從技術(shù)角度研究垃圾短信過(guò)濾可以分為“網(wǎng)絡(luò)服務(wù)器端”和“手機(jī)端”過(guò)濾兩類方案。前者指垃圾短信在到達(dá)目標(biāo)手機(jī)之前即被過(guò)濾，后者指通過(guò)手機(jī)中安裝的垃圾短信過(guò)濾軟件進(jìn)行短信過(guò)濾。鑒于手機(jī)端過(guò)濾時(shí)垃圾短信已經(jīng)送達(dá)并已對(duì)用戶造成了影響，因而網(wǎng)絡(luò)服務(wù)器端過(guò)濾方案的客戶感知效果要好很多。為此，本文將主要針對(duì)網(wǎng)絡(luò)服務(wù)器端的過(guò)濾。

主流的短信過(guò)濾機(jī)制包括針對(duì)短信發(fā)送者的靜態(tài)黑白單策略和針對(duì)短信內(nèi)容的字符串匹配策略。然而，僅依靠短信發(fā)送頻率、發(fā)送數(shù)量等單一行為準(zhǔn)則很難建立準(zhǔn)確的垃圾短信黑名單，常常造成誤判和漏判；而現(xiàn)有的比較短信內(nèi)容與預(yù)設(shè)關(guān)鍵詞是否匹配來(lái)決定短信投遞的方法很容易被垃圾短信發(fā)送者繞過(guò)。此外，單純地針對(duì)短信內(nèi)容的字符串匹配具有較高的計(jì)算復(fù)雜度和計(jì)算時(shí)延。為此，有必要研究準(zhǔn)確地、動(dòng)態(tài)地黑白名單構(gòu)建機(jī)制及簡(jiǎn)單高效的字符串匹配機(jī)制，并且結(jié)合兩者的優(yōu)點(diǎn)建立統(tǒng)一高效的垃圾短信過(guò)濾系統(tǒng)。

2 背景與需求

2.1 垃圾短信的定義和特征

盡管垃圾短信已經(jīng)充斥了我們的日常生活，但是準(zhǔn)確定義什么是垃圾短信仍然比較困難。到目前為止，無(wú)論是企業(yè)界還是學(xué)術(shù)界都沒(méi)有統(tǒng)一的、權(quán)威的定義。從用戶的觀點(diǎn)看，凡是來(lái)自于和自己沒(méi)有社交關(guān)系且超出用戶預(yù)期的發(fā)送者，同時(shí)，用戶認(rèn)為其不需要此信息的短信，均可視為垃圾短信。這是一個(gè)相對(duì)寬泛的描述性定義。然而，我們很難度量用戶是否需要此短信，因而這種定義缺乏可操作性。

為此，有必要從技術(shù)觀點(diǎn)描述垃圾短信的特征來(lái)輔助判斷和界定垃圾短信。通常具有以下6方面特征的短信均可視為本文研究的垃圾短信。(a) 社交缺失：短信的發(fā)送者和接受者基本沒(méi)有通信聯(lián)系；(b) 單向短信：短信的接收者針對(duì)短信回復(fù)率極低；(c) 內(nèi)容類別：常常為廣告類、涉黃類、欺詐類等信息；(d) 發(fā)送數(shù)量：相同或近似內(nèi)容短時(shí)間內(nèi)發(fā)送給成千上萬(wàn)甚至上百萬(wàn)目標(biāo)號(hào)碼；(e) 目標(biāo)號(hào)碼：短信的目標(biāo)號(hào)碼具有極高的相似性；(f) 短信位置：短信發(fā)送時(shí)常常位于單一位置。深入分析和識(shí)別以上6方面特征是件非常復(fù)雜的技術(shù)工作。采用何種工具和技術(shù)，對(duì)于以上這些信息進(jìn)行分析和處理，構(gòu)成了垃圾短信過(guò)濾和攔截的關(guān)鍵機(jī)制。

2.2 垃圾短信的發(fā)送方式

垃圾短信大致有兩種發(fā)送方式：SP(Service Provider)型短信和點(diǎn)對(duì)點(diǎn)型短信(見圖1，左側(cè)實(shí)曲線路徑代表SP型短信的發(fā)送路徑，右側(cè)實(shí)曲線代表點(diǎn)對(duì)點(diǎn)型短信)。前者通過(guò)運(yùn)營(yíng)商的短信接口系統(tǒng)或短信網(wǎng)關(guān)，利用計(jì)算機(jī)和互聯(lián)網(wǎng)進(jìn)行發(fā)送；后者通過(guò)普通的手機(jī)SIM卡或手機(jī)模塊，利用計(jì)算機(jī)短信群發(fā)軟件進(jìn)行大量發(fā)送。隨著短信資費(fèi)下降和短信優(yōu)惠套餐推出，點(diǎn)對(duì)點(diǎn)短信的發(fā)送成本急劇下降，加之運(yùn)營(yíng)商對(duì)SP型短信監(jiān)管的加強(qiáng)，近些年點(diǎn)對(duì)點(diǎn)方式的垃圾短信逐漸成為主流。

圖1 垃圾短信發(fā)送示意圖

2.3 垃圾短信的過(guò)濾需求

垃圾短信過(guò)濾系統(tǒng)的核心需求包括：(1) 對(duì)用戶侵?jǐn)_盡量少，最好在用戶不可知的情況下過(guò)濾垃圾短信；(2) 盡可能保證實(shí)時(shí)性，最好在尚未有任何用戶收到垃圾短信之前過(guò)濾；(3) 較高的檢出率；(4) 令人滿意的誤檢率。從技術(shù)上講，垃圾短信過(guò)濾本質(zhì)上是模式識(shí)別問(wèn)題。具有理想的較低的誤檢率是任何模式識(shí)別技術(shù)所必須的前提條件。

此外，系統(tǒng)還要滿足其他條件：(1) 支持可擴(kuò)展性和可伸縮性；(2) 支持動(dòng)態(tài)配置和自動(dòng)參數(shù)調(diào)節(jié)；(3) 支持與現(xiàn)網(wǎng)各相關(guān)網(wǎng)元的接口，例如與BOSS（Business& Operation Support System)、SMSC(Short Message Service Center)等；(4) 系統(tǒng)對(duì)現(xiàn)網(wǎng)系統(tǒng)改造小、成本低等。

3 垃圾短信過(guò)濾機(jī)制

圖2 垃圾短信過(guò)濾機(jī)制流程圖

本文提出的垃圾短信核心過(guò)濾機(jī)制見圖2。3.1～3.3節(jié)將從三個(gè)方面詳細(xì)描述相關(guān)細(xì)節(jié)。

3.1 非確定性動(dòng)態(tài)名單

不同于現(xiàn)有采用黑白名單的靜態(tài)過(guò)濾技術(shù)，本文采用非確定性動(dòng)態(tài)名單。短信發(fā)送號(hào)碼按照是否為垃圾號(hào)碼(為便于討論,將發(fā)送垃圾短信的號(hào)碼簡(jiǎn)稱為垃圾號(hào)碼)的可能性建立三份名單。白名單中存在垃圾號(hào)碼的概率為0%；黑名單中所有號(hào)碼均為垃圾號(hào)碼的概率為100%；灰名單中為可能的垃圾號(hào)碼并且按照概率由高到低進(jìn)行排列。通常將集團(tuán)類用戶、具有良好發(fā)送記錄的老用戶、已明確身份的用戶等納入白名單；將已經(jīng)檢測(cè)出發(fā)送垃圾短信行為的號(hào)碼納入黑名單；將處于兩者之間的號(hào)碼列入灰名單。名單內(nèi)容按照垃圾短信的過(guò)濾和確認(rèn)結(jié)果進(jìn)行動(dòng)態(tài)調(diào)整。

3.2 行為分析

垃圾短信發(fā)送者在發(fā)送行為上具有明顯特征，大多垃圾短信發(fā)送者都采用群發(fā)的方式進(jìn)行垃圾短信發(fā)送。由于對(duì)于短信內(nèi)容的判斷對(duì)系統(tǒng)性能的消耗較大，如果能夠從發(fā)送行為特征的角度對(duì)垃圾短信發(fā)送者進(jìn)行監(jiān)控則可以很大程度的節(jié)約過(guò)濾系統(tǒng)的系統(tǒng)開銷。此外，過(guò)濾系統(tǒng)的行為分析模型支持日常模式、節(jié)假日模式兩種監(jiān)控模式，在節(jié)假日采用節(jié)假日模式，適當(dāng)提高各指標(biāo)的閾值，在不影響業(yè)務(wù)量的前提下進(jìn)行監(jiān)控。

垃圾短信發(fā)送者行為分析的原理是對(duì)關(guān)鍵詞過(guò)濾算法確定的垃圾短信發(fā)送者的各種發(fā)送行為進(jìn)行統(tǒng)計(jì)，得出垃圾短信發(fā)送者發(fā)送行為規(guī)律的統(tǒng)計(jì)規(guī)律，某個(gè)用戶的短信發(fā)送行為符合垃圾短信發(fā)送者行為規(guī)律，則初步判定該用戶為垃圾短信發(fā)送者，利用關(guān)鍵詞過(guò)濾算法對(duì)其發(fā)送短信的內(nèi)容進(jìn)行抽查，如果有垃圾短信則認(rèn)定該用戶為垃圾短信發(fā)送者。

具體行為分析模型(特征字段可以擴(kuò)充，相應(yīng)閾值根據(jù)實(shí)際統(tǒng)計(jì)情況確定)見表1。

3.3 內(nèi)容分析

表1 垃圾短信行為建模

通過(guò)黑、白、灰名單以及短信發(fā)送行為的分析，將放行絕大多數(shù)正常短信，并識(shí)別出大部分垃圾短信。對(duì)于不太容易判斷的短信，結(jié)合灰名單，需要進(jìn)一步進(jìn)行內(nèi)容分析。

3.3.1 中文短信歸一化

中文短信歸一化指短信的內(nèi)容轉(zhuǎn)化為拼音或者模糊拼音。同時(shí)為了應(yīng)對(duì)垃圾短信中加入混淆的內(nèi)容，可以采取進(jìn)一步的歸一化措施。采用模糊匹配來(lái)查找關(guān)鍵字。為了降低誤檢率，可以限定模糊匹配的關(guān)鍵字之間的距離的范圍。例如“漂】據(jù)”關(guān)鍵字的距離為單位，中間隔了2個(gè)字節(jié)。如果間隔范圍過(guò)大，則認(rèn)為匹配不成功。這種策略主要是為了提高過(guò)濾算法的實(shí)用性。例如在傳統(tǒng)方法中，號(hào)碼“+86133xxxx9750”發(fā)送的垃圾短信“本公司有多行業(yè)專用【漂】據(jù)，稅點(diǎn)低，可網(wǎng)上查詢”，如使用發(fā)票、票據(jù)等關(guān)鍵詞均無(wú)法過(guò)濾。通過(guò)以上策略，采用歸一化后的短信可輕松檢出采用同音或近音字替換、加入混淆的垃圾短信。

3.3.2 短信內(nèi)容分析關(guān)鍵算法

關(guān)鍵詞過(guò)濾技術(shù)通常創(chuàng)建一些簡(jiǎn)單或復(fù)雜的與垃圾短信關(guān)聯(lián)的單詞表來(lái)識(shí)別垃圾短信。根據(jù)第一部分的分析可以了解到，每類垃圾短信都特定、經(jīng)常出現(xiàn)的一些關(guān)鍵詞，對(duì)這次關(guān)鍵詞建立相應(yīng)的關(guān)聯(lián)詞表，將用戶發(fā)送的短信利用分詞技術(shù)進(jìn)行分詞，然后利用KMP匹配算法匹配用戶發(fā)送的短信是否包含垃圾短信關(guān)聯(lián)詞表中所包含的關(guān)鍵，如果包含則判定該條短信為垃圾短信。具體算法如下：

（1）收集大量的垃圾短信和非垃圾短信，建立垃圾短信集和非垃圾短信集。

（2）提取特征來(lái)源中的獨(dú)立字符串，例如 AAA等作為TOKEN串并統(tǒng)計(jì)提取出的TOKEN串出現(xiàn)的次數(shù)即字頻。按照上述的方法分別處理垃圾短信集和非垃圾短信集中的所有短信。

（3）每一個(gè)短信集對(duì)應(yīng)一個(gè)散列表，hashtable_good對(duì)應(yīng)非垃圾短信集而hashtable_bad對(duì)應(yīng)垃圾短信集。表中存儲(chǔ)TOKEN串到字頻的映射關(guān)系。

（4）計(jì)算每個(gè)散列表中TOKEN串出現(xiàn)的概率P=(某TOKEN串的字頻)/(對(duì)應(yīng)散列表的長(zhǎng)度)。

（5）綜合考慮hashtable_good和hashtable_bad，推斷出當(dāng)新來(lái)的短信中出現(xiàn)某個(gè)TOKEN串時(shí)，該新短信為垃圾短信的概率。數(shù)學(xué)表達(dá)式為：A事件表示短信為垃圾短信；t1,t2…….tn代表 TOKEN串；則P(A|ti)表示在短信中出現(xiàn)TOKEN串ti時(shí)，該短信為垃圾短信的概率。設(shè)P1(ti)=ti在hashtable_good中的值，P2(ti)=ti在hashtable_bad中的值，則P(A|ti)=P2(ti)/[(P1(ti)+P2(ti)]。

（6）建立新的散列表hashtable_probability存儲(chǔ)TOKEN串ti到P(A|ti)的映射。

（7）根據(jù)建立的散列表 hashtable_probability可以估計(jì)一新到的短信為垃圾短信的可能性。 當(dāng)新到一條短信時(shí)，按照步驟2，生成TOKEN串。查詢hashtable_probability得到該TOKEN串的鍵值。假設(shè)由該短信共得到N個(gè)TOKEN串，t1,t2…….tn,hashtable_probability中對(duì)應(yīng)的值為P1，P2，……PN，P(A|t1，t2，t3……tn) 表示在短信中同時(shí)出現(xiàn)多個(gè)TOKEN串t1，t2……tn時(shí)，該短信為垃圾短信的概率。由復(fù)合概率公式可得：P(A|t1，t2，t3……tn)=(P1×P2×……PN)/[P1×P2×……PN+(1-P1)×(1-P2)×……（1-PN)]。當(dāng)P(A|t1，t2，t3……tn)超過(guò)預(yù)定閾值時(shí)，就可以判斷短信為垃圾短信。

（8）當(dāng)新短信到達(dá)的時(shí)候，就通過(guò)關(guān)鍵詞過(guò)濾器分析，通過(guò)使用各個(gè)特征來(lái)計(jì)算短信是垃圾的概率。通過(guò)不斷的分析，過(guò)濾器也不斷地獲得自更新。比如，通過(guò)各種特征判斷一個(gè)包含單詞AAA的短信是垃圾，那么單詞AAA成為垃圾短信特征的概率就增加了。

4 系統(tǒng)設(shè)計(jì)和原型實(shí)現(xiàn)

4.1 系統(tǒng)分析與設(shè)計(jì)

4.1.1 系統(tǒng)總體結(jié)構(gòu)

垃圾短信過(guò)濾系統(tǒng)的總體結(jié)構(gòu)分為6層(見圖3)，第0層為數(shù)據(jù)源層、第1層為數(shù)據(jù)采集層、第2層為數(shù)據(jù)存儲(chǔ)層、第3層為數(shù)據(jù)分析層、第4層為系統(tǒng)互動(dòng)層、第5層為過(guò)濾攔截層。其中，第0層為數(shù)據(jù)源層為邏輯層，是對(duì)數(shù)據(jù)源的邏輯抽象。其余各層具體功能描述如下：

圖3 垃圾短信過(guò)濾系統(tǒng)的總體結(jié)構(gòu)

（1）數(shù)據(jù)采集層。該層從短信中心以FTP方式獲得點(diǎn)對(duì)點(diǎn)短信原始數(shù)據(jù)文件，文件中記錄包括短信主、被叫號(hào)碼，短信發(fā)送時(shí)間，短信內(nèi)容；短信中心作為服務(wù)器端。

（2）數(shù)據(jù)存儲(chǔ)層。該層對(duì)數(shù)據(jù)源傳過(guò)來(lái)的數(shù)據(jù)進(jìn)行存儲(chǔ)。主要完成對(duì)文件數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載，通過(guò)該過(guò)程將原始數(shù)據(jù)轉(zhuǎn)換到分析數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

（3）數(shù)據(jù)分析層。該層作為垃圾短信過(guò)濾系統(tǒng)的核心層，負(fù)責(zé)垃圾短信的分析和中間模型的建立。包括如下軟件模塊：(a) 數(shù)據(jù)分析模塊。分析的短信屬性包括連續(xù)發(fā)送短信時(shí)間超長(zhǎng)、連續(xù)發(fā)送到不同被叫號(hào)碼、被叫號(hào)碼具有規(guī)律性、單位時(shí)間發(fā)送短信過(guò)多、一定時(shí)間發(fā)送短信過(guò)多、連續(xù)單位時(shí)間發(fā)送次數(shù)平均數(shù)等；(b)異常用戶分析模塊。通過(guò)對(duì)用戶屬性的分析，對(duì)于異常的用戶進(jìn)行進(jìn)一步的分析；(c) 客戶知識(shí)庫(kù)模型。建立相關(guān)的行為模型并進(jìn)行調(diào)度和運(yùn)算，對(duì)黑白名單的客戶輪廓(短信發(fā)送頻率、時(shí)間段、被叫號(hào)碼的連續(xù)性等)進(jìn)行全面的描述。(d) 統(tǒng)計(jì)查詢模塊。滿足操作人員對(duì)用戶數(shù)據(jù)的查詢需求，包括黑白名單查詢、異常用戶信息查詢、按照地域、短信內(nèi)容、短信發(fā)送頻次等條件進(jìn)行查詢、垃圾短信內(nèi)容分類查詢等。

（4）系統(tǒng)互動(dòng)層。該層對(duì)垃圾短信的確認(rèn)和對(duì)垃圾短信攔截的派單工作，包含如下軟件模塊：(a) 垃圾短信確認(rèn)。通過(guò)人工的方式對(duì)垃圾短信進(jìn)行確認(rèn)；(b) 垃圾短信攔截派單。如果經(jīng)人工確認(rèn)為垃圾短信號(hào)碼，則根據(jù)垃圾短信由BOSS系統(tǒng)向HLR、關(guān)口局、匯接局發(fā)送號(hào)碼攔截指令，向系統(tǒng)發(fā)送垃圾短信黑名單，由系統(tǒng)轉(zhuǎn)發(fā)SMSC進(jìn)行過(guò)濾，并把BOSS系統(tǒng)反饋的黑名單結(jié)果記錄到垃圾短信過(guò)濾系統(tǒng)中，由客戶知識(shí)庫(kù)進(jìn)行管理。

（5）過(guò)濾攔截層。該層提供嫌疑名單給BOSS，由后者根據(jù)名單內(nèi)容分別發(fā)送停機(jī)指令和屏蔽指令到HLR、關(guān)口局和匯接局。垃圾短信攔截功能具體由HLR或SMSC實(shí)現(xiàn)。

4.1.2 系統(tǒng)部署結(jié)構(gòu)

系統(tǒng)采用模塊化設(shè)計(jì)，多層化系統(tǒng)技術(shù)架構(gòu)，層與層之間相互獨(dú)立，數(shù)據(jù)通過(guò)內(nèi)部接口傳遞，每層數(shù)據(jù)結(jié)構(gòu)的改變不影響其他層的結(jié)構(gòu)，有利于系統(tǒng)的擴(kuò)展。因此系統(tǒng)相對(duì)獨(dú)立，支持多種數(shù)據(jù)源的采集，不受數(shù)據(jù)采集方式的影響。系統(tǒng)由三類節(jié)點(diǎn)組成：采集節(jié)點(diǎn)、分析節(jié)點(diǎn)、管理節(jié)點(diǎn)，如圖4所示。

（1）采集節(jié)點(diǎn)。垃圾短信采集節(jié)點(diǎn)需要從短信內(nèi)容和短信發(fā)送方式兩個(gè)方面著手，采用關(guān)鍵詞過(guò)濾和概率算法對(duì)短信內(nèi)容進(jìn)行監(jiān)控。

（2）分析節(jié)點(diǎn)。垃圾短信分析節(jié)點(diǎn)負(fù)責(zé)大量復(fù)雜的數(shù)據(jù)處理和綜合分析，對(duì)原始數(shù)據(jù)進(jìn)行分析，并進(jìn)行沉淀，為垃圾短信分析提供數(shù)據(jù)和運(yùn)算的基礎(chǔ)。該節(jié)點(diǎn)部署數(shù)據(jù)挖掘軟件，從數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)，調(diào)度和運(yùn)算各種模型，并將運(yùn)算結(jié)果返回到數(shù)據(jù)庫(kù)中。

（3）管理節(jié)點(diǎn)。垃圾短信管理節(jié)點(diǎn)提供人工確認(rèn)界面、查詢統(tǒng)計(jì)、系統(tǒng)管理等功能，提供與BOSS、SMSC的接口，用戶傳輸灰名單和黑名單。系統(tǒng)管理主要包含如下功能：(a) 操作員管理，包括操作員信息管理、增加、刪除、修改操作員、操作人員權(quán)限管理等；(b) 操作員日志管理，包括操作員對(duì)疑似騷擾號(hào)碼確認(rèn)結(jié)果、操作員攔截工單派發(fā)記錄、攔截反饋記錄等；(c)攔截有效期管理，對(duì)攔截有效期進(jìn)行設(shè)定和修改，攔截有效期過(guò)后，將不再對(duì)騷擾電話號(hào)碼進(jìn)行通話攔截；(d)系統(tǒng)參數(shù)配置，對(duì)話單采集頻度、話單保存時(shí)長(zhǎng)等系統(tǒng)參數(shù)進(jìn)行配置管理。

圖4 垃圾短信過(guò)濾系統(tǒng)的系統(tǒng)部署結(jié)構(gòu)

4.2 原型實(shí)現(xiàn)與驗(yàn)證

采用C++語(yǔ)言實(shí)現(xiàn)了該系統(tǒng)的關(guān)鍵算法和原型。從現(xiàn)網(wǎng)隨機(jī)采集某時(shí)段的40萬(wàn)條短信進(jìn)行驗(yàn)證分析。由于采用了非確定性動(dòng)態(tài)名單、歸一化關(guān)鍵字過(guò)濾等技術(shù)手段，一方面大大提高了過(guò)濾速度，另一方面也顯著提高過(guò)濾的準(zhǔn)確性。

5 結(jié)束語(yǔ)

日益泛濫的垃圾短信已經(jīng)成為了一個(gè)亟需解決的重要課題。當(dāng)前的垃圾短信過(guò)濾技術(shù)很難滿足過(guò)濾的準(zhǔn)確性與實(shí)時(shí)性要求。本文提出一種基于行為和內(nèi)容協(xié)作分析的垃圾短信過(guò)濾機(jī)制并構(gòu)建了原型系統(tǒng)。該系統(tǒng)可以大幅提高垃圾短信的過(guò)濾效率和效果。

[1] 中國(guó)移動(dòng)通信有限公司. 垃圾短信監(jiān)控平臺(tái)接口規(guī)范V1.0.0[S].2007.

[2] 中國(guó)移動(dòng)通信有限公司. 垃圾短信監(jiān)控平臺(tái)設(shè)備規(guī)范V1.0.0[S].2007.

[3] 中國(guó)移動(dòng)通信有限公司. 垃圾短信監(jiān)控平臺(tái)總體技術(shù)要求V1.0.0[S].2007.