董婷梅

【摘 要】開展人工智能數(shù)據(jù)分析技術(shù)研究，研究掌握運(yùn)用人工智能數(shù)據(jù)分析技術(shù)實(shí)現(xiàn)智能過濾短信；集成采用智能分析算法、文本挖掘、中文分詞、文本搜索算法及神經(jīng)網(wǎng)絡(luò)智能分析等技術(shù)手段，自動(dòng)實(shí)現(xiàn)對(duì)垃圾信息的準(zhǔn)確分類過濾；建立一套科學(xué)合理和可操作性強(qiáng)的垃圾短信治理重要技術(shù)方案。

【關(guān)鍵詞】垃圾短信；人工智能；自動(dòng)過濾

【中圖分類號(hào)】TN929.53 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2018）09-0040-02

1 概述

1.1 業(yè)務(wù)背景

隨著無線通信服務(wù)功能的不斷增強(qiáng)和完善，短信業(yè)務(wù)在為用戶提供便捷消息服務(wù)的同時(shí)，也為垃圾信息的傳播提供了一條方便的渠道。隨著我國(guó)移動(dòng)通信網(wǎng)絡(luò)建設(shè)的不斷完善及越來越多的可提供給用戶短信服務(wù)的平臺(tái)的出現(xiàn)，垃圾短信有愈演愈烈的趨勢(shì)。

1.2 垃圾短信的現(xiàn)狀

每次重大商家節(jié)日（如“6·18”“雙11”），促銷短信空前地多。商家發(fā)來的大量促銷短信表明，垃圾短信并沒有遠(yuǎn)離，也沒有得到成功治理。國(guó)家和運(yùn)營(yíng)商已大力治理垃圾短信多年，現(xiàn)如今短信都很少人用了，為什么垃圾短信還在發(fā)？這是因?yàn)檫@類促銷短信帶有很強(qiáng)的隱蔽性，很多短信是以電商賣家的名義發(fā)送的。網(wǎng)購(gòu)必須留下正確的電話號(hào)碼，所以當(dāng)收到這類促銷短信時(shí)，以為商家只是換了一個(gè)平臺(tái)發(fā)出促銷信息而已，甚至不認(rèn)為其是垃圾短信。但這當(dāng)中存在潛在的風(fēng)險(xiǎn)，很多詐騙短信會(huì)借“雙11”之機(jī)偽裝成促銷短信，誘使消費(fèi)者上當(dāng)受騙。有些促銷短信鏈接中可能藏有木馬病毒，如果用戶輕信商家發(fā)送的促銷短信而去點(diǎn)擊鏈接，很有可能被詐騙分子竊取網(wǎng)銀賬戶等信息。

1.3 垃圾短信的治理要求

垃圾信息是指未經(jīng)用戶同意向用戶發(fā)送的用戶不愿意收到的短信息，或用戶不能根據(jù)自己的意愿拒絕接收的短信息，就可判定為垃圾短信。垃圾短信有兩個(gè)重要屬性：？譹？訛未經(jīng)用戶同意向用戶發(fā)送的商業(yè)類、廣告類等短信息；？譺？訛其他違反行業(yè)自律性規(guī)范的短信息。

2015年5月28日，工業(yè)和信息化部發(fā)布《通信短信息服務(wù)管理規(guī)定》新規(guī)：短信息服務(wù)提供者、短信息內(nèi)容提供者未經(jīng)用戶同意或者請(qǐng)求，不得向其發(fā)送商業(yè)性短信息。違者可處1萬(wàn)元以上3萬(wàn)元以下罰款。

2 運(yùn)營(yíng)商級(jí)垃圾短信過濾平臺(tái)

2.1 總體目標(biāo)

面對(duì)大數(shù)據(jù)環(huán)境下海量垃圾短信的過濾需求，電信運(yùn)營(yíng)商可從源頭治理垃圾段，對(duì)以高維性、稀疏性和具有人為擾動(dòng)特性為主要特征的海量垃圾短信文本識(shí)別的關(guān)鍵技術(shù)和方法展開全面、深入的研究，通過構(gòu)建人為擾動(dòng)的用戶行為模型實(shí)現(xiàn)對(duì)高維、稀疏海量文本的高效分詞，采用國(guó)際領(lǐng)先的自然語(yǔ)言理解技術(shù)對(duì)短信文本數(shù)據(jù)進(jìn)行深層次的語(yǔ)義分析，能根據(jù)數(shù)據(jù)的內(nèi)容自動(dòng)進(jìn)行文本數(shù)據(jù)特征提取、文本數(shù)據(jù)特征之間的關(guān)系提取及信息重要性的計(jì)算，構(gòu)建短信文本的數(shù)據(jù)語(yǔ)義表達(dá)模型，利用針對(duì)低質(zhì)數(shù)據(jù)的快速降維算法實(shí)現(xiàn)高維短信文本的高效降維，然后結(jié)合現(xiàn)有的數(shù)據(jù)分類方法和深度學(xué)習(xí)方法，實(shí)現(xiàn)基于云平臺(tái)的短信文本快速自適應(yīng)識(shí)別和攔截，針對(duì)海量數(shù)據(jù)分析導(dǎo)致過濾云的傳輸壓力加大、擴(kuò)容成本增加，以及高負(fù)載導(dǎo)致傳輸時(shí)延大等問題。

2.2 主要內(nèi)容

垃圾短信識(shí)別和攔截的難處主要體現(xiàn)在兩個(gè)方面，一方面短信是典型的以海量性、高維性、稀疏性為主要特征的電子文本，特別是在大數(shù)據(jù)環(huán)境垃圾短信（包括廣告短信）識(shí)別的高效性和實(shí)時(shí)性對(duì)識(shí)別方法及其所依賴的計(jì)算平臺(tái)提出了新的挑戰(zhàn)；另一方面垃圾短信的干擾性，由于廣告或詐騙性目的，很多垃圾短信都被人為地加入了一些干擾信息（人為擾動(dòng)），從而進(jìn)一步加大了識(shí)別的難度。相關(guān)研究?jī)?nèi)容主要包括以下方面：？譹？訛面向具有人為擾動(dòng)特性的短信文本的分詞系統(tǒng)。與普通文本不同，垃圾短信文本不但具有高維性、稀疏性和海量的特征，而且還包含了用戶人為加入的一些干擾信息，使得分詞問題變得更加復(fù)雜，已有的分詞系統(tǒng)顯得“力不從心”?？赏ㄟ^建立人為擾動(dòng)的用戶行為模型，并依據(jù)小世界理論，建立面向垃圾短信的詞共現(xiàn)網(wǎng)絡(luò)模型，最后基于該網(wǎng)絡(luò)模型實(shí)現(xiàn)對(duì)短信文本的高效分詞。？譺？訛基于自然語(yǔ)言理解技術(shù)的語(yǔ)義文本特征提取方法及語(yǔ)義表達(dá)模型。利用自然語(yǔ)言理解技術(shù)對(duì)短信文本數(shù)據(jù)進(jìn)行深層次的語(yǔ)義分析，提出短信文本數(shù)據(jù)特征提取、短信文本數(shù)據(jù)特征之間的關(guān)系提取方法及重要信息的度量方法和計(jì)算方法，并利用提取的語(yǔ)義特征構(gòu)建短信文本的數(shù)據(jù)語(yǔ)義表達(dá)模型。？譻？訛基于云平臺(tái)的快速降維方法。由于短信文本數(shù)據(jù)特有的稀疏性可能會(huì)導(dǎo)致在降維過程中出現(xiàn)大量的數(shù)據(jù)碎片，嚴(yán)重影響降維效率。可依托云計(jì)算平臺(tái)的數(shù)據(jù)加速性能及龐大的云存儲(chǔ)能力，降低甚至消除數(shù)據(jù)碎片對(duì)降維效率的影響，從而對(duì)海量短信文本的物理符號(hào)模型和語(yǔ)義表達(dá)模型進(jìn)行快速降維。？譼？訛基于改進(jìn)的數(shù)據(jù)分類方法實(shí)現(xiàn)對(duì)海量短信文本的快速自適應(yīng)識(shí)別?，F(xiàn)有的文本數(shù)據(jù)分類方法主要是基于單機(jī)運(yùn)行的，這決定了它們難以適應(yīng)在大數(shù)據(jù)環(huán)境對(duì)海量文本進(jìn)行分類。從神經(jīng)網(wǎng)絡(luò)發(fā)展起來的深度學(xué)習(xí)目前在海量數(shù)據(jù)處理方面已有許多成功的應(yīng)用。由于其深度層次網(wǎng)絡(luò)結(jié)點(diǎn)的增加，訓(xùn)練所耗費(fèi)的時(shí)間和空間開銷也會(huì)大大地增加。同樣，依托于構(gòu)建的云計(jì)算平臺(tái)，完全可以“消費(fèi)”這種時(shí)間和空間開銷。因此，基于已降維的海量短信文本的物理符號(hào)模型和語(yǔ)義表達(dá)模型，建立文本的語(yǔ)義索引，將深度學(xué)習(xí)和有關(guān)數(shù)據(jù)分類方法結(jié)合起來，構(gòu)造高效的、面向海量數(shù)據(jù)文本的數(shù)據(jù)語(yǔ)義分類方法，實(shí)現(xiàn)對(duì)垃圾短信的快速自適應(yīng)識(shí)別。？譽(yù)？訛流量緩存技術(shù)研究。針對(duì)短信過濾系統(tǒng)占用服務(wù)器資源，導(dǎo)致通信效率和響應(yīng)速度慢等問題，通過結(jié)合智能緩存、云存儲(chǔ)和智能調(diào)度等先進(jìn)技術(shù)，將人工擾動(dòng)識(shí)別的中間結(jié)果通過負(fù)載均衡緩存到網(wǎng)內(nèi)，減少服務(wù)器資源占用，提高通信效率和響應(yīng)速度，保障系統(tǒng)能夠可持續(xù)穩(wěn)定運(yùn)行和快速處理海量數(shù)據(jù)。

2.3 關(guān)鍵技術(shù)問題

？譹？訛人為擾動(dòng)信息極具多樣性和主觀性，并且這種多樣性和主觀性具有時(shí)變演化特性。需構(gòu)建人為擾動(dòng)的用戶行為模型，該模型能夠自主地學(xué)習(xí)這些特性的演變趨勢(shì)和規(guī)律，從而為具有人為擾動(dòng)信息的短信文本的分詞提供依據(jù)。？譺？訛短信本文包含的信息量十分有限，甚至有的還包含錯(cuò)誤信息，因此從中提取有效的語(yǔ)義信息是本項(xiàng)目涉及的另一個(gè)關(guān)鍵技術(shù)。需利用自然語(yǔ)言理解技術(shù)對(duì)短信文本數(shù)據(jù)進(jìn)行深層次的語(yǔ)義分析，設(shè)計(jì)短信文本數(shù)據(jù)特征提取方法。？譻？訛基于云計(jì)算平臺(tái)，實(shí)現(xiàn)對(duì)海量短信文本的快速自適應(yīng)識(shí)別是本項(xiàng)目的核心技術(shù)。需將有關(guān)數(shù)據(jù)分類方法和深度學(xué)習(xí)結(jié)合起來，提出快速的自適應(yīng)短信文本語(yǔ)義分類方法，實(shí)現(xiàn)對(duì)垃圾短信文本的快速識(shí)別和攔截。？譼？訛如何利用自主的加速技術(shù)解決云過濾平臺(tái)的傳輸插件通信效率問題，并實(shí)現(xiàn)良好的用戶體驗(yàn)和交互性操作體驗(yàn)。？譽(yù)？訛系統(tǒng)設(shè)計(jì)如何模塊化問題，設(shè)計(jì)上做到模塊清晰、接口開放，利于進(jìn)行二次開發(fā)和系統(tǒng)擴(kuò)展。

3 平臺(tái)功能

運(yùn)營(yíng)商級(jí)過濾平添的處理能力需達(dá)到1萬(wàn)條/s以上，系統(tǒng)應(yīng)主要包含如下業(yè)務(wù)功能：關(guān)鍵字自動(dòng)過濾、自動(dòng)檢測(cè)過濾、用戶行為監(jiān)測(cè)過濾、節(jié)假日模式過濾、建立可疑短消息庫(kù)、滿足相應(yīng)的過濾規(guī)則、分級(jí)處理、黑名單過濾、白名單放行、紅名單放行、灰名單審核、查詢、過濾提示或告警、監(jiān)測(cè)結(jié)果日志存儲(chǔ)和統(tǒng)計(jì)分析、報(bào)表功能、權(quán)限管理、系統(tǒng)輸出和行業(yè)短信專項(xiàng)監(jiān)控等。系統(tǒng)功能結(jié)構(gòu)如圖1所示。

各模塊功能簡(jiǎn)介如下：？譹？訛SMPP信令接口/協(xié)議解釋，負(fù)責(zé)接收來自短信中心、互通網(wǎng)關(guān)、業(yè)務(wù)網(wǎng)關(guān)的短信，將短信數(shù)據(jù)入庫(kù)，并轉(zhuǎn)發(fā)到上層應(yīng)用數(shù)據(jù)業(yè)務(wù)邏輯進(jìn)行過濾處理；將過濾結(jié)果返還相關(guān)的短信中心。？譺？訛樣本庫(kù)過濾，根據(jù)配置的關(guān)鍵詞庫(kù)，對(duì)短信內(nèi)容進(jìn)行智能分析。本模塊為核心功能，綜合應(yīng)用了大量先進(jìn)技術(shù)手段實(shí)現(xiàn)對(duì)文字信息的準(zhǔn)確分類過濾，最大限度地提高過濾的判斷率，降低誤判率。？譻？訛行為分析執(zhí)行模塊執(zhí)行包括發(fā)送頻率、相似度、萬(wàn)號(hào)段命中率等方面的處理，對(duì)用戶發(fā)送短信行為進(jìn)行統(tǒng)計(jì)分析，根據(jù)既定的判斷規(guī)則過濾短信。？譼？訛調(diào)度核心，負(fù)責(zé)根據(jù)用戶配置的時(shí)間間隔，調(diào)用各個(gè)模塊功能模塊，協(xié)調(diào)系統(tǒng)CPU、時(shí)間片等資源。？譽(yù)？訛其他模塊，包括日志、配置、網(wǎng)管等，用于系統(tǒng)維護(hù)、監(jiān)控。

4 總結(jié)

電信運(yùn)營(yíng)商作為國(guó)家民生應(yīng)用服務(wù)類企業(yè)，應(yīng)承擔(dān)起相應(yīng)的社會(huì)責(zé)任，從源頭上治理垃圾短信。早在2008年，工信部就曾開展專項(xiàng)行動(dòng)打擊垃圾短信短信行動(dòng)，但時(shí)至今日，垃圾短信愈演愈烈。電信運(yùn)營(yíng)商不但要建設(shè)垃圾短信過濾系統(tǒng)，還要不斷優(yōu)化系統(tǒng)，以應(yīng)對(duì)復(fù)雜多變的市場(chǎng)環(huán)境。

參 考 文 獻(xiàn)

[1]沈超，黃衛(wèi)東.數(shù)據(jù)挖掘在垃圾短信過濾中的應(yīng)用[J].電子科技大學(xué)學(xué)報(bào)，2009（38）：21-24.

[2]張明旺.基于內(nèi)容的垃圾短信分類技術(shù)研究[J].信息與電腦，2015（24）：28-30.

[3]楊憶，李建國(guó)，葛方振.基于Scikit-Learn的垃圾短信過濾方法實(shí)證研究[J].淮北師范大學(xué)學(xué)報(bào)，2016（4）：

39-41.

[4]葛廣為.貝葉斯分類在垃圾短信過濾中的應(yīng)用[D].昆明：云南財(cái)經(jīng)大學(xué)，2015.

[責(zé)任編輯：鐘聲賢]