一、通信領(lǐng)域大數(shù)據(jù)處理關(guān)鍵技術(shù)概述

（一）通信數(shù)據(jù)采集與預(yù)處理

通信大數(shù)據(jù)的來(lái)源高度異構(gòu)，涉及網(wǎng)絡(luò)、業(yè)務(wù)、終端、外部數(shù)據(jù)等多個(gè)維度。如何采集、整合和管理多源數(shù)據(jù)，是大數(shù)據(jù)應(yīng)用的首要問(wèn)題。針對(duì)數(shù)據(jù)源的差異性，需要設(shè)計(jì)統(tǒng)一的數(shù)據(jù)采集接口，制定標(biāo)準(zhǔn)的數(shù)據(jù)交換格式，如XML、JSON等，并通過(guò)ETL工具實(shí)現(xiàn)不同數(shù)據(jù)源的抽取、清洗、轉(zhuǎn)換與加載。在數(shù)據(jù)預(yù)處理階段，通過(guò)字段映射、語(yǔ)義識(shí)別等技術(shù)，將異構(gòu)數(shù)據(jù)字段統(tǒng)一編碼，可以實(shí)現(xiàn)語(yǔ)義層面的互操作[3]。

（二）通信大數(shù)據(jù)的分布式存儲(chǔ)優(yōu)化

通信大數(shù)據(jù)對(duì)存儲(chǔ)系統(tǒng)的擴(kuò)展性、可靠性提出了苛刻的要求。目前，主流的分布式存儲(chǔ)系統(tǒng)包括HDFS、HBase、Kudu等，它們?cè)谕掏铝?、容錯(cuò)性、負(fù)載均衡等方面各有優(yōu)勢(shì)。系統(tǒng)選型要綜合考慮數(shù)據(jù)量、數(shù)據(jù)類型、訪問(wèn)模式等因素。同時(shí)，存儲(chǔ)系統(tǒng)的可用性直接關(guān)系到上層業(yè)務(wù)，因此，在實(shí)際部署中需進(jìn)行優(yōu)化配置。以HDFS為例，通過(guò)調(diào)整文件塊大小、副本數(shù)、回收策略等參數(shù)，可以顯著提升磁盤I/O性能。對(duì)于時(shí)效性要求高的數(shù)據(jù)，可以利用SSD來(lái)構(gòu)建高速緩存層。HBase針對(duì)列簇存儲(chǔ)進(jìn)行了優(yōu)化，適合存儲(chǔ)超寬表。而Kudu采用Raft協(xié)議來(lái)保證數(shù)據(jù)一致性，并支持更新和刪除操作，廣泛應(yīng)用于實(shí)時(shí)數(shù)據(jù)分析場(chǎng)景。

（三）構(gòu)建客戶投訴預(yù)測(cè)模型

1.基于深度信念網(wǎng)絡(luò)的投訴預(yù)測(cè)

深度信念網(wǎng)絡(luò)（DBN）是一種前沿的深度學(xué)習(xí)模型，善于學(xué)習(xí)數(shù)據(jù)內(nèi)在的多層次特征表示。將DBN應(yīng)用于客戶投訴預(yù)測(cè)，可顯著提升預(yù)測(cè)的精準(zhǔn)度。不同于傳統(tǒng)人工特征提取方法，DBN能夠自動(dòng)從海量文本數(shù)據(jù)中學(xué)習(xí)高階特征，克服人工特征的局限性[5]。

實(shí)驗(yàn)結(jié)果表明，DBN提取的特征具有更強(qiáng)的表達(dá)能力和判別力，使預(yù)測(cè)準(zhǔn)確率提高了 7 . 1 % 。圖1展示了基于DBN的投訴預(yù)測(cè)模型架構(gòu)，采用隨機(jī)森林（RandomForest，RF）和邏輯回歸（Logisticreges-sion，LR）兩種經(jīng)典的分類算法，充分利用DBN學(xué)習(xí)到的深層特征，實(shí)現(xiàn)投訴問(wèn)題的精準(zhǔn)判別。

2.基于LSTM的客戶投訴預(yù)測(cè)模型

客戶投訴與網(wǎng)絡(luò)故障相關(guān)聯(lián)，且投訴數(shù)據(jù)具有時(shí)序性，使傳統(tǒng)模型難以捕捉時(shí)間上的依賴關(guān)系。LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)），作為一種擅長(zhǎng)時(shí)序處理的深度學(xué)習(xí)架構(gòu)，憑借其門控機(jī)制與記憶單元，能夠有效捕捉長(zhǎng)距離依賴，預(yù)測(cè)精準(zhǔn)。本文創(chuàng)新提出LSTM投訴預(yù)測(cè)模型，以故障數(shù)據(jù)為源，投訴數(shù)據(jù)為標(biāo)，構(gòu)建了從故障到投訴的映射關(guān)系。經(jīng)過(guò)訓(xùn)練，該模型能夠根據(jù)實(shí)時(shí)的故障流，預(yù)估投訴概率，并提供有效的預(yù)警。

數(shù)據(jù)以滑動(dòng)窗口構(gòu)建，T為窗長(zhǎng)，輸入序列為前T故障數(shù)據(jù)，輸出對(duì)應(yīng)投訴數(shù)據(jù)。此方式生成豐富樣本。模型先以利用嵌入層對(duì)故障特征進(jìn)行降維處理，再饋入LSTM層。LSTM通過(guò)輸入、遺忘、輸出三門協(xié)同，控制記憶更新，處理長(zhǎng)期依賴，緩解RNN的梯度消失問(wèn)題。

LSTM輸出高階特征，經(jīng)全連接層預(yù)測(cè)投訴概率。

訓(xùn)練采用多分類交叉熵與Adam優(yōu)化，反向傳播調(diào)參，使誤差最小化。推理時(shí)，僅需輸入故障數(shù)據(jù)，即可實(shí)時(shí)預(yù)測(cè)投訴趨勢(shì)，助力預(yù)警與調(diào)度決策。

（1）LSTM模型

LSTM是RNN的改進(jìn)版，擅長(zhǎng)處理序列數(shù)據(jù)，但RNN易遭遇梯度問(wèn)題，難學(xué)長(zhǎng)距離依賴。LSTM通過(guò)引入記憶單元與門控機(jī)制（遺忘、輸入、輸出門），精細(xì)調(diào)控信息流動(dòng)，解決了長(zhǎng)期依賴問(wèn)題。盡管LSTM結(jié)構(gòu)復(fù)雜，訓(xùn)練效率低，但通過(guò)改進(jìn)門限機(jī)制，如公式（1）至（6）所示，優(yōu)化隱藏層輸出 h t 的計(jì)算，提升了模型性能，能夠有效捕捉序列中的長(zhǎng)短期依賴關(guān)系。

在神經(jīng)網(wǎng)絡(luò)架構(gòu)中，權(quán)重矩陣 W 橋接模型層間，調(diào)控信息傳遞；偏置向量 b 則作為調(diào)整因子，增強(qiáng)了模型的適應(yīng)性。 ∣ c ∣ 作為記憶單元的核心，存儲(chǔ)并處理歷史信息。σ 與Tanh作為激活函數(shù)，賦予神經(jīng)元非線性能力，各展所長(zhǎng)。 σ 限值于（0.1），便于調(diào)控信息流通情況；Tanh則擴(kuò)展至（-1，1），適應(yīng)更廣的激活需求。

此外，i、 門控機(jī)制能夠精細(xì)調(diào)控記憶單元，有效篩選并保留關(guān)鍵信息，克服了RNN處理長(zhǎng)序列時(shí)的挑戰(zhàn)，顯著提升了模型在捕捉長(zhǎng)期依賴方面的能力。

（2）基于LSTM的客戶投訴預(yù)測(cè)模型根據(jù)LSTM模型，選取特定的分類器，構(gòu)建出預(yù)測(cè)模型，如圖2所示。 x t 代表特定時(shí)間點(diǎn)，t的故障數(shù)據(jù)輸入；LSTM模型由公式（2）至（6）詳盡定義，負(fù)責(zé)處理這些數(shù)據(jù)。在 時(shí)刻， h 作為輸出特征，深刻揭示了故障數(shù)據(jù)的內(nèi)在含義。f作為非線性映射工具，能夠靈活轉(zhuǎn)換故障數(shù)據(jù)，以適配LSTM輸入。 g 作為分類組件，在實(shí)踐中可選用softmax等先進(jìn)分類器。 y t 為客戶投訴數(shù)據(jù)，在訓(xùn)練階段是已知的，而在預(yù)測(cè)時(shí)則通過(guò)圖2模型結(jié)合故障數(shù)據(jù) h 進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)對(duì)客戶投訴的精準(zhǔn)預(yù)判。

二、流量經(jīng)營(yíng)模型

近年來(lái)，國(guó)內(nèi)語(yǔ)音通話總時(shí)長(zhǎng)已連續(xù)二十個(gè)月顯現(xiàn)下滑態(tài)勢(shì)，截然不同的是，數(shù)據(jù)流量的使用量卻持續(xù)走高。這一對(duì)比鮮明地揭示了移動(dòng)互聯(lián)網(wǎng)時(shí)代的演進(jìn)方向。為緊跟此趨勢(shì)，搶占市場(chǎng)先機(jī)，如何高效運(yùn)營(yíng)與管理流量資源，已成為當(dāng)前亟須攻克的核心問(wèn)題。

基于現(xiàn)有的通信網(wǎng)絡(luò)架構(gòu)，深入探究的焦點(diǎn)在于如何拓寬流量的應(yīng)用場(chǎng)景邊界，并創(chuàng)新流量的運(yùn)營(yíng)策略，旨在從龐大的數(shù)據(jù)流中發(fā)掘潛在的商業(yè)價(jià)值。這不僅是對(duì)傳統(tǒng)經(jīng)營(yíng)模式的深刻變革，更是助力運(yùn)營(yíng)商實(shí)現(xiàn)利潤(rùn)最大化目標(biāo)的必由之路，構(gòu)成本文探討的中心議題。

（一）流量共享

在構(gòu)建流量共享體系的過(guò)程中，參與者被明確劃分為兩類核心角色：一為發(fā)起人，二為加入者。這兩類角色共同構(gòu)成了流量共享的基礎(chǔ)框架，并通過(guò)“共享關(guān)聯(lián)”這一紐帶緊密相連。雙方均屬于流量使用的活躍群體。發(fā)起人承擔(dān)著啟動(dòng)并引領(lǐng)整個(gè)共享過(guò)程的重任，同時(shí)享有單方面終止共享關(guān)系的特權(quán)。每位發(fā)起人可與多位加入者建立共享關(guān)系，但每位加入者原則上僅隸屬于一個(gè)共享關(guān)系。這一復(fù)雜的實(shí)體與關(guān)系結(jié)構(gòu)已通過(guò)圖示方式，在圖3的共享關(guān)系ER模型示意圖中得以直觀展現(xiàn)。

談及流量共享方案的設(shè)計(jì)思路，其運(yùn)作流程大致概括：當(dāng)共享者完成流量支付后，該部分流量資源即被自動(dòng)劃入共享池，供后續(xù)分配使用。共享者可以憑借個(gè)人意愿主動(dòng)邀請(qǐng)其他用戶加入共享，或依托系統(tǒng)內(nèi)置的智能推薦機(jī)制，吸引潛在用戶加入共享行列。從策略規(guī)劃的角度來(lái)看，隨著共享成員數(shù)量的不斷增長(zhǎng)，流量的單位成本有望逐步降低，從而激發(fā)更多用戶的參與熱情，形成用戶與流量之間的良性互動(dòng)與循環(huán)增長(zhǎng)態(tài)勢(shì)。

（二）基于聚類分析的流量共享模型

1.聚類分析介紹

在劃分流量共享參與者的角色時(shí)，可以采用聚類分析這一數(shù)據(jù)處理策略。它基于特定特征對(duì)對(duì)象進(jìn)行歸類處理。在機(jī)器學(xué)習(xí)的廣闊領(lǐng)域中，聚類分析占據(jù)了舉足輕重的地位，它能夠?qū)⒍鄠€(gè)對(duì)象有效組織成不同群組，以滿足更復(fù)雜的應(yīng)用需求。當(dāng)前，在聚類分析領(lǐng)域，K最近鄰（KNN）與K均值（K-Means）等算法因高效性和實(shí)用性而備受青睞。聚焦到聚類分析的核心要素，不難發(fā)現(xiàn)，它主要包括聚類對(duì)象以及用于衡量對(duì)象間相似度的度量方法。在流量共享模型的背景下，聚類對(duì)象明確指向了用戶群體，而度量方法則承擔(dān)起評(píng)估用戶間相似性的重任，進(jìn)而決定哪些用戶應(yīng)被歸入同一類別。

深人分析用戶數(shù)據(jù)可以發(fā)現(xiàn)，其蘊(yùn)含了豐富的多維度屬性。在流量共享的具體應(yīng)用場(chǎng)景中，地理位置相近或社交關(guān)系緊密的用戶群體往往更容易產(chǎn)生共享流量的需求。因此，本文特別強(qiáng)調(diào)了位置信息與聯(lián)系人信息這兩個(gè)關(guān)鍵維度的重要性。值得注意的是，這兩類信息均是運(yùn)營(yíng)商能夠直接獲取的，故被視為已知數(shù)據(jù)資源。

2.基于聚類分析的流量共享方法

在探討流量共享參與者的角色劃分時(shí)，結(jié)合用戶的位置信息與聯(lián)系人信息，聚類分析的具體實(shí)施流程可細(xì)化為以下步驟。

步驟一：從用戶數(shù)據(jù)中提取或轉(zhuǎn)換關(guān)鍵信息，本文著重提取了用戶的位置數(shù)據(jù)與聯(lián)系人信息。

步驟二：預(yù)設(shè)N個(gè)類別。起初，每個(gè)類別內(nèi)僅含一名用戶。

步驟三：運(yùn)用特定的度量標(biāo)準(zhǔn)，對(duì)兩兩用戶之間的相似性或差異性進(jìn)行量化評(píng)估，得出度量結(jié)果。

步驟四：基于上述度量結(jié)果，將最相近的兩個(gè)用戶合并至同一類別中。

步驟五：隨后，計(jì)算新形成的類別與其他現(xiàn)有類別之間的度量結(jié)果。若該結(jié)果滿足預(yù)設(shè)的閾值條件，則重復(fù)步驟四的操作；否則，返回至步驟一，繼續(xù)迭代處理。

步驟六：根據(jù)最終類別的數(shù)量，判斷是否滿足聚類操作的終止條件，從而得出聚類分析的結(jié)果。

針對(duì)上述方法，需額外說(shuō)明兩點(diǎn)。其一，在步驟三中，鑒于數(shù)據(jù)量龐大，所選用的度量方法需兼顧效率與準(zhǔn)確性。同時(shí)，度量方法的表達(dá)能力亦至關(guān)重要，需要精準(zhǔn)反映用戶間的差異或相似程度。常用的度量策略包括基于范數(shù)的度量法與基于內(nèi)積的度量法等。其中，基于范數(shù)的度量法可參照公式（6）進(jìn)行具體實(shí)現(xiàn)。

在闡述過(guò)程中， 與 ν 分別標(biāo)識(shí)了兩個(gè)用戶的位置信息或聯(lián)系人詳情，參數(shù) p 則是一個(gè)正數(shù)。 p 的數(shù)值變化決定了其度量方法的差異： p 小于1時(shí)，選用分?jǐn)?shù)范數(shù)作為評(píng)估基準(zhǔn)； p 等于1之際，度量方式轉(zhuǎn)變?yōu)槁D距離；當(dāng) p 設(shè)定為2時(shí)，則與歐氏距離相對(duì)應(yīng)。用戶能夠基于個(gè)人的實(shí)際需求和應(yīng)用場(chǎng)景，靈活選取合適的p 值來(lái)加以運(yùn)用。

基于內(nèi)積的度量方法如公式（7）所示。

當(dāng)位置與聯(lián)系人信息以非數(shù)值形態(tài)呈現(xiàn)時(shí)，可利用符號(hào)化處理來(lái)計(jì)算內(nèi)積，或者先將文本信息轉(zhuǎn)化為數(shù)值形式再進(jìn)行計(jì)算；若信息已直接以數(shù)值形態(tài)存在，則直接進(jìn)行內(nèi)積計(jì)算即可。

對(duì)于步驟五進(jìn)行深入考量，確定兩個(gè)類別之間的度量結(jié)果是關(guān)鍵一環(huán)，需探索多樣化方法。比如，可以采用平均法，具體操作為計(jì)算兩個(gè)類別中所有用戶間兩兩距離，并求取這些距離的平均值，此平均值作為兩個(gè)類別間的度量依據(jù)。在實(shí)際應(yīng)用中，根據(jù)具體需求與場(chǎng)景的不同，可靈活選擇恰當(dāng)?shù)念悇e差異或相似度評(píng)估方式。

三、結(jié)束語(yǔ)

大數(shù)據(jù)是通信行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵驅(qū)動(dòng)力。面對(duì)井噴式增長(zhǎng)的海量網(wǎng)絡(luò)數(shù)據(jù)，運(yùn)營(yíng)商應(yīng)順應(yīng)技術(shù)發(fā)展趨勢(shì)，加速大數(shù)據(jù)平臺(tái)從技術(shù)探索走向業(yè)務(wù)實(shí)踐的進(jìn)程。當(dāng)前，通信大數(shù)據(jù)在用戶洞察、網(wǎng)絡(luò)優(yōu)化、業(yè)務(wù)創(chuàng)新等領(lǐng)域已初顯成效，但仍面臨數(shù)據(jù)處理瓶頸、模型性能不足、隱私安全風(fēng)險(xiǎn)等諸多挑戰(zhàn)。因此，本文圍繞通信領(lǐng)域大數(shù)據(jù)處理的關(guān)鍵技術(shù)進(jìn)行了深入探討，從通信數(shù)據(jù)的采集與預(yù)處理、分布式存儲(chǔ)優(yōu)化，到構(gòu)建客戶投訴預(yù)測(cè)模型和流量經(jīng)營(yíng)模型，全面分析了大數(shù)據(jù)在通信行業(yè)中的應(yīng)用和發(fā)展。因此，持續(xù)探索和優(yōu)化大數(shù)據(jù)處理技術(shù)，對(duì)于通信行業(yè)的長(zhǎng)遠(yuǎn)發(fā)展具有深遠(yuǎn)的意義。

作者單位：孫苑苑中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司

參考文獻(xiàn)

[1]楊挺，耿毅男，郭經(jīng)紅，等.人工智能在新型電力系統(tǒng)智能傳感、通信與數(shù)據(jù)處理領(lǐng)域應(yīng)用[J].高電壓技術(shù)，2024，50（01）：19-29.

[2]任奎，張秉晟，張聰.密碼應(yīng)用：從安全通信到數(shù)據(jù)可用不可見(jiàn)[J].密碼學(xué)報(bào)（中英文），2024，11（01）：22-44.