【關(guān)鍵詞】K-means無監(jiān)督機(jī)器學(xué)習(xí)算法；K-means學(xué)習(xí)算法；移動(dòng)通信數(shù)據(jù)；移動(dòng)通信；數(shù)據(jù)清洗

引言

隨著數(shù)據(jù)規(guī)模的迅速增長，移動(dòng)通信數(shù)據(jù)質(zhì)量的問題也日益凸顯，其中最為突出的便是數(shù)據(jù)的噪聲和冗余。如何有效地清洗移動(dòng)通信數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量，是當(dāng)前數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的重要研究課題。其中文獻(xiàn)方法能夠自動(dòng)識(shí)別和處理數(shù)據(jù)中的異常值和缺失值，減少人工操作的復(fù)雜性和時(shí)間成本。但清洗效果很大程度上依賴于所選的統(tǒng)計(jì)模型，如果模型選擇不當(dāng)，可能會(huì)導(dǎo)致清洗后的數(shù)據(jù)仍然存在偏差或誤差。文獻(xiàn)則可以根據(jù)具體的業(yè)務(wù)需求和數(shù)據(jù)特點(diǎn)制定清洗規(guī)則，精確地控制數(shù)據(jù)清洗的過程和結(jié)果，減少誤操作的可能性。但規(guī)則的制定需要深入理解數(shù)據(jù)和業(yè)務(wù)，對(duì)于復(fù)雜的數(shù)據(jù)集和多變的業(yè)務(wù)需求，規(guī)則制定可能變得非常繁瑣和困難。而利用K-means方法，可以對(duì)樣本中的離群點(diǎn)進(jìn)行鑒別和剔除，保留有用的信息，提高數(shù)據(jù)的總體質(zhì)量。希望通過本文的研究，能夠?yàn)橐苿?dòng)通信數(shù)據(jù)清洗領(lǐng)域提供新的思路和方法，推動(dòng)數(shù)據(jù)質(zhì)量的提升和數(shù)據(jù)分析技術(shù)的發(fā)展。

一、移動(dòng)通信數(shù)據(jù)信息預(yù)處理

進(jìn)行移動(dòng)通信數(shù)據(jù)信息預(yù)處理是數(shù)據(jù)清洗的起始步驟。首先，需要明確采樣目標(biāo)，即確定需要采集哪些類型的移動(dòng)通信數(shù)據(jù)。這可能包括通話記錄、短信記錄、流量使用、位置信息以及信號(hào)強(qiáng)度等。接下來，根據(jù)數(shù)據(jù)的特性和分析需求，選擇分層采樣并配置相應(yīng)的采樣參數(shù)。配置好采樣參數(shù)后，使用專用的數(shù)據(jù)采集設(shè)備，從移動(dòng)通信網(wǎng)絡(luò)中收集所需的數(shù)據(jù)。

采集到的數(shù)據(jù)需要進(jìn)行去噪，消除移動(dòng)通信數(shù)據(jù)噪聲有助于提高數(shù)據(jù)質(zhì)量和后續(xù)分析的準(zhǔn)確性。本文選擇小波閾值進(jìn)行去噪。

通過設(shè)定閾值，對(duì)高頻系數(shù)進(jìn)行篩選，保留或去除部分高頻成分。設(shè)x（t）表示移動(dòng)通信數(shù)據(jù)，Y表示小波基函數(shù)，則小波變換去噪用公式可以表示為：

經(jīng)過預(yù)處理后的移動(dòng)通信數(shù)據(jù)，不僅提高了數(shù)據(jù)質(zhì)量，還為后續(xù)的特征提取、異常值處理以及數(shù)據(jù)分析等工作提供了更為可靠的基礎(chǔ)。

二、提取移動(dòng)通信數(shù)據(jù)特征

提取移動(dòng)通信數(shù)據(jù)特征是數(shù)據(jù)清洗過程中的關(guān)鍵一環(huán)。通過對(duì)數(shù)據(jù)的深入分析和理解，提取出反映數(shù)據(jù)本質(zhì)和特性的關(guān)鍵信息，這些特征的選擇和提取將直接影響K-means算法的性能和結(jié)果。

移動(dòng)通信數(shù)據(jù)具有多變性，受到用戶行為、地理位置、時(shí)間、網(wǎng)絡(luò)環(huán)境等多種因素的影響，因此具有很強(qiáng)的多變性。例如，用戶的流量使用可能在一天內(nèi)呈現(xiàn)明顯的波動(dòng)，晚上可能較低，白天則可能較高；同時(shí)移動(dòng)通信數(shù)據(jù)中的某些指標(biāo)（如用戶突然發(fā)起的通話或短信）也具有一定的隨機(jī)性，難以準(zhǔn)確預(yù)測。

雖然移動(dòng)通信數(shù)據(jù)具有多變性和隨機(jī)性，但其中的不同指標(biāo)之間可能存在相關(guān)性，信號(hào)強(qiáng)度可能與流量使用或通話質(zhì)量有關(guān)。

三、利用K-means無監(jiān)督機(jī)器學(xué)習(xí)算法處理異常值

在完成了數(shù)據(jù)特征的提取后，為了進(jìn)一步提高數(shù)據(jù)的整體質(zhì)量，本文利用K-means無監(jiān)督機(jī)器學(xué)習(xí)算法來處理潛在的異常值。K-means算法通過將數(shù)據(jù)劃分為若干個(gè)簇，并根據(jù)簇內(nèi)數(shù)據(jù)的分布情況來有效地識(shí)別并去除那些偏離整體數(shù)據(jù)分布模式的異常數(shù)據(jù)點(diǎn)。

在利用K-means算法處理異常值時(shí)，首先需要確定數(shù)據(jù)簇的數(shù)量K，表示將移動(dòng)通信數(shù)據(jù)劃分為K個(gè)簇，并隨之產(chǎn)生K個(gè)簇中心。這些簇中心最初是從整個(gè)數(shù)據(jù)樣本集合中隨機(jī)選取的。接下來，算法會(huì)計(jì)算每個(gè)數(shù)據(jù)點(diǎn)到各個(gè)簇中心的歐氏距離，根據(jù)歐氏距離的大小，數(shù)據(jù)點(diǎn)會(huì)被分配到距離最近的簇中，具體公式如（5）所示：在每一次迭代中，算法會(huì)根據(jù)當(dāng)前簇內(nèi)數(shù)據(jù)的分布情況重新計(jì)算簇中心，然后再次計(jì)算每個(gè)數(shù)據(jù)點(diǎn)到新簇中心的距離，并重新分配數(shù)據(jù)點(diǎn)到最近的簇。這個(gè)過程會(huì)不斷重復(fù)，直到所有數(shù)據(jù)點(diǎn)都被分配到合適的簇中，且簇中心和簇內(nèi)數(shù)據(jù)的分布情況不再發(fā)生顯著變化，此時(shí)算法結(jié)束。

通過這種聚類處理識(shí)別并去除異常值，需要注意的是，K-means算法的性能與初始類群中心的選取以及類數(shù)K的設(shè)置密切相關(guān)。因此，在實(shí)際應(yīng)用中，需要通過多次嘗試和調(diào)整參數(shù)來優(yōu)化算法的性能。

四、去除冗余數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)清洗

在完成數(shù)據(jù)異常值處理后，本文需要對(duì)聚類后的各個(gè)類簇進(jìn)行深入檢測，以識(shí)別并處理相似或重復(fù)的記錄。由于數(shù)據(jù)來源的復(fù)雜性，數(shù)據(jù)類型包括數(shù)值型數(shù)據(jù)和文本數(shù)據(jù)等。因此，在檢測相似重復(fù)記錄時(shí)，分兩步對(duì)冗余數(shù)據(jù)進(jìn)行去除。

這個(gè)過程可以分為屬性匹配和記錄匹配兩步。屬性匹配主要計(jì)算數(shù)據(jù)集中任意兩條記錄同一屬性值的相似度或距離。而記錄匹配則是基于屬性匹配的結(jié)果，計(jì)算兩條記錄中所有屬性值的距離之和，從而得出記錄的相似度。通過這種方法，識(shí)別出數(shù)據(jù)集中的冗余記錄。

在處理冗余數(shù)據(jù)的過程中，K-均值聚類算法是一個(gè)有效的工具。它可以幫助找到數(shù)據(jù)中的自然分組，從而進(jìn)一步減少冗余。

為了找到最佳的K值，采用平均輪廓系數(shù)的方法。首先，對(duì)于每個(gè)數(shù)據(jù)點(diǎn)，計(jì)算它與同一集群內(nèi)其他點(diǎn)的平均距離a（i），這個(gè)值越小，說明點(diǎn)i與其集群內(nèi)的點(diǎn)越相似。然后，計(jì)算點(diǎn)i與最近的外部集群的相似度b（i）。最后，根據(jù)這些值計(jì)算出點(diǎn)i的輪廓系數(shù)s（i）。將各測點(diǎn)的圍道系數(shù)進(jìn)行平均，得出一個(gè)特定的圍道系數(shù)的平均值。相關(guān)計(jì)算公式如下：

對(duì)于一系列可能的K值，重復(fù)上述過程，計(jì)算每個(gè)K值對(duì)應(yīng)的平均輪廓系數(shù)。最終，選擇使平均輪廓系數(shù)最大化的K值作為最佳集群數(shù)量。這樣，不僅能有效地減少數(shù)據(jù)冗余，還能確保聚類結(jié)果的質(zhì)量，即集群內(nèi)的點(diǎn)彼此相似，而與其他集群的點(diǎn)不相似。

通過使用平均輪廓系數(shù)確定合適的集群數(shù)量，進(jìn)一步減少數(shù)據(jù)中的冗余信息，提高移動(dòng)通信數(shù)據(jù)清洗的效果。

五、實(shí)驗(yàn)

（一）實(shí)驗(yàn)準(zhǔn)備

本項(xiàng)目擬搭建一套基于Redox Enterprise Linux5.2的移動(dòng)通信數(shù)據(jù)融合平臺(tái)，將通信大數(shù)據(jù)的采樣時(shí)間間隔設(shè)定為1.27毫秒，通信數(shù)據(jù)調(diào)度的時(shí)間間隔2.5秒，通訊通道載波頻率36kHz。其中平臺(tái)包含17553條移動(dòng)通信數(shù)據(jù)記錄的數(shù)據(jù)集，并在其中引入116條相似重復(fù)記錄和129條缺失記錄進(jìn)行數(shù)據(jù)清洗實(shí)驗(yàn)。

在這個(gè)實(shí)驗(yàn)環(huán)境中，硬件環(huán)境提供了強(qiáng)大的計(jì)算能力和存儲(chǔ)能力，確保能夠處理大規(guī)模的移動(dòng)通信數(shù)據(jù)。軟件環(huán)境則提供了必要的編程工具和機(jī)器學(xué)習(xí)庫，使得K-means算法得以高效實(shí)現(xiàn)和運(yùn)行。根據(jù)上述實(shí)驗(yàn)準(zhǔn)備展開對(duì)基于K-means無監(jiān)督機(jī)器學(xué)習(xí)算法的移動(dòng)通信數(shù)據(jù)清洗方法效果的驗(yàn)證

（二）實(shí)驗(yàn)結(jié)果與分析

為了展示本文移動(dòng)通信數(shù)據(jù)清洗方法的效果，將其與文獻(xiàn)[1]、文獻(xiàn)[2]進(jìn)行比較，對(duì)清洗后的數(shù)據(jù)質(zhì)量進(jìn)行檢測，實(shí)驗(yàn)結(jié)果如表2所示：

通過對(duì)比三種不同方法的移動(dòng)通信數(shù)據(jù)清洗效果，本文方法展現(xiàn)出了顯著的優(yōu)勢。在數(shù)據(jù)完整性方面，本文方法達(dá)到了95%的完整度，遠(yuǎn)超文獻(xiàn)[1]和文獻(xiàn)[2]方法，有效減少了數(shù)據(jù)丟失。而在數(shù)據(jù)準(zhǔn)確性上，本文方法以98%的準(zhǔn)確率領(lǐng)先，能更精確地識(shí)別和糾正錯(cuò)誤數(shù)據(jù)，增強(qiáng)了數(shù)據(jù)的可靠性。此外，本文方法在數(shù)據(jù)一致性方面表現(xiàn)出色，達(dá)到97%的一致率。最后，在冗余度方面，本文方法將冗余數(shù)據(jù)降低至5%，顯著優(yōu)于其他兩種方法，提高了數(shù)據(jù)的緊湊性和存儲(chǔ)效率。

綜上所述，本文方法在移動(dòng)通信數(shù)據(jù)清洗質(zhì)量效果方面表現(xiàn)出色，不僅在數(shù)據(jù)完整性、準(zhǔn)確性和一致性上有所提升，而且在降低冗余度方面也有顯著效果。因此，本文方法可以作為一種高效、可靠的移動(dòng)通信數(shù)據(jù)清洗方法，為數(shù)據(jù)分析和決策提供高質(zhì)量的數(shù)據(jù)支持。

結(jié)束語

通過對(duì)基于K-means無監(jiān)督機(jī)器學(xué)習(xí)算法的移動(dòng)通信數(shù)據(jù)清洗方法的深入研究和實(shí)驗(yàn)驗(yàn)證，我們?nèi)〉昧孙@著的成果。該方法有效地提高了移動(dòng)通信數(shù)據(jù)的質(zhì)量，降低了噪聲和異常值對(duì)數(shù)據(jù)分析的干擾，為后續(xù)的數(shù)據(jù)挖掘和決策分析提供了更為準(zhǔn)確和可靠的數(shù)據(jù)支持。但K-means算法的性能受到初始簇中心點(diǎn)選擇的影響，不同的選擇可能導(dǎo)致不同的聚類結(jié)果，從而影響數(shù)據(jù)清洗的效果。我們將繼續(xù)深化對(duì)基于K-means無監(jiān)督機(jī)器學(xué)習(xí)算法的移動(dòng)通信數(shù)據(jù)清洗方法的研究，探索更加高效和穩(wěn)定的算法實(shí)現(xiàn)方式，進(jìn)行更加精準(zhǔn)和高效的數(shù)據(jù)清洗。