摘 要：針對(duì)現(xiàn)行方法在物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理中應(yīng)用效果不佳的問題，提出基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法。先收集物聯(lián)網(wǎng)數(shù)據(jù)生成多源異構(gòu)數(shù)據(jù)集，并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；然后采用混沌遺傳算法對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行填補(bǔ)；最后利用正則化回歸對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行濾波，消除數(shù)據(jù)中的高頻分量，實(shí)現(xiàn)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理。經(jīng)實(shí)驗(yàn)證明，所設(shè)計(jì)方法的數(shù)據(jù)失真率不超過0.2%，全頻域內(nèi)信號(hào)幅值得到了有效降低，所設(shè)計(jì)方法在物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方面具有良好的應(yīng)用前景。

關(guān)鍵詞：正則化回歸；物聯(lián)網(wǎng)；多源異構(gòu)數(shù)據(jù)；Min-Max歸一化；混沌遺傳算法；濾波

中圖分類號(hào)：TP39；TN911.7 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）07-00-03

0 引 言

由于物聯(lián)網(wǎng)設(shè)備種類繁多，不同設(shè)備產(chǎn)生的數(shù)據(jù)格式、數(shù)據(jù)質(zhì)量、數(shù)據(jù)量等方面存在差異，導(dǎo)致數(shù)據(jù)具有多源異構(gòu)的特點(diǎn)[1-4]。這給數(shù)據(jù)處理帶來了一定的難度，多源異構(gòu)數(shù)據(jù)來自不同的設(shè)備、系統(tǒng)、應(yīng)用等，數(shù)據(jù)的結(jié)構(gòu)、格式、質(zhì)量等存在差異，需要進(jìn)行數(shù)據(jù)整合和標(biāo)準(zhǔn)化處理，以便進(jìn)行統(tǒng)一的分析和處理[5-7]。這需要耗費(fèi)大量的人力和時(shí)間，并且需要具備一定的數(shù)據(jù)處理能力。然而，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)無法滿足物聯(lián)網(wǎng)數(shù)據(jù)處理的復(fù)雜性和精度要求。正則化回歸是一種常用的統(tǒng)計(jì)學(xué)習(xí)方法，可處理高維度和復(fù)雜的非線性數(shù)據(jù)，為此提出基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法。

1 物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)清洗

本文對(duì)物聯(lián)網(wǎng)數(shù)據(jù)庫中的海量多源異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一采集，匯集成多源異構(gòu)數(shù)據(jù)集，然后對(duì)數(shù)據(jù)進(jìn)行清洗處理，目的是統(tǒng)一數(shù)據(jù)格式和量綱，剔除數(shù)據(jù)集中的異常數(shù)據(jù)[8]。假設(shè)重構(gòu)后的多源異構(gòu)數(shù)據(jù)為x，真實(shí)的物聯(lián)網(wǎng)數(shù)據(jù)為x，根據(jù)物聯(lián)網(wǎng)數(shù)據(jù)均值生成服從高斯分布的隨機(jī)數(shù)，對(duì)其均方損失值進(jìn)行優(yōu)化，用公式表示為：

式中：f（x）表示多源異構(gòu)數(shù)據(jù)均方損失優(yōu)化函數(shù)；n表示物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)樣本數(shù)量[9]。在此過程中，通過數(shù)據(jù)均方損失優(yōu)化獲得數(shù)據(jù)潛在的特征，利用激活函數(shù)對(duì)其進(jìn)行對(duì)抗訓(xùn)練，確保所有異常數(shù)據(jù)都能映射到相似的位置上，使正常數(shù)據(jù)樣本對(duì)異常數(shù)據(jù)重構(gòu)所產(chǎn)生的影響最小化[10]。提取的異常特征實(shí)際為最小化熵函數(shù)特征，其接近正態(tài)分布，通過對(duì)特征約束函數(shù)進(jìn)行優(yōu)化，構(gòu)成激活函數(shù)，用公式表示為：

式中：K表示多源異構(gòu)數(shù)據(jù)對(duì)抗訓(xùn)練的激活函數(shù)；表示加權(quán)因子；a、b分別表示輸入多源異構(gòu)數(shù)據(jù)樣本的均值和輸出多源異構(gòu)數(shù)據(jù)樣本的方差；λ表示約束優(yōu)化函數(shù)。將正常數(shù)據(jù)加入到多抗網(wǎng)絡(luò)GAN中進(jìn)行訓(xùn)練，通過編碼層進(jìn)行數(shù)據(jù)重構(gòu)，得到待處理多源異構(gòu)數(shù)據(jù)與正常數(shù)據(jù)的偏差，用異常值表示為：

式中：socre表示物聯(lián)網(wǎng)數(shù)據(jù)異常值；α表示輸入多源異構(gòu)數(shù)據(jù)獲得的潛在分布特征；δ表示重構(gòu)數(shù)據(jù)獲得的潛在異常特征。將socre與閾值比對(duì)，如果大于閾值，則判定數(shù)據(jù)為異常數(shù)據(jù)，將其從原始數(shù)據(jù)集中剔除；如果小于閾值，則判定數(shù)據(jù)為正常數(shù)據(jù)，將其保留，以此完成對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的清洗。

2 物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)填補(bǔ)

由于對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行了清洗處理，且原始數(shù)據(jù)中還存在嚴(yán)重的數(shù)據(jù)缺失問題，影響到了物聯(lián)網(wǎng)數(shù)據(jù)的完整性，因此采用混沌遺傳算法對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行填補(bǔ)。混沌遺傳算法采用極大似然估計(jì)理論計(jì)算出物聯(lián)網(wǎng)數(shù)據(jù)整體分布規(guī)律特性，用公式表示為：

式中：s表示物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)對(duì)數(shù)似然函數(shù)值；h表示物聯(lián)網(wǎng)數(shù)據(jù)個(gè)數(shù)；ρ表示物聯(lián)網(wǎng)數(shù)據(jù)不確定參數(shù)；ψ表示數(shù)據(jù)屬性的協(xié)方差矩陣，即數(shù)據(jù)各屬性間的相關(guān)性。數(shù)據(jù)對(duì)數(shù)似然函數(shù)值越大，則估計(jì)數(shù)據(jù)參數(shù)值越準(zhǔn)確，因此對(duì)極大似然函數(shù)進(jìn)行優(yōu)化，確定物聯(lián)網(wǎng)缺失數(shù)據(jù)的目標(biāo)函數(shù)，用公式表示為：

式中：θ表示物聯(lián)網(wǎng)缺失數(shù)據(jù)的目標(biāo)函數(shù)。采用遺傳算法對(duì)以上目標(biāo)函數(shù)進(jìn)行多次迭代，識(shí)別到物聯(lián)網(wǎng)缺失數(shù)據(jù)。采用均值方法對(duì)缺失數(shù)據(jù)進(jìn)行擬合填補(bǔ)，用公式表示為：

式中：τ表示填補(bǔ)后的物聯(lián)網(wǎng)缺失數(shù)據(jù)；θt-1、θt+1分別表示時(shí)間域上缺失數(shù)據(jù)上一時(shí)刻的采樣值和下一時(shí)刻的采樣值。按照上述流程將原始數(shù)據(jù)集識(shí)別到的所有缺失數(shù)據(jù)利用均值代替，以此實(shí)現(xiàn)對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的填補(bǔ)。

3 基于正則化回歸的多源異構(gòu)數(shù)據(jù)濾波處理

考慮到物聯(lián)網(wǎng)數(shù)據(jù)在采樣過程中會(huì)受到一定干擾，使數(shù)據(jù)中存在噪聲，在此基礎(chǔ)上利用正則化回歸方法對(duì)數(shù)據(jù)進(jìn)行濾波處理。從語音學(xué)角度看，正則化回歸濾波器的基本原理是：在相同環(huán)境下，單耳對(duì)聲源的分辨能力僅為6 dB，而在相同環(huán)境下，雙耳對(duì)聲源的分辨能力可達(dá)15 dB。由耳數(shù)的差異引起的聽覺分辨能力的差異，可以得出一個(gè)結(jié)論：?jiǎn)蝹€(gè)處理目標(biāo)和兩個(gè)處理目標(biāo)可以使數(shù)據(jù)濾波輸出結(jié)果具有較大的差異。正則化方法在語音學(xué)領(lǐng)域具有優(yōu)勢(shì)，由此發(fā)展正則化回歸濾波理論方法，將原來的單耳目標(biāo)函數(shù)用雙耳目標(biāo)函數(shù)代替，從而提高數(shù)據(jù)濾波處理效果。原來的單耳目標(biāo)函數(shù)，即維納濾波離散處理方程用公式表示為：

式中：J表示數(shù)據(jù)誤差能量；i表示數(shù)據(jù)濾波樣本數(shù)量；zi表示估計(jì)濾波輸出數(shù)據(jù)；yi表示理想濾波輸出數(shù)據(jù)。通過以上公式中數(shù)據(jù)誤差平方和數(shù)據(jù)誤差能量的最小化，得到維納濾波因子，正則化回歸濾波是在其基礎(chǔ)上另附一正則項(xiàng)，用公式表示為：

式中：表示正則項(xiàng)；μ表示正則化回歸因子，是保持正則項(xiàng)與一般項(xiàng)之間平衡的參數(shù)；z'i、y'i分別為估計(jì)濾波輸出數(shù)據(jù)和理想濾波輸出數(shù)據(jù)的一階導(dǎo)數(shù)。通過添加正則項(xiàng)保證物聯(lián)網(wǎng)數(shù)據(jù)濾波估計(jì)值與理想值之間的均方誤差最小化，結(jié)合導(dǎo)數(shù)的意義，使輸出濾波數(shù)據(jù)更加平滑，進(jìn)一步壓制原始信號(hào)中的高頻噪聲。利用導(dǎo)數(shù)矩陣求取上述公式中的導(dǎo)數(shù)，在推導(dǎo)運(yùn)算過程中，為了簡(jiǎn)化導(dǎo)數(shù)矩陣形式進(jìn)行相關(guān)推導(dǎo)，將式（8）中所用到的物聯(lián)網(wǎng)數(shù)據(jù)寫成矩陣形式，利用矩陣形式求出正則化回歸因子，從而對(duì)物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)進(jìn)行濾波處理，輸出正則化回歸濾波結(jié)果，以此實(shí)現(xiàn)基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的處理。

4 實(shí)驗(yàn)論證

4.1 實(shí)驗(yàn)準(zhǔn)備與設(shè)計(jì)

以上研究了基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理的理論。下面采用對(duì)比實(shí)驗(yàn)的方式，將基于正則化回歸的處理方法與基于區(qū)塊鏈的處理方法和基于數(shù)據(jù)挖掘的處理方法進(jìn)行對(duì)比分析。實(shí)驗(yàn)收集了IYHFAGAFA95、FAHTUWQAT7兩個(gè)數(shù)據(jù)包，數(shù)據(jù)來源于配電網(wǎng)物聯(lián)網(wǎng)數(shù)據(jù)庫和某發(fā)電廠配電網(wǎng)數(shù)據(jù)庫，采樣于近30臺(tái)無線傳感設(shè)備，具有多源異構(gòu)特征。IYHFAGAFA95數(shù)據(jù)包為

2.62 GB，共計(jì)20 000個(gè)數(shù)據(jù)樣本；FAHTUWQAT7數(shù)據(jù)包為3.15 GB，共計(jì)28 000個(gè)數(shù)據(jù)樣本。信號(hào)類別包括多軸信號(hào)、單軸信號(hào)、多道多軸多頻信號(hào)等，兩個(gè)數(shù)據(jù)包加性白噪聲方差分別為0.1、0.2，信噪比范圍為-20～-6 dB，屬于強(qiáng)噪聲干擾。按照以上數(shù)據(jù)處理流程對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行清洗、填充和濾波處理，并對(duì)結(jié)果作相關(guān)說明解釋。

4.2 實(shí)驗(yàn)結(jié)果與討論

以下將從數(shù)據(jù)失真率和數(shù)據(jù)頻譜兩個(gè)方面對(duì)本文所提方法的性能進(jìn)行檢驗(yàn)。物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理對(duì)數(shù)據(jù)的完整性和真實(shí)性具有較高的要求。數(shù)據(jù)失真率是指原始數(shù)據(jù)經(jīng)過處理或傳輸后，與原始數(shù)據(jù)相比發(fā)生的偏差或變化的比例。數(shù)據(jù)失真率越高，說明數(shù)據(jù)受到的干擾或損失越大，數(shù)據(jù)處理質(zhì)量越低，效果越差。而數(shù)據(jù)頻譜可以反映出數(shù)據(jù)中低頻噪聲分量和高頻噪聲分量的變化情況，其是以信號(hào)幅值為縱坐標(biāo)、以信號(hào)頻率為橫坐標(biāo)的信號(hào)頻譜曲線。利用IYHFAGAFA95數(shù)據(jù)包對(duì)方法數(shù)據(jù)失真率進(jìn)行檢驗(yàn)，利用FAHTUWQAT7數(shù)據(jù)包對(duì)數(shù)據(jù)處理后的頻譜特性進(jìn)行檢驗(yàn)。圖1、表1分別給出了三種方法下物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理的頻譜曲線和失真率數(shù)據(jù)。

通過表1可知：三種方法的數(shù)據(jù)失真率具有明顯的差異，其中基于數(shù)據(jù)挖掘的處理方法失真率最高；其次為基于區(qū)塊鏈的處理方法；基于正則化回歸的處理方法失真率最低，不超過0.2%，數(shù)值非常小，說明處理后的物聯(lián)網(wǎng)數(shù)據(jù)基本與原始數(shù)據(jù)一致。通過圖1中的頻譜曲線可以分析出：對(duì)于物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)信號(hào)中各個(gè)頻率的分量，由于數(shù)據(jù)中混有隨機(jī)白噪聲，使得數(shù)據(jù)處理輸出信號(hào)在整個(gè)頻域內(nèi)均有值；而本文方法處理的數(shù)據(jù)信號(hào)在整個(gè)頻域內(nèi)幅值變化相對(duì)平緩，基本趨于0；基于區(qū)塊鏈的方法處理后的數(shù)據(jù)幅值峰值為

1.43 A，基于數(shù)據(jù)挖掘的方法處理后的數(shù)據(jù)幅值峰值為0.94 A，

遠(yuǎn)高于基于正則化回歸的處理方法，說明本文方法在高頻段、低頻段對(duì)隨機(jī)噪聲的壓制比較徹底，可以有效處理含噪聲的多源異構(gòu)數(shù)據(jù)。通過以上對(duì)比分析證明了本文方法比現(xiàn)行方法更具優(yōu)勢(shì)，能夠?qū)崿F(xiàn)對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的高質(zhì)量處理。

5 結(jié) 語

本文結(jié)合正則化回歸技術(shù)的優(yōu)勢(shì)，將其應(yīng)用到物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理中，提出一種新的處理思路，并通過實(shí)驗(yàn)論證了方法的可行性與可靠性。在實(shí)際應(yīng)用中，基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法可以有效地處理各種類型的物聯(lián)網(wǎng)數(shù)據(jù)，提取出有價(jià)值的信息和應(yīng)用場(chǎng)景。同時(shí)，該方法具有較好的泛化性能和魯棒性，可以應(yīng)對(duì)不同場(chǎng)景下的數(shù)據(jù)處理需求，應(yīng)用效果較好。

參考文獻(xiàn)

[1]李麟，王偉.基于改進(jìn)RNN多源融合算法的網(wǎng)絡(luò)異構(gòu)信息集成管理系統(tǒng)[J].西安工程大學(xué)學(xué)報(bào)，2023，37（6）：145-152.

[2]張海彬，羅玉林，區(qū)云帆，等.基于中鐵貴州智慧社區(qū)管理的多源異構(gòu)數(shù)據(jù)集成方法[J].建筑技術(shù)，2023，54（22）：2808-2813.

[3]何光聰，周學(xué)林.基于3S技術(shù)和多源異構(gòu)數(shù)據(jù)的智慧林長(zhǎng)綜合管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)—以廣東省珠海市為例[J].測(cè)繪與空間地理信息，2023，46（10）：89-93.

[4]王維嘉，孫亞運(yùn)，孫洪亮，等.基于多目標(biāo)優(yōu)化技術(shù)的多源異構(gòu)數(shù)據(jù)分類研究[J].計(jì)算機(jī)與數(shù)字工程，2020，48（1）：130-136.

[5]冀振燕，宋曉軍，皮懷雨，等.基于深度學(xué)習(xí)的融合多源異構(gòu)數(shù)據(jù)的推薦模型[J].北京郵電大學(xué)學(xué)報(bào)，2019，42（6）：35-42.

[6]張夢(mèng)瑾.異構(gòu)數(shù)據(jù)資源整合的方法與系統(tǒng)實(shí)現(xiàn)[J].信息與電腦（理論版），2018，12（1）：129-131.

[7]毛俊華.基于模糊聚類的智慧醫(yī)院多源異構(gòu)數(shù)據(jù)整合系統(tǒng)[J].電子設(shè)計(jì)工程，2022，30（7）：120-124.

[8]李陽，何文峰，黃倫春.一種設(shè)施普查中多源異構(gòu)數(shù)據(jù)的處理方法[J]. 城市勘測(cè)，2023，38（z1）：181-184.

[9]李堅(jiān)，楊峰，吳佳，等. 基于改進(jìn)FCM的多源異構(gòu)能源數(shù)據(jù)預(yù)處理與去噪[J]. 微型電腦應(yīng)用，2023，39（10）：80-82.

[10]賴均友.基于GB-AEnet-FL網(wǎng)絡(luò)的物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)聚合處理方法[J].長(zhǎng)江信息通信，2023，36（9）：62-64.