阮大治，徐東，黃海艇

（工業(yè)互聯(lián)網(wǎng)創(chuàng)新中心（上海）有限公司，上海 200232）

數(shù)據(jù)過濾是指將信息參量傳遞給固定用戶，并后續(xù)處理的完整執(zhí)行流程。相較于一般的數(shù)據(jù)庫系統(tǒng)，配置信息過濾行為的操作系統(tǒng)同時具備結(jié)構(gòu)化與半結(jié)構(gòu)化的處理能力，可在準確接收文本信息的同時，直接執(zhí)行數(shù)據(jù)存儲的職能，從而大大節(jié)省信息參量傳輸耗時。從宏觀角度分析，數(shù)據(jù)過濾是將混合信息中濾除無效信息，作為數(shù)據(jù)文件糾正的末尾處理環(huán)節(jié)，可在檢查信息一致性的同時，實現(xiàn)整理缺失值與無效值參量[1-2]。一般來說，過濾后的信息參量可直接進入數(shù)據(jù)倉庫，以供信息系統(tǒng)主機的直接調(diào)取與利用。

在電子信息系統(tǒng)中，隨數(shù)據(jù)傳輸時間的延長，一部分信息參量出現(xiàn)亂序排布的情況，從而使區(qū)域環(huán)境中數(shù)據(jù)維度條件呈現(xiàn)極度混亂的表現(xiàn)形式。傳統(tǒng)云共享型數(shù)據(jù)過濾方法可借助基本矩陣分解模型，確定不同維度信息參量，在電子信息系統(tǒng)中所屬的階層等級，再通過XML 框架，實現(xiàn)集中處理與分離無效值參量。然而，該方法在單位時間內(nèi)處理的電子信息數(shù)據(jù)量有限，并不能完全滿足系統(tǒng)主機信息參量的定向提取需求。為解決此問題，提出一種新的電子信息系統(tǒng)中多維度數(shù)據(jù)協(xié)同過濾方法，通過構(gòu)建Hadoop 分布框架的方式，定義關(guān)鍵的多維度數(shù)據(jù)集合，按照過濾偏好設(shè)置過濾標準，篩查處理隱向量，并以此為基礎(chǔ)，計算并得到準確的協(xié)同梯度值結(jié)果，實現(xiàn)多維度數(shù)據(jù)協(xié)同過濾。

1 多維度數(shù)據(jù)分析

為實現(xiàn)電子信息系統(tǒng)中多維度數(shù)據(jù)分析，需要在Hadoop 分布框架的支持下，建立多維度數(shù)據(jù)集合，并且通過提取特征信息參量的方式，得到最終處理結(jié)果。

1.1 Hadoop分布框架

在電子信息系統(tǒng)中，Hadoop 平臺擁有極強的分布式處理能力，可同時開啟多個數(shù)據(jù)信息副本，并借助MapReduece 節(jié)點占據(jù)系統(tǒng)環(huán)境中空余的數(shù)據(jù)參量節(jié)點，從而完全獨立處理多維度數(shù)據(jù)信息，元數(shù)據(jù)直接存儲于系統(tǒng)數(shù)據(jù)庫。在邊緣Service 節(jié)點的作用下，Public、Private、Hybrid 三類次級節(jié)點可分別連接Hadoop 平臺主機元件，并可按照電子信息參量的實際傳輸需求，存儲多維度數(shù)據(jù)于不同的應(yīng)用結(jié)構(gòu)體系[3-4]。完整的Hadoop 平臺由Saas、Paas、Lass 三類結(jié)構(gòu)共同組成。其中，Saas 結(jié)構(gòu)負責(zé)電信號的處理與傳輸需求，Paas 結(jié)構(gòu)可分布判別多維度電子信息，Lass 結(jié)構(gòu)則可借助電子信息開發(fā)軟件，實現(xiàn)調(diào)取與利用數(shù)據(jù)參量多維度傳輸條件。

圖1 Hadoop分布框架結(jié)構(gòu)圖

1.2 多維度數(shù)據(jù)集合

多維度數(shù)據(jù)集合是一個獨立存在的電子信息參量表達定義體系，可在已知Hadoop 分布框架布局形式的基礎(chǔ)上，確定與待過濾信息匹配的協(xié)同處理作用強度，從而使電子信息參量具備更強的聚合性價值，便于系統(tǒng)主機后續(xù)的過濾與處理信息參量。一個多維度數(shù)據(jù)集合至少具備一個完整的協(xié)同處置強度指標值，且隨著數(shù)據(jù)傳輸量的增加，電子信息系統(tǒng)所具備的過濾處理能力也在逐漸增強，直至所有信息參量都能被匹配至少一個協(xié)同處理系數(shù)值[5-6]。設(shè)u0代表電子信息系統(tǒng)中多維度數(shù)據(jù)參量的基本過濾系數(shù)，Rmin代表最小的電子信息特征值，Rmax代表最大的電子信息特征值，Ri代表第i個電子信息特征值，聯(lián)立上述物理量，可將多維度數(shù)據(jù)集合表示為：

其中，β代表電信號傳輸特征值，代表多維度電子數(shù)據(jù)的單位傳輸均值量。

1.3 特征信息參量提取

為實現(xiàn)協(xié)同過濾多維度數(shù)據(jù)參量，需要在電子信息系統(tǒng)環(huán)境中，利用已知的系數(shù)值條件，提取特征信息參量集，并從中選取具有實用性價值的參量文件，以供數(shù)據(jù)庫主機的直接調(diào)取與應(yīng)用。特征信息參量是指一類具有極強傳輸能力的電信號數(shù)據(jù)指標，可在多維度數(shù)據(jù)集合中確定電子信息參量的實際傳輸位置，并通過整合關(guān)聯(lián)數(shù)據(jù)文件的方式，實現(xiàn)篩查與整合多維度電子信息數(shù)據(jù)[7-8]。設(shè)P1、P2代表兩個不同的電子信息數(shù)據(jù)文件編碼條件，λ代表多維度電子信息數(shù)據(jù)的提取權(quán)重值，聯(lián)立公式（1），可將特征信息參量提取結(jié)果表示為：

式中，μ代表電子信息的維度系數(shù)值，w0代表電子信息參量的起始傳輸位置，wn代表電子信息參量的終止傳輸位置，n代表單位時間內(nèi)的電子信息傳輸與調(diào)取次數(shù)。

2 多維度數(shù)據(jù)協(xié)同過濾方法

2.1 過濾偏好數(shù)據(jù)

過濾偏好是指電子信息系統(tǒng)在執(zhí)行多維度數(shù)據(jù)協(xié)同過濾時，遵循的信息參量處置標準。一般來說，隨電子信息累積量的增大，系統(tǒng)處理遵循的過濾偏好標準也會變化，但這種物理變化作用表現(xiàn)形式細微，并不能直接描述多維度數(shù)據(jù)集合的存在形式，但由于二者之間存在限制影響作用，可認為數(shù)據(jù)集合中與信息參量匹配的維度數(shù)值量越大，電子信息系統(tǒng)所具備的過濾處理能力就越強[9-10]。在不考慮其他干擾條件的情況下，電子信息系統(tǒng)中過濾偏好設(shè)置結(jié)果只受數(shù)據(jù)集維度參量值、信息過濾處理強度兩項物理指標的直接影響。數(shù)據(jù)集維度參量值可表示為q′，一般情況下，該項物理量的數(shù)值水平越高，電子信息系統(tǒng)所具備的數(shù)據(jù)過濾處理能力也就越強。信息過濾處理強度可表示為χ，在電子信息系統(tǒng)中，該項物理指標能夠反映多維度數(shù)據(jù)參量所具備的協(xié)同傳輸能力，但由于信息數(shù)據(jù)傳輸量具有不確定性，該項物理指標的實際數(shù)值水平不易過大。在上述物理量的支持下，聯(lián)立公式（2），可將電子信息系統(tǒng)的過濾偏好設(shè)置標準定義為：

其中，ε代表電子信息系統(tǒng)中數(shù)據(jù)參量供應(yīng)系數(shù)項，s代表電子信息數(shù)據(jù)的協(xié)同傳輸量均值。

2.2 隱向量篩查

隱向量是指電子信息系統(tǒng)中，因維度屬性過于復(fù)雜而被忽略的數(shù)據(jù)參量，由于過濾偏好設(shè)置情況的不同，待篩查的隱向量數(shù)值水平存在差異性。在電子信息系統(tǒng)環(huán)境中，大多數(shù)隱向量篩查行為都可滿足定值檢索條件，特別是在已知過濾偏好設(shè)置結(jié)果的情況下，可認為待篩查的隱向量數(shù)值水平越高，多維度數(shù)據(jù)集合中的已存儲數(shù)據(jù)信息量也就越大[11-12]。在多維度指標保持為定值參量時，協(xié)同過濾指令的作用范圍越廣泛，隱向量篩查行為的處理程度越深。因此，為獲得理想的多維度數(shù)據(jù)協(xié)同過濾結(jié)果，需要限定隱向量篩查行為的作用價值，并且通過計算電子信息傳輸量數(shù)值的方法，確定隱向量指標的實際數(shù)值水平[13-14]。設(shè)γ代表電子信息數(shù)據(jù)的隱藏系數(shù)，f代表多維度數(shù)據(jù)的協(xié)同過濾量，l˙代表電子信息數(shù)據(jù)的過濾特征值，聯(lián)立公式（3），可將電子信息系統(tǒng)的隱向量篩查結(jié)果表示為：

式中，θ1、θ2代表兩個不同的電子信息數(shù)據(jù)維度編碼條件，ΔT代表單位過濾時長，代表既定的數(shù)據(jù)信息協(xié)同傳輸量。

2.3 協(xié)同梯度值計算

協(xié)同梯度是指多維度數(shù)據(jù)在電子信息系統(tǒng)中能到達的最大傳輸深度值，對于數(shù)據(jù)信息過濾行為而言，協(xié)同梯度值越大，電子信息系統(tǒng)具備的數(shù)據(jù)參量承載能力越強。在不考慮其他干擾條件情況下，協(xié)同梯度值計算結(jié)果受到電子信息系統(tǒng)承載能力、數(shù)據(jù)流傳輸覆蓋面積兩項物理指標的直接影響[15-16]。數(shù)據(jù)流傳輸覆蓋面積由下限參量v0、上限參量vn兩部分共同組成，上述兩項參數(shù)指標間設(shè)置的物理距離越長，多維度數(shù)據(jù)在電子信息系統(tǒng)中能到達的傳輸距離越遠。設(shè)ξ代表與電子信息系統(tǒng)匹配的數(shù)據(jù)承載系數(shù)值，聯(lián)立公式（4），可將協(xié)同梯度值計算結(jié)果表示為：

其中，φ代表既定的隱向量數(shù)據(jù)排查系數(shù)，代表多維度數(shù)據(jù)參量的協(xié)同傳輸系數(shù)值，代表電子信息參量的平均過濾數(shù)值。

至此，完成各項物理系數(shù)值的計算與處理，在不考慮其他外界干擾條件的情況下，實現(xiàn)多維度數(shù)據(jù)協(xié)同過濾方法的應(yīng)用。

3 實驗分析

為驗證電子信息系統(tǒng)中多維度數(shù)據(jù)協(xié)同過濾方法的實際應(yīng)用能力，設(shè)計對比實驗。在電信號輸出主機中同時輸入多維度數(shù)據(jù)協(xié)同過濾方法、云共享型過濾方法兩種執(zhí)行流程，其中前者作為實驗組、后者作為對照組。控制跳頻器裝置，使信號量顯示器中物理示數(shù)值快速趨于穩(wěn)定，當其示數(shù)量不再發(fā)生變化時，將所獲數(shù)據(jù)平均分成兩份，其中一部分作為實驗組電子信息數(shù)據(jù)參量，另一部分作為對照組電子信息數(shù)據(jù)參量。

圖2 電子信息系統(tǒng)中的數(shù)據(jù)信息收發(fā)

QBI 指標在單位時間內(nèi)數(shù)值變化量水平能夠描述電子信息數(shù)據(jù)的實際傳輸能力，一般情況下，QBI指標數(shù)值越大，電子信息數(shù)據(jù)的傳輸能力也就越強，反之則越弱。實驗時間共計60 min，每15 min 為一個實驗組別，每組實驗數(shù)據(jù)分別在三個時間點采集數(shù)據(jù)，時間間隔為5 min，即每組數(shù)據(jù)獲得三個數(shù)據(jù)值。通過表1 記錄了實驗組、對照組QBI 指標數(shù)值的具體變化情況。

表1 QBI指標對比

分析表1 可知，實驗組QBI 指標在前兩個單位時長內(nèi)，一直保持小幅上升的數(shù)值變化趨勢，而從第三個單位時長開始，這種數(shù)值上升狀態(tài)開始不斷擴大，且一直延續(xù)至實驗結(jié)束；對照組QBI 指標在前兩個單位時長內(nèi)，也一直保持小幅上升的數(shù)值變化趨勢，而從第三個單位時長開始，這種數(shù)值上升趨勢得到有效抑制，開始呈現(xiàn)連續(xù)穩(wěn)定的數(shù)值變化狀態(tài)，從第四個單位時長開始，則開始連續(xù)下降的變化形式。在整個實驗過程中，實驗組最大值73.84%與對照組最大值34.31%相比，上升了39.53%。

BBS 系數(shù)反映電子信息系統(tǒng)對于數(shù)據(jù)參量的按需提取能力，BBS 系數(shù)值越大，電子信息系統(tǒng)所具備的數(shù)據(jù)參量按需提取能力越強，由于不同時間段的BBS 系數(shù)變化趨勢不同，為了便于詳細分析，將實驗數(shù)據(jù)分為兩個時間段，呈現(xiàn)更多更詳細的數(shù)據(jù)。實驗數(shù)值對比情況如圖3 所示：

圖3 BBS系數(shù)對比圖

分析圖3 可知，實驗組BBS 系數(shù)在前25 min 的實驗時間內(nèi)，保持先上升、再下降、然后重復(fù)的變化趨勢；在30～55 min 的實驗時間內(nèi)，BBS 系數(shù)則保持先上升、再下降的趨勢。整個實驗過程中最大數(shù)值達到了83.15%。對照組BBS 系數(shù)在整個實驗過程中始終與實驗組保持相同的變化趨勢，但其均值水平卻遠低于實驗組，其最大數(shù)值只能達到70.04%，與實驗組最大值相比，下降了13.11%。

4 結(jié)束語

與云共享型過濾方法相比，多維度數(shù)據(jù)協(xié)同過濾方法解決了數(shù)據(jù)維度混亂問題，這是因為該方法應(yīng)用了Hadoop 分布框架，定向提取特征信息參量，并且通過設(shè)置過濾偏好的方式，得到最終的協(xié)同梯度值計算結(jié)果，最終有效過濾相關(guān)電子信息參量。從實用性角度分析，QBI 指標數(shù)值與BBS 指標數(shù)值的增大，可在維持數(shù)據(jù)參量按需提取能力的同時，增強系統(tǒng)主機在單位時間內(nèi)的數(shù)據(jù)上傳能力，具備較強的實際應(yīng)用可行性。