秦偉
摘 ?要: 大數(shù)據(jù)分析技術(shù)是目前海量網(wǎng)絡(luò)數(shù)據(jù)的主要處理方法,大數(shù)據(jù)分析性能直接決定了網(wǎng)絡(luò)數(shù)據(jù)處理結(jié)果。研究基于大數(shù)據(jù)分析的“五個一”工程考核評價,以一站式服務(wù)、統(tǒng)一管理、一致性、第一時間、一如既往作為框架建立大數(shù)據(jù)分析技術(shù)的“五個一”工程考核評價體系。通過層次分析法利用權(quán)重指標(biāo)重新排序建立“五個一”工程考核評價指標(biāo),通過模糊綜合評價法量化獲取重新排序后的“五個一”工程考核評價指標(biāo)的綜合評價結(jié)果,令大數(shù)據(jù)分析的“五個一”工程考核評價趨于精準(zhǔn)和科學(xué)。實驗結(jié)果表明,該方法可有效獲取大數(shù)據(jù)分析技術(shù)在數(shù)據(jù)挖掘、數(shù)據(jù)整合、數(shù)據(jù)分類三種情況下“五個一”工程考核評價結(jié)果,考核評價結(jié)果均為優(yōu)良,并驗證了該方法的考核評價精準(zhǔn)性以及全面性。
關(guān)鍵詞: “五個一”工程; 大數(shù)據(jù)分析; 工程考核; 綜合評價; 數(shù)據(jù)處理; 評價指標(biāo)
中圖分類號: TN911.1?34; TP309 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼: A ? ? ? ? ? ? ? ? ? ?文章編號: 1004?373X(2020)23?0107?05
Abstract: The big data analysis technology is the current main processing method for massive network data. The performance of big data analysis directly determines the results of network data processing. The Five?one Project assessment and evaluation based on big data analysis is studied. The Five?one Project assessment and evaluation system based on big data analysis technology is built, which takes one?stop service, unified management, consistency, first time and true to form as its framework. The weighted index is used to re?rank the established Five?one Project assessment and evaluation indicators by the hierarchy analysis method. The comprehensive evaluation results of the re?ranked Five?one Project assessment and evaluation indicators are obtained and quantized with the fuzzy comprehensive evaluation method, so that the Five?one Project assessment and evaluation based on big data analysis tend to be accurate and scientific. The experimental results show that this method can effectively obtain the results of the Five?one Project assessment and evaluation in the three cases of data mining, data integration and data classification of the big data analysis technology, and the results of the assessment and evaluation are all excellent. The method′s accuracy and comprehensiveness of the assessment and evaluation have been verified.
Keywords: Five?one Project; big data analysis; project assessment; comprehensive evaluation; data processing; evaluation index
0 ?引 ?言
隨著信息技術(shù)不斷發(fā)展,大數(shù)據(jù)時代已經(jīng)到來,云計算、數(shù)據(jù)處理以及數(shù)據(jù)挖掘已廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)處理中。大數(shù)據(jù)分析技術(shù)具有多層次、多維度的特點[1],大數(shù)據(jù)分析技術(shù)通過分析海量數(shù)據(jù)獲取有價值信息,令用戶實時明確數(shù)據(jù)發(fā)展規(guī)律,獲取所需數(shù)據(jù)信息,預(yù)測數(shù)據(jù)發(fā)展方向和趨勢[2]。大數(shù)據(jù)分析技術(shù)應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)中已成為網(wǎng)絡(luò)未來的發(fā)展趨勢。采用大數(shù)據(jù)分析技術(shù)分析網(wǎng)絡(luò)中海量、多維數(shù)據(jù),為網(wǎng)絡(luò)規(guī)模進(jìn)一步發(fā)展提供有效依據(jù)[3]。
徐州工程學(xué)院大學(xué)生素養(yǎng)提升“五個一”工程是引導(dǎo)學(xué)生實踐“系統(tǒng)研讀一本書、學(xué)會一些音樂知識或者一種樂器、愛上一項體育運動、參加一個科技創(chuàng)新團(tuán)隊、參與一次社會實踐活動”。為提升海量網(wǎng)絡(luò)數(shù)據(jù)分析質(zhì)量,研究基于大數(shù)據(jù)分析的“五個一”工程考核評價,將“五個一”工程應(yīng)用于大數(shù)據(jù)分析技術(shù)中,通過考核大數(shù)據(jù)分析技術(shù)的“五個一”工程,評價大數(shù)據(jù)分析技術(shù)分析網(wǎng)絡(luò)數(shù)據(jù)的有效性[4]。大數(shù)據(jù)分析技術(shù)目前缺乏統(tǒng)一的評估體系,將層次分析法以及模糊評價法應(yīng)用于大數(shù)據(jù)分析技術(shù)中,通過完善的大數(shù)據(jù)分析技術(shù)考核評價指標(biāo)體系,明確“五個一”工程各項指標(biāo)相對權(quán)重值[5],通過模糊綜合評價法定量獲取大數(shù)據(jù)分析技術(shù)各項指標(biāo)綜合得分,并通過實驗驗證該評價方法評價大數(shù)據(jù)分析技術(shù)的有效性與實用性。
1 ?大數(shù)據(jù)分析的“五個一”工程考核評價
1.1 ?大數(shù)據(jù)分析技術(shù)的考核評價指標(biāo)體系
網(wǎng)絡(luò)大數(shù)據(jù)包括數(shù)據(jù)定義、數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)呈現(xiàn)、數(shù)據(jù)整合等眾多方面,大數(shù)據(jù)分析技術(shù)質(zhì)量受到眾多因素影響[6]。大數(shù)據(jù)分析技術(shù)的考核評價需要綜合考慮大數(shù)據(jù)分析技術(shù)的完整性、準(zhǔn)確性以及實時性,大數(shù)據(jù)分析技術(shù)分析質(zhì)量以及使用效果同時也是大數(shù)據(jù)分析技術(shù)重要考核因素[7]。影響大數(shù)據(jù)分析技術(shù)的因素眾多,為高效考核評價大數(shù)據(jù)分析技術(shù)的有效性,需要獲取影響大數(shù)據(jù)分析技術(shù)有效性的核心要素,并需要明確分析各要素間的相關(guān)性[8]。
以“五個一”工程的一站式服務(wù)、統(tǒng)一管理、一致性、第一時間、一如既往作為框架,建立大數(shù)據(jù)分析技術(shù)對“五個一”工程進(jìn)行考核評價,如圖1所示。
一站式服務(wù)是指大數(shù)據(jù)分析技術(shù)需要具有可靠的權(quán)限管理模式,大數(shù)據(jù)分析技術(shù)應(yīng)用于海量網(wǎng)絡(luò)數(shù)據(jù)中應(yīng)具備穩(wěn)定性以及兼容性。統(tǒng)一管理主要包括單元完整、結(jié)構(gòu)完整以及數(shù)據(jù)完整三部分,統(tǒng)一管理是指采用大數(shù)據(jù)分析技術(shù)應(yīng)用于海量網(wǎng)絡(luò)數(shù)據(jù)時,通過統(tǒng)一的管理令網(wǎng)絡(luò)數(shù)據(jù)單元、結(jié)構(gòu)以及數(shù)據(jù)具有完整性[9]。大數(shù)據(jù)分析技術(shù)應(yīng)保持?jǐn)?shù)據(jù)信息不存在缺失,若數(shù)據(jù)中存在缺失,大數(shù)據(jù)分析技術(shù)有效性將大幅度降低。一致性是指數(shù)據(jù)一致、規(guī)范一致以及變更一致,主要通過規(guī)范性以及邏輯性體現(xiàn),規(guī)范性是指網(wǎng)絡(luò)數(shù)據(jù)應(yīng)存在于指定格局中,邏輯性是指采用大數(shù)據(jù)分析技術(shù)時,數(shù)據(jù)存在一定邏輯關(guān)系,數(shù)據(jù)變更應(yīng)同步進(jìn)行。第一時間主要包括有效期以及更新頻率,大數(shù)據(jù)分析技術(shù)應(yīng)具有實時性,數(shù)據(jù)更新應(yīng)及時,避免由于時間延誤造成分析結(jié)果不具有價值。一如既往是指大數(shù)據(jù)分析技術(shù)準(zhǔn)確性應(yīng)保持一如既往,準(zhǔn)確性主要包括描述準(zhǔn)確、格式準(zhǔn)確以及位置準(zhǔn)確[10]。
“五個一”工程考核評價指標(biāo)體系可廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)分析技術(shù)中,考核評價大數(shù)據(jù)分析技術(shù)應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù),不同網(wǎng)絡(luò)數(shù)據(jù)可依據(jù)評分結(jié)果對大數(shù)據(jù)分析技術(shù)各項指標(biāo)有所改動。
1.2 ?層次分析法確定考核指標(biāo)
依據(jù)圖1建立的“五個一”工程考核評價指標(biāo)體系,利用層次分析法將考核指標(biāo)按權(quán)重重新排序,解構(gòu)、分析“五個一”工程考核評價指標(biāo),建立因子梯次層次網(wǎng)絡(luò)模型,利用大數(shù)據(jù)相關(guān)技術(shù)獲取不同影響因素關(guān)聯(lián)度[11],明確最終考核目標(biāo)。
當(dāng)大數(shù)據(jù)分析“五個一”工程考核元素過多時,會直接影響評價決策者決策,容易出現(xiàn)實際重要程度與提供重要程度存在差異情況[12],可能出現(xiàn)相互矛盾的評價結(jié)果。設(shè)存在數(shù)量為[n]的因子用[Y=y1,y2,…,yn]表示,取隨機兩個因子[yi]與[yj],某因素[P]受兩個因子[yi]與[yj]的影響作用程度比值用[bij]表示,利用[B=(bij)n×n]表示所有比照結(jié)果集合,則[P-Y]判斷矩陣為[B]??衫脭?shù)字1~9以及倒數(shù)作為[bij]值標(biāo)度,1~9標(biāo)度賦值標(biāo)準(zhǔn)如表1所示。
表1 ?元素賦值標(biāo)準(zhǔn)
[[aij] 定義 1 二者重要性相同 2 介于1~3之間 3 前者略重要于后者 4 介于3~5之間 5 二者的重要性明顯 6 介于5~7之間 7 前者十分重要于后者 8 介于7~9之間 9 二者的絕對重要性 ]
除符合表1賦值標(biāo)準(zhǔn)外,還需滿足當(dāng)[bijbjk=bik,][i,j,k=1,2,…,n],且[B]表示一致矩陣,此時[αmax=n],當(dāng)[B]的一致性具有誤差時,[αmax>n],[αmax-n]值在誤差越大時越大。
最大特征根[αmax]持續(xù)依賴[bij],則[B]的非一致性在最大特征根[αmax>n]時更加強烈,相應(yīng)地,無法體現(xiàn)[P]受[Y]的影響比重,因此需要檢驗判斷性矩陣[B]的一致性,一致性檢驗步驟如下:
1) 獲取一致性指標(biāo)CI。一致性指標(biāo)CI公式如下:
2) 尋找對應(yīng)RI。依據(jù)表2給出[n=1,2,…,9]相應(yīng)RI值。
利用獲取的RI值建立樣本矩陣,從樣本矩陣內(nèi)選取1~9以及相應(yīng)倒數(shù)建立正反矩陣,獲取[αmax]平均值,用[α′max]表示,獲取公式如下:
一致性比例小于0.10時,表明其一致性可接受;一致性比例大于等于0.10時,通過調(diào)整判斷矩陣可令一致性比例實現(xiàn)可接受程度。
通過以上過程獲取考核大數(shù)據(jù)分析的“五個一”工程評價因子相應(yīng)上層內(nèi)因子權(quán)重向量,獲取因子權(quán)重次序,便于選取最優(yōu)方案[13]。單一類別下不同因子權(quán)重經(jīng)過分類后合成,并從上至下排序后獲取考核評價總體權(quán)重排序。
通過逐層一致性檢驗避免非一致性累積,令基于大數(shù)據(jù)分析的“五個一”工程考核評價整體呈現(xiàn)一致性。將一致性檢驗獲取指標(biāo)[CIh,h=1,2,…,m]的單排序指標(biāo)用[RIh]表示。層次隨機一致性總排序比例獲取如下:
以上公式計算結(jié)果小于0.1時,表明該層次總排序一致性結(jié)果為可接受。
1.3 ?模糊綜合評價法
利用層次分析法重新排序考核指標(biāo)權(quán)重后,通過模糊綜合評價法獲取最終考核評價結(jié)果。模糊綜合評價法是利用模糊數(shù)學(xué)共聚評判以及分析復(fù)雜事物的方法。模糊綜合評價法需要先分析待評判因素指標(biāo)集以及評判集,用[G=g1,g2,…,gn]與[U=u1,u2,…,um]表示指標(biāo)集以及評判集。用[vi]表示單項指標(biāo),利用[uj]評判[vi]結(jié)果,可分為優(yōu)、良、中、差、極差五個等級表示。
基于大數(shù)據(jù)分析的“五個一”工程考核評價要素為待評價對象、評價者、綜合評價模型、權(quán)重系數(shù)以及評價指標(biāo)五部分。首先需要明確待評價對象以及評價者,通過層次分析法確定考核評價指標(biāo)體系,通過獲取權(quán)重系數(shù)建立考核評價模型,利用評價模型獲取的評價值分類、排序以及討論[14]。
利用[G,U,K,M]組成模糊綜合評價數(shù)字模型,數(shù)字模型中,[G]與[U]分別表示評價因素集以及評判集;[K]與[M]分別表示模糊矩陣以及權(quán)重集合。設(shè)存在評判矩陣[K=K1,K2,…,KnT],評價因素的單因素評判結(jié)果用[Ki]表示,可得[Ki=k1,k2,…,kim]。將權(quán)重向量[M]依據(jù)模糊變換原理符合模糊關(guān)系矩陣[K]獲取綜合評判結(jié)果[T]。
分別確定不同因素隸屬度向量[K]以及相應(yīng)權(quán)重[M],通過模糊變換獲取最終模糊評判矩陣[K]。將模糊評判矩陣集合以及因素權(quán)重向量利用模糊運算歸一化處理[15],獲取最終模糊綜合評價結(jié)果集合[T],即[T=M?K]。建立綜合評價模型用[G,U,K,M]表示,基于綜合評價模型獲取最終評價結(jié)果矩陣公式如下:
2 ?仿真實驗
為檢測本文研究基于大數(shù)據(jù)分析的“五個一”工程考核評價方法應(yīng)用于海量網(wǎng)絡(luò)數(shù)據(jù)大數(shù)據(jù)分析技術(shù)的 有效性,選取Matlab仿真軟件模擬海量網(wǎng)絡(luò)數(shù)據(jù)環(huán)境,設(shè)置網(wǎng)絡(luò)數(shù)據(jù)大小為1 000 GB,統(tǒng)計采用本文方法在數(shù)據(jù)挖掘、數(shù)據(jù)整合、數(shù)據(jù)分類三種大數(shù)據(jù)分析技術(shù)情況下的考核評價結(jié)果。采用本文方法評價大數(shù)據(jù)分析的“五個一”工程在不同情況下的權(quán)重結(jié)果如表3所示。
獲取不同考核評價指標(biāo)權(quán)重后,選取百分制評價各類指標(biāo),評分結(jié)果分為優(yōu)秀(90~100)、良好(80~90)、中等(70~80)、普通(60~70)以及不及格(0~60),采用本文方法考核評價大數(shù)據(jù)分析的“五個一”工程最終結(jié)果如表4所示。
實驗結(jié)果表明,大數(shù)據(jù)分析的“五個一”工程對于數(shù)據(jù)挖掘、數(shù)據(jù)整合、數(shù)據(jù)分類三種情況考核評價結(jié)果均為優(yōu)良,說明大數(shù)據(jù)分析技術(shù)應(yīng)用于海量數(shù)據(jù)挖掘、數(shù)據(jù)整合以及數(shù)據(jù)分類中均具有較高的可靠性,但仍具有較高提升空間。考核評價過程中權(quán)重大小直接體現(xiàn)該指標(biāo)對于大數(shù)據(jù)分析的“五個一”工程考核評價重要性。為提升大數(shù)據(jù)分析技術(shù)的有效性,可針對權(quán)重較高指標(biāo)進(jìn)一步優(yōu)化、完善,提升大數(shù)據(jù)分析可靠性。
為直觀展示本文方法考核評價性能,將本文方法與平衡計分方法、閉環(huán)評價方法以及TOPSIS方法對比,三種方法考核評價精度如圖2所示。
通過圖2實驗結(jié)果可以看出,采用本文方法考核評價大數(shù)據(jù)分析的“五個一”工程,考核評價精度明顯高于其他三種方法,本文方法考核評價精度高達(dá)95%以上,而其他三種方法考核評價精度均低于90%,實驗結(jié)果說明本文方法具有較高的考核評價精準(zhǔn)性。
統(tǒng)計不同方法考核評價全面性,評價結(jié)果如圖3所示。
通過圖3實驗結(jié)果可以看出,采用本文方法考核評價大數(shù)據(jù)分析的“五個一”工程,考核評價全面性明顯高于另外三種方法,實驗結(jié)果表明采用本文方法考核評價大數(shù)據(jù)分析的“五個一”工程比較全面,可適用于大數(shù)據(jù)分析技術(shù)應(yīng)用于不同數(shù)據(jù)分析處理中。
3 ?結(jié) ?語
目前網(wǎng)絡(luò)中存在的海量數(shù)據(jù),采用以往數(shù)據(jù)挖掘方法較難獲取所需目標(biāo),將大數(shù)據(jù)分析技術(shù)應(yīng)用于海量網(wǎng)絡(luò)數(shù)據(jù)中,并通過“五個一”工程考核評價結(jié)果獲取影響大數(shù)據(jù)分析技術(shù)最高指標(biāo),利用考核評價結(jié)果適時調(diào)整大數(shù)據(jù)分析技術(shù)相關(guān)因素。通過科學(xué)合理地考核評價體系,監(jiān)督大數(shù)據(jù)分析技術(shù)使用,提升網(wǎng)絡(luò)實用性,為用戶使用大數(shù)據(jù)分析技術(shù)提供有效依據(jù),從而全面提升大學(xué)生素質(zhì)。
參考文獻(xiàn)
[1] 馮貴蘭,李正楠,周文剛.大數(shù)據(jù)分析技術(shù)在網(wǎng)絡(luò)領(lǐng)域中的研究綜述[J].計算機科學(xué),2019,46(6):1?20.
[2] 賈賀,艾中良,賈高峰,等.基于Solr的司法大數(shù)據(jù)檢索模型研究與實現(xiàn)[J].計算機工程與應(yīng)用,2017,53(20):249?253.
[3] 王紅春,趙亞星.大數(shù)據(jù)環(huán)境下基于BP神經(jīng)網(wǎng)絡(luò)的建筑企業(yè)供應(yīng)商選擇[J].土木工程與管理學(xué)報,2019,36(3):27?33.
[4] 佘承其,張照生,劉鵬,等.大數(shù)據(jù)分析技術(shù)在新能源汽車行業(yè)的應(yīng)用綜述:基于新能源汽車運行大數(shù)據(jù)[J].機械工程學(xué)報,2019,55(20):3?16.
[5] 許駿,付浩海,張素莉.基于大數(shù)據(jù)和AHP?DEMATEL分析法的VR產(chǎn)業(yè)知識基礎(chǔ)評價研究[J].工業(yè)技術(shù)經(jīng)濟,2019,38(7):101?107.
[6] 尹蕾,蔣建國,路瑞剛,等.面向大數(shù)據(jù)的新能源汽車復(fù)雜聯(lián)盟云評價研究[J].汽車工程,2019,41(1):112?119.
[7] 孫利民,尚志強,夏燁.大數(shù)據(jù)背景下的橋梁結(jié)構(gòu)健康監(jiān)測研究現(xiàn)狀與展望[J].中國公路學(xué)報,2019,32(11):1?20.
[8] 王靜宇,欒俊清,譚躍生.基于數(shù)據(jù)敏感性的大數(shù)據(jù)訪問控制模型研究[J].計算機工程與應(yīng)用,2019,55(23):70?77.
[9] 翟俊海,齊家興,沈矗,等.基于MapReduce和Spark的大數(shù)據(jù)主動學(xué)習(xí)比較研究[J].計算機工程與科學(xué),2019,41(10):1715?1722.
[10] 劉炳含,付忠廣,王鵬凱,等.大數(shù)據(jù)挖據(jù)技術(shù)在燃煤電站機組能耗分析中的應(yīng)用研究[J].中國電機工程學(xué)報,2018,38(12):3578?3587.
[11] 徐享,李俊奇,馮珂,等.海綿城市PPP項目績效考核體系的優(yōu)化與提升[J].環(huán)境工程,2019,37(7):1?7.
[12] 燕凱,岳振宇,高嘉浩.基于大數(shù)據(jù)的電力計量設(shè)備運行狀態(tài)評估與故障診斷方法研究[J].電子器件,2019,42(5):1095?1098.
[13] 易明雨,肖赤心,潘暉,等.用于大數(shù)據(jù)分類的快速隱層優(yōu)化分布式極限學(xué)習(xí)機[J].計算機工程與應(yīng)用,2019,55(16):165?169.
[14] 李品,楊建林.大數(shù)據(jù)時代哲學(xué)社會科學(xué)學(xué)術(shù)成果評價:問題、策略及指標(biāo)體系[J].圖書情報工作,2018,62(16):5?14.
[15] 趙洪山,馬利波.基于張量Tucker分解的智能配電網(wǎng)大數(shù)據(jù)壓縮[J].中國電機工程學(xué)報,2019,39(16):4744?4752.