呼 陽(yáng),陳 干

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,陜西 西安710600)

0 引言

隨著大數(shù)據(jù)時(shí)代的到來(lái),紡織企業(yè)已經(jīng)認(rèn)識(shí)到數(shù)據(jù)是企業(yè)的戰(zhàn)略資產(chǎn),如何從海量數(shù)據(jù)中挖掘價(jià)值,洞察數(shù)據(jù)規(guī)律,支撐企業(yè)實(shí)時(shí)、精準(zhǔn)、敏捷的決策,已成為當(dāng)下企業(yè)迫切的業(yè)務(wù)需求,在此需求下,大量紡織機(jī)數(shù)據(jù)分析工具層出不窮,產(chǎn)品逐步趨于成熟與同質(zhì)化[1]。通過(guò)接口通信、數(shù)據(jù)監(jiān)測(cè)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)構(gòu)建的高爐生產(chǎn)數(shù)據(jù)分析平臺(tái)[2],優(yōu)點(diǎn)是在一定程度上解決了數(shù)據(jù)分析的“信息孤島”,缺點(diǎn)是通用性差,成本高;借助大數(shù)據(jù)技術(shù)與業(yè)務(wù)相結(jié)合設(shè)計(jì)的煤礦安全生產(chǎn)大數(shù)據(jù)分析平臺(tái)[3],優(yōu)點(diǎn)是降低了成本,提高了擴(kuò)展性,缺點(diǎn)是分析鏈條的割裂導(dǎo)致分析效率不夠高效。因此,紡織企業(yè)也迫切需要一個(gè)可以覆蓋數(shù)據(jù)接入、處理、建模、可視化的數(shù)據(jù)分析全過(guò)程的數(shù)據(jù)分析平臺(tái)。

區(qū)塊鏈技術(shù)[4]指通過(guò)去中心化集體維護(hù)一個(gè)可靠數(shù)據(jù)庫(kù)的技術(shù),區(qū)塊鏈技術(shù)利用非對(duì)稱(chēng)加密技術(shù)實(shí)現(xiàn)區(qū)塊數(shù)據(jù)的存儲(chǔ),利用共識(shí)機(jī)制實(shí)現(xiàn)數(shù)據(jù)的更新,區(qū)塊鏈維護(hù)了一個(gè)按時(shí)間順序?qū)?shù)據(jù)塊組合成類(lèi)似鏈表的數(shù)據(jù)結(jié)構(gòu),具有無(wú)中心、共同參與、不可篡改、非對(duì)稱(chēng)加密的匿名安全性等特性。

在紡織機(jī)數(shù)據(jù)分析平臺(tái)架構(gòu)中引入?yún)^(qū)塊鏈技術(shù),利用區(qū)塊鏈的分布式共享賬本將數(shù)據(jù)分析四個(gè)過(guò)程的數(shù)據(jù)進(jìn)行共享傳遞,借助區(qū)塊鏈的不可篡改性確保在數(shù)據(jù)分析全過(guò)程中的數(shù)據(jù)安全并且可追溯,解決了數(shù)據(jù)分析過(guò)程中因分析鏈條割裂而造成分析效率下降的問(wèn)題,同時(shí)增強(qiáng)了對(duì)業(yè)務(wù)需求響應(yīng)的及時(shí)性。

1 平臺(tái)整體架構(gòu)

紡織機(jī)數(shù)據(jù)分析平臺(tái)利用區(qū)塊鏈技術(shù)去中心化的分布式共享賬本,提供數(shù)據(jù)分析全過(guò)程的數(shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)服務(wù),區(qū)塊鏈技術(shù)對(duì)數(shù)據(jù)分析平臺(tái)所有接入的數(shù)據(jù)按照時(shí)間順序用非對(duì)稱(chēng)加密算法進(jìn)行加密,將加密數(shù)據(jù)存入數(shù)據(jù)塊,并將數(shù)據(jù)塊按照先后順序鏈接成區(qū)塊鏈,保證區(qū)塊鏈數(shù)據(jù)的不可篡改性,可有效實(shí)現(xiàn)數(shù)據(jù)價(jià)值追溯性。因此,基于區(qū)塊鏈的數(shù)據(jù)分析平臺(tái)為數(shù)據(jù)分析的四個(gè)過(guò)程提供統(tǒng)一的安全可靠的共享數(shù)據(jù)賬本,保證了數(shù)據(jù)的真實(shí)性和不可篡改性[5]。基于區(qū)塊鏈的紡織機(jī)數(shù)據(jù)分析平臺(tái)總體架構(gòu)如圖1所示。

1.1 區(qū)塊鏈網(wǎng)絡(luò)

網(wǎng)絡(luò)內(nèi)的每臺(tái)服務(wù)器節(jié)點(diǎn)上的共享賬本保存著數(shù)據(jù)分析全過(guò)程中的數(shù)據(jù)信息,該信息包含外部接入數(shù)據(jù)、處理后數(shù)據(jù)、建模數(shù)據(jù)、結(jié)果發(fā)布等。利用編寫(xiě)的智能合約來(lái)約束外界對(duì)公共賬簿的數(shù)據(jù)訪(fǎng)問(wèn),借助區(qū)塊鏈的共識(shí)機(jī)制保證網(wǎng)絡(luò)內(nèi)每臺(tái)服務(wù)器節(jié)點(diǎn)數(shù)據(jù)一致性。

1.2 接口層

紡織機(jī)數(shù)據(jù)分析平臺(tái)對(duì)區(qū)塊鏈中業(yè)務(wù)調(diào)用接口的一種封裝,成為SDK工具包,SDK中數(shù)據(jù)分析平臺(tái)調(diào)用區(qū)塊鏈查詢(xún)業(yè)務(wù)的2類(lèi)方法。

1.3 數(shù)據(jù)驗(yàn)證中心

存儲(chǔ)數(shù)據(jù)的所有者的公私鑰對(duì),對(duì)交互數(shù)據(jù)進(jìn)行加密解密,其中所有者的私鑰由專(zhuān)門(mén)的加密節(jié)點(diǎn)設(shè)備進(jìn)行創(chuàng)建與保存,并不提供查詢(xún)功能。數(shù)據(jù)驗(yàn)證中心提供了兩類(lèi)接口,一是對(duì)數(shù)據(jù)所有者公私鑰對(duì)初始化的接口,二是對(duì)數(shù)據(jù)解密的接口,最后將數(shù)據(jù)所有者的公鑰和簽名在區(qū)塊鏈網(wǎng)絡(luò)內(nèi)進(jìn)行廣播。當(dāng)外部調(diào)用解密接口時(shí),由加密節(jié)點(diǎn)對(duì)傳入的加密數(shù)據(jù)進(jìn)行解密,返回解密結(jié)果。

1.4 數(shù)據(jù)分析業(yè)務(wù)系統(tǒng)

紡織機(jī)數(shù)據(jù)分析的數(shù)據(jù)接入、處理、建模、結(jié)果發(fā)布等各業(yè)務(wù)系統(tǒng)借助SDK調(diào)用區(qū)塊鏈的共享賬簿的接口進(jìn)行數(shù)據(jù)的查詢(xún)與存儲(chǔ),SDK所提供的接口包括接入查詢(xún)與提交、處理數(shù)據(jù)結(jié)果的查詢(xún)與提交、建模數(shù)據(jù)的存儲(chǔ)與查詢(xún)、發(fā)布結(jié)果數(shù)據(jù)的存儲(chǔ)與查詢(xún)等。

1.5 管理應(yīng)用層

管理應(yīng)用層包含區(qū)塊鏈網(wǎng)絡(luò)管理、資源文件目錄和權(quán)限管理、業(yè)務(wù)查詢(xún)管理三部分。

圖1 區(qū)塊鏈紡織機(jī)數(shù)據(jù)分析平臺(tái)

2 紡織機(jī)數(shù)據(jù)分析共享數(shù)據(jù)流程

2.1 數(shù)據(jù)提交

借助SDK提供的接口實(shí)現(xiàn)數(shù)據(jù)提交。提交過(guò)程中,數(shù)據(jù)驗(yàn)證中心參與對(duì)數(shù)據(jù)所有者公私鑰的發(fā)放,以增加數(shù)據(jù)的安全性,通過(guò)區(qū)塊鏈的共享賬本實(shí)現(xiàn)數(shù)據(jù)的共享。以數(shù)據(jù)分析建模階段的數(shù)據(jù)提交為例,如圖2所示,具體過(guò)程為:

(1)數(shù)據(jù)分析各階段按照業(yè)務(wù)標(biāo)準(zhǔn)打包業(yè)務(wù)數(shù)據(jù),并制定對(duì)外共享的數(shù)據(jù)和權(quán)限。

(2)調(diào)用SDK提供的建模數(shù)據(jù)提交接口方法,提交數(shù)據(jù)所有者和封裝的業(yè)務(wù)數(shù)據(jù)。

(3)SDK接收到數(shù)據(jù)后,先在服務(wù)器節(jié)點(diǎn)上查詢(xún)是否有數(shù)據(jù)所有者的公鑰。若有,用該公鑰加密業(yè)務(wù)數(shù)據(jù);否則,調(diào)用數(shù)據(jù)驗(yàn)證中心的公私鑰接口獲取公鑰。

(4)系統(tǒng)的認(rèn)證授權(quán)(CA)使用自身的私鑰對(duì)封裝的業(yè)務(wù)數(shù)據(jù)和數(shù)據(jù)者進(jìn)行數(shù)字簽名。

(5)SDK調(diào)用自身建模數(shù)據(jù)提交接口進(jìn)行提交數(shù)據(jù),數(shù)據(jù)驗(yàn)證中心對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行簽名驗(yàn)證,驗(yàn)證成功后將業(yè)務(wù)數(shù)據(jù)進(jìn)行保存。

圖2 數(shù)據(jù)提交流程

2.2 數(shù)據(jù)查詢(xún)

紡織機(jī)數(shù)據(jù)分析共享平臺(tái)的查詢(xún)也是通過(guò)SDK提供的查詢(xún)接口實(shí)現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的查詢(xún),SDK將查詢(xún)數(shù)據(jù)發(fā)送給數(shù)據(jù)驗(yàn)證中心進(jìn)行解密,同時(shí)驗(yàn)證該數(shù)據(jù)的訪(fǎng)問(wèn)權(quán)限,然后根據(jù)訪(fǎng)問(wèn)權(quán)限返回?cái)?shù)據(jù)結(jié)果。以數(shù)據(jù)分析建模過(guò)程的數(shù)據(jù)查詢(xún)?yōu)槔?如圖3所示,具體過(guò)程為:

(1)外部調(diào)用SDK的數(shù)據(jù)查詢(xún)接口并傳入?yún)?shù),具體參數(shù)包含數(shù)據(jù)所有者和查詢(xún)選擇項(xiàng)等信息。

(2)SDK借助系統(tǒng)的認(rèn)證授權(quán)管理CA對(duì)訪(fǎng)問(wèn)請(qǐng)求進(jìn)行私鑰簽名。

(3)SDK調(diào)用服務(wù)器節(jié)點(diǎn)上查詢(xún)接口進(jìn)行查詢(xún),服務(wù)器節(jié)點(diǎn)驗(yàn)證簽名,驗(yàn)證通過(guò),返回加密的查詢(xún)結(jié)果。

(4)SDK返回各加密查詢(xún)結(jié)果統(tǒng)一發(fā)送給數(shù)據(jù)驗(yàn)證中心進(jìn)行解密,從而得到解密的建模數(shù)據(jù)。

(5)SDK返回解密后的建模數(shù)據(jù)。

圖3 數(shù)據(jù)查詢(xún)流程圖

3 關(guān)鍵技術(shù)

3.1 區(qū)塊鏈

區(qū)塊鏈技術(shù)[6]是一種共享的分布式數(shù)據(jù)庫(kù)技術(shù),具備去中心化、集體維護(hù)、多方監(jiān)督、不可纂改等特性,區(qū)塊鏈將信息按照時(shí)間順序封裝成數(shù)據(jù)塊,并將數(shù)據(jù)塊按先后順序組合成鏈表結(jié)構(gòu),利用共識(shí)機(jī)制保證區(qū)塊鏈網(wǎng)絡(luò)內(nèi)所有的節(jié)點(diǎn)數(shù)據(jù)一致,通過(guò)智能合約來(lái)控制數(shù)據(jù)訪(fǎng)問(wèn)的權(quán)限。

3.2 智能合約

智能合約概念最先被Nick Szabo博士[7]提出,被認(rèn)為是以數(shù)字形式定義的能夠自動(dòng)執(zhí)行條款的合同。在區(qū)塊鏈領(lǐng)域,智能合約是定義資產(chǎn)并且可以用于修改資產(chǎn)的事務(wù)指令的軟件,它制定了執(zhí)行讀取或修改鍵值對(duì)以及其他狀態(tài)數(shù)據(jù)庫(kù)信息操作的規(guī)則[8]。智能合約通過(guò)一個(gè)事務(wù)請(qǐng)求來(lái)執(zhí)行對(duì)賬本的當(dāng)前狀態(tài)數(shù)據(jù)庫(kù)操作。

3.3 共識(shí)機(jī)制

區(qū)塊鏈共識(shí)機(jī)制[9]可使網(wǎng)絡(luò)內(nèi)各節(jié)點(diǎn)的數(shù)據(jù)賬簿保持一致,是區(qū)塊鏈節(jié)點(diǎn)協(xié)同一致工作的核心。平臺(tái)采用拜占庭容錯(cuò)[10](Practical Byzantine Fault Tolerance,PBFT)共識(shí)算法實(shí)現(xiàn)其共識(shí)過(guò)程。在區(qū)塊鏈網(wǎng)絡(luò)內(nèi),利用工作量證明選出主節(jié)點(diǎn),其余節(jié)點(diǎn)為從節(jié)點(diǎn),之后執(zhí)行共識(shí)過(guò)程。具體步驟為:

(1)主節(jié)點(diǎn)將一段時(shí)間的數(shù)據(jù)封裝成一個(gè)數(shù)據(jù)區(qū)塊,然后將該數(shù)據(jù)區(qū)塊、數(shù)據(jù)區(qū)塊哈希值、主節(jié)點(diǎn)的數(shù)字簽名發(fā)送給從節(jié)點(diǎn)進(jìn)行審計(jì)。

(2)從節(jié)點(diǎn)接收到主節(jié)發(fā)送的數(shù)據(jù)后,對(duì)其合法性進(jìn)行驗(yàn)證,將審計(jì)結(jié)果和自身數(shù)字簽名發(fā)送給其他從節(jié)點(diǎn)。

(3)從節(jié)點(diǎn)收到其他從節(jié)點(diǎn)的審計(jì)結(jié)果,將自身驗(yàn)證結(jié)果、收到的全部審計(jì)結(jié)果、所有審計(jì)結(jié)果對(duì)比的最終結(jié)果、自身的數(shù)字簽名返回給主節(jié)點(diǎn)。

(4)主節(jié)點(diǎn)匯總所有從節(jié)點(diǎn)返回的審計(jì)結(jié)果。如果所有的驗(yàn)證結(jié)果都表示當(dāng)前數(shù)據(jù)塊合法,主節(jié)點(diǎn)將當(dāng)前數(shù)據(jù)區(qū)塊、對(duì)應(yīng)的數(shù)字簽名、從節(jié)點(diǎn)證書(shū)列表發(fā)送給全部從節(jié)點(diǎn),保證網(wǎng)絡(luò)內(nèi)節(jié)點(diǎn)數(shù)據(jù)一致。

(5)若存在從節(jié)點(diǎn)不同意審計(jì)結(jié)果,主節(jié)點(diǎn)將數(shù)據(jù)塊重新發(fā)送給這些從節(jié)點(diǎn)再次審計(jì),若仍然有部分從節(jié)點(diǎn)反對(duì)審計(jì)結(jié)果,則按少數(shù)服從多數(shù)原則審計(jì)。

4 系統(tǒng)功能

4.1 紡織機(jī)數(shù)據(jù)源信息共享

數(shù)據(jù)源為后續(xù)的數(shù)據(jù)分析提供基礎(chǔ)的數(shù)據(jù)支撐,數(shù)據(jù)可從文件、數(shù)據(jù)庫(kù)、第三方平臺(tái)獲取。在數(shù)據(jù)分析共享平臺(tái)建立統(tǒng)一的數(shù)據(jù)源庫(kù),避免了相同數(shù)據(jù)多次導(dǎo)入,提高了數(shù)據(jù)分析過(guò)程中數(shù)據(jù)接入的效率。

4.2 數(shù)據(jù)預(yù)處理結(jié)果共享

數(shù)據(jù)預(yù)處理是為下一階段數(shù)據(jù)建模提供基礎(chǔ)數(shù)據(jù),包括數(shù)據(jù)源的選取、數(shù)據(jù)字段的過(guò)濾、數(shù)據(jù)類(lèi)型的轉(zhuǎn)換、數(shù)據(jù)列的隱藏等。在數(shù)據(jù)分析共享平臺(tái)建立統(tǒng)一的數(shù)據(jù)預(yù)處理結(jié)果庫(kù),為后續(xù)分析數(shù)據(jù)提供直接的質(zhì)量數(shù)據(jù)。

4.3 建模數(shù)據(jù)共享

建模數(shù)據(jù)主要根據(jù)業(yè)務(wù)需求進(jìn)行模型構(gòu)建,滿(mǎn)足不同的場(chǎng)景應(yīng)用,數(shù)據(jù)從預(yù)處理數(shù)據(jù)中獲取。在數(shù)據(jù)分析共享平臺(tái)建立建模數(shù)據(jù)庫(kù),方便不同場(chǎng)景相同業(yè)務(wù)使用同一模型,提高了數(shù)據(jù)分析的能力。

4.4 成果數(shù)據(jù)共享

將已完成的分析結(jié)果及時(shí)共享,以此來(lái)提高業(yè)務(wù)工作的效率,在數(shù)據(jù)分析共享平臺(tái)建立統(tǒng)一的成果數(shù)據(jù)庫(kù),所有的用戶(hù)都可以及時(shí)看到對(duì)應(yīng)業(yè)務(wù)的分析結(jié)果。

5 系統(tǒng)測(cè)試及分析

系統(tǒng)利用5臺(tái)相同型號(hào)的服務(wù)器搭建分布式測(cè)試環(huán)境,每臺(tái)服務(wù)器的基本硬件配置為:Intel八核3.80GHz CPU,16G內(nèi)存,Cent Os6.5操作系統(tǒng)。在同一局域網(wǎng)中并且相同的共識(shí)機(jī)制環(huán)境下測(cè)試,排除網(wǎng)絡(luò)帶寬對(duì)測(cè)試結(jié)果的影響。

系統(tǒng)測(cè)試的主要目標(biāo)是觀(guān)察數(shù)據(jù)源的平均重復(fù)率和數(shù)據(jù)預(yù)處理結(jié)果重復(fù)率對(duì)數(shù)據(jù)分析效率的影響。數(shù)據(jù)源平均重復(fù)率指多次數(shù)據(jù)分析中數(shù)據(jù)源相同的數(shù)據(jù)分析次數(shù)占總分析次數(shù)的比率;數(shù)據(jù)預(yù)處理結(jié)果重復(fù)率指多次數(shù)據(jù)分析中需要相同預(yù)處理結(jié)果的分析次數(shù)占總分析次數(shù)的比率。計(jì)算公式為:

數(shù)據(jù)源平均重復(fù)率=數(shù)據(jù)源重復(fù)的次數(shù)/總分析次數(shù) (1)

預(yù)處理數(shù)據(jù)重復(fù)率=與處理數(shù)據(jù)重復(fù)次數(shù)/總分析次數(shù) (2)

圖4為測(cè)試時(shí)數(shù)據(jù)源重復(fù)率與預(yù)處理數(shù)據(jù)重復(fù)率及數(shù)據(jù)分析效率的關(guān)系。

通過(guò)測(cè)試結(jié)果可以看出,隨著數(shù)據(jù)源重復(fù)率和預(yù)處理數(shù)據(jù)重復(fù)率的增加,數(shù)據(jù)分析的效率也隨之增加。當(dāng)數(shù)據(jù)源有重復(fù)時(shí),第一次分析需要數(shù)據(jù)接入的步驟,之后每次分析就可免去過(guò)程,直接使用數(shù)據(jù)源;當(dāng)預(yù)處理數(shù)據(jù)有重復(fù)時(shí),第一次分析前面的數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理正常執(zhí)行,之后每次分析都可以直接使用之前的預(yù)處理書(shū),所以大大提高了數(shù)據(jù)分析的效率。

從表1可以看出,區(qū)塊鏈數(shù)據(jù)分析平臺(tái)能達(dá)到數(shù)據(jù)分析的基本功能和性能要求,同時(shí)可以跨系統(tǒng)交互,從而保證數(shù)據(jù)分析鏈的完整性,同時(shí)也能夠做到對(duì)業(yè)務(wù)決策的及時(shí)響應(yīng)。

圖4 數(shù)據(jù)源和預(yù)處理數(shù)據(jù)重復(fù)率對(duì)數(shù)據(jù)分析的影響

表1 區(qū)塊鏈數(shù)據(jù)分析平臺(tái)與傳統(tǒng)數(shù)據(jù)分析平臺(tái)性能對(duì)比

6 結(jié)語(yǔ)

針對(duì)數(shù)據(jù)分析各階段的數(shù)據(jù)傳遞不及時(shí)而造成的數(shù)據(jù)分析鏈割裂問(wèn)題,研究設(shè)計(jì)了基于區(qū)塊鏈的數(shù)據(jù)分析平臺(tái)。利用區(qū)塊鏈的分布式公共賬本,實(shí)現(xiàn)對(duì)數(shù)據(jù)分析全過(guò)程數(shù)據(jù)的全局共享;借助區(qū)塊鏈的不可纂改特性實(shí)現(xiàn)數(shù)據(jù)分析的可追溯性。系統(tǒng)測(cè)試結(jié)果表明區(qū)塊鏈數(shù)據(jù)分析平臺(tái)進(jìn)行多次數(shù)據(jù)分析時(shí),數(shù)據(jù)分析效率大大提高。平臺(tái)采用PBFT共識(shí)算法實(shí)現(xiàn)共識(shí)過(guò)程,使分析平臺(tái)的容錯(cuò)能力為區(qū)塊鏈網(wǎng)絡(luò)內(nèi)節(jié)點(diǎn)數(shù)量1/3。在今后的工作中,可考慮進(jìn)一步改進(jìn)區(qū)塊鏈的共識(shí)機(jī)制,使區(qū)塊鏈數(shù)據(jù)分析共享平臺(tái)達(dá)到更高的容錯(cuò)能力。