曹建春，曾 赟

(黃河水利職業(yè)技術學院，河南 開封475004)

0 引 言

隨著海洋運輸及海底開發(fā)業(yè)務的發(fā)展，基于海上各種應用的電子信息系統(tǒng)越來越多，如用于海底開發(fā)的目標探測系統(tǒng)，在海運業(yè)務中發(fā)揮重要作用的氣象傳感網絡，現(xiàn)有的這些應用大多是基于物聯(lián)網的體系結構，其利用各種類型的傳感器對目標物采集數(shù)據(jù)，然后發(fā)送至各自系統(tǒng)的信息處理中心進行數(shù)據(jù)處理及挖掘。隨著業(yè)務的增加，傳統(tǒng)的信息處理系統(tǒng)無論在數(shù)據(jù)挖掘的處理效率，還是數(shù)據(jù)存儲容量都無法滿足日益擴張的應用服務。

云計算是一種分布式﹑并行化的計算架構［1］，它利用虛擬化技術把分布在不同地方的計算資源按照一定的邏輯進行組合，同一處理任務可以通過進程的劃分運行在云系統(tǒng)不同的計算節(jié)點，有效的增加了系統(tǒng)的信息處理速率。同時，基于云的數(shù)據(jù)挖掘算法可以避免傳統(tǒng)算法中收斂速率過慢，時效性過低的缺點，有效提高了海上海量數(shù)據(jù)挖掘的效率。

本文在研究現(xiàn)有的云計算架構及數(shù)據(jù)挖掘技術的基礎上，改造Apriori 算法，提出一種基于云計算的高性能數(shù)據(jù)挖掘算法，并進行仿真，同時和傳統(tǒng)的算法進行比較分析。

1 基于云的數(shù)據(jù)挖掘原理

1.1 云計算架構

云計算是最新的信息科學研究方向，利用虛擬化的技術將分布在不同地方的計算機硬件進行統(tǒng)一，對所有硬件資源進行抽象，并按照一定的邏輯進行資源劃分。

對于用戶端，云架構是一種透明的［2］﹑安全可靠并且可擴展的架構。用戶無需知道具體的硬件資源，只需提交作業(yè)，則云服務器自動進行資源分配。

圖1 為云計算平臺架構圖。

圖1 云計算平臺架構Fig.1 The cloud computing platform architecture

云計算服務平臺根據(jù)用戶申請的任務所需要資源動態(tài)的進行平臺中計算及存儲資源的分配。當前可利用資源不能滿足用戶所需資源時，云計算平臺通過監(jiān)控服務控制程序從可用資源池中調用新的可用資源放入當前資源池中。

1.2 數(shù)據(jù)挖掘原理

在云計算平臺中，不同應用程序所得到的數(shù)據(jù)是按照一定的邏輯關系進行編排，組成一個數(shù)據(jù)隊列。然后利用云處理平臺統(tǒng)一進行處理，根據(jù)不同的用戶需求來分配相應的資源。

具體步驟如下:

假設海上不同應用程序所得到的數(shù)據(jù)集合為{b1，b2，…bp}，應用程序的個數(shù)為p，數(shù)據(jù)之間的復雜度設為λ。云計算平臺首先將數(shù)據(jù)集合{b1，b2，…，bp}進行融合，屬性相同的數(shù)據(jù)進行合并，轉化為結構化的數(shù)據(jù)隊列{e1，e2，…，cq}，其中屬性個數(shù)為q。

首先需要求得數(shù)據(jù)bi與需求之間的耦合性［3］:

則針對特性需求數(shù)據(jù)bi進行數(shù)據(jù)挖據(jù)，所需要的耗時公式如下:

式(1)分析可知，數(shù)據(jù)之間復雜系數(shù)λ 與數(shù)據(jù)挖掘需求之間呈現(xiàn)線性關系，隨著應用系數(shù)數(shù)據(jù)復雜度的提升而提升。式(2)分析可知對不同的應用系統(tǒng)，其數(shù)據(jù)挖據(jù)之間的耦合性增強，則最終的處理時間隨之增加。

在海上各種數(shù)據(jù)處理系統(tǒng)有可能處于不同的地點，并且各種信息處理系統(tǒng)架構也可能不同，隨著應用的增多，無論從復雜度還是處理信息量都有了指數(shù)級增長。傳統(tǒng)的集中式數(shù)據(jù)挖掘處理平臺的計算性能以及存儲容量已經越來越不能滿足業(yè)務的擴展，并且傳統(tǒng)算法在處理多屬性數(shù)據(jù)挖掘算法時，容易陷入局部最優(yōu)點。

2 基于云計算的數(shù)據(jù)挖掘模式設計

2.1 云計算對數(shù)據(jù)挖據(jù)的優(yōu)化處理

如上節(jié)所示，利用統(tǒng)一的信息處理平臺對不同應用的海量數(shù)據(jù)進行數(shù)據(jù)挖掘處理時，其算法的收斂效果較差，并且計算資源和存儲資源并不能滿足客戶需求的增長，從而導致信息系統(tǒng)的效率降低。本文利用分布式的云架構對數(shù)據(jù)挖掘算法進行改進，提出一種分布式架構及網格處理的Apriori 數(shù)據(jù)挖掘［4］算法，有效提升了計算效率。

首先在初始化階段，云計算服務器需要對各種需要處理的數(shù)據(jù)，根據(jù)屬性進行判斷、排序、優(yōu)化等操作，下面詳細描述其步驟:

1)對不同應用程序所得到的數(shù)據(jù)集合的屬性進行統(tǒng)計，并將隨機的數(shù)據(jù)集合按照不同的數(shù)據(jù)屬性重新進行排序。

2)對排序后的序列進行簡化處理，相同屬性的數(shù)據(jù)刪除冗余數(shù)據(jù)。并且云服務器端需要構建各數(shù)據(jù)之間的關聯(lián)系數(shù)。

①首先得到不同屬性數(shù)據(jù)的邏輯關系集。

②假設用戶所需的數(shù)據(jù)集的屬性為B，經過云服務器端邏輯處理后的邏輯屬性為D，則需要計算用戶需求E 與原始數(shù)據(jù)及屬性B 及處理后的邏輯屬性D 之間的關系:η(D，E)及η(D － {B}，E)。

3)計算原始屬性B 與用戶需求E 之間的關聯(lián)系數(shù)，公式如下:

若計算的該關聯(lián)系數(shù)大于0，則表示原始屬性B與用戶需求E 之間相關，則在云存儲端保存原始數(shù)據(jù);否則，則說明原始屬性B 代表的數(shù)據(jù)集與用戶需求沒有關系，不保存數(shù)據(jù)。

4)最后將經過上述步驟處理的有效數(shù)據(jù)保存在云數(shù)據(jù)庫端。

數(shù)據(jù)冗余判斷及關聯(lián)性處理如圖2 所示。

圖2 數(shù)據(jù)關聯(lián)處理模型Fig.2 Data processing model

通過上面預處理后，能有效降低數(shù)據(jù)的復雜性，并且去除冗余數(shù)據(jù)，為接下來的數(shù)據(jù)挖掘提供有效數(shù)據(jù)。

2.2 云數(shù)據(jù)挖掘算法

本文利用Apriori 算法對云數(shù)據(jù)挖掘進行計算。首先統(tǒng)計經過云計算服務器預處理的數(shù)據(jù)屬性個數(shù)，得到針對每個不同屬性的業(yè)務數(shù)據(jù)集。然后對每個屬性的數(shù)據(jù)逐次進行計算。首先計算得出屬性種類為1 的需要挖掘的數(shù)據(jù)集，記為M1。然后根據(jù)與屬性為1 的關聯(lián)系數(shù)，計算屬性種類為2 的需要挖掘的數(shù)據(jù)集，記為M2，同理依次計算屬性為3，4，…，L的數(shù)據(jù)集，并記錄為M3，M4，…，ML。為了有效地進行計算的資源分配［5］，按照如下步驟進行:

1)對集合進行關聯(lián)

對每個屬性的信息集ML－1做自相關運算，得到相關矩陣集Di，假設m1，m2∈ML－1，則mj(k)為包含所有屬性的信息集M1，M2，…，ML中排序為j 的向量中的第k 元素，云計算服務器端把信息集合中的每個向量按照升序排列，有:

同時，本文假設在信息集M1，M2，…，ML相鄰向量之間互相關，則每個矩陣向量中元素m1，m2也具有相關性，數(shù)據(jù)之間進行連接操作可以簡化數(shù)據(jù)挖掘算法的復雜度，具體公式如下所示:

最終經過關聯(lián)處理后的數(shù)據(jù)表達式如下:

2)冗余數(shù)據(jù)裁剪

數(shù)據(jù)挖掘是從海量的信息中提取出用戶所需數(shù)據(jù)，而原始數(shù)據(jù)中包含大量的數(shù)據(jù)冗余信息，需要進行裁剪。若原始數(shù)據(jù)集為Di，包含所有屬性的數(shù)據(jù)集，則D 為數(shù)據(jù)集Ml，Ml超集，也即Ml∈Dl，同時根據(jù)Dl所包含的數(shù)據(jù)屬性數(shù)目來推斷出ML－1，則推斷過程中由于原始數(shù)據(jù)集Dl數(shù)目信息量過于龐大，其算法復雜度很高，所以需要對Dl作冗余裁剪及壓縮數(shù)據(jù)信息含量。若屬性i 的數(shù)據(jù)集Mi與屬性j 的數(shù)據(jù)集Mj之間信息存在交叉數(shù)據(jù)，則對交叉數(shù)據(jù)進行裁剪，最終實現(xiàn)對原始數(shù)據(jù)集Dl的簡化。

3 算法仿真

本仿真平臺為Visual c ++6.0，構建的云計算平臺原始數(shù)據(jù)集為所有信息數(shù)據(jù)總量P，數(shù)據(jù)屬性的個數(shù)為l，沒有經過處理后的信息集為{b1，b2，…，bp}，經過云服務器端處理后的信息集為{c1，c2，…c3}，那么原始數(shù)據(jù)集中的向量bj與經過邏輯處理后的向量ck之間可以進行關系描述。

對上述數(shù)據(jù)可以計算基于云計算的數(shù)據(jù)挖掘算法耗時，公式如下:

上述耗時是衡量算法最重要的性能指標。

在本次實驗中數(shù)據(jù)屬性設為15，每個屬性的數(shù)據(jù)樣本量為1 000。

第1 個實驗假設數(shù)據(jù)屬性不同的數(shù)據(jù)之間的沒有相關性，也即數(shù)據(jù)的復雜度較低，圖3 為利用傳統(tǒng)的算法與本算法的比較曲線圖。

圖3 復雜度小的數(shù)據(jù)處理耗時曲線圖Fig.3 The time curve of the small complexity data processing

數(shù)據(jù)屬性不同的數(shù)據(jù)之間的有相關性，也即數(shù)據(jù)的復雜度較高，圖4 同樣為利用傳統(tǒng)的算法與本算法的比較曲線圖。

圖4 復雜度大的數(shù)據(jù)處理耗時曲線圖Fig.4 The time curve of the big complexity data processing

4 結 語

現(xiàn)代海洋業(yè)務的信息處理系統(tǒng)業(yè)務越來越多，傳統(tǒng)的對多業(yè)務的數(shù)據(jù)挖據(jù)算法的時效性已經越來越不能滿足客戶的需求;同時，隨著計算機科學的發(fā)展，基于云計算集分布式架構在處理多數(shù)據(jù)信息處理中的應用越來越成熟。

本文在研究現(xiàn)有的云計算架構及數(shù)據(jù)挖掘技術的基礎上，改造Apriori 算法，提出了一種基于云計算的高性能數(shù)據(jù)挖掘算法，并進行仿真。

［1］GOETHALS B．Memory issues in frequent itemset mining［C］//Proc of ACM Symposium on Applied Computing．New York，NY:ACM，2004:530 －534．

［2］BARALIS E，CERQUITELLI T，CHIUSANO S．Index support for frequent itemset mining in a relational DBMS［C］//Proc of Data Engineering 2005．ICDE 2005．Los Alamitos，CA:IEEE Computer Society，2005:754－765．

［3］WILLIAM A M，MOHAMMED J Z．Systems support for scalable data mining［J］．ACM SIGKDD Explorations Newsletter，2000，2(2):56 －65．

［4］臧麗娜，鄭艷娟，張宇敬．面向云計算的船舶生產信息平臺建設［J］．艦船科學技術，2014，36(12):107 －111．ZANG Li-na，ZHENG Yan-juan，ZHANG Yu-jing．Research on ship production information platform based on cloud computing［J］．Ship Science and Technology，2014，36(12):107 －111．

［5］曹強，潘維光．數(shù)據(jù)挖掘技術在艦載信息系統(tǒng)中的應用研究［J］．艦船科學技術，2005，27(8):62 －65．CAO Qiang，PAN Wei-guang．A study of DM technique using in warship C4ISR［J］．Ship Science and Technology，2005，27(8):62 －65．