陳彬，王志英，甘瑩，唐良運(yùn)

（1.中國(guó)南方電網(wǎng)有限責(zé)任公司，廣東廣州510663；2.南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東廣州511455）

隨著信息化技術(shù)水平的飛速發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)管理已經(jīng)成為目前至關(guān)重要的研究?jī)?nèi)容?；ヂ?lián)網(wǎng)平臺(tái)也逐漸成為人們社會(huì)生活發(fā)展中的關(guān)鍵組成部分，隨著各行業(yè)信息技術(shù)的不斷創(chuàng)新，也逐漸涌現(xiàn)諸多新型數(shù)據(jù)，提出更高標(biāo)準(zhǔn)的非結(jié)構(gòu)數(shù)據(jù)管理需求?；诒敬窝芯康姆墙Y(jié)構(gòu)化數(shù)據(jù)，需建立特征挖掘模型，傳統(tǒng)數(shù)據(jù)關(guān)系模型作為模式滯后式邏輯結(jié)構(gòu)，是一種基于代數(shù)關(guān)系基礎(chǔ)形成的數(shù)據(jù)管理方法，不再能有效地處理非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)還擁有海量特點(diǎn)，所以為了能夠更好地解決非結(jié)構(gòu)化數(shù)據(jù)管理這一問(wèn)題，在以往文獻(xiàn)研究中提出了多種方案，譬如基于關(guān)系數(shù)據(jù)庫(kù)的非結(jié)構(gòu)化數(shù)據(jù)管理、列存儲(chǔ)管理、Bigtable、數(shù)據(jù)空間技術(shù)等。在梳理匯總以往研究成果基礎(chǔ)之上，從全新研究角度對(duì)非結(jié)構(gòu)化數(shù)據(jù)管理問(wèn)題進(jìn)行觀察分析，引入模糊運(yùn)算建立非結(jié)構(gòu)化數(shù)據(jù)特征挖掘模型，展開深入探索。

1 非結(jié)構(gòu)數(shù)據(jù)分析

非結(jié)構(gòu)化數(shù)據(jù)具有多樣化，譬如常見的網(wǎng)頁(yè)、音頻、文本等相關(guān)數(shù)據(jù)，以及各企業(yè)的內(nèi)部管理文檔以及生物、地理和天氣等相關(guān)復(fù)雜多樣性數(shù)據(jù)。通過(guò)運(yùn)用數(shù)據(jù)對(duì)象針對(duì)性地描述具體數(shù)據(jù)，定義每類集合內(nèi)元素為數(shù)據(jù)對(duì)象，在一個(gè)物理或邏輯層面，都可以有效地區(qū)分其他數(shù)據(jù)區(qū)域的實(shí)體，其存在數(shù)據(jù)對(duì)象粒度情況，即一個(gè)數(shù)據(jù)對(duì)象作為更大數(shù)據(jù)的組成部分或包括更多數(shù)據(jù)對(duì)象。一般情況下都需要尋找適當(dāng)粒度，對(duì)數(shù)據(jù)集合內(nèi)的獨(dú)立數(shù)據(jù)對(duì)象進(jìn)行劃分，所以在一般研究中也假定了其呈現(xiàn)數(shù)據(jù)對(duì)象的非結(jié)構(gòu)化數(shù)據(jù)方式。

2 模糊運(yùn)算的非結(jié)構(gòu)化數(shù)據(jù)建模

為了方便表述，定義非結(jié)構(gòu)化特征如下。

定義1：為了表達(dá)某數(shù)據(jù)集或某類數(shù)據(jù)共同擁有的特征共性，根據(jù)應(yīng)用者的使用需求進(jìn)行定義，也可以根據(jù)數(shù)據(jù)自身所表現(xiàn)的特性，以特征需求完成定義。

定義2：假設(shè)G的超模糊運(yùn)算為“0”，那么?a,b∈G，存在了唯一y∈G，想要滿足（aob）（y）＞θ，證：由于（aob）（y）=R（a,b,y），假設(shè)?y,y1∈G，使R（a，b，y）＞θ，那么可得：

?a,b∈G,?y,y1∈G,R（a，b，y）＞θ，并且R（a，b，y）＞θ，y=y1，所以存在唯一y∈G，使（aob）（y）＞θ。

定義3：數(shù)據(jù)特征。數(shù)據(jù)特征作為形式化抽象性描述數(shù)據(jù)的定義，代表了數(shù)據(jù)所具備的特征意義和具體的取值特征空間域存在的主要度量關(guān)系，假若一個(gè)數(shù)據(jù)對(duì)象擁有多個(gè)特征，要讓該數(shù)據(jù)對(duì)象擁有該特征類型，則需要滿足以下條件：

1）通過(guò)既定依據(jù)方法，能夠完成數(shù)據(jù)對(duì)象抽取，成為所屬特征對(duì)象的特征數(shù)據(jù)；

2）完成特征數(shù)據(jù)抽取，與數(shù)據(jù)對(duì)象的代表意義及特征類型相符；

3）這類特征數(shù)據(jù)屬于對(duì)應(yīng)數(shù)據(jù)特征的取值范圍。

對(duì)于這一特征值域的具體要求是無(wú)論任何特征區(qū)域均為值域，而且需要設(shè)定度量空間，滿足值域空間的特征。

以模糊算法模型代碼為例：

3 非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)架構(gòu)

在完成建?；A(chǔ)上，建立基于模糊運(yùn)算的非結(jié)構(gòu)化數(shù)據(jù)特征挖掘系統(tǒng)架構(gòu)，如圖1所示。該模型架構(gòu)共計(jì)包括3 類數(shù)據(jù)庫(kù)，分別為原始數(shù)據(jù)庫(kù)、特征數(shù)據(jù)庫(kù)、索引庫(kù)。系統(tǒng)對(duì)于若干個(gè)數(shù)據(jù)對(duì)象處理類型庫(kù)進(jìn)行維護(hù)，每一個(gè)數(shù)據(jù)對(duì)象與其對(duì)應(yīng)特征，也與處理類相對(duì)應(yīng)，能夠完成特征抽象、索引及查詢。

圖1 非結(jié)構(gòu)化數(shù)據(jù)特征挖掘系統(tǒng)架構(gòu)

3.1 系統(tǒng)功能類庫(kù)

在系統(tǒng)功能類庫(kù)中，又包括了數(shù)據(jù)類型庫(kù)、特征庫(kù)。其中，數(shù)據(jù)類型庫(kù)能夠?qū)?shù)據(jù)類型和相對(duì)應(yīng)的特征數(shù)據(jù)類型加以梳理，而特征庫(kù)則包括了具備對(duì)應(yīng)特征和特征類型的處理類，如表1所示。

表1 數(shù)據(jù)類型與處理類

對(duì)于數(shù)據(jù)類型處理類的系統(tǒng)特性操作接口，每類成功定義的數(shù)據(jù)類型與處理類相對(duì)應(yīng)，那么該類數(shù)據(jù)處理類型在本次系統(tǒng)中所規(guī)定相應(yīng)的數(shù)據(jù)處理接口，能夠成功完成相應(yīng)的數(shù)據(jù)類型操作。并且還可以實(shí)現(xiàn)用戶接口自定義，采用特定操作處理相應(yīng)的操作數(shù)據(jù)類型。

特征類型庫(kù)與數(shù)據(jù)類型庫(kù)相比，擁有更加復(fù)雜的類庫(kù)，主要接口包括以下幾類，如表2所示。

表2 特征類型處理類

一是對(duì)于抽取數(shù)據(jù)特征接口，在使用中接口面向特征類型，通過(guò)運(yùn)用差異化提取數(shù)據(jù)特征的方法，能夠抽取等同抽樣特征，運(yùn)用該接口也能夠更方便地管理無(wú)關(guān)的數(shù)據(jù)特征類型；

二是數(shù)據(jù)特征索引接口，在系統(tǒng)中索引庫(kù)的存在必不可少，作為系統(tǒng)核心技術(shù)需要以原本的數(shù)據(jù)特征類型為依據(jù)，完成數(shù)據(jù)信息存儲(chǔ)，并參照原本數(shù)據(jù)特征，組織統(tǒng)一特征的數(shù)據(jù)對(duì)象。作為廣義層面的索引，能夠根據(jù)原本特征索引特征數(shù)據(jù)對(duì)象；

三是查詢接口，在對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行查詢檢索的過(guò)程中，復(fù)雜化的非結(jié)構(gòu)數(shù)據(jù)所采用的查詢策略通常存在較大差異。但是查詢這種抽象行為本身是不同的，圖2為兩個(gè)類型關(guān)系庫(kù)的對(duì)比關(guān)系。

圖2 兩類類型關(guān)系庫(kù)對(duì)比

3.2 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)部分包括三大組成：

1）原始數(shù)據(jù)，任何存儲(chǔ)于原始系統(tǒng)中的指定數(shù)據(jù)對(duì)象，能夠組成原始數(shù)據(jù)庫(kù)；

2）特征數(shù)據(jù)，該數(shù)據(jù)庫(kù)與原始數(shù)據(jù)的數(shù)據(jù)庫(kù)相對(duì)應(yīng)，且各類特征數(shù)據(jù)對(duì)象也同樣對(duì)應(yīng)，并包括相應(yīng)的數(shù)據(jù)特征信息。每類數(shù)據(jù)特征也主要由特征名稱和數(shù)據(jù)兩類組成；

3）索引庫(kù)，特征空間所對(duì)應(yīng)的特殊數(shù)據(jù)庫(kù)，在每類特征維度相對(duì)應(yīng)的空間特征對(duì)象都作為統(tǒng)一數(shù)據(jù)庫(kù)，能夠提供具體特征索引和相應(yīng)的查詢結(jié)果。

3.3 處理引擎

在數(shù)據(jù)特征挖掘處理中，系統(tǒng)類庫(kù)負(fù)責(zé)非結(jié)構(gòu)化數(shù)據(jù)管理，主要面向系統(tǒng)管理員、普通用戶這兩類用戶。系統(tǒng)管理員對(duì)于引擎定義及特征類數(shù)據(jù)安裝、定義，處理并添加新型數(shù)據(jù)處理類。對(duì)于普通用戶，具體實(shí)現(xiàn)的引擎功能如圖3所示。

圖3 處理引擎功能結(jié)構(gòu)

由圖3可知，該引擎可以成功完成非結(jié)構(gòu)數(shù)據(jù)對(duì)象的實(shí)時(shí)接收，并且可以對(duì)數(shù)據(jù)類型進(jìn)行自主制定分析；根據(jù)具體的數(shù)據(jù)對(duì)象相應(yīng)類型，能夠成功抽取相關(guān)特征，并建立每類數(shù)據(jù)特征對(duì)象，并在對(duì)應(yīng)數(shù)據(jù)庫(kù)中充分存儲(chǔ)；在特征空間中存儲(chǔ)特征數(shù)據(jù)，能夠構(gòu)建特征索引；完成用戶操作中查詢請(qǐng)求的實(shí)時(shí)接收，一般情況下是在查詢特征基礎(chǔ)之上完成查詢請(qǐng)求的實(shí)時(shí)接收，并對(duì)應(yīng)完成特征查詢；對(duì)于高級(jí)用戶數(shù)據(jù)查詢計(jì)算需求，在處理過(guò)程中應(yīng)當(dāng)完成自定義數(shù)據(jù)類型、特征類型。

4 系統(tǒng)實(shí)現(xiàn)

4.1 原始數(shù)據(jù)存儲(chǔ)

通過(guò)Hadoop 系統(tǒng)存儲(chǔ)原始數(shù)據(jù)，該系統(tǒng)作為分布式開放系統(tǒng)，對(duì)普通PC 端的分布式計(jì)算處理比較適用，且能夠在運(yùn)用過(guò)程中有較好的拓展性與容錯(cuò)性，解決了非結(jié)構(gòu)化較大數(shù)據(jù)量的相關(guān)問(wèn)題。

4.2 特征數(shù)據(jù)存儲(chǔ)

一個(gè)數(shù)據(jù)共計(jì)包含多類特征，通過(guò)實(shí)現(xiàn)以上特征能夠共同組成相應(yīng)的特征對(duì)象，主要用于對(duì)某類特征數(shù)據(jù)對(duì)象的特征信息描述，如圖4所示。

圖4 特征結(jié)構(gòu)表示

通常情況的特征數(shù)據(jù)類型，包括了浮點(diǎn)數(shù)、字符、整數(shù)、二進(jìn)制數(shù)，所以運(yùn)用Hadoop 系統(tǒng)能夠完成數(shù)據(jù)特征對(duì)象存儲(chǔ)，并存放于HDFS 中，依照具體數(shù)據(jù)存儲(chǔ)方式，與數(shù)據(jù)存儲(chǔ)特征正好相符，所以有利于模糊運(yùn)算的非結(jié)構(gòu)化數(shù)據(jù)特征挖掘應(yīng)用。

5 結(jié)束語(yǔ)

經(jīng)本次研究，以非結(jié)構(gòu)化數(shù)據(jù)特征視角進(jìn)行分析，建立了基于模糊運(yùn)算的非結(jié)構(gòu)化數(shù)據(jù)特征挖掘模型，能夠提供非結(jié)構(gòu)化數(shù)據(jù)管理的可行性思路，可以靈活方便地應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)管理。為靈活化處理非結(jié)構(gòu)數(shù)據(jù)特征提供了可行性的數(shù)據(jù)處理思路。