段飛, 段瓊

(陜西交通職業(yè)技術(shù)學(xué)院 1.繼續(xù)教育與國(guó)際交流學(xué)院， 2. 經(jīng)濟(jì)管理學(xué)院，西安 710018)

0 引言

海量的商務(wù)領(lǐng)域信息特征復(fù)雜，管理和共享方式急需轉(zhuǎn)變當(dāng)前互聯(lián)網(wǎng)技術(shù)已經(jīng)在商業(yè)領(lǐng)域應(yīng)用了多年，積累了海量的數(shù)字資源，并開發(fā)了多種應(yīng)用服務(wù)，海量的數(shù)字資源的特征如下。

1)多源異質(zhì)、冗余

海量的商務(wù)領(lǐng)域數(shù)字資源包含不同的異構(gòu)數(shù)據(jù)資源，可以稱之為多源異質(zhì)數(shù)據(jù)，聚集了TB甚至PB級(jí)的海量數(shù)字資源。如從數(shù)據(jù)結(jié)構(gòu)來看包含非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等，從數(shù)據(jù)語(yǔ)義來看包含數(shù)據(jù)聚合后的高層概括性數(shù)據(jù)及采集的原始底層數(shù)據(jù)，其中原始底層數(shù)據(jù)存在巨大的語(yǔ)義缺乏及數(shù)據(jù)冗余，海量數(shù)據(jù)資源處理的需求會(huì)非常普遍[1]。

2)實(shí)時(shí)應(yīng)用需求

商務(wù)領(lǐng)域的數(shù)字資源信息是不斷變化的，同時(shí)數(shù)據(jù)之間存在聯(lián)系，并且用戶對(duì)這些數(shù)據(jù)進(jìn)行訪問時(shí)，由于訪問目的不同，因此，必須加強(qiáng)數(shù)據(jù)的管理，實(shí)現(xiàn)共享，并且在限定的時(shí)間內(nèi)獲得需要的數(shù)據(jù)結(jié)果。

3)可信、可靠需求

由于數(shù)字資源系統(tǒng)網(wǎng)絡(luò)的復(fù)雜性，因此，會(huì)有很多因素對(duì)數(shù)據(jù)資源的處理如數(shù)據(jù)聚集計(jì)算、資源采集、數(shù)據(jù)分析等產(chǎn)生影響，造成數(shù)據(jù)資源的利用效能不高，資源服務(wù)器的負(fù)載均衡效果不理想，穩(wěn)定性差，資源服務(wù)的軟硬件容錯(cuò)能力低等，這些因素制約了數(shù)字資源的高效利用，因此，非常有必要采用一種新技術(shù)對(duì)商業(yè)領(lǐng)域的數(shù)字資源進(jìn)行集中管理和推送，建立信任保障機(jī)制，為用戶提供一種快捷、可靠的數(shù)字資源知識(shí)服務(wù)。

1 云計(jì)算技術(shù)對(duì)多源商業(yè)信息資源的支撐與共享

云計(jì)算在2007年被首次提出，是一種非常典型的網(wǎng)絡(luò)計(jì)算模式，其主要作用機(jī)制是在虛擬計(jì)算環(huán)境中運(yùn)行大規(guī)模應(yīng)用的可用性及可伸縮性。隨著近幾年的發(fā)展，云計(jì)算已經(jīng)成為企業(yè)界和學(xué)術(shù)界關(guān)注和研究的熱點(diǎn)熱點(diǎn)[2]，典型的云計(jì)算系統(tǒng)如Google Search、國(guó)內(nèi)的阿里云等，由大量的商用計(jì)算設(shè)備構(gòu)成數(shù)據(jù)中心，為用戶提供安全、可靠、便捷的基礎(chǔ)設(shè)施服務(wù)、平臺(tái)服務(wù)和軟件服務(wù)。云計(jì)算系統(tǒng)平臺(tái)提供了龐大的數(shù)據(jù)處理及應(yīng)用服務(wù)程序，有效解決了資源自動(dòng)分配及任務(wù)自動(dòng)劃分等關(guān)鍵問題。

一些新的研究結(jié)果顯示，當(dāng)前云計(jì)算正在逐漸應(yīng)用于不同領(lǐng)域的數(shù)字資源處理，處理數(shù)據(jù)規(guī)模一般達(dá)到TB、PB級(jí)，如基于微軟SQL Server的云數(shù)據(jù)處理平臺(tái)、敏感信息云處理平臺(tái)的構(gòu)建等。隨著云計(jì)算技術(shù)的發(fā)展，其可能成為解決海量數(shù)字化商業(yè)領(lǐng)域資源管理和共享的途徑。

云計(jì)算的核心問題之一為多源信息資源管理，包括多源信息資源的動(dòng)態(tài)組織、優(yōu)化調(diào)度、資源描述、即時(shí)監(jiān)控等活動(dòng)。云計(jì)算環(huán)境下的多源信息資源管理是通過虛擬化技術(shù)實(shí)現(xiàn)對(duì)底層資源的復(fù)雜性和異構(gòu)性的屏蔽，將分散的資源結(jié)合在一起，形成一個(gè)統(tǒng)一的巨型資源池。以此確保資源合理、高效的分配和使用[1]。此外，云計(jì)算環(huán)境下的多源信息資源管理如資源的描述、發(fā)現(xiàn)匹配等構(gòu)成了一個(gè)統(tǒng)一的整體，實(shí)現(xiàn)高效資源提取。

2 云計(jì)算環(huán)境下基于第三方可信保障的多源商業(yè)信息資源云服務(wù)模型

2.1 基于云計(jì)算的信息資源服務(wù)模式

當(dāng)前多源信息資源管理方法還不夠完善，存在以下幾個(gè)問題：一是，多源信息資源的描述沒有統(tǒng)一的標(biāo)準(zhǔn)，不利于資源的有效識(shí)別與提取；二是，在多源信息資源的發(fā)現(xiàn)與匹配方法上，不能實(shí)現(xiàn)跨平臺(tái)操作，不能滿足用戶的個(gè)性化服務(wù)需求。三是，由于不同的子資源分布在不同的服務(wù)器或者數(shù)據(jù)中心，因此，現(xiàn)有的多源信息資源優(yōu)化分配方法欠缺在考慮資源分配效率的同時(shí)，很難實(shí)現(xiàn)服務(wù)提供商自身的目標(biāo)實(shí)現(xiàn)。

在網(wǎng)絡(luò)環(huán)境下，各大服務(wù)供應(yīng)商都建立了自己的服務(wù)體系，在小范圍內(nèi)實(shí)現(xiàn)了區(qū)域資源的共享，可以選擇以直接或者間接的方式進(jìn)行交互，消除了信息孤島。當(dāng)前的信息資源服務(wù)方式有三種基于移動(dòng)代理的服務(wù)模式、基于第三方平臺(tái)的服務(wù)模式、基于數(shù)據(jù)中心的服務(wù)模式。 通過上文的論述可知，云計(jì)算中的信息數(shù)量龐大，復(fù)雜不缺定，而基于移動(dòng)代理的服務(wù)模式、基于第三方平臺(tái)的服務(wù)模式一個(gè)平臺(tái)僅由一個(gè)服務(wù)運(yùn)營(yíng)商提供，資源略顯單一，而基于信息中心的服務(wù)模式可以提供多源信息資源服務(wù)，目前，各類大型搜索引擎如百度、谷歌等，都是基于信息中心的服務(wù)模式。如用戶使用百度搜索相關(guān)信息時(shí)，只需要在搜索模塊入口中輸入關(guān)鍵詞百度引擎將會(huì)向分布在各個(gè)云端信息發(fā)送請(qǐng)求，利用本體語(yǔ)義搜索及網(wǎng)絡(luò)爬蟲技術(shù)查詢、分析、篩選、匹配等，最后將搜索分析結(jié)果發(fā)送至用戶端。云計(jì)算環(huán)境下的多源信息服務(wù)模式如圖1所示。

2.2 可信第三方監(jiān)管設(shè)計(jì)

由于云計(jì)算環(huán)境具有開放性及動(dòng)態(tài)性的相關(guān)特征，因此，在該分布式環(huán)境中的多源信息資源十分復(fù)雜，因此，需要加入可信服務(wù)監(jiān)管機(jī)制，當(dāng)前一些電子商務(wù)領(lǐng)域的平臺(tái)運(yùn)營(yíng)商如天貓商城已經(jīng)加入了服務(wù)保障機(jī)制，但是這些保障措施缺乏獨(dú)立性，不能實(shí)現(xiàn)跨平臺(tái)服務(wù)，不能有效的對(duì)整個(gè)服務(wù)過程進(jìn)行監(jiān)管。因此，本研究從安全角度出發(fā)提出了云環(huán)境下的第三方可信信息服務(wù)模式，通過第三方監(jiān)管機(jī)制對(duì)服務(wù)交易的雙方進(jìn)行約束，可以采用不同的安全策略，如虛擬機(jī)安全技術(shù)、容錯(cuò)與恢復(fù)、數(shù)字水印、身份認(rèn)證、密鑰加密等技術(shù)，第三方監(jiān)管機(jī)制可信保障原理流程如圖2所示。

圖1 云計(jì)算下的多源信息資源服務(wù)模式

圖2 第三方監(jiān)管機(jī)制自身可信保障原理流程[3]

可信第三方監(jiān)管的角色設(shè)計(jì)如下：一是，信息管理機(jī)制，通過第三方監(jiān)管對(duì)服務(wù)者發(fā)布的信息進(jìn)行審核、記錄等，限制虛假信息的發(fā)布及網(wǎng)絡(luò)謠言的傳播。二是，數(shù)據(jù)分析能力。通過第三方監(jiān)管對(duì)云計(jì)算環(huán)境下的多源信息服務(wù)過程中的大量數(shù)據(jù)進(jìn)行分析，從技術(shù)上保證服務(wù)過程的安全性，降低網(wǎng)絡(luò)欺詐行為的發(fā)生率。三是，監(jiān)管獎(jiǎng)懲制度。建設(shè)監(jiān)管獎(jiǎng)懲制度對(duì)對(duì)云計(jì)算環(huán)境下多源信息服務(wù)過程中不同參與者的行為進(jìn)行規(guī)范。

2.3 基于Hadoop的第三方保障的多源商業(yè)信息資源服務(wù)模型架構(gòu)

Hadoop是Apache軟件基金會(huì)旗下一個(gè)基于Java的開源分布式云計(jì)算平臺(tái)，可以被部署在廉價(jià)硬件上。Hadoop主要包括HDFS、MapReduce、Hbase、Zookeeper等核心組件。基于Hadoop的成本低、擴(kuò)展性高、容錯(cuò)性高、可靠性高，它可以實(shí)現(xiàn)底層分布式基礎(chǔ)架構(gòu)的透明化，用戶只需要簡(jiǎn)單進(jìn)行配置就可以將計(jì)算機(jī)資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源組織起來，從而搭建一個(gè)能用集群的計(jì)算和存儲(chǔ)能力處理海量數(shù)據(jù)的分布式計(jì)算平臺(tái)。本模型的目標(biāo)是利用Hadoop技術(shù)將大量的商業(yè)領(lǐng)域的信息資源進(jìn)行整合，構(gòu)建一個(gè)多源信息資源云服務(wù)平臺(tái)模型，為商業(yè)領(lǐng)域數(shù)字資源共享共建提供基于基礎(chǔ)設(shè)施、平臺(tái)和軟件3個(gè)層面的服務(wù)模式?；诘谌奖Ｕ系亩嘣瓷虡I(yè)信息資源服務(wù)總體架構(gòu)如圖3所示。

圖3 基于第三方保障的多源商業(yè)信息資源云服務(wù)總體架構(gòu)

(1)基礎(chǔ)架構(gòu)層。主要是為系統(tǒng)提供硬件服務(wù)集合，包括存儲(chǔ)設(shè)備、Hadoop服務(wù)器集群、服務(wù)器操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備等。

(2)數(shù)據(jù)層。利用Hadoop平臺(tái)實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化，利用HDFS文件系統(tǒng)實(shí)現(xiàn)商業(yè)領(lǐng)域數(shù)據(jù)的分布式存儲(chǔ)和管理。利用MapReduce編程模型對(duì)多源信息數(shù)據(jù)進(jìn)行分割，形成大小固定的數(shù)據(jù)塊，然后根據(jù)HDFS的存儲(chǔ)機(jī)制將其在不同的數(shù)據(jù)節(jié)點(diǎn)上進(jìn)行冗余存儲(chǔ)，用戶通過Web瀏覽器提交查詢請(qǐng)求，平臺(tái)利用MapReduce編程模型對(duì)實(shí)現(xiàn)數(shù)據(jù)的清洗、排序、映射與歸納等分布式計(jì)算，然后將結(jié)果反饋給用戶。用戶的請(qǐng)求及返回的數(shù)據(jù)的真實(shí)性受到第三方可信監(jiān)管機(jī)制的監(jiān)管。

(3)用戶層。用戶通過Web形式訪問系統(tǒng)，在第三方可信機(jī)制監(jiān)管之下通過不同API接口可進(jìn)入不同的用戶界面。

2.4 云服務(wù)模型的部署與訪問實(shí)現(xiàn)

本文中設(shè)計(jì)的基于第三方可信保險(xiǎn)機(jī)制的多源信息云服務(wù)模型部署在5臺(tái)普通的聯(lián)想工作站中，其中1臺(tái)為主節(jié)點(diǎn)服務(wù)器，4臺(tái)作為數(shù)據(jù)節(jié)點(diǎn)服務(wù)器，備用節(jié)點(diǎn)部署在其中1臺(tái)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器上。工作站的配置：CPU：2.4GHZ intel(R)Xeon(R)E5645 12核；內(nèi)存16G；硬盤8T；操作系統(tǒng)Red Hat Enterprise Linux Server6.3；Java版本jdck1.6.0_24；集群平臺(tái)Hadoop2.2.0；分布式數(shù)據(jù)庫(kù)HBase0.96.0；系統(tǒng)開發(fā)環(huán)境eclipse10.0。搭建好后，以Web的方式查看。

采用Hadoop集群作為系統(tǒng)底層服務(wù)器，用戶使用多源信息云服務(wù)時(shí)，只需要輸入相關(guān)請(qǐng)求通過Web服務(wù)器即可獲取商業(yè)領(lǐng)域數(shù)字資源的瀏覽、檢索、分析等功能，如圖4所示。

Hadoop集群系統(tǒng)包括主節(jié)點(diǎn) NameNode、備用節(jié)點(diǎn) Secondary NameNode及多個(gè)數(shù)據(jù)節(jié)點(diǎn) DataNode 組成[4]。主節(jié)點(diǎn)是集群的主控中心服務(wù)器，負(fù)責(zé)對(duì)全部的元數(shù)據(jù)、內(nèi)存、I/O 進(jìn)行集中管理，備用節(jié)點(diǎn) Secondary NameNode 可以避免出現(xiàn)由于主節(jié)點(diǎn)宕機(jī)使云服務(wù)平臺(tái)無法運(yùn)行的情況。Web 服務(wù)器為用戶提供訪問服務(wù)具體運(yùn)行過程為：用戶向Web 服務(wù)器發(fā)出讀寫請(qǐng)求，主節(jié)點(diǎn)向數(shù)據(jù)節(jié)點(diǎn)發(fā)出讀寫指令，Web服務(wù)器直接和該數(shù)據(jù)節(jié)點(diǎn)服務(wù)器上的后臺(tái)程序進(jìn)行通信，對(duì)相關(guān)的數(shù)據(jù)塊進(jìn)行讀寫操作。該云服務(wù)模型的數(shù)據(jù)存儲(chǔ)采用HDFS分布式文件系統(tǒng)。

圖4 云服務(wù)模型的訪問實(shí)現(xiàn)

4 總結(jié)

本研究分析了基于第三方可信保障機(jī)制的多源信息云服務(wù)模型，對(duì)當(dāng)前多源信息云服務(wù)存在的問題進(jìn)行了分析，并提出了第三方可信監(jiān)管，平臺(tái)的提出及在商業(yè)領(lǐng)域的應(yīng)用當(dāng)前只是處于一個(gè)設(shè)想階段，可能在具體實(shí)施過程中會(huì)存在一些問題，同時(shí)第三方監(jiān)管的選擇及具體的監(jiān)管機(jī)制仍然需要進(jìn)一步的研究，這也會(huì)成為當(dāng)前的重點(diǎn)研究問題。