段英杰

摘要：文章主要研究分布式物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計(jì)的要點(diǎn)，分析總結(jié)了物聯(lián)網(wǎng)和分布式處理技術(shù)的主要特點(diǎn)，在此基礎(chǔ)上對(duì)分布式物聯(lián)網(wǎng)數(shù)據(jù)庫設(shè)計(jì)中事務(wù)處理并發(fā)控制策略和目錄設(shè)計(jì)與管理方法等關(guān)鍵問題進(jìn)行了討論。

關(guān)鍵詞：分布式處理技術(shù)；物聯(lián)網(wǎng)；數(shù)據(jù)庫

物聯(lián)網(wǎng)是使用射頻識(shí)別、紅外感應(yīng)器、全球衛(wèi)星定位、激光掃描器等信息傳感設(shè)備技術(shù)，通過約定協(xié)議實(shí)現(xiàn)互聯(lián)網(wǎng)和物品之間連接和數(shù)據(jù)通信，用以進(jìn)行智能化識(shí)別、定位、跟蹤監(jiān)控的網(wǎng)絡(luò)，是一種以規(guī)模性、廣泛性、技術(shù)性和管理性為典型特征，各個(gè)行業(yè)廣泛參與的網(wǎng)絡(luò)系統(tǒng)。物聯(lián)網(wǎng)規(guī)模逐漸擴(kuò)大，甚至超過了互聯(lián)網(wǎng)，對(duì)物聯(lián)網(wǎng)中海量數(shù)據(jù)的高效管理成為一個(gè)具有挑戰(zhàn)性的問題，分布式處理技術(shù)作為一種優(yōu)秀的數(shù)據(jù)庫管理技術(shù)，在物聯(lián)網(wǎng)數(shù)據(jù)庫中的應(yīng)用能夠提高數(shù)據(jù)庫的性能，加快訪問速度，有著廣闊的應(yīng)用前景。

1 物聯(lián)網(wǎng)與分布式處理

1.1 物聯(lián)網(wǎng)系統(tǒng)

1.1.1 系統(tǒng)結(jié)構(gòu)

技術(shù)層面上，物聯(lián)網(wǎng)主要有感知層、網(wǎng)絡(luò)層和應(yīng)用層3層結(jié)構(gòu)，其中感知層以傳感器和傳感器網(wǎng)關(guān)為主，使用各種傳感器、二維碼標(biāo)簽、射頻標(biāo)簽、讀寫器、攝像頭實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集，并經(jīng)過傳感器網(wǎng)關(guān)將其傳送給數(shù)據(jù)中心，數(shù)據(jù)中心對(duì)海量數(shù)據(jù)進(jìn)行處理，獲取有價(jià)值的信息。網(wǎng)絡(luò)層一般有有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、下一代互聯(lián)網(wǎng)和云技術(shù)等，網(wǎng)絡(luò)層主要實(shí)現(xiàn)數(shù)據(jù)通訊和感知層數(shù)據(jù)的接收，應(yīng)用層則為用戶提供UI界面，通過這些接口，用戶可完成數(shù)據(jù)的各種處理。

1.1.2 物聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)

物聯(lián)網(wǎng)中的傳感器設(shè)備多種多樣，數(shù)據(jù)傳輸使用的網(wǎng)絡(luò)結(jié)構(gòu)類型也十分不同，物聯(lián)網(wǎng)中產(chǎn)生的海量數(shù)據(jù)的處理需要實(shí)現(xiàn)不同網(wǎng)絡(luò)類型、不同數(shù)據(jù)源、異構(gòu)數(shù)據(jù)之間的融合，高效率的對(duì)數(shù)據(jù)進(jìn)行分析處理并篩選出有價(jià)值的信息，因此對(duì)物聯(lián)網(wǎng)系統(tǒng)來說，數(shù)據(jù)處理成為了一個(gè)關(guān)鍵的環(huán)節(jié)。

物聯(lián)網(wǎng)中使用了多源數(shù)據(jù)融合技術(shù)，提供了多源異構(gòu)海量數(shù)據(jù)融合的標(biāo)準(zhǔn)格式，建立了統(tǒng)一的層次化表達(dá)數(shù)據(jù)結(jié)構(gòu)和本體標(biāo)注，配合數(shù)據(jù)聚類、時(shí)空轉(zhuǎn)換和度量技術(shù)，實(shí)現(xiàn)了多源數(shù)據(jù)的一體化。與此同時(shí)，由于物聯(lián)網(wǎng)感知傳感設(shè)備實(shí)時(shí)生成了多源、多粒度、多維度流數(shù)據(jù)，其數(shù)據(jù)規(guī)模往往達(dá)到TB甚至PB級(jí)別，因此物聯(lián)網(wǎng)數(shù)據(jù)檢索查詢工作難度較大，所以物聯(lián)網(wǎng)數(shù)據(jù)庫往往采用就近存儲(chǔ)的原則，提供全局性摘要視圖節(jié)點(diǎn)，降低了檢索工作量，同時(shí)引入了數(shù)據(jù)回收機(jī)制。不同數(shù)據(jù)類型設(shè)置了不同的生存周期，超過生存時(shí)間期限，數(shù)據(jù)將被新數(shù)據(jù)覆蓋。物聯(lián)網(wǎng)數(shù)據(jù)庫中引入牽引機(jī)制，能夠結(jié)合數(shù)據(jù)種類創(chuàng)建最優(yōu)索引算法，提高數(shù)據(jù)庫訪問效率。

1.2 分布式處理技術(shù)

1.2.1 概述

分布式處理技術(shù)是數(shù)據(jù)的物理分布而邏輯集中的數(shù)據(jù)庫技術(shù)，分布式數(shù)據(jù)庫中的數(shù)據(jù)分布在通過網(wǎng)絡(luò)連接的地理位置上相對(duì)分散的不同站點(diǎn)上，但是在邏輯上，不同的數(shù)據(jù)庫站點(diǎn)同屬于一個(gè)數(shù)據(jù)庫，由統(tǒng)一的一個(gè)數(shù)據(jù)庫管理系統(tǒng)進(jìn)行數(shù)據(jù)庫管理，而單個(gè)站點(diǎn)也具有處理本地?cái)?shù)據(jù)的運(yùn)算能力。分布式處理數(shù)據(jù)庫中不同的站點(diǎn)之間沒有地理上的聯(lián)系，可以分布在不同地方，不同城市，甚至不同國(guó)家，因此分布式數(shù)據(jù)庫結(jié)構(gòu)可以理解為是基于計(jì)算機(jī)網(wǎng)絡(luò)的數(shù)據(jù)庫系統(tǒng)，同時(shí)具有計(jì)算機(jī)的運(yùn)算能力和數(shù)據(jù)庫數(shù)據(jù)存儲(chǔ)的功能。

1.3 分布式數(shù)據(jù)庫的基本特征

1.3.1 物理分散

分布式數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)存儲(chǔ)物理分散，數(shù)據(jù)存在于由計(jì)算機(jī)網(wǎng)絡(luò)相互連通的多個(gè)站點(diǎn)上，避免了數(shù)據(jù)集中存儲(chǔ)遭受災(zāi)難性物理攻擊的風(fēng)險(xiǎn)，“雞蛋不裝在一個(gè)籃子里”。

1.3.2 邏輯整體性

分布式數(shù)據(jù)庫系統(tǒng)的不同數(shù)據(jù)節(jié)點(diǎn)都在統(tǒng)一的數(shù)據(jù)庫管理軟件下工作，邏輯上這些數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)是共享的，所以分布式數(shù)據(jù)庫支持全局性應(yīng)用。

1.3.3 站點(diǎn)自治

不同的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)能夠?qū)崿F(xiàn)本地DBMS管理，同時(shí)應(yīng)用自身的運(yùn)算能力支持本地局部應(yīng)用。

2 分布式物聯(lián)網(wǎng)數(shù)據(jù)設(shè)計(jì)要點(diǎn)

分布式系統(tǒng)中有分布式計(jì)算系統(tǒng)、分布式信息系統(tǒng)和分布式普適系統(tǒng)，根據(jù)物聯(lián)網(wǎng)數(shù)據(jù)處理工作的性能需求，選擇分布式計(jì)算系統(tǒng)作為物聯(lián)網(wǎng)數(shù)據(jù)庫的基本結(jié)構(gòu)形式比較合理，應(yīng)用相關(guān)開源軟件平臺(tái)就能夠完成分布式系統(tǒng)集群的建設(shè)，在物聯(lián)網(wǎng)數(shù)據(jù)處理過程中，應(yīng)用Mapreduce理論進(jìn)行任務(wù)分割，將分割生成的小任務(wù)交由不同的數(shù)據(jù)節(jié)點(diǎn)進(jìn)行處理，不同數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)處理結(jié)果匯總后由主機(jī)生成最終結(jié)果，這是物聯(lián)網(wǎng)分布數(shù)據(jù)庫數(shù)據(jù)處理的基本思路。

事務(wù)主要是物聯(lián)網(wǎng)數(shù)據(jù)處理任務(wù)的調(diào)度和分配，包括任務(wù)的啟動(dòng)和結(jié)束以及執(zhí)行情況監(jiān)督，在任務(wù)執(zhí)行過程中需要配合一系列技術(shù)措施維持分布事務(wù)性質(zhì)與數(shù)據(jù)庫的一致性以及事務(wù)數(shù)據(jù)自身的完整性，同時(shí)保證系統(tǒng)有較高的效率和理想的可靠性。物聯(lián)網(wǎng)數(shù)據(jù)庫上的原子性操作是系統(tǒng)的基本管理單位，單個(gè)事務(wù)有著原子性、持久性、可串行性的特點(diǎn)，物聯(lián)網(wǎng)分布式數(shù)據(jù)庫事務(wù)處理要經(jīng)過任務(wù)分割和分配以及結(jié)果匯總的流程，由于數(shù)據(jù)分布在自治數(shù)據(jù)節(jié)點(diǎn)上，所以事務(wù)處理和執(zhí)行需要在主機(jī)和管理系統(tǒng)的協(xié)調(diào)組織下進(jìn)行。

分布式數(shù)據(jù)管理系統(tǒng)功能主要有單個(gè)數(shù)據(jù)節(jié)點(diǎn)的本地局部事務(wù)管理和站點(diǎn)間協(xié)作的全局性事務(wù)管理兩個(gè)層次，本地事務(wù)處理可將站點(diǎn)理解為一個(gè)集中式數(shù)據(jù)庫，采用常規(guī)數(shù)據(jù)庫事務(wù)管理方法技術(shù)實(shí)現(xiàn)，全局性事物的處理則面臨著分布環(huán)境導(dǎo)致的協(xié)同調(diào)度與管理困難，需要采取必要的技術(shù)措施來解決。

2.1.1 分布式事務(wù)執(zhí)行位置的透明化

分布式事務(wù)管理根據(jù)事務(wù)內(nèi)在邏輯，將其分為子事務(wù)，分配給不同的相關(guān)節(jié)點(diǎn)執(zhí)行，之后進(jìn)行處理結(jié)果匯總，透明化的執(zhí)行位置方便全局?jǐn)?shù)據(jù)庫管理軟件對(duì)子事務(wù)執(zhí)行情況的監(jiān)督管理，從而解決了不同數(shù)據(jù)節(jié)點(diǎn)之間調(diào)度管理困難的問題。

2.1.2 實(shí)現(xiàn)事務(wù)性質(zhì)

尤其是事務(wù)原子性和可串行性的實(shí)現(xiàn)。分布式事務(wù)管理的關(guān)鍵是做好事務(wù)開始與結(jié)束的控制，因此分布式事務(wù)處理需要制定一個(gè)正確有效的協(xié)議，確保分布事務(wù)具有唯一且一致的處理結(jié)果，從而獲得事務(wù)結(jié)束的正確決定，同時(shí)要保持事務(wù)的原子性，使得事務(wù)結(jié)束指令能夠無條件執(zhí)行，還要形成一個(gè)并行控制策略，維持全局一致性和完整性，保證每個(gè)局部節(jié)點(diǎn)和全局事務(wù)都能夠并行執(zhí)行。endprint

2.2 并行控制

并行控制主要目的是維持事務(wù)和分布式數(shù)據(jù)的一致性，在確保事務(wù)可串行的同時(shí)，獲得理想的事務(wù)并發(fā)度，提高系統(tǒng)運(yùn)行效率。

分布式事物并發(fā)控制和集中數(shù)據(jù)庫的并發(fā)控制在本質(zhì)上是一致的，分布式數(shù)據(jù)庫的局部數(shù)據(jù)節(jié)點(diǎn)就是一個(gè)集中式數(shù)據(jù)庫，所以局部數(shù)據(jù)節(jié)點(diǎn)上的事務(wù)并發(fā)是可以實(shí)現(xiàn)的，基于集中數(shù)據(jù)庫可串行理論進(jìn)行事務(wù)控制，獲得單個(gè)站點(diǎn)上事務(wù)執(zhí)行序列。所有數(shù)據(jù)站點(diǎn)上事務(wù)執(zhí)行序列的集合就是全局事務(wù)處理順序，由于分布式系統(tǒng)中并不存在一個(gè)全局時(shí)鐘，因此需要使用事件時(shí)間戳描述事件發(fā)生序列，從而形成全局性的邏輯事件順序，得到事務(wù)發(fā)生順序，其結(jié)果是唯一的。

分布式物聯(lián)網(wǎng)數(shù)據(jù)庫的并行控制采用封鎖方法。事物的某項(xiàng)數(shù)據(jù)處理之前需要先申請(qǐng)?jiān)摂?shù)據(jù)的封鎖，批準(zhǔn)之后才能夠執(zhí)行數(shù)據(jù)操作。如果該數(shù)據(jù)已經(jīng)處于其他事務(wù)的處理封鎖狀態(tài)中，則該事務(wù)將一直等待，直到其他事務(wù)對(duì)數(shù)據(jù)的鎖定結(jié)束。封鎖機(jī)制中，鎖有共享和互斥鎖兩種形式，共享鎖用于用戶對(duì)數(shù)據(jù)的讀操作，互斥對(duì)應(yīng)用戶對(duì)數(shù)據(jù)的寫操作。

數(shù)據(jù)項(xiàng)不能同時(shí)處于兩個(gè)寫操作中，因此兩個(gè)事務(wù)同時(shí)申請(qǐng)某數(shù)據(jù)對(duì)象的互斥鎖，則兩個(gè)事務(wù)相互沖突，某事務(wù)封鎖數(shù)據(jù)之后，直到事務(wù)執(zhí)行結(jié)束，該事務(wù)對(duì)數(shù)據(jù)的封鎖才能結(jié)束。如果事務(wù)申請(qǐng)某數(shù)據(jù)的共享鎖，其他事務(wù)也能夠共享封鎖權(quán)，但是不能獲取對(duì)數(shù)據(jù)的互斥鎖，直到所有申請(qǐng)共享鎖的事務(wù)處理結(jié)束。單個(gè)數(shù)據(jù)的讀操作是可以共享的，但是寫操作在同一時(shí)間只能由一個(gè)事務(wù)來執(zhí)行。

2.3 物聯(lián)網(wǎng)分布式數(shù)據(jù)庫目錄結(jié)構(gòu)體系構(gòu)建

物聯(lián)網(wǎng)分布數(shù)據(jù)庫目錄也稱為數(shù)據(jù)字典，是數(shù)據(jù)庫的數(shù)據(jù)庫，所有關(guān)于數(shù)據(jù)庫的操作都和數(shù)據(jù)目錄相關(guān)，數(shù)據(jù)目錄結(jié)構(gòu)的合理性對(duì)數(shù)據(jù)庫訪問的效率有著直接的影響，無論是存儲(chǔ)、讀取、授權(quán)、安全、管理等操作，都和目錄結(jié)構(gòu)與管理策略息息相關(guān)。物聯(lián)網(wǎng)分布數(shù)據(jù)庫數(shù)據(jù)類型復(fù)雜，目錄生成和管理工作難度要高于傳統(tǒng)數(shù)據(jù)庫。

2.3.1 全局式目錄

全局目錄體系邏輯上是一張表單或者關(guān)系表，支持分片和建立副本，并且目錄能夠分布在數(shù)據(jù)節(jié)點(diǎn)上。分布式物聯(lián)網(wǎng)數(shù)據(jù)庫的局部數(shù)據(jù)節(jié)點(diǎn)上可以保存其他數(shù)據(jù)節(jié)點(diǎn)的目錄副本，但是需要保持副本的最新性。全局性目錄和數(shù)據(jù)箱操作需要先讀取全局目錄或者本地目錄獲得數(shù)據(jù)項(xiàng)相關(guān)數(shù)據(jù)信息，而這個(gè)操作受到節(jié)點(diǎn)自治的約束，本地站點(diǎn)數(shù)據(jù)項(xiàng)目可能存儲(chǔ)在遠(yuǎn)端節(jié)點(diǎn)上，全局關(guān)系的增加也會(huì)給目錄更新帶來很大的工作量。

2.3.2 分布式目錄結(jié)構(gòu)

分布式目錄結(jié)構(gòu)下，單個(gè)數(shù)據(jù)節(jié)點(diǎn)目錄上只生成站點(diǎn)上生成的數(shù)據(jù)項(xiàng)或者存儲(chǔ)在站點(diǎn)上數(shù)據(jù)項(xiàng)的目錄等級(jí)。如果數(shù)據(jù)對(duì)象不存在于其產(chǎn)生節(jié)點(diǎn)，產(chǎn)生節(jié)點(diǎn)的目錄上需要對(duì)該數(shù)據(jù)進(jìn)行登記，注明其現(xiàn)在存放節(jié)點(diǎn)位置。目錄體系引入了SWN系統(tǒng)，為每一個(gè)數(shù)據(jù)都生成了系統(tǒng)內(nèi)唯一的標(biāo)記，為用戶名用戶所在站點(diǎn)數(shù)據(jù)名數(shù)據(jù)對(duì)象生成站點(diǎn)的復(fù)合結(jié)構(gòu)。不同用戶能夠使用不同對(duì)象名快速訪問不同站點(diǎn)上的不同數(shù)據(jù)對(duì)象。

相比之下，分布式目錄體系在物聯(lián)網(wǎng)分布式數(shù)據(jù)庫中的應(yīng)用實(shí)現(xiàn)了不同站點(diǎn)上不同數(shù)據(jù)對(duì)象的透明存取，同時(shí)保護(hù)了站點(diǎn)的自治性，單個(gè)站點(diǎn)能夠有效管理自身存儲(chǔ)的局部數(shù)據(jù)和目錄登記項(xiàng)。

3 結(jié)語

物聯(lián)網(wǎng)技術(shù)發(fā)展十分迅速，在工業(yè)、農(nóng)業(yè)、交通、環(huán)保等多個(gè)領(lǐng)域都得到了大規(guī)模的應(yīng)用，隨著物聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，每時(shí)每刻都在產(chǎn)生大量數(shù)據(jù)，海量數(shù)據(jù)處理與管理工作對(duì)數(shù)據(jù)庫性能提出了巨大的挑戰(zhàn)。應(yīng)用分布式處理技術(shù)，能夠有效提高物聯(lián)網(wǎng)數(shù)據(jù)處理、檢索速度，提高了數(shù)據(jù)處理的實(shí)時(shí)性，從而挖掘出更多有價(jià)值的信息，對(duì)行業(yè)發(fā)展將會(huì)做出更大的貢獻(xiàn)。endprint