尹志堅

（大慶油田信息技術(shù)公司軟件分公司，黑龍江 大慶 163000）

物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)能夠為人們的日常生活以及外部旅行等帶來了一定的便捷，那么結(jié)合此項技術(shù)的發(fā)展與優(yōu)化，就能看出物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)研究已經(jīng)取得了階段性的研究成果，本文從物聯(lián)網(wǎng)大數(shù)據(jù)的內(nèi)涵與特征出發(fā)，正確面對物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理新技術(shù)面臨的窘境，突出物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)的應(yīng)用，為今后物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)的實踐運(yùn)用提供有利的借鑒。

1 物聯(lián)網(wǎng)大數(shù)據(jù)的內(nèi)涵和特征

1.1 物聯(lián)網(wǎng)大數(shù)據(jù)

Internetofthings，通稱IoT，簡易地說，是一種與物有關(guān)的互聯(lián)網(wǎng)。而物聯(lián)網(wǎng)的關(guān)鍵技術(shù)基礎(chǔ)仍然是大數(shù)據(jù)技術(shù)，但在互聯(lián)網(wǎng)技術(shù)的前提上又持續(xù)拓展。物物連接產(chǎn)生了物聯(lián)網(wǎng)技術(shù)的主要用途。1990年，施樂公司創(chuàng)造發(fā)明了第一臺網(wǎng)上可樂自動販賣機(jī)，這被視為物聯(lián)網(wǎng)的初次試驗，物聯(lián)網(wǎng)技術(shù)伴隨著計算機(jī)技術(shù)和互聯(lián)網(wǎng)發(fā)展而快速發(fā)展。我國物聯(lián)網(wǎng)的發(fā)展趨勢已展現(xiàn)出一種別具特色的現(xiàn)象，并慢慢變成我國經(jīng)濟(jì)的一大突破點。

據(jù)資料表明，現(xiàn)階段我國物聯(lián)網(wǎng)技術(shù)造成的經(jīng)濟(jì)收益已達(dá)千億以上，變成我國經(jīng)濟(jì)社會發(fā)展中不可忽視的一部分。

1.2 物聯(lián)網(wǎng)大數(shù)據(jù)信息特點

與其他行業(yè)對比，物聯(lián)網(wǎng)大數(shù)據(jù)信息在某些層面獨樹一幟。第一個是物聯(lián)網(wǎng)的信息量，我們都知道物聯(lián)網(wǎng)是優(yōu)化到事物的無線網(wǎng)絡(luò)覆蓋，很多的連接點還造成物聯(lián)網(wǎng)中的信息量遠(yuǎn)遠(yuǎn)地高過互聯(lián)網(wǎng)，伴隨著時間的變化，所積累的信息量可能越來越大。第二，物聯(lián)網(wǎng)中傳輸數(shù)據(jù)的效率，海量數(shù)據(jù)在物聯(lián)網(wǎng)中的散播，對數(shù)據(jù)信息傳輸速度的需求愈來愈高，促使物聯(lián)網(wǎng)技術(shù)不斷創(chuàng)新。第三，物聯(lián)網(wǎng)針對數(shù)據(jù)信息真實有效的要求，信息化時代比現(xiàn)實世界更“模糊化”，但它所作用的人與物是真實出現(xiàn)的。

2 物聯(lián)網(wǎng)大數(shù)據(jù)儲存和管理新技術(shù)的窘境

IIoT是一種以“物”為數(shù)據(jù)庫的互聯(lián)網(wǎng)，是工業(yè)物聯(lián)網(wǎng)的簡稱，而這一物聯(lián)網(wǎng)大數(shù)據(jù)的技術(shù)，需要傳感器和高帶寬無線網(wǎng)絡(luò)，只有實現(xiàn)二者的緊密結(jié)合，才能夠為今后物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的應(yīng)用提供更為豐富的場景，而且該項技術(shù)能夠?qū)⑽锫?lián)網(wǎng)大數(shù)據(jù)儲存以及管理新技術(shù)、設(shè)備等的資源相互鏈接起來，實現(xiàn)物聯(lián)網(wǎng)大數(shù)據(jù)存儲以及管理信息技術(shù)的廣泛應(yīng)用,并與相應(yīng)的信息傳遞渠道相匹配，將感應(yīng)器獲得的數(shù)據(jù)信息傳輸給大數(shù)據(jù)中心，伴隨著物聯(lián)網(wǎng)互聯(lián)網(wǎng)大數(shù)據(jù)的發(fā)展，這對數(shù)據(jù)儲存和監(jiān)管技術(shù)產(chǎn)生了新的要求，其影響不容忽視。物聯(lián)網(wǎng)大數(shù)據(jù)存儲和監(jiān)管技術(shù)已廣泛運(yùn)用于氣候分析、智慧城市建設(shè)、環(huán)保監(jiān)測等各行各業(yè)，可是，伴隨著信息量的提升，目前的數(shù)據(jù)儲存和數(shù)據(jù)庫管理技術(shù)越來越無法達(dá)到數(shù)據(jù)信息儲存與監(jiān)管的實際需要，在信息資源管理過程中顯現(xiàn)出的很多問題，要求技術(shù)人員及時開展技術(shù)革新。

3 物聯(lián)網(wǎng)大數(shù)據(jù)存儲和管理技術(shù)的運(yùn)用

3.1 分布式存儲

在設(shè)計分布式存儲時，需要充分結(jié)合存儲的方式，而此種存儲方式能夠突出物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)的實用性，標(biāo)準(zhǔn)許可時，應(yīng)主動選用專業(yè)的方式方法，以擴(kuò)張系統(tǒng)功能。一般情形下，在分布式存儲中，將HaDHDFS用以儲存數(shù)據(jù)信息，不僅能高效地提升信息的傳送和查找效率，并且還能合理地確保網(wǎng)絡(luò)信息安全。除此之外，HDFS自身在數(shù)據(jù)讀寫能力、大數(shù)據(jù)、混合開發(fā)兼容等層面都有較為顯著的優(yōu)點，當(dāng)然，它的不足之處是無法有效地融入低延遲時間數(shù)據(jù)信息瀏覽的規(guī)定，較少的儲存空間以及不能相對應(yīng)地改動文檔，這對下一步工作會構(gòu)成一定的難度。

3.2 分布數(shù)據(jù)庫查詢

遍布數(shù)據(jù)庫查詢主要指HBase，數(shù)據(jù)庫查詢自身具備較高的穩(wěn)定性、優(yōu)良的擴(kuò)展性，可用以儲存非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)型整體規(guī)劃數(shù)據(jù)信息，并能使用多種不同的端口瀏覽，針對專業(yè)技術(shù)人員來講，需要對分布的數(shù)據(jù)庫中的資源進(jìn)行歸類，這樣做的優(yōu)勢之處在于，一方面能夠讓瀏覽者能夠快速的看到信息，能夠充分發(fā)揮數(shù)據(jù)庫的分布功能的作用，這樣就能夠?qū)Base數(shù)據(jù)庫的結(jié)構(gòu)更為簡單，它可以把數(shù)據(jù)轉(zhuǎn)換成字符串，最大程度地保證了信息的安全性。為了方便數(shù)據(jù)存儲，從用戶的角度出發(fā)，需要對數(shù)據(jù)類型開展科學(xué)合理的轉(zhuǎn)換，以確保將非結(jié)構(gòu)化數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫轉(zhuǎn)換為對應(yīng)的字符串?dāng)?shù)組，進(jìn)而有利于數(shù)據(jù)儲存。此外，HBase還有著很多豐富的作用，如數(shù)據(jù)信息維護(hù)、數(shù)據(jù)信息數(shù)據(jù)庫索引、數(shù)據(jù)信息可拓展等，這些分布數(shù)據(jù)庫的查詢，能夠?qū)?shù)據(jù)進(jìn)行動態(tài)性的轉(zhuǎn)化，這樣就能夠?qū)崿F(xiàn)對物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)提供信息等資源支撐。

3.3 云計算技術(shù)數(shù)據(jù)庫查詢

云數(shù)據(jù)庫在物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)的研究中發(fā)揮了相當(dāng)大的作用，對于我們而言，需要利用數(shù)據(jù)課信息系統(tǒng)的查詢功能，這樣就能夠借助云計算技術(shù)、虛擬化技術(shù)，一方面能夠提升數(shù)據(jù)庫的存儲功能，另一方面能夠防止計算數(shù)據(jù)中出現(xiàn)的問題，這樣就能夠逐漸降低物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)等的應(yīng)用，這樣就能夠不斷降低企業(yè)的資源消耗，也為硬件軟件的更新提供了更為廣闊的空間。云庫中儲存了大量的數(shù)據(jù)以及信息，對互聯(lián)網(wǎng)大數(shù)據(jù)存儲以及技術(shù)管理，就需要展開對數(shù)據(jù)等的相關(guān)理論與實踐的研究，使客戶可以在遠(yuǎn)程控制的基礎(chǔ)上，運(yùn)用阿里云數(shù)據(jù)庫的多種作用。對使用者而言，阿里云數(shù)據(jù)庫就好像一款簡潔的計算機(jī)技術(shù)，在應(yīng)用它時，不用掌握阿里云數(shù)據(jù)庫的基本原理和每個mac層的關(guān)鍵點，節(jié)約了大量的時間和精力。

3.4 NoSQL 數(shù)據(jù)庫

NoSQL數(shù)據(jù)庫是物聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)存儲和管理方法領(lǐng)域中一項主要內(nèi)容，它所代表的含義便是NotOnlySQL。在其中，我們可以用非關(guān)系模型替代傳統(tǒng)的關(guān)系模型，常見的非關(guān)系模型有鍵值實體模型、文本文檔實體模型和列族模型等。為后面數(shù)據(jù)儲存、數(shù)據(jù)統(tǒng)計分析、數(shù)據(jù)分析給予了良好的適用，確保了數(shù)據(jù)統(tǒng)計分析的實效性，保證了數(shù)據(jù)信息的合理應(yīng)用。依據(jù)當(dāng)今發(fā)展?fàn)顩r分析，NoSQL數(shù)據(jù)庫技術(shù)在具體運(yùn)用中普遍存在著成熟性差、運(yùn)用范疇窄、風(fēng)險高等缺點，不能解決某些特殊情況。在此情況下，技術(shù)人員需要結(jié)合數(shù)據(jù)庫等相關(guān)資源，對物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)等進(jìn)行相關(guān)研究，這樣就能夠挑選出NoSQL數(shù)據(jù)庫，比如，包括BigTable、Dynamo等的鍵值數(shù)據(jù)庫查詢，列族數(shù)據(jù)庫包括HadoopDB、reenPLum等，從上述各種類型各異的數(shù)據(jù)庫，我們能夠看出不同類型的數(shù)據(jù)庫有著不同的功能以及作用，能夠?qū)τ谖锫?lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)等方面的研究提供建設(shè)性的意見以及建議。

4 實踐運(yùn)用

文中以空間高效率文本檢索系統(tǒng)為例子，對物聯(lián)網(wǎng)技術(shù)大數(shù)據(jù)存儲與管理技術(shù)進(jìn)行仔細(xì)的分析與深入的研究。在IoT環(huán)境下，我們能夠從數(shù)據(jù)庫索引的特性中發(fā)現(xiàn)，本系統(tǒng)運(yùn)行的規(guī)律，從而為文本檢索提供具體的操作性指南，結(jié)合文本檢索的信息，能夠熟悉數(shù)據(jù)庫索引構(gòu)造，這一點主要是因為RadixTree具備一致的查看時間多元性，而該系統(tǒng)的突出性優(yōu)勢在于，是一個多功能的系統(tǒng)，而且該系統(tǒng)具有比其他的系統(tǒng)更加精密的夠造，這樣就能夠顯著提升該系統(tǒng)的RadixTree融入大容量數(shù)據(jù)信息，必須防止RadixTree中指針的空間開銷。

4.1 設(shè)計方案觀念

（1）產(chǎn)品結(jié)構(gòu)設(shè)計。對于RadixTree在具體運(yùn)用中碰到的各類問題，為保證信息的儲存和管理效果，根據(jù)物聯(lián)網(wǎng)互聯(lián)網(wǎng)大數(shù)據(jù)環(huán)境，明確提出了RadixKV性能卓越鍵值文本檢索系統(tǒng)，與此同時，為了更好地增強(qiáng)系統(tǒng)的數(shù)據(jù)信息數(shù)據(jù)庫索引升級速率，處理系統(tǒng)軟件空間開銷問題，創(chuàng)建了響應(yīng)式并行處理數(shù)據(jù)庫索引系統(tǒng)更新，在有效地設(shè)定數(shù)據(jù)庫索引子樹結(jié)構(gòu)的并行度的與此同時，設(shè)計了一種根據(jù)二維數(shù)組的RadixTree表達(dá)形式。RadixKV的數(shù)據(jù)庫索引都是在運(yùn)行內(nèi)存中，鍵值放到硬盤里，而系統(tǒng)可以分為3個不一樣的等級：HashStore、SortedStore和IndexedStore。RadixKV的特點是可以依據(jù)RadixTree查找特定的鍵值數(shù)據(jù)信息，得到對應(yīng)的查看時間開銷。在這個基礎(chǔ)上，運(yùn)用數(shù)據(jù)信息緩存中的二分查找和散列數(shù)據(jù)庫索引，實現(xiàn)對它的常數(shù)級查詢；當(dāng)面臨較小的數(shù)據(jù)量時，對于最近到達(dá)的數(shù)據(jù)，可以提供必要的實時響應(yīng)支持。二分法和散列在查詢性能上有很大優(yōu)勢。

（2）HashStore。HashStore的日志塊功能使它能夠提供額外的寫入支持，在這樣的情況下，數(shù)據(jù)流分析可以以一種附加的方法載入到對應(yīng)的儲存器中，進(jìn)而提升了寫的吞吐能力。除此之外，根據(jù)結(jié)構(gòu)哈希表數(shù)據(jù)庫索引的方式，完成了HashStore數(shù)據(jù)信息的快速查找。在HashStore中的信息量做到某一閥值以后，一定要向SortedStore載入相對應(yīng)的數(shù)據(jù)信息，要開展數(shù)據(jù)信息排列，使混亂鍵數(shù)據(jù)信息有序排序，可是考慮到數(shù)據(jù)信息排列的時間開銷非常大，可能會導(dǎo)致瓶頸，這個問題一定要處理。

（3）SortedStore。在操作系統(tǒng)系統(tǒng)架構(gòu)圖中，關(guān)鍵數(shù)據(jù)信息將以數(shù)據(jù)流分析的方法進(jìn)到操作系統(tǒng)，當(dāng)SortedStore數(shù)據(jù)信息排序提交成功之后，將向IndexedStore消息推送解決控制的數(shù)據(jù)信息在IndexedStore中，構(gòu)建sql索引子樹并進(jìn)行合拼實際操作。

當(dāng)數(shù)據(jù)信息子樹進(jìn)行構(gòu)建之后，原來存在于SortedStore中的一些數(shù)據(jù)信息將被清除，隨后SortedStore將再次接收新的數(shù)據(jù)信息，產(chǎn)生循環(huán)系統(tǒng)。結(jié)合操作系統(tǒng)的使用方法，這樣就能夠顯著提升數(shù)據(jù)信息的使用區(qū)域，在系統(tǒng)的使用過程之中，能夠?qū)崿F(xiàn)不同區(qū)域同時運(yùn)作。

4.2 信息內(nèi)容儲存

IndexedStore的核心作用根據(jù)SortedStore中的K數(shù)據(jù)信息塊，因為信息量大、空間開銷大、最需處理的問題，結(jié)構(gòu)K棵數(shù)據(jù)庫索引子樹并合并為數(shù)據(jù)庫索引樹，怎樣實現(xiàn)空間高效的RadixTree，此處展示了一個表示RadixTree的空間效率方法——RadixArray。

（1）RadixArray設(shè)計。RadixArray可以依據(jù)葉子節(jié)點二維數(shù)組、內(nèi)部連接功能陣列和內(nèi)部連接功能sql索引來表明，運(yùn)用3點進(jìn)行對室內(nèi)空間設(shè)計開銷的提高：①在內(nèi)部連接功能sql索引陣列中，用數(shù)組下標(biāo)間隔表明內(nèi)部連接功能間的字節(jié)數(shù)，立即扔下了表針室內(nèi)空間花銷；②連接點字節(jié)的表述，在RadixArray搭建階段中，全部內(nèi)部連接點都儲存了父節(jié)點，完成了數(shù)據(jù)庫索引子樹搭建以后，對聯(lián)結(jié)點開展補(bǔ)齊，并提升了相對應(yīng)位圖索引，便于對子連接點的迅速搜索，運(yùn)用位圖索引，使內(nèi)部連接點不用記錄后面子結(jié)點的間距，進(jìn)而提升了空間利用率；③可以選用中序遍歷的方式，儲存內(nèi)部連接點，保證它可以完成與葉子節(jié)點的一對一投射，在葉子節(jié)點與前一層連接點中間不用字節(jié)儲存。

（2）IndexedStore數(shù) 據(jù) 庫 索 引 升 級。 向IndexedStore傳送數(shù)據(jù)塊到SortedStore以后，IndexedStore會升級數(shù)據(jù)庫索引，最先為每一個資料塊建立RadixArray，隨后又把它合拼到一個sql索引樹中，當(dāng)數(shù)據(jù)庫索引樹的數(shù)據(jù)量超過這一閥值時，便會把一片葉子節(jié)點放入電腦硬盤中。

創(chuàng)建一個新的sql索引樹。具體地說，第一步是創(chuàng)建數(shù)組。SortedStore中排列的數(shù)據(jù)信息塊做為葉子節(jié)點二維數(shù)組，在SortedStore中進(jìn)行多路快速排序的此外，還可以計算相鄰詞典順序關(guān)鍵字的LCP，解析xml葉連接點二維數(shù)組，與LCP緊密結(jié)合，完成比照位不一樣檢測方面的迅速獲得，完成了內(nèi)部連接點的建立；第二，路由器二維數(shù)組的創(chuàng)建。在得到內(nèi)部連接點以后，必須將它插進(jìn)到Treap中，以產(chǎn)生內(nèi)部連接點字節(jié)；第三，RadixArray合并操作。RadixArray合拼在對K個N/K的Treap開展合拼時，可以直接應(yīng)用Treap優(yōu)化算法，其算法復(fù)雜度為O。

5 結(jié)語

總而言之，信息化時代的大環(huán)境下，物聯(lián)網(wǎng)技術(shù)大數(shù)據(jù)存儲以及管理等方面的技術(shù)研究，是信息時代中的主要標(biāo)志之一，本文通過對物聯(lián)網(wǎng)大數(shù)據(jù)的內(nèi)涵與特征進(jìn)行分析，進(jìn)一步對物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理新技術(shù)的窘境進(jìn)行探討，得出物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理新技術(shù)的運(yùn)用，從而為物聯(lián)網(wǎng)大數(shù)據(jù)存儲技術(shù)與管理技術(shù)的實踐提供參考，而且這些物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理技術(shù)等方面的研究可以普遍地應(yīng)用于各行各業(yè)，為社會經(jīng)濟(jì)平穩(wěn)、健康發(fā)展提供保障。