孫中廷

摘 要： 實際工程中采集和處理的數(shù)據(jù)量特別大，這對傳統(tǒng)數(shù)據(jù)庫技術提出巨大挑戰(zhàn)。針對傳統(tǒng)關系型數(shù)據(jù)庫存儲速度慢、對硬件要求高的缺點，提出一種以NoSQL數(shù)據(jù)庫為基礎的大數(shù)據(jù)處理方法，打破了傳統(tǒng)數(shù)據(jù)庫的關系模型，數(shù)據(jù)以一種自由的方式存儲，而不依賴固定的表結構。該方法主要是將經(jīng)驗模態(tài)分解并與NoSQL數(shù)據(jù)庫技術相結合，應用于大型結構件的變形監(jiān)測中，構建出一個基于NoSQL數(shù)據(jù)庫系統(tǒng)的大型結構件變形監(jiān)測系統(tǒng)。仿真結果表明，該方法可以實現(xiàn)大型結構件變形監(jiān)測數(shù)據(jù)的實時處理，在計算收斂性、算法穩(wěn)定性和處理速度上都優(yōu)于傳統(tǒng)數(shù)據(jù)庫技術。

關鍵詞： NoSQL數(shù)據(jù)庫； 經(jīng)驗模態(tài)分解； 關系模型； 變形監(jiān)測； 大型結構件

中圖分類號：TP392 文獻標志碼：A 文章編號：1006-8228（2014）07-07-03

Abstract： In engineering practice， the large amount of data acquisition and processing has challenged traditional database technology. To deal with the disadvantages of low storing speed and high hardware requirement of traditional relational database， a large data processing method based on NoSQL database is presented. The traditional relational model database is broken and data is stored in a free manner， while do not rely on fixed table structure. This method is mainly the empirical mode decomposition and NoSQL database technologies combine applied deformation monitoring of large structural parts to construct a large-scale structure deformation monitoring system based on NoSQL database system. Simulation results show that the proposed NoSQL database based on the large data processing method can achieve real-time processing of large structural deformation monitoring data and it is better than the traditional database technology on the convergence and stability of the algorithm and processing speed.

Key words： NoSQL database； empirical mode decomposition； relationship model； deformation monitoring； Large-Scale structure

0 引言

計算機技術和網(wǎng)絡技術的快速發(fā)展以及硬件的不斷升級和更新?lián)Q代，使得數(shù)據(jù)呈現(xiàn)爆炸式增長，向海量數(shù)據(jù)和大數(shù)據(jù)邁進。越來越多的數(shù)據(jù)屬于非結構化數(shù)據(jù)，如圖片、聲音和視頻等文件[1]。

面對海量數(shù)據(jù)的存儲和處理要求，傳統(tǒng)的關系型數(shù)據(jù)庫已無法滿足用戶需求，甚至制約著海量數(shù)據(jù)的存儲和處理。本文基于這種形勢研究NoSQL數(shù)據(jù)庫在大型結構件變形監(jiān)測數(shù)據(jù)存儲和處理中的應用。

1 大型結構件變形監(jiān)測

工程建筑中，橋梁、地鐵隧道等大型結構件在經(jīng)濟發(fā)展中有重要作用，因此通過實時監(jiān)測大型結構件的實際狀態(tài)和環(huán)境狀況，實時監(jiān)測和診斷結構性能，及時發(fā)現(xiàn)結構損傷，對比理論值和實際檢測值，有助于識別和預計可能出現(xiàn)的災害，及時發(fā)現(xiàn)災害隱患并進行處理[2-3]。

2 變形監(jiān)測技術

由于GPS測量技術具有高精度的三維定位能力，同時可以實現(xiàn)實時連續(xù)觀測，因此GPS為監(jiān)測大型結構件的動態(tài)和靜態(tài)變形提供了非常有效的手段。GPS測量技術不但精度高，而且不受天氣條件影響，可以實現(xiàn)全天候觀測測量，自動計算和記錄，因此GPS技術被廣泛地應用于大型結構件的監(jiān)測。圖1為某大橋的GPS連續(xù)監(jiān)測系統(tǒng)框圖[4]。

GPS監(jiān)測到的數(shù)據(jù)，需要進行實時處理和診斷，做到及時識別和判斷，其中涉及到大量的數(shù)據(jù)存儲和計算處理，由于NoSQL數(shù)據(jù)庫克服了傳統(tǒng)關系型數(shù)據(jù)庫的缺點，具有存儲速度快和硬件限制要求低的優(yōu)點[5]，本文將經(jīng)驗模態(tài)分解技術和NoSQL數(shù)據(jù)庫結合起來，進行大型結構件變形監(jiān)測數(shù)據(jù)的存儲和處理研究。

5 結束語

本文以NoSQL數(shù)據(jù)庫為基礎，結合EMD分解技術，實現(xiàn)了大型結構件實時監(jiān)測數(shù)據(jù)的存儲和處理。仿真結果表明，本文算法在收斂性、穩(wěn)定性和處理速度上都優(yōu)于傳統(tǒng)的EMD技術，從而驗證了NoSQL數(shù)據(jù)庫技術可以克服傳統(tǒng)的關系型數(shù)據(jù)庫的缺點，具有處理速度快，對硬件限制要求低的優(yōu)點，因此NoSQL數(shù)據(jù)庫技術可以同其他技術相結合，應用于海量數(shù)據(jù)處理和大數(shù)據(jù)處理領域，提高速度和存儲量。

參考文獻：

[1] 呂明育，李小勇.NoSQL數(shù)據(jù)庫與關系數(shù)據(jù)庫的比較分析[J].微型電腦應用，2011.10：61-64

[2] 李莉莎.關于NOSQL的思考[J].中國傳媒科技，2010.4：42-43

[3] 陳敏敏.基于MongoDB云存儲平臺的論壇信息抽取與存儲研究[D].上海交通大學，2011.

[4] Feng Youle，Zhu Liuzhang. Analysis and Improvement of CEPH Dynamic Metadata Management[J].Electronic Technology，2010.47（9）：1-3

[5] Zhu Wei-ping， Chen Huan， Li Ming-xin.Using MongoDB toImplement Textbook Management System instead of MySQL[R]. Proceedings of 2011 IEEE 3rd International Conference on Communication Software and Networks（ICCSN 2011） VOL02，2011.

[6] Karen Egiazarian， Alessandro Foi， and Vladimir Katkovnik， Compressed sensing image reconstruction via recursive spatially adaptive filtering. （Preprint， 2007）.

[7] Marco Duarte， Mark Davenport， Dharmpal Takhar， Jason Laska，Ting Sun， Kevin Kelly， and Richard Baraniuk，Single-pixel imaging via compressive sampling. IEEE Signal Processing Magazine，2008.25（2）：83-91

[8] Michael Wakin， Jason Laska， Marco Duarte， Dror Baron， Shriram Sarvotham， Dharmpal Takhar， Kevin Kelly， and Richard Baraniuk，An architecture for compressive imaging. Int. Conf. on Image Processing （ICIP）， Atlanta， Georgia， October 2006.

[9] Herodotou H，Borisov N.Babu S.Query optimization techniques forpartitioned tables[c]//Proc of the 2011 ACM SIGMOD Int Conf on Management of Data.New York：ACM，2011：49-60

[10] shvachko K， Kuang H，Radia S，et a1. The Hadoop distributed file system[c]//Proc of the Symp on Mass Storage Systems and Technologies.Piscataway，NJ：IEEE，2010：1-10