竇 蕾

(綿陽城市學院，四川 綿陽 621000)

0 引言

在物聯(lián)網產業(yè)中，應用大數(shù)據及智能處理技術能對數(shù)據進行規(guī)范化的管理，做好邏輯分類，進行數(shù)據的采集、數(shù)據的儲存和數(shù)據的分析等，不僅能保障物聯(lián)網系統(tǒng)的順暢和安全運行，還能為物聯(lián)網各產業(yè)發(fā)展提供技術助力。

1 大數(shù)據、智能處理技術內涵的分析

1.1 大數(shù)據內涵分析

眾所周知，大數(shù)據技術就是將互聯(lián)網產生的數(shù)據進行匯總、整理和分析，通過分析可以了解到，大數(shù)據具有以下明顯特征。

(1)數(shù)據量龐大。物聯(lián)網目前已經深入各個行業(yè)、各個領域之中，每一個的產業(yè)在運行和發(fā)展過程中都會產生大量的數(shù)據和信息，并呈現(xiàn)持續(xù)增長的趨勢[1]。(2)具有較高的價值。這些數(shù)據在被系統(tǒng)進行分析、處理后，相關產業(yè)數(shù)據處理技術人員能很好地從這些篩選出來的數(shù)據中找出數(shù)據的價值，即關于消費者行為習慣的數(shù)據信息、關于設備整體運行情況的數(shù)據信息等，這些數(shù)據信息都來源于民生領域或者經濟領域。(3)內容呈現(xiàn)多樣化發(fā)展。互聯(lián)網中的數(shù)據不僅有文字相關的數(shù)據、視頻數(shù)據，還有人們的網頁瀏覽內容、網頁瀏覽習慣等，因此，大數(shù)據技術應用其中，將進一步幫助物聯(lián)網產業(yè)得到正常、高效的運行，進而做出更有針對性的營銷方案和合理的決策。

1.2 智能處理技術的內涵分析

智能處理技術被稱作為互聯(lián)網的一種計算方式[2]，是在互聯(lián)網信息交互過程中、互聯(lián)網服務過程中以及互聯(lián)網應用過程中產生大量數(shù)據后，催生出來的互聯(lián)網中樞神經系統(tǒng)，其雖然作為互聯(lián)網的核心軟件和互聯(lián)網硬件的共同體，但也只是以一種虛擬形式存在。

2 大數(shù)據及智能處理技術在物聯(lián)網產業(yè)中的應用

2.1 基于大數(shù)據儲存和分析技術在智能家居中的應用

目前，我國已有80%的家電廠商研發(fā)了智能家居，以此在市場上獲取競爭優(yōu)勢。智能家居的發(fā)展得益于大數(shù)據技術和智能處理技術的應用。

2.1.1 大數(shù)據在物聯(lián)網感知層中的應用

物聯(lián)網中感知層主要是指基礎設施層，主要包括進行聯(lián)網的各種設備。智能家居系統(tǒng)中的物聯(lián)網感知層設備包括消防安全設備、煙霧檢測儀、溫度傳感器等，借助這些實體傳感器對室內的相關數(shù)據進行有效的采集和信息儲存。例如，以前的物聯(lián)網，在窗外光線強度較高時，人們只能自行地將窗簾關閉。但是，使用大數(shù)據后，通過分析采集的信息中關于住戶行為習慣的數(shù)據，幫助制定更加科學、可靠的計劃，結合住戶的行為習慣數(shù)據，自主或自行地將窗簾進行關閉或開啟，實現(xiàn)智能家居的自動化控制。這也能充分說明物聯(lián)網的實體層面融合大數(shù)據技術實現(xiàn)數(shù)據的儲存，對人們的行為習慣等相關的數(shù)據進行收集和儲存，促使物體具備了一定的智能化感知能力，能模仿人的大腦思想和感知等，做出智能化的判斷。

2.1.2 大數(shù)據在物聯(lián)網網絡層中的應用

物聯(lián)網網絡層主要包括3個模塊，即信息的采集、信息的傳輸和信息的接收設備[3]。技術人員利用設備中的相關數(shù)據，開展信息的采集，再將這些數(shù)據信息通過網絡技術上傳到系統(tǒng)中，并做好智能化數(shù)據處理。例如，借助室內傳感設備以獲取更多關于室內溫度數(shù)據和信息，設備內置的傳輸裝置將這些數(shù)據傳輸?shù)街悄芗夹g平臺，平臺能計算出室內溫度與人體溫度之間產生的不同；用戶在使用這些空調時，會產生一些數(shù)據，這時借助智能處理技術系統(tǒng)就能向空調傳輸相應的數(shù)據信息，這些信息主要有溫度信息、濕度信息等，系統(tǒng)再將這些信息進行收集和儲存，在進行數(shù)據整理過程中，保障這些數(shù)據收集整理更加的高效便捷。同時，數(shù)據的信息化和技術手段等應用其中，使得數(shù)據儲存精準度變得更高；使室內溫度滿足人們的需求，系統(tǒng)通過自動調整溫度，為人們提供便捷的同時給予人們更多的舒適感。

2.2 基于大數(shù)據儲存技術在智能電網領域中的應用

智能電網建設與物聯(lián)網技術的應用，非結構化的數(shù)據呈現(xiàn)了快速增長的趨勢[4-5]。但是由于傳統(tǒng)數(shù)據庫的存儲與計算形式不能滿足當前電力電表PB量級的數(shù)據儲存要求、實時查詢需求和計算的需求。在分析這一技術時，主要應用的是大數(shù)據領域最主流的存儲計算方案——分布式系統(tǒng)基礎架構，這一方案能為其領域提供更加精準的數(shù)據。

配用電大數(shù)據可視化主要是借助一些圖形化的手段，例如數(shù)據分析終端和商業(yè)智能化工具等，清楚地將這些數(shù)據信息進行傳達和溝通，讓更多用戶對于數(shù)據有一定的了解和理解，方便傳遞這些信息和使用這些信息。目前，從配用電大數(shù)據知識模型的提取方法上看，電力大數(shù)據環(huán)境中包含著很多數(shù)據流程，例如電表到智能電網的多層結構數(shù)據流程。數(shù)據能從不同的類型或者不同的模式的數(shù)據源上收集或者載入到數(shù)據儲存平臺上，在將數(shù)據清理和分布后，數(shù)據會進入到階段性的邏輯數(shù)據倉庫中，進而完成數(shù)據的收集、清理和載入。如表1所示，使用了3種電力大數(shù)據分析方法，開展對電力公司數(shù)據的深入挖掘。

表1 3種電力大數(shù)據分析方法

以上3層分析方法標準中，用戶用電行為是整個研究的基礎，但是由于用電行為與環(huán)境、經濟等多維度有較強的聯(lián)系，單一要素的分析無法滿足大數(shù)據知識模型提取的要求，只有對這些要素進行數(shù)據知識模型的提取，才能幫助系統(tǒng)儲存更多有用的、有價值的、較多模塊的數(shù)據信息。

2.3 基于云儲存技術的交通行業(yè)中的應用

傳統(tǒng)儲存技術面臨海量的數(shù)據過程中存在很多的困境：容量擴展和信息孤島帶來的管理池化需求；縱向架構帶來的性能拓展問題；擴容和維護工程的復雜性帶來的管理問題。為了解決這一技術弊端，應用了云儲存技術。大數(shù)據時代下的云儲存技術應用到交通領域，為其提供了解決之道。(1)新建線路的每一個車站設置了云儲存，主要對本站內所有前端儲存需求進行負責；車站的云儲存支持和災備云儲存進行容災備份，能夠使其更加可靠和安全。(2)控制中心建設一套云儲存，主要對整條線路內所有的前端設備到控制中心統(tǒng)一接入儲存。(3)以某一城市地鐵為例進行分析，其多個車站規(guī)劃成一套云儲存系統(tǒng)，整條線路劃分為多個云儲存，每一個云儲存滿足自身車站內的需求。(4)應用多站分域云儲存，如圖1所示。

圖1 多站分域云儲存

從圖1可見，(1)12個車站主要分為兩朵云，每6個車站借助視頻云儲存的方式，保證將每朵云儲存設備都分散到6個車站內，從而保障設備的物理分散部署。(2)控制中心部署一套視頻云，保證車站云能和中心云之間形成容災。(3)全網云應用多域部署的架構，實現(xiàn)了多域容災，這一方案使得整個系統(tǒng)更加可靠和安全，減少了一些歷史數(shù)據因受到設備故障的影響而出現(xiàn)信息丟失等情況，保證實時業(yè)務不一會發(fā)生中斷，使數(shù)據具備繼續(xù)儲存的功能。

并且，多硬盤的加入等能保證故障數(shù)據不會出現(xiàn)丟失，數(shù)據能實時地儲存和回放。當某套云儲存出現(xiàn)不可控的災難級故障時，如故障同時在多個站點，可以應用云系統(tǒng)災備的功能，對控制中心云儲存進行臨時接管，從而使得儲存延續(xù)。另外，采用特殊的設計，數(shù)據切片能使每站設備內同時存在1片數(shù)據，1個車站的設備在同時出現(xiàn)故障時，能保證這些數(shù)據的正常存儲和回放。

2.4 基于分布式存儲與NoSQL技術在農田領域中的應用

伴隨著物聯(lián)網技術的高速發(fā)展，物聯(lián)網在農田數(shù)據采集、智能灌溉、苗青診斷等過程中的應用發(fā)揮了重要的作用。由于農田物聯(lián)網中的光、溫度、土壤等傳感器設備或者相關視頻設備產生了海量的數(shù)據，如何高效存儲和管理這些海量數(shù)據成為物聯(lián)網產業(yè)發(fā)展亟須重視的問題。

農田物聯(lián)網中產生的大量文件，如圖像、傳感器文本等非數(shù)據化信息的實時處理，也是目前傳統(tǒng)關系數(shù)據庫難以解決的問題。本文主要利用分布式云儲存和NoSQL(Not Only SQL)技術，構建具有海量存儲、安全性高、容易擴展的農田物聯(lián)網數(shù)據云儲存系統(tǒng)。以下主要介紹相應的系統(tǒng)構架。

結合農田物聯(lián)網數(shù)據特征，根據Hadoop平臺，自上而下將系統(tǒng)分為儲存層、服務層和應用層。

儲存層位于農田物聯(lián)網數(shù)據儲存模型中的最底層，用來持久化儲存數(shù)據。該層主要包括分布式文件系統(tǒng)HDFS、面向列的HBase數(shù)據庫以及Redis緩存模塊。其中分布式文件系統(tǒng)HDFS主要用來儲存農田物聯(lián)網系統(tǒng)之中的圖片或視頻等非結構化數(shù)據；HBase 數(shù)據庫主要用來儲存農田物聯(lián)網系統(tǒng)中的商情、氣象等數(shù)據；Redis 緩存模塊主要用來作為底層儲存的緩存服務器。

服務層應用于儲存層和應用層中間，為下層數(shù)據儲存訪問等工作提供相應的服務。伴隨著業(yè)務發(fā)展新增一些傳感器，借助數(shù)據轉化模塊等將傳感器中的元數(shù)據信息等轉化為儲存模型能接受的模式，使得系統(tǒng)具備擴展的性能。在設計數(shù)據儲存模型時，對農田物聯(lián)網采集到的各種圖片等進行合并，并形成檢索方案，便于用戶進行圖片的查詢。從模型儲存層中可以看出，農田物聯(lián)網數(shù)據一般都儲存在HDFS，HBase及Redis緩存服務器。這種儲存技術相對于傳統(tǒng)數(shù)據儲存更有優(yōu)勢，基于SequenceFile 文件合并技術、圖片文件名的設計及索引優(yōu)化策略的 HDFS 讀寫平均速度，相比未優(yōu)化的原生HDFS性能提升30%以上，更適用于農田物聯(lián)網中海量圖片存儲的場景。

3 結語

互聯(lián)網和大數(shù)據技術的發(fā)展和應用，改變了人們日常的生活和生產活動，大數(shù)據技術逐步被人們所熟知和認可。而互聯(lián)網技術在應用之后出現(xiàn)了海量的數(shù)據，物聯(lián)網行業(yè)要利用這些數(shù)據促進自身的發(fā)展，應借助大數(shù)據技術及智能處理技術，對這些信息進行有效的收集、儲存和分析，在找出這些數(shù)據的規(guī)律性和價值性后，靈活地應用這些數(shù)據，從而為物聯(lián)網產業(yè)提供更加優(yōu)質的、針對性的服務。