段為（中國移動通信集團廣東有限公司，廣州 510623）

?

物聯(lián)網(wǎng)廣泛協(xié)議標準化適配接口系統(tǒng)設(shè)計與研究

段為
（中國移動通信集團廣東有限公司，廣州 510623）

摘 要針對目前物聯(lián)網(wǎng)發(fā)展過程中終端協(xié)議繁多、不統(tǒng)一且復(fù)雜等問題，本論文采用了NIO、NoSQL、XML和JavaEE等技術(shù)，對物聯(lián)網(wǎng)廣泛協(xié)議的標準化適配進行了研究與實現(xiàn)。研究結(jié)果闡明了物聯(lián)網(wǎng)廣泛協(xié)議標準化適配的重要意義，為物聯(lián)網(wǎng)上層應(yīng)用提供了簡單、快速、高效的基礎(chǔ)平臺。

關(guān)鍵詞物聯(lián)網(wǎng)； 終端協(xié)議； 標準化適配； NIO； NoSQL

1　引言

隨著物聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用，各行業(yè)各類型的物聯(lián)網(wǎng)終端迅速發(fā)展，未來規(guī)模也在不斷擴大。但是，目前終端通信協(xié)議眾多并且很難統(tǒng)一，使用較多的協(xié)議，如Modbus、ZigBee、MQTT、CIP、WMMP-A/WMMPSA、RS232/485等協(xié)議，每個協(xié)議都有自己的使用場景或適用行業(yè)。除了這些主流并且較規(guī)范統(tǒng)一的協(xié)議之外，部分終端廠商還有自己的終端通信協(xié)議。物聯(lián)網(wǎng)應(yīng)用開發(fā)者面對復(fù)雜繁多的終端協(xié)議，自己逐一解析開發(fā)應(yīng)用的成本大并且耗時較長。因此，與物聯(lián)網(wǎng)終端協(xié)議的標準化適配問題是物聯(lián)網(wǎng)研究的一個重要方向。從中國移動推動物聯(lián)網(wǎng)快速發(fā)展的角度看，協(xié)議標準化適配和快速接入，將大大降低物聯(lián)網(wǎng)應(yīng)用開發(fā)者的開發(fā)成本和開發(fā)周期，從而鞏固中國移動在物聯(lián)網(wǎng)發(fā)展中的地位。

物聯(lián)網(wǎng)涉及智能感知、識別技術(shù)與普適計算等通信感知技術(shù)，被稱為繼計算機、互聯(lián)網(wǎng)之后世界信息產(chǎn)業(yè)發(fā)展的第三次浪潮。物聯(lián)網(wǎng)是互聯(lián)網(wǎng)的應(yīng)用拓展，與其說物聯(lián)網(wǎng)是網(wǎng)絡(luò)，不如說物聯(lián)網(wǎng)是業(yè)務(wù)和應(yīng)用。到2020年，中國會有54億個物聯(lián)網(wǎng)終端，其中全球每5個就有1個物聯(lián)網(wǎng)終端在中國；預(yù)計物聯(lián)網(wǎng)將創(chuàng)造3 250億美元的市場。面對如此龐大的終端市場，物聯(lián)網(wǎng)應(yīng)用的發(fā)展?jié)撃芤彩欠浅＞薮蟮摹?/p>

眾所周知，每個行業(yè)甚至每種類型、每個廠商的終端都有自己的特定標準和協(xié)議，這對物聯(lián)網(wǎng)終端接入網(wǎng)絡(luò)以及物聯(lián)網(wǎng)應(yīng)用的快速發(fā)展造成了一定的障礙。如果類比的話，微信是把人與人，以及人與商家、應(yīng)用連接在一起的基礎(chǔ)平臺，從而微信公眾號等應(yīng)用能快速發(fā)展，而目前移動物聯(lián)網(wǎng)恰恰缺少一個作用類似微信的基礎(chǔ)平臺把協(xié)議各異的物聯(lián)網(wǎng)終端通過標準化適配將人、系統(tǒng)和應(yīng)用都連接在一起，導致目前物聯(lián)網(wǎng)應(yīng)用發(fā)展較慢。

2　物聯(lián)網(wǎng)廣泛協(xié)議適配系統(tǒng)定位

2.1系統(tǒng)定位

主要研究和實現(xiàn)一個與具體行業(yè)業(yè)務(wù)語義無關(guān)的物聯(lián)網(wǎng)廣泛協(xié)議適配接口系統(tǒng)，實現(xiàn)行業(yè)終端各種通信協(xié)議的處理、數(shù)據(jù)采集及管理，為上層應(yīng)用提供一個安全、可靠、穩(wěn)定的終端接入通道和基礎(chǔ)平臺。系統(tǒng)支持多種終端的快速接入適配、數(shù)據(jù)解析和存儲等，降低物聯(lián)網(wǎng)應(yīng)用開發(fā)者的開發(fā)成本和降低開發(fā)周期，從而推動物聯(lián)網(wǎng)應(yīng)用的發(fā)展。圖1為物聯(lián)網(wǎng)廣泛協(xié)議適配接口系統(tǒng)邏輯架構(gòu)圖。

2.2系統(tǒng)需求描述

針對目前物聯(lián)網(wǎng)終端種類繁多、協(xié)議復(fù)雜且不一、接入開發(fā)成本大和耗時長等現(xiàn)狀，物聯(lián)網(wǎng)廣泛協(xié)議適配接口系統(tǒng)主要是研究各類物聯(lián)網(wǎng)終端的標準化適配、快速接入、數(shù)據(jù)存儲和轉(zhuǎn)發(fā)等。系統(tǒng)主要從以下幾方面需求來考慮：（1）協(xié)議的標準化配置；（2）高并發(fā)終端接入；（3） 正確解析終端數(shù)據(jù)；（4）不同結(jié)構(gòu)類型數(shù)據(jù)存儲。主要需求描述如下。

協(xié)議的標準化配置：每個協(xié)議都有自己的標準和規(guī)則，協(xié)議配置需要最大程度地兼容各類型的協(xié)議，特別是主流的終端協(xié)議，以達到統(tǒng)一協(xié)議、標準化配置的目的。系統(tǒng)同時需要保留相應(yīng)接口，針對部分特殊協(xié)議予以自定義擴展實現(xiàn)，提高系統(tǒng)的可擴展性。

高并發(fā)終端接入：系統(tǒng)應(yīng)考慮未來百萬級的終端接入量，面對海量接入終端，系統(tǒng)需解決高并發(fā)問題，提高系統(tǒng)的并發(fā)數(shù)和吞吐率。

圖1　物聯(lián)網(wǎng)廣泛協(xié)議適配接口系統(tǒng)邏輯架構(gòu)圖

正確解析終端數(shù)據(jù)：根據(jù)在系統(tǒng)的配置協(xié)議，系統(tǒng)需要將終端上傳的數(shù)據(jù)正確、高效地解析。除了接收和解析終端上行數(shù)據(jù)，系統(tǒng)可以對指定上行指令進行回應(yīng)或者主動向終端下發(fā)數(shù)據(jù)。

不同結(jié)構(gòu)類型數(shù)據(jù)存儲：各行業(yè)各類型的終端數(shù)據(jù)解析之后的數(shù)據(jù)結(jié)構(gòu)都不一樣，本系統(tǒng)需要實現(xiàn)將不同結(jié)構(gòu)類型終端數(shù)據(jù)的快速讀寫。圖2為物聯(lián)網(wǎng)廣泛協(xié)議適配接口系統(tǒng)功能架構(gòu)圖（系統(tǒng)包括除基礎(chǔ)網(wǎng)絡(luò)和應(yīng)用之外其余各層）。

圖2　物聯(lián)網(wǎng)廣泛協(xié)議適配接口系統(tǒng)功能架構(gòu)圖（系統(tǒng)包括除基礎(chǔ)網(wǎng)絡(luò)和應(yīng)用之外其余各層）

3　物聯(lián)網(wǎng)廣泛協(xié)議標準化適配關(guān)鍵技術(shù)實現(xiàn)

3.1協(xié)議的標準化配置

由于面對的協(xié)議眾多，兼容大多數(shù)主流協(xié)議如Modbus、RS232/485、Wmmp-s/T等是本系統(tǒng)的難點之一。所謂協(xié)議，是經(jīng)過協(xié)商后而形成的一種標準。根據(jù)協(xié)議將設(shè)備數(shù)據(jù)分開每一小段，那么每一段都有它的含義。比如設(shè)備數(shù)據(jù)前面6個字節(jié)代表的是設(shè)備編號，后面4個字節(jié)是溫度等，那么我們就可以根據(jù)該協(xié)議將設(shè)備數(shù)據(jù)拆成兩部分，然后再進行數(shù)據(jù)類型轉(zhuǎn)換，那么就可以解析出設(shè)備相應(yīng)的一些數(shù)據(jù)。這是系統(tǒng)標準化協(xié)議配置中基本的實現(xiàn)原理。當然部分協(xié)議實際情況比較復(fù)雜，比如長度不固定等，所以這些復(fù)雜因素在系統(tǒng)設(shè)計過程中都要考慮進去。

本系統(tǒng)將協(xié)議拆分為模組協(xié)議和設(shè)備協(xié)議，相當于將終端上行數(shù)據(jù)由相應(yīng)的模組協(xié)議和設(shè)備協(xié)議分別解析，它們的解析結(jié)果合成后就是完整的終端數(shù)據(jù)。無論是模組協(xié)議配置還是設(shè)備協(xié)議配置，它們設(shè)計思路和實現(xiàn)原理都是一致的。協(xié)議配置主要是熟悉協(xié)議后，根據(jù)系統(tǒng)約定的規(guī)則以XML節(jié)點方式拆分成各數(shù)據(jù)類型的字段，目前系統(tǒng)支持的字段有字節(jié)類型、短整型、整型、長整型、數(shù)組、固定長度字符串、不固定長度字符串、按位與設(shè)備包等，并可以根據(jù)實際需求不斷擴展。針對一些設(shè)備數(shù)據(jù)長度不固定，或者協(xié)議比較特殊等情況，系統(tǒng)同時保留了相應(yīng)接口，由開發(fā)者實現(xiàn)該接口而自定義解析數(shù)據(jù)，提高了系統(tǒng)對各種協(xié)議的兼容性和可擴展性。圖3為協(xié)議標準化配置示例圖。

在系統(tǒng)啟動的時候加載所有正確配置的協(xié)議，每個協(xié)議都以協(xié)議對象的形式保存在內(nèi)存中。系統(tǒng)收到設(shè)備數(shù)據(jù)時首先是在內(nèi)存中查找相應(yīng)的協(xié)議對象，然后使用該協(xié)議對象解析該數(shù)據(jù)。協(xié)議作為系統(tǒng)插件，支持類似硬件的“熱插拔”：在系統(tǒng)運行時新增和修改協(xié)議，都會觸發(fā)協(xié)議對象在內(nèi)存中生成和更新。

圖3　協(xié)議標準化配置示例圖

3.2NIO高并發(fā)通信機制

NIO是New IO的簡稱，相對于傳統(tǒng)的IO操作，它支持鎖和內(nèi)存映射文件的文件訪問接口，提供多路非阻塞式的高伸縮性網(wǎng)絡(luò)I/O。NIO最大的特點就是面向塊、非阻塞和高伸縮性等，速度比較快，適合高并發(fā)的應(yīng)用場景。NIO的工作原理如圖4所示。

由一個專門的線程來處理所有的IO事件，并負責分發(fā)。

事件驅(qū)動機制：事件到的時候觸發(fā)，而不是同步的去監(jiān)視事件。

線程通信：線程之間通過Wait、Notify等方式通信，保證每次上下文切換都是有意義的，減少無謂的線程切換。

NIO的服務(wù)端只需啟動一個專門的線程來處理所有的IO事件，NIO采用了雙向通道（Channel）進行數(shù)據(jù)傳輸，而不是單向流（Stream），在通道上可以注冊我們感興趣的事件。一共有以下4種事件：服務(wù)端接收客戶端連接事件、客戶端連接服務(wù)端事件、讀事件和寫事件。

圖4　NIO工作原理圖

服務(wù)端和客戶端各自維護一個管理通道的對象，我們稱之為Selector，該對象能檢測一個或多個通道（Channel）上的事件。以服務(wù)端為例，如果服務(wù)端的Selector上注冊了讀事件，某時刻客戶端給服務(wù)端送了一些數(shù)據(jù)，阻塞I/O這時會調(diào)用Read（）方法阻塞地讀取數(shù)據(jù)，而NIO的服務(wù)端會在Selector中添加一個讀事件。服務(wù)端的處理線程會輪詢地訪問Selector，如果訪問Selector時發(fā)現(xiàn)有感興趣的事件到達，則處理這些事件，如果沒有感興趣的事件到達，則處理線程會一直阻塞直到感興趣的事件到達為止。

考慮到大量各種終端的連接需求，在技術(shù)架構(gòu)上系統(tǒng)采用了NIO技術(shù)設(shè)計和實現(xiàn)了TCP和UDP通信引擎。同時加入了多線程控制，采用線程池技術(shù)動態(tài)地分配和調(diào)節(jié)線程數(shù)，異步、高效地處理連接和讀寫等事件，有效提高了系統(tǒng)的吞吐率和并發(fā)數(shù)。

系統(tǒng)通過合理的技術(shù)架構(gòu)，同時隨著終端接入量的增大相應(yīng)地對服務(wù)器進行擴容，解決了系統(tǒng)的高并發(fā)問題。

3.3數(shù)據(jù)快速解析過程

在系統(tǒng)啟動的時候，系統(tǒng)將所有正確配置的協(xié)議以協(xié)議對象的形式加載到內(nèi)存里面，模組/設(shè)備管理器在解析數(shù)據(jù)時就會先找到相應(yīng)的協(xié)議對象，然后使用該協(xié)議對象對數(shù)據(jù)進行解析。數(shù)據(jù)解析流程如圖5所示。

終端上行數(shù)據(jù)首先經(jīng)過模組協(xié)議，循環(huán)讀取和解析直到該協(xié)議所有字段已讀完。如果數(shù)據(jù)長度不足，退出循環(huán)并且記錄當前讀取步驟，為下一次數(shù)據(jù)長度足夠時解析做準備。經(jīng)過模組協(xié)議所有的步驟之后，將設(shè)備部分數(shù)據(jù)交給設(shè)備協(xié)議去解析，跟模組協(xié)議一樣經(jīng)過相同的流程循環(huán)讀取和解析，直到該協(xié)議所有字段已讀完或者數(shù)據(jù)長度已不足時結(jié)束。

無論是模組協(xié)議和設(shè)備協(xié)議解析出來的數(shù)據(jù)都會臨時存放在同一個數(shù)據(jù)流當中，它們在數(shù)據(jù)流中合起來的數(shù)據(jù)才是完整的解析后數(shù)據(jù)。數(shù)據(jù)流包含了終端的原始數(shù)據(jù)和解析后的數(shù)據(jù)，它貫穿了系統(tǒng)的整個解析和編碼過程，也就是從數(shù)據(jù)上傳到回應(yīng)都可以讀寫數(shù)據(jù)流里的數(shù)據(jù)。數(shù)據(jù)流是系統(tǒng)的數(shù)據(jù)總線，允許系統(tǒng)對數(shù)據(jù)的任意擴展和處理。系統(tǒng)數(shù)據(jù)流程圖如圖6所示。

圖5　數(shù)據(jù)解析流程圖

3.4NoSQL存儲不同結(jié)構(gòu)類型數(shù)據(jù)

圖6　系統(tǒng)數(shù)據(jù)流程圖

數(shù)據(jù)流只是將數(shù)據(jù)臨時存儲在內(nèi)存中，方便系統(tǒng)對終端數(shù)據(jù)的快速讀寫和擴展處理等。當系統(tǒng)處理完之后，最終還會將數(shù)據(jù)流中的數(shù)據(jù)保存在數(shù)據(jù)庫中持久化。由于終端協(xié)議眾多，系統(tǒng)解析后的數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu)都不一致。

我們知道，傳統(tǒng)的關(guān)系數(shù)據(jù)庫通常結(jié)構(gòu)固定、不易自動擴展，所以單純的關(guān)系數(shù)據(jù)庫不能滿足系統(tǒng)的需求。但是近年來興起的NoSQL數(shù)據(jù)庫中，它們具有很高的可擴展性和靈活的數(shù)據(jù)模型，可以以JSON形式存儲數(shù)據(jù)，靈活地存儲不同結(jié)構(gòu)類型的數(shù)據(jù)，并且是讀寫速度較關(guān)系型數(shù)據(jù)庫快很多，對于高并發(fā)、數(shù)據(jù)量大的系統(tǒng)是非常符合要求的。因此本系統(tǒng)將結(jié)合NoSQL數(shù)據(jù)庫中的MongoDB數(shù)據(jù)庫技術(shù)，以解決不同結(jié)構(gòu)類型數(shù)據(jù)的存儲和高效讀寫問題。

相對于關(guān)系型數(shù)據(jù)庫，MongoDB數(shù)據(jù)庫技術(shù)具有以下優(yōu)勢。

文檔存儲。數(shù)據(jù)存儲以BSON/JSON文檔，這使得整個系統(tǒng)的數(shù)據(jù)表示可采用統(tǒng)一的模型。所有這一切都無需任何前期架構(gòu)設(shè)計。

可擴展性。擴展性強和數(shù)據(jù)模型靈活，通過分片數(shù)據(jù)縮放處理理論上可實現(xiàn)更高的吞吐量。

易于查詢。MongoDB以文檔的形式存儲數(shù)據(jù)，不支持事務(wù)和表連接。因此查詢的編寫、理解和優(yōu)化都容易得多。簡單查詢設(shè)計思路不同于SQL模式，嵌入文檔在特定的環(huán)境下可得到更好的查詢。

安全性。由于MongoDB客戶端生成的查詢?yōu)锽SON對象，而不是可以被解析的字符串，所以可降低受到SQL注入的攻擊的危險。

由于MongoDB數(shù)據(jù)庫的技術(shù)優(yōu)勢，系統(tǒng)將此用作存放終端數(shù)據(jù)，很好滿足了系統(tǒng)不同結(jié)構(gòu)類型數(shù)據(jù)的存儲和快速查詢等需求。

4　結(jié)論

物聯(lián)網(wǎng)廣泛協(xié)議標準化適配接口系統(tǒng)采用高并發(fā)的NIO通信技術(shù)和高效能的NoSQL數(shù)據(jù)庫技術(shù)，通過先進的云應(yīng)用架構(gòu)，設(shè)計和實現(xiàn)了終端的標準化適配和快速接入的基礎(chǔ)平臺。物聯(lián)網(wǎng)應(yīng)用開發(fā)者只需要在該基礎(chǔ)平臺中注冊終端并且配置協(xié)議，系統(tǒng)就可以正確解析數(shù)據(jù)并提供給開發(fā)者，免去了物聯(lián)網(wǎng)應(yīng)用開發(fā)時繁瑣的終端接入和解析過程，大大提高了開發(fā)效率，降低了開發(fā)成本。

本系統(tǒng)在設(shè)計上遵循JavaEE技術(shù)規(guī)范和標準，合理地抽象出接口，保證了系統(tǒng)的擴展性和可靠性。在物聯(lián)網(wǎng)快速發(fā)展的過程中，根據(jù)實際需求繼續(xù)完善和優(yōu)化，并配合實際網(wǎng)絡(luò)實現(xiàn)一個更符合物聯(lián)網(wǎng)應(yīng)用及業(yè)務(wù)發(fā)展需求的物聯(lián)網(wǎng)廣泛協(xié)議標準化適配基礎(chǔ)平臺。

本論文發(fā)展了物聯(lián)網(wǎng)廣泛協(xié)議的標準化適配研究方法，目的是論述支撐物聯(lián)網(wǎng)業(yè)務(wù)快速接入物聯(lián)網(wǎng)終端和開發(fā)物聯(lián)網(wǎng)應(yīng)用的基礎(chǔ)平臺，從而減少開發(fā)成本和時間，以推動物聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展。

Board protocol standard adaptation interface system design and research of internet of things

DUAN Wei
（China Mobile Group Guangdong Co.， Ltd.， Guangzhou， China， 510623）

AbstractAccording to current development of internet of things withVarious， incongruous and complex terminal protocol， this paper had researched and implemented board protocol standard adaptation of internet of things using the technology of NIO， NoSQL， XML and JavaEE. The research results illustrate the important significance of board protocol standard adaptation of internet of things， which provides a simple， quick and effi cient platform for the application of internet of things.

Keywordsinternet of things； terminal protocol； standard adaptation； NIO； NoSQL

中圖分類號TN915

文獻標識碼A

文章編號1008-5599（2016）05-0029-05

收稿日期：2016-03-02