陸 兵

(江蘇省公安邊防總隊信息化處，江蘇 南京 210036)

基于云計算的邊防信息資源管理服務平臺架構設計

陸 兵

(江蘇省公安邊防總隊信息化處，江蘇 南京 210036)

針對邊防信息資源的匯聚、整合、管理和挖掘應用需求，設計了基于云計算的邊防信息資源管理服務平臺架構。引入新型分布式文件系統(tǒng)、并行計算框架等云計算技術，以支持對TB、PB級數(shù)據(jù)的實時、近實時處理和快速并行存儲；整合異構數(shù)據(jù)源，構建支持非（半）結構化數(shù)據(jù)的邊防海量信息資源共享庫；建立各類數(shù)據(jù)分析模型，提供數(shù)據(jù)挖掘、檢索、統(tǒng)計和對比等服務，為各類應用開發(fā)提供信息資源服務支撐。

云計算；信息資源；云架構；邊防

0 引言

近年來，公安邊防部門先后開展了出入境邊防檢查系統(tǒng)、出海漁船民管理系統(tǒng)、視頻監(jiān)控聯(lián)網(wǎng)平臺、邊防應用軟件一體化平臺等應用系統(tǒng)建設，積累了大量的數(shù)據(jù)信息資源。文本、地理空間、視頻圖像等半結構化、非結構化數(shù)據(jù)的快速擴展和急速增長，傳統(tǒng)的關系型數(shù)據(jù)關聯(lián)存儲結構一定程度上已成為制約海量數(shù)據(jù)集成整合和關聯(lián)應用的瓶頸，現(xiàn)有的以單項業(yè)務為主導的建設發(fā)展模式也不能適應以共享服務為特征的新的應用需求。因此，有必要采用云計算、大數(shù)據(jù)等新技術，以應對數(shù)據(jù)資源海量化、異構化，以及應用需求多樣化、復雜化等帶來的挑戰(zhàn)，需要建設新型邊防云數(shù)據(jù)中心，構建邊防海量信息資源庫及其管理服務平臺，實現(xiàn)對各類信息資源的匯聚、整合、共享、管理、挖掘和應用。

1 云計算關鍵技術分析

云計算[1]是一種商業(yè)計算模型，它將計算任務分布在大量計算機構成的資源池上，使用戶能夠按需獲取計算力、存儲空間和信息服務。云計算具有“按需自服務、廣泛的網(wǎng)絡接入、資源池化、快速伸縮、可計量”五大特征[1]，以及“基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務(SaaS)”[1]三大典型服務模式，在數(shù)據(jù)整合、節(jié)約運行成本、降低運維難度等方面，存在很多優(yōu)勢。目前，該項技術已在多個行業(yè)中得到很好的應用，也取得了很好的實際應用效果。

云計算的關鍵技術包括虛擬化技術、分布式存儲、并行計算等，其分布式存儲和并行計算技術成功解決了海量數(shù)據(jù)的存儲、檢索和分析挖掘等難題。

對于大數(shù)據(jù)處理問題，分布式存儲和并行處理是有效手段。當前有效的做法是采用分布式文件系統(tǒng)/分布式數(shù)據(jù)庫結合作分布式并行處理。

目前基于開源的Hadoop平臺[2-3]是業(yè)界采用較為廣泛的一個實現(xiàn)方案。Hadoop的核心思想是基于Hadoop分布式文件系統(tǒng)（HDFS）存儲文件或者基于HBase數(shù)據(jù)庫（也是基于HDFS），使用分布式并行計算框架MapReduce來執(zhí)行分發(fā)Map操作以及Reduce歸約操作。在Hadoop的計算模型中，計算節(jié)點與存儲節(jié)點合一，在存儲數(shù)據(jù)的普通PC服務器上也可以執(zhí)行MapReduce的任務，大大地降低了設備成本。

2 平臺架構設計

各類信息資源的共享管理是實現(xiàn)邊防信息化管理應用的基礎。目前，邊防一體化平臺全域數(shù)據(jù)庫主要基于關系型數(shù)據(jù)庫，難以存取半結構、非結構數(shù)據(jù)。此外，全域數(shù)據(jù)庫中沒有建立專門的統(tǒng)計分析庫，在大數(shù)據(jù)量的情況下，如果過多地直接對各業(yè)務數(shù)據(jù)庫進行查詢、統(tǒng)計分析，會嚴重影響業(yè)務數(shù)據(jù)庫的性能，同時也不方便開展數(shù)據(jù)關聯(lián)整合、分析挖掘等高端應用。因此，有必要對邊防全域數(shù)據(jù)庫進行改造，構建一個基于云計算架構的、支持非（半）結構化數(shù)據(jù)的邊防海量信息資源共享庫，匯聚、整合邊防內部、公安機關及相關部門的各類數(shù)據(jù)信息資源，進行數(shù)據(jù)深度挖掘應用。

2.1 平臺總體框架模型

基于云架構的邊防信息資源管理服務平臺總體框架模型[4-5]如圖1所示。

圖1 邊防信息資源管理服務平臺總體架構

總體框架模型分為基礎支撐環(huán)境、數(shù)據(jù)資源整合、數(shù)據(jù)資源庫、資源服務、資源應用等五層，以及各項標準規(guī)范、安全與運維保障支撐體系?；A支撐環(huán)境依托邊防云數(shù)據(jù)中心的計算、存儲和網(wǎng)絡資源等基礎設施，為平臺提供基礎的軟硬件運行環(huán)境；數(shù)據(jù)資源整合匯集邊防內、外部共享數(shù)據(jù)；數(shù)據(jù)資源庫包括基礎信息庫、服務應用的專題庫和進行數(shù)據(jù)獲取、加工、資源管理、數(shù)據(jù)編目和數(shù)據(jù)質量管理的系列工具；資源服務包括資源服務總線、各類服務接口和資源服務引擎；資源應用層提供授權訪問的查詢比對、專題應用和數(shù)據(jù)分析專業(yè)工具。

2.2 基礎支撐環(huán)境

基礎支撐環(huán)境為上層資源整合、資源庫、資源服務及應用提供軟、硬件支撐。在傳統(tǒng)的Web服務、中間件服務、關系型數(shù)據(jù)庫服務等技術架構基礎之上，應重點引入基于云計算技術的新型分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫、NewSQL數(shù)據(jù)庫、并行計算框架等新型系統(tǒng)軟件，提供超強計算與存儲能力以支持對TB、PB級數(shù)據(jù)的實時、近實時處理和快速并行存儲。

⑴ 采用新型分布式文件系統(tǒng)，實現(xiàn)海量非結構化、半結構化數(shù)據(jù)的分布式存儲。

分布式系統(tǒng)底層采用分布式文件系統(tǒng)（如Hadoop的HDFS），以支持上層分布式數(shù)據(jù)庫、并行計算框架等并行處理需求，在此基礎上實現(xiàn)面向用戶隨機訪問的新型分布式文件系統(tǒng)并提供基于文件存儲、讀取的服務接口，滿足用戶對邊防信息資源的實時獲取需求（如對視頻監(jiān)控、圖片信息等數(shù)據(jù)的訪問）。

分布式文件系統(tǒng)由兩臺管理節(jié)點服務器、若干網(wǎng)絡交換機以及大量存儲服務器構成，存儲服務器可用普通PC服務器配置多塊SAS/SATA磁盤組成。其中管理節(jié)點服務器采用熱備份技術保障系統(tǒng)穩(wěn)定運行，存儲節(jié)點并發(fā)實現(xiàn)視頻、圖片、網(wǎng)頁等非結構化、半結構化業(yè)務數(shù)據(jù)的快速存儲和讀取。

⑵ 采用NoSQL分布式數(shù)據(jù)庫，支持海量結構化、半結構化數(shù)據(jù)的分布式組織和管理。

采用Hadoop的HBase等NoSQL數(shù)據(jù)庫，實現(xiàn)對業(yè)務應用系統(tǒng)、視頻監(jiān)控平臺、數(shù)據(jù)交換平臺等途徑獲取的結構化、半結構化數(shù)據(jù)以及分析處理中產生的各類中間結果數(shù)據(jù)的存儲和管理，在此基礎上依托并行計算框架分析各類數(shù)據(jù)之間的關聯(lián)關系。

⑶ 采用NewSQL數(shù)據(jù)庫，支持海量高度結構化（關系型）數(shù)據(jù)分布式存儲和傳統(tǒng)的聯(lián)機事務處理。

目前，邊防業(yè)務應用系統(tǒng)多采用DB2、Oracle數(shù)據(jù)庫存儲各類關系型數(shù)據(jù)，以提供事務處理、檢索與基礎分析功能。然而，隨著數(shù)據(jù)量和處理事務量的極速增長，基于傳統(tǒng)架構的關系型數(shù)據(jù)庫已無法滿足針對海量高度結構化數(shù)據(jù)（關系型數(shù)據(jù)）的處理要求，需要采用對等、分布式架構的NewSQL數(shù)據(jù)庫，實現(xiàn)高速事務處理、海量數(shù)據(jù)快速檢索統(tǒng)計、架構靈活擴展的平臺功能，并支持關系型數(shù)據(jù)SQL事務處理。

⑷ 采用MapReduce并行計算框架，支持海量數(shù)據(jù)復雜分析和處理。

通過在NoSQL數(shù)據(jù)庫之上部署MapReduce并行處理框架，以迭代執(zhí)行模式實現(xiàn)對多元數(shù)據(jù)的快速訪問和并行處理，實現(xiàn)關聯(lián)分析、挖掘分析等復雜處理。結合底層的持久化分布式文件系統(tǒng)以及MapReduce并行處理框架，實現(xiàn)對邊防信息資源的多元化應用和深度挖掘，可提供高效研判、軌跡搜索、智能預警等應用功能。

2.3 數(shù)據(jù)資源整合

主要實現(xiàn)多源異構數(shù)據(jù)整合，采用ETL等主流的數(shù)據(jù)集成系統(tǒng)工具，對大量分散異構的信息資源進行分類抽取、清洗、轉換，從各個數(shù)據(jù)源抽取數(shù)據(jù)，裝載到基礎數(shù)據(jù)資源庫中，實現(xiàn)數(shù)據(jù)匯聚集成。為此需要設計并建立一套面向異構數(shù)據(jù)源的數(shù)據(jù)預處理接口，實現(xiàn)對異構數(shù)據(jù)的分類預處理，以保證入庫數(shù)據(jù)的有效性、可用性與真實性。

依托MapReduce并行處理框架，實現(xiàn)海量數(shù)據(jù)的高效預處理。首先整合異構數(shù)據(jù)源，對公安網(wǎng)以及各個業(yè)務專網(wǎng)的各類多樣化數(shù)據(jù)進行匯總交換，形成最終的待入庫數(shù)據(jù)；其次依據(jù)接入數(shù)據(jù)源的保密級別、總量大小等相關因素設計相應的數(shù)據(jù)接入模式；最后根據(jù)待入庫數(shù)據(jù)的數(shù)據(jù)規(guī)模、重復程度、數(shù)據(jù)分散程度等因素設計相應的數(shù)據(jù)提取、清洗、關聯(lián)以及標識等方法，進行統(tǒng)一的數(shù)據(jù)預處理操作，實現(xiàn)對重復數(shù)據(jù)的刪除、無關數(shù)據(jù)的過濾、數(shù)據(jù)格式的統(tǒng)一、相關信息的關聯(lián)、涉密信息的標識等基本數(shù)據(jù)組織功能。

2.4 數(shù)據(jù)資源庫

數(shù)據(jù)資源庫匯集整合各類邊防業(yè)務應用系統(tǒng)產生的業(yè)務數(shù)據(jù)，以及公安警綜平臺、其他部門交換過來的與邊防工作相關各類數(shù)據(jù)。數(shù)據(jù)資源庫包括基礎數(shù)據(jù)資源庫、應用服務資源庫、數(shù)據(jù)元資源庫、數(shù)據(jù)資源目錄、數(shù)據(jù)資源管理工具等五部分。

⑴ 基礎數(shù)據(jù)資源庫

基礎數(shù)據(jù)資源庫通過抽取整合邊防內部數(shù)據(jù)、外部數(shù)據(jù)、多媒體數(shù)據(jù)等實體數(shù)據(jù)，經規(guī)范化清洗、轉換后形成，并根據(jù)源數(shù)據(jù)庫的數(shù)據(jù)結構和存儲方式確定數(shù)據(jù)同步方式，以確?；A數(shù)據(jù)資源庫數(shù)據(jù)與源頭數(shù)據(jù)一致。

⑵ 應用服務資源庫

以基礎數(shù)據(jù)資源庫為基礎，通過二次抽取、索引化整合、邏輯關聯(lián)等方式形成應用服務資源庫，包括關聯(lián)庫、專題庫、全文庫等。

在基礎數(shù)據(jù)資源庫和應用服務資源庫建庫過程中，應根據(jù)數(shù)據(jù)類型、數(shù)據(jù)規(guī)模、使用頻率等關鍵要素，分類研究制定不同的數(shù)據(jù)存儲結構和存儲策略。對當前在用的結構化基礎業(yè)務數(shù)據(jù)，應保持現(xiàn)有關系型數(shù)據(jù)庫存儲管理模式；對視頻、圖像、文本等海量非結構化、半結構化數(shù)據(jù)和車（船）輛軌跡等總量巨大的結構化數(shù)據(jù)，應使用基于分布式計算技術的非關系型數(shù)據(jù)庫。

⑶ 數(shù)據(jù)元資源庫

數(shù)據(jù)標準化是解決信息共享的關鍵,在邊防資源庫建設過程中,要注重構建以數(shù)據(jù)元標準為核心，數(shù)據(jù)項、數(shù)據(jù)代碼、限定詞、數(shù)據(jù)交換格式為輔助的數(shù)據(jù)標準技術體系,建設邊防數(shù)據(jù)元資源庫,以保證資源的規(guī)范性。

⑷ 數(shù)據(jù)資源目錄

建立數(shù)據(jù)資源目錄，對數(shù)據(jù)資源名稱、數(shù)據(jù)資源摘要、數(shù)據(jù)資源提供方、數(shù)據(jù)資源分類、數(shù)據(jù)資源共享屬性、數(shù)據(jù)資源公開屬性、數(shù)據(jù)資源標識符、元數(shù)據(jù)標識符、數(shù)據(jù)項描述等元數(shù)據(jù)信息進行明確，對已注冊的基礎數(shù)據(jù)按照業(yè)務、層級等進行編目、發(fā)布，形成數(shù)據(jù)資源目錄。

⑸ 數(shù)據(jù)資源管理工具

主要包括數(shù)據(jù)標準管理、數(shù)據(jù)整合管理、數(shù)據(jù)質量檢測、數(shù)據(jù)資源監(jiān)測等功能。數(shù)據(jù)標準管理匯集整理數(shù)據(jù)資源管理所需的標準規(guī)范信息，建立數(shù)據(jù)標準數(shù)據(jù)庫、字典代碼實體數(shù)據(jù)庫。數(shù)據(jù)整合管理可采用數(shù)據(jù)同步工具或ETL工具完成數(shù)據(jù)抽取、同步等整合工作，通過任務調度管理實現(xiàn)對整合工具的集中管理和執(zhí)行。數(shù)據(jù)質量檢測利用技術監(jiān)測和業(yè)務邏輯校驗，進行數(shù)據(jù)源頭采集、傳輸、應用全流程的規(guī)范性、一致性、準確性檢查，實現(xiàn)基于不同來源數(shù)據(jù)的邏輯校驗和監(jiān)測管理。數(shù)據(jù)資源監(jiān)測建設數(shù)據(jù)資源監(jiān)測功能，實現(xiàn)平臺數(shù)據(jù)變化、數(shù)據(jù)庫系統(tǒng)狀態(tài)和數(shù)據(jù)整合及質量檢測工具運行狀態(tài)等方面的集中監(jiān)測。

2.5 數(shù)據(jù)資源服務

建立數(shù)據(jù)服務引擎，依托SOA服務總線，提供相應的挖掘、檢索、統(tǒng)計和對比等服務，為上層應用提供簡單易用的統(tǒng)一調用接口。包括數(shù)據(jù)服務接口和應用服務接口，數(shù)據(jù)服務接口主要包含數(shù)據(jù)查詢、數(shù)據(jù)比對和數(shù)據(jù)統(tǒng)計等服務接口。應用服務接口主要包含模型服務、搜索、PGIS服務等多種接口，為各類應用開發(fā)提供應用服務支撐，通過接口調用實現(xiàn)對應用資源庫的訪問。

2.6 信息資源應用

在做好數(shù)據(jù)資源匯聚整合的同時，逐步建立深度分析挖掘應用工作機制，形成一系列公安邊防研判、分析應用體系，通過公安網(wǎng)絡向邊防用戶提供基礎應用、綜合應用、個性化應用及移動應用。

按照不同的數(shù)據(jù)應用需求，提供不同的數(shù)據(jù)服務方式：對數(shù)據(jù)查詢類的應用需求，以查詢服務接口的方式，統(tǒng)一對外提供訪問接口；對數(shù)據(jù)分析挖掘類應用需求，由業(yè)務部門推送具體分析模型，數(shù)據(jù)資源庫中按照模型完成數(shù)據(jù)分析挖掘后再以服務的方式向業(yè)務部門推送具體分析結果。引入基于MapReduce等并行算法設計的大數(shù)據(jù)分析工具，建設圖像、視頻比對分析、地理空間分析工具，為開展數(shù)據(jù)分析服務提供基礎工具支撐，在提高數(shù)據(jù)分析效率和準確率的同時，方便分析模型的積累固化。

數(shù)據(jù)資源應用主要包括：綜合查詢、搜索引擎、數(shù)據(jù)比對、布控預警、分類統(tǒng)計等常用功能以及趨勢分析、異常分析、相關性分析等挖掘功能。

3 結束語

本文基于云計算的理念和技術方法，設計了基于云架構的邊防信息資源管理服務平臺的架構模型。引入分布式文件系統(tǒng)、并行計算框架等云計算技術，實現(xiàn)對邊防海量數(shù)據(jù)的匯聚整合、快速訪問和并行處理，解決數(shù)據(jù)資源海量化、異構化及應用需求多樣化、復雜化等問題，探索了一條“云計算架構”模式應用的建設路徑，為邊防大數(shù)據(jù)、邊境防控等平臺建設提供了借鑒經驗。

[1]顧炯炯.云計算架構技術與實踐[M].清華大學出版社,2016

[2]洪沙,楊深遠.云計算關鍵技術及基于Hadoop的云計算模型研究[J].軟件導刊,2010.9:9-11

[3]丁巖,楊慶平,錢煜明.基于云計算的數(shù)據(jù)挖掘平臺架構及其關鍵技術研究[J].中興通訊技術,2013.19(1):53-56

[4]陸兵.基于云架構的邊防視頻監(jiān)控數(shù)據(jù)整合與智能化應用平臺研究[J].軟件導刊,2016.15(7):149-151

[5]汪清,蔣平.城市大數(shù)據(jù)警務云計算平臺設計與建設——以南京公安大數(shù)據(jù)警務云計算平臺為例[J].警察技術,2016.5:12-15

Architecture design of frontier defense information resource management service platform based on cloud computing

Lu Bing
（Jiangsu Province Public Security Frontier Corps,Nanjing,Jiangsu 210036,China）

Aiming atthe convergence,integration,managementand application requirementsoffrontierdefense information resources,the architecture of frontier defense information resource management service platform based on cloud computing is designed. New distributed file systems and parallel computing frameworks of cloud computing technology are introduced to support real-time,near real-time processing and fast parallel storage of TB and PB level data;Integrating heterogeneous data sources,constructing a large database of frontier defense information resources supporting non(semi)structured data; Establish various data analysis models,provide data mining,retrieval,statistics and comparison services,and provide information resources service support for various application development.

cloud computing；information resources；cloud architecture；frontier defense

TP319

A

1006-8228(2017)10-40-04

2017-09-04

陸兵（1968-），男，江蘇宿遷人，碩士，高級工程師，主要研究方向：計算機應用。

10.16644/j.cnki.cn33-1094/tp.2017.10.012