宋華+羅興宇+閆會峰

摘 要： 以往為大型警務(wù)數(shù)據(jù)處理系統(tǒng)設(shè)計的數(shù)據(jù)分流平臺處于持續(xù)開發(fā)階段，其分流速率、分流準(zhǔn)確度和分流效果均不佳。因此，設(shè)計新型大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)分流平臺，其核心設(shè)備是ULV處理器。大型警務(wù)處理系統(tǒng)擁有三個層次的數(shù)據(jù)流，平臺的ULV處理器使用物理層硬件對三個層次的數(shù)據(jù)流進行硬件分流，并利用已寫入哈希映射函數(shù)分流方案的網(wǎng)絡(luò)服務(wù)處理器，對硬件分流結(jié)果進行軟件分流，給出第一、二層次數(shù)據(jù)流的分流結(jié)果。第三層次數(shù)據(jù)流經(jīng)由協(xié)議分流進行硬、軟件分流結(jié)果的細(xì)化和修正，以獲取其最終分流結(jié)果。經(jīng)實驗結(jié)果分析可知，所設(shè)計的平臺具有較高的分流速率和分流準(zhǔn)確度，分流效果好。

關(guān)鍵詞： ULV處理器； 數(shù)據(jù)分流平臺； 警務(wù)數(shù)據(jù)處理系統(tǒng)； 數(shù)據(jù)分流方案

中圖分類號： TN911?34； TP393 文獻標(biāo)識碼： A 文章編號： 1004?373X（2017）08?0033?03

Design of data distribution platform in large?scale police data processing system

SONG Hua1， LUO Xingyu2， YAN Huifeng2

（1. Chongqing Police College， Chongqing 401331， China；

2. College of Mobile Telecommunications， Chongqing University of Posts and Telecom， Chongqing 401520， China）

Abstract： As the previous data distribution platform for large?scale police data processing system is still at the development stage， and its data distribution efficiency， accuracy and effect are poor， a new data distribution platform for large?scale police data processing system was designed， whose core equipment is the ULV processor. The police data processing system has three levels of data streams. The ULV processor of the platform uses the physical hardware to distribute the data streams in three levels. The Web services processor written in Hash mapping function distribution scheme is adopted to distribute the result of the distribution hardware by software. The distribution results of the data streams in the first and second levels are given. The data stream in the third level is refined and corrected according to the protocol to acquire final distribution results. The analysis of the experiment result shows that the designed platform has high efficiency， high accuracy and good effect of distribution.

Keywords： ULV processor； data distribution platform； police data processing system； data distribution scheme

0 引 言

大型警務(wù)數(shù)據(jù)處理系統(tǒng)是一種能夠在內(nèi)部進行警務(wù)工作協(xié)調(diào)的應(yīng)用系統(tǒng)，對公安機關(guān)意義重大。2013年，隨著大數(shù)據(jù)時代的悄然來臨，公安機關(guān)產(chǎn)生的數(shù)據(jù)量不斷攀升，大型警務(wù)數(shù)據(jù)處理系統(tǒng)的處理能力也隨之下降，為此，一些科研人員在大型警務(wù)數(shù)據(jù)處理系統(tǒng)中加入數(shù)據(jù)分流平臺，以合理分配數(shù)據(jù)流量、提升系統(tǒng)處理能力[1?3]。以往為大型警務(wù)數(shù)據(jù)處理系統(tǒng)設(shè)計出的數(shù)據(jù)分流平臺通常處于持續(xù)開發(fā)階段，故不具備較高的分流速率和分流準(zhǔn)確度，分流效果自然不好，因此，為大型警務(wù)數(shù)據(jù)處理系統(tǒng)設(shè)計一種新型的數(shù)據(jù)分流平臺。

1 大型警務(wù)數(shù)據(jù)處理系統(tǒng)中數(shù)據(jù)流層次的劃分

在公安機關(guān)中，大型警務(wù)數(shù)據(jù)處理系統(tǒng)的不同輸入模塊將會產(chǎn)生多種類型的數(shù)據(jù)流，對這些數(shù)據(jù)流的分層處理是提高數(shù)據(jù)分流平臺分流速率和分流準(zhǔn)確度的前提條件。因而，在數(shù)據(jù)分流平臺開始進行分流工作前，需要先對大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)流的層次進行合理劃分。對大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)流層次的劃分依據(jù) “由上至下、邏輯細(xì)化”的原理，如圖1所示。

由圖1可知，大型警務(wù)處理系統(tǒng)的數(shù)據(jù)流共被劃分為三個層次。第一層次包含綜合部門、調(diào)度部門和人事部門產(chǎn)生的數(shù)據(jù)流，這一層次中的數(shù)據(jù)流較為籠統(tǒng)，數(shù)據(jù)分流工作的進行相對容易；第二層次包含檔案部門、考核部門和后勤部門，這一層次中的數(shù)據(jù)流細(xì)化程度較高，但數(shù)據(jù)的類型和結(jié)構(gòu)也較為明顯，數(shù)據(jù)分流工作難度中等；第三層次包含行動部分、醫(yī)務(wù)部門和消防部門，這一層次中的數(shù)據(jù)流不僅細(xì)化程度較高、私密性較強，而且數(shù)據(jù)的類型繁多、結(jié)構(gòu)復(fù)雜，數(shù)據(jù)分流工作難度較大。

根據(jù)以上分析不難看出，能夠?qū)Φ谌龑哟沃械臄?shù)據(jù)流提供精準(zhǔn)、高效分流工作的大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)分流平臺，一定能夠滿足第一、二層次中數(shù)據(jù)流對分流工作的需求。因此，大型警務(wù)數(shù)據(jù)處理系統(tǒng)要求所設(shè)計的數(shù)據(jù)分流平臺在擁有強大的數(shù)據(jù)分類和存儲性能的同時，也應(yīng)具有較強的數(shù)據(jù)流控制能力和抵御網(wǎng)絡(luò)入侵能力。

2 大型警務(wù)數(shù)據(jù)處理系統(tǒng)中的數(shù)據(jù)分流平臺設(shè)計

2.1 數(shù)據(jù)分流平臺分流方案設(shè)計

在大型警務(wù)數(shù)據(jù)處理系統(tǒng)中[2，4]，數(shù)據(jù)分流平臺的工作實質(zhì)是：依據(jù)合理的分流方案[5]，將第1節(jié)中給出的三個層次數(shù)據(jù)流以低于100 Mb/s的通信速率，準(zhǔn)確分配到大型警務(wù)數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)檢測平臺中。由此可知，分流方案直接決定了數(shù)據(jù)分流平臺的分流效果，是平臺的重點設(shè)計對象。

所設(shè)計的數(shù)據(jù)分流平臺使用哈希算法中的哈希映射函數(shù)設(shè)計分流方案。在大型警務(wù)數(shù)據(jù)處理系統(tǒng)的三個數(shù)據(jù)流層次中，傳輸控制協(xié)議（Transmission Control Protocol，TCP）和用戶數(shù)據(jù)報協(xié)議（User Datagram Protocol，UDP）的數(shù)據(jù)類型占據(jù)了較大的比例。據(jù)不完全統(tǒng)計，TCP和UDP類型的數(shù)據(jù)占據(jù)總數(shù)據(jù)量的比例分別高達38%和42%。為此，平臺將使用哈希映射函數(shù)把三個層次數(shù)據(jù)流中的數(shù)據(jù)類型分為TCP流、UDP流和其他流，隨后將其依照由低到高的數(shù)據(jù)流層次分配到數(shù)據(jù)檢測平臺的相應(yīng)位置。

在哈希映射函數(shù)中，將大型警務(wù)處理系統(tǒng)中TCP流、UDP流和其他流分別設(shè)為，，，三者均為48階可編程函數(shù)，則有：

式中：，分別表示TCP流、UDP流中的數(shù)據(jù)；上、下角標(biāo)均代表數(shù)據(jù)階數(shù)；表示其他流中的數(shù)據(jù)。

那么，、和的相互關(guān)系可表示為：

2.2 分流處理器設(shè)計

分流處理器是實現(xiàn)分流方案的媒介，也是所設(shè)計的大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)分流平臺的核心設(shè)備，平臺選用的分流處理器是超低電壓版本（Ultra Low Voltage，ULV）處理器，平臺對大型警務(wù)數(shù)據(jù)處理系統(tǒng)中三個層次數(shù)據(jù)流的分流工作均將通過這一設(shè)備進行實現(xiàn)。

ULV處理器是一種能耗極低、攜帶方便且具有超強抗入侵能力的多核處理器，其處理效率和運算精度均很高，并支持?jǐn)?shù)據(jù)堆砌處理，適合進行復(fù)雜、海量的數(shù)據(jù)分流工作，圖2、圖3分別是ULV處理器的硬件結(jié)構(gòu)和分流原理。

由圖2、圖3可知，ULV處理器的硬件結(jié)構(gòu)分為功能硬件和基礎(chǔ)硬件。功能硬件包括存儲器、顯示器和復(fù)雜可編程邏輯器件，基礎(chǔ)硬件包括物理層、網(wǎng)絡(luò)服務(wù)處理器和外設(shè)部件互連標(biāo)準(zhǔn)總線。上述硬件將依次對ULV處理器的硬件分流、軟件分流和協(xié)議分流進行實現(xiàn)。

3 實驗結(jié)果分析

在此將通過實驗對本文設(shè)計的大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)分流平臺的分流速率、分流準(zhǔn)確度和分流效果進行驗證，實驗現(xiàn)場如圖4所示。

實驗在某公安機關(guān)的大型警務(wù)數(shù)據(jù)處理系統(tǒng)中依次安裝本文平臺、單片機數(shù)據(jù)分流平臺和嵌入式數(shù)據(jù)分流平臺，并對系統(tǒng)進行初始化，給予系統(tǒng)64 b，512 b和1 518 b三種數(shù)據(jù)流。實驗中，三個平臺的分流速率對比情況如表1所示。

由表1可知，三個平臺在大型警務(wù)數(shù)據(jù)處理系統(tǒng)中進行64 b數(shù)據(jù)流的分流工作時，均具有較高的分流速率。但隨著數(shù)據(jù)流位數(shù)的增加，單片機數(shù)據(jù)分流平臺和嵌入式數(shù)據(jù)分流平臺的分流速率均出現(xiàn)了大幅度下降情況，而本文平臺在實驗中始終具有較高的分流速率。

為了準(zhǔn)確描述三個平臺的分流準(zhǔn)確度，對大型警務(wù)數(shù)據(jù)處理系統(tǒng)中輸入和輸出的數(shù)據(jù)流數(shù)量進行了統(tǒng)計，二者數(shù)量越接近，被成功分流的數(shù)據(jù)流就越多，平臺的分流準(zhǔn)確度就越高，如表2所示。

由表2可明顯看出，在安裝本文平臺的大型警務(wù)數(shù)據(jù)處理系統(tǒng)中，系統(tǒng)輸出數(shù)據(jù)流和輸入數(shù)據(jù)流的數(shù)量最為接近。上述結(jié)果說明，本文平臺具有較高的分流準(zhǔn)確度。

數(shù)據(jù)分流平臺的分流效果取決于公安機關(guān)對平臺的使用好感度，為此，在實驗結(jié)束后對平臺使用者進行了問卷調(diào)查，并總結(jié)出使用者對三個平臺的使用好感度，如圖5所示。

由圖5可知，使用者對本文平臺的使用好感度處于圖中最高位置，其范圍為[0.92，0.99]。使用者對單片機數(shù)據(jù)分流平臺和嵌入式數(shù)據(jù)分流平臺的使用好感度范圍分別為[0.80，0.90]和[0.77，0.90]。上述結(jié)果說明，本文平臺具有較好的分流效果。

4 結(jié) 論

為了合理分配數(shù)據(jù)流量、提升大型警務(wù)數(shù)據(jù)處理系統(tǒng)的處理能力，本文設(shè)計新型的大型警務(wù)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)分流平臺，為公安機關(guān)提供更為高效、精準(zhǔn)的數(shù)據(jù)分流工作。本文平臺使用ULV處理器對大型警務(wù)數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)流進行硬件分流、軟件分流和協(xié)議分流。經(jīng)實驗結(jié)果分析可知，本文平臺具有較高的分流速率和分流準(zhǔn)確度，并且分流效果較好。

參考文獻

[1] 崔向前.論公安院校教師素養(yǎng)與高等警務(wù)人才人文素養(yǎng)培育[J].河南教育學(xué)院學(xué)報（哲學(xué)社會科學(xué)版），2014，33（6）：42?45.

[2] 姜明月.云計算平臺下的大數(shù)據(jù)分流系統(tǒng)的設(shè)計與優(yōu)化[J].現(xiàn)代電子技術(shù)，2016，39（2）：28?32.

[3] 席兵，韓盈盈.GPRS網(wǎng)絡(luò)Gb/Gn接口數(shù)據(jù)過濾與分流的實現(xiàn)[J].廣東通信技術(shù)，2014，34（7）：11?14.

[4] 齊斐.數(shù)據(jù)交換在警務(wù)綜合信息系統(tǒng)中的應(yīng)用[J].甘肅科技縱橫，2014，43（11）：37?39.

[5] 成國營，王艷.無線傳感器網(wǎng)絡(luò)中多移動Agent協(xié)同控制數(shù)據(jù)分流方法[J].計算機應(yīng)用，2015，35（4）：910?915.

[6] 王欣，周曉梅.云計算環(huán)境下大數(shù)據(jù)合理分流技術(shù)研究與仿真[J].計算機仿真，2016，33（3）：292?295.