鄭偉平　言專藝　唐曉紅

（廣州市公安局科技通信處大數(shù)據(jù)項目組，廣東 廣州510030）

數(shù)據(jù)元標準在大數(shù)據(jù)平臺關聯(lián)庫建設中的應用研究*

鄭偉平言專藝唐曉紅

（廣州市公安局科技通信處大數(shù)據(jù)項目組，廣東 廣州510030）

數(shù)據(jù)元作為對數(shù)據(jù)項的一種標準化描述方式，對數(shù)據(jù)資源規(guī)范與整合、信息資源共享服務和業(yè)務協(xié)同等具有重要意義，本文從公安信息資源服務平臺以及大數(shù)據(jù)平臺的關聯(lián)庫建設角度入手，分析在關聯(lián)庫構建過程中遇到的問題，以數(shù)據(jù)元標準建設為出發(fā)點，提出一套對數(shù)據(jù)資源進行分類篩選、冗余分析、數(shù)據(jù)檢查及規(guī)范化設計的方法，并提出構建主數(shù)據(jù)的思路，服務于關聯(lián)庫建設過程，將數(shù)據(jù)標準化建設成果與公安信息資源服務平臺以及大數(shù)據(jù)平臺的建設相結合以發(fā)揮實效。

數(shù)據(jù)元關聯(lián)庫主數(shù)據(jù)公安信息資源服務平臺數(shù)據(jù)整合

引言

隨著金盾工程建設的開展，公安科技信息化整體水平迅速提升，在各級公安機關和業(yè)務警種手中積累了豐富的業(yè)務數(shù)據(jù)資源。信息資源的種類不斷豐富、總量呈現(xiàn)爆發(fā)性增長，已逐漸成為繼警力資源、裝備資源之后的新一類公安核心資源。

當前建立的眾多公安信息化系統(tǒng)，雖然基本覆蓋了公安各業(yè)務的工作，但是實際工作中又面臨著數(shù)據(jù)資源分散、不規(guī)范、管理共享困難以及大數(shù)據(jù)應用缺乏等新問題。［1］隨著業(yè)務系統(tǒng)建設的逐漸深化，對信息資源的質(zhì)量和共享要求也在不斷提高，來自單一業(yè)務部門和單一領域的數(shù)據(jù)越來越不能滿足實戰(zhàn)的需要，迫切需要圍繞關聯(lián)庫進行數(shù)據(jù)資源的梳理整合，構建公安大數(shù)據(jù)資源的存儲管理和共享服務體系。要打破部門間信息壁壘，提供更廣泛的信息共享渠道，有效提高各警種綜合應用信息資源的效能，需要著力解決信息資源中對人、地、案件等信息“看不全，看不準，管不了，用不好”的問題。為此，公安部規(guī)劃了公安信息資源服務平臺的建設工作。其中，公安信息資源庫的建設是基礎性工作，其以基礎庫、關聯(lián)庫、專題庫等為主體，實現(xiàn)各類信息資源的匯集和整合，為公安各警種的業(yè)務開展提供數(shù)據(jù)資源支撐。

在這個過程中，數(shù)據(jù)的標準化程度直接關系到數(shù)據(jù)交換、共享、服務和應用的水平，特別是在實施更大范圍和更高層次的一體化信息整合中，數(shù)據(jù)的標準化程度越加顯現(xiàn)出重要性。［2］數(shù)據(jù)元作為對數(shù)據(jù)的一種“元”描述，可最大限度地保證信息交換的一致性和信息的共享，數(shù)據(jù)元理論研究和實踐活動正在成為信息化建設中的研究熱點。公安數(shù)據(jù)元標準體系的研究可以為公安行業(yè)數(shù)據(jù)共享提供統(tǒng)一的數(shù)據(jù)元標準，有利于公安信息資源的整合、共享與統(tǒng)一管理。

1　數(shù)據(jù)元標準

數(shù)據(jù)元通過標識符、對象類詞、表示詞、值域等一系列屬性對數(shù)據(jù)項進行了規(guī)范性描述和定義，在特定的語義環(huán)境中被認為是不可再分的最小數(shù)據(jù)單元。數(shù)據(jù)元是稱之為數(shù)據(jù)的一個廣義概念的特殊成員。

早在2004年，國家標準化委員會就已發(fā)布了《電子政務數(shù)據(jù)元標準》，包括設計與管理規(guī)范，詳細約定了數(shù)據(jù)元的表示規(guī)范、數(shù)據(jù)元的屬性提取和分析過程、命名規(guī)則、分配規(guī)則、使用規(guī)則，以及數(shù)據(jù)元的提交注冊。隨后各個政府主管部門發(fā)布的各自領域的數(shù)據(jù)元目錄，包括公安、工商、船舶、稅務等。

為了對公安數(shù)據(jù)進行有效的表示和建模，公安部發(fā)布了一系列的公安數(shù)據(jù)元標準，包括GA/T543公安數(shù)據(jù)元、GA/T541公安業(yè)務數(shù)據(jù)元素管理規(guī)程；GA/T542公安業(yè)務數(shù)據(jù)元素編寫規(guī)則；GA/T543公安業(yè)務基礎數(shù)據(jù)元素集；GA/Z02公安業(yè)務基礎數(shù)據(jù)元素代碼集。［3-6］這些數(shù)據(jù)元標準規(guī)范的發(fā)布，對公安科技信息化建設具有重要意義，可以有效的提升數(shù)據(jù)資源質(zhì)量及規(guī)范性，降低數(shù)據(jù)整合和共享難度。

公安領域的數(shù)據(jù)元由核心數(shù)據(jù)元以及擴展數(shù)據(jù)元構成，擴展數(shù)據(jù)元又按照不同領域劃分為若干個集合，包括刑偵、經(jīng)偵、治安、交管、消防等業(yè)務領域。

2　數(shù)據(jù)元標準在構建關聯(lián)庫中的應用

2.1關聯(lián)庫在數(shù)據(jù)資源建設中的作用

在公安信息資源服務平臺建設過程中，數(shù)據(jù)資源主要匯集在基礎庫、關聯(lián)庫和專題庫這幾個邏輯庫體中，是數(shù)據(jù)資源建設的幾個主要階段，其具有不同的作用：

（1）基礎庫：基礎庫的作用主要是按業(yè)務來源對數(shù)據(jù)進行匯集，建立數(shù)據(jù)增量抽取更新機制，實現(xiàn)數(shù)據(jù)資源的分類組織管理。

（2）關聯(lián)庫：對數(shù)據(jù)進行規(guī)范化、數(shù)據(jù)清洗、質(zhì)量提升和數(shù)據(jù)整合處理，圍繞公安五要素構建數(shù)據(jù)的關聯(lián)關系，是數(shù)據(jù)資源對外共享的核心，并支撐專題庫的建設。

（3）專題庫：又稱主題庫，在關聯(lián)庫的基礎上，面向公安業(yè)務建設的需要，通過多種技術手段，對數(shù)據(jù)進行再組織，例如人口專題庫、電話號碼專題庫等。

以上幾個邏輯庫體中，關聯(lián)庫起到了承上啟下的核心作用，是實現(xiàn)“數(shù)據(jù)”向“信息”價值提升的關鍵，也是公安信息資源服務平臺和大數(shù)據(jù)平臺數(shù)據(jù)資源建設的核心。關聯(lián)庫產(chǎn)生的具有邏輯一致性、完備性和權威性的數(shù)據(jù)資源，是開展數(shù)據(jù)共享服務、研判分析、數(shù)據(jù)挖掘、實戰(zhàn)應用的基礎。

2.2數(shù)據(jù)元標準對關聯(lián)庫建設的意義

關聯(lián)庫是以基礎庫數(shù)據(jù)資源為支撐的，其面向的是大量來自公安、社會、政務、互聯(lián)網(wǎng)等來源的數(shù)據(jù)資源，數(shù)據(jù)質(zhì)量參差不齊，存在大量冗余信息，在這些原始數(shù)據(jù)資源的基礎之上要實現(xiàn)數(shù)據(jù)資源的規(guī)范性提升、質(zhì)量提升、數(shù)據(jù)融合、關聯(lián)關系建立的目標，存在極大的難度，［7］具體體現(xiàn)在以下一些方面：不同來源數(shù)據(jù)存在大量冗余信息，如何整合取舍缺乏頭緒；對來源數(shù)據(jù)的分析耗費大量人工工作，缺乏有效的數(shù)據(jù)分析方法和手段；各種來源數(shù)據(jù)的屬性項實際含義不清，對數(shù)據(jù)整合造成較大困難；數(shù)據(jù)字典異常復雜，涉及業(yè)務眾多，缺乏統(tǒng)一標準。

基于數(shù)據(jù)元標準開展的數(shù)據(jù)標準化工作，正是支撐關聯(lián)庫建設的有效手段，其對關聯(lián)庫建設的重要意義體現(xiàn)在以下幾個方面：

（1）數(shù)據(jù)元對數(shù)據(jù)規(guī)范化的意義。

數(shù)據(jù)元對數(shù)據(jù)項的名稱、類型、長度、含義、值域（數(shù)據(jù)字典）等制訂了明確的規(guī)范，其不但覆蓋公安核心要素人、地、事、物品、組織等對象的基本屬性，而且向治安、刑偵等業(yè)務領域進行延伸，是關聯(lián)庫建設過程中理想的參照標準。

（2）數(shù)據(jù)元對基礎數(shù)據(jù)資源梳理的意義。

在信息資源整合中，如果涉及到的數(shù)據(jù)資源數(shù)量非常多，傳統(tǒng)的數(shù)據(jù)資源目錄組織方式具有其優(yōu)勢，但同時其主要面向系統(tǒng)管理員使用，難以在不同場合滿足信息資源的查找與快速搜索需求。

數(shù)據(jù)元標準的出現(xiàn)使得對不同來源警種的數(shù)據(jù)資源字段進行統(tǒng)一描述成為可能，實際上提供了從數(shù)據(jù)元反向搜索數(shù)據(jù)資源的能力，并且可以通過多項數(shù)據(jù)元來對數(shù)據(jù)資源進行自動分配，將數(shù)量眾多的數(shù)據(jù)資源按照數(shù)據(jù)元快速進行分類梳理，從而找到需要的數(shù)據(jù)資源，為以五要素為核心的關聯(lián)庫設計提供依據(jù)。

（3）數(shù)據(jù)元對數(shù)據(jù)質(zhì)量分析的意義。

數(shù)據(jù)元對數(shù)據(jù)的長度、類型均有約束作用，其可以通過與傳統(tǒng)的數(shù)據(jù)質(zhì)檢手段結合，在數(shù)據(jù)質(zhì)量分析中發(fā)揮很大作用，對了解基礎庫數(shù)據(jù)資源的質(zhì)量、規(guī)范性具有重要意義，可用于分析基礎庫數(shù)據(jù)資源的數(shù)據(jù)標準符合程度。

（4）數(shù)據(jù)元對數(shù)據(jù)冗余分析及消除的意義。

數(shù)據(jù)元確定了一個屬性項的真正含義，在基礎庫數(shù)據(jù)資源分析中，可以將同名但不同含義的屬性區(qū)分開，并確定真正存在冗余的屬性項，這些屬性項在實際應用中有可能會導致存在信息沖突的情況出現(xiàn)，因此通過數(shù)據(jù)元的分析可以對信息冗余情況進行全面了解并制訂數(shù)據(jù)整合策略。

2.3結合數(shù)據(jù)元標準的關聯(lián)庫建設方式

綜合以上分析，在關聯(lián)庫建設過程中，數(shù)據(jù)標準化體系具有重要意義，也是數(shù)據(jù)資源建設前期的一項重要工作內(nèi)容。本節(jié)將結合廣州市公安局大數(shù)據(jù)平臺項目建設經(jīng)驗，以建設“人”的關聯(lián)庫為例，提出一套以數(shù)據(jù)標準化為支撐的關聯(lián)庫建設步驟和思路，以說明數(shù)據(jù)元標準在構建關聯(lián)庫過程中的作用。

2.3.1數(shù)據(jù)元分類

為了實現(xiàn)對基礎庫數(shù)據(jù)資源的有效梳理和分析，在廣州公安大數(shù)據(jù)平臺項目建設前期，通過軟件批量導入公安數(shù)據(jù)元標準，并對現(xiàn)有數(shù)據(jù)元按照其發(fā)布機構、對象類詞、特性詞進行進一步梳理，按照人、地、事件、物品、組織等要素，以及數(shù)據(jù)元的描述對象進行了分類整理。通過對數(shù)據(jù)元進行歸類整理，可更清晰了解不同數(shù)據(jù)元的作用領域，為基于數(shù)據(jù)元對數(shù)據(jù)資源的篩選做好了準備。

2.3.2數(shù)據(jù)元對標

數(shù)據(jù)元的對標工作在公安數(shù)據(jù)元和現(xiàn)有數(shù)據(jù)表的屬性項之間建立了對應關系，為了輔助數(shù)據(jù)元的對標工作，在廣州公安大數(shù)據(jù)平臺項目中，為此專門研發(fā)了數(shù)據(jù)元的對標軟件，在本地數(shù)據(jù)標準管理軟件的支撐之上，可以基于屬性項的名稱、描述、取值范圍等與公安數(shù)據(jù)元進行自動匹配，并結合人工審核開展數(shù)據(jù)元對標工作。當前已完成基礎庫全部屬性項的梳理工作，以姓名、身份證、性別、出生日期、學歷、籍貫、職業(yè)、政治面貌等常用的與人相關的數(shù)據(jù)元為例，已和幾十個甚至上百個字段建立了關聯(lián)關系。其具體過程包括：

（1）數(shù)據(jù)元的批量匹配：在基礎庫匯集的大量數(shù)據(jù)資源中，對所有的數(shù)據(jù)項進行分析，并與數(shù)據(jù)元進行批量匹配，將不規(guī)范的字段與數(shù)據(jù)元建立關聯(lián)關系。

（2）審核確認：對批量匹配的結果進行人工審核確認，將一些匹配率低的字段與數(shù)據(jù)元做準確的映射，以便提高后續(xù)數(shù)據(jù)資源分類的準確性。

（3）擴充上報：在現(xiàn)有數(shù)據(jù)元對標的基礎之上，結合市局、分局和派出所的一些特色數(shù)據(jù)資源進行數(shù)據(jù)元的擴充梳理，建立本地數(shù)據(jù)元標準，并經(jīng)過本地數(shù)據(jù)標準化機構的內(nèi)部審核向公安部進行上報。

2.3.3基礎數(shù)據(jù)資源分析

在前面數(shù)據(jù)元分類及數(shù)據(jù)元對標的成果之上，首先結合公安五要素的劃分，并根據(jù)分類的需要對數(shù)據(jù)元進行篩選，挑選出用于數(shù)據(jù)資源歸納的相關數(shù)據(jù)元項。然后按照數(shù)據(jù)元分類的結果，對對標后的基礎庫數(shù)據(jù)資源進行分級歸納、循環(huán)遞歸，按照五要素梳理出來相關的數(shù)據(jù)資源。為實現(xiàn)這一過程，在數(shù)據(jù)管控平臺研發(fā)專門的數(shù)據(jù)元分析軟件，輔助對基礎庫數(shù)據(jù)資源進行分析和梳理。

以人要素為例，基于數(shù)據(jù)元的對標成果，可以快速篩選出來提供人要素信息的150多類數(shù)據(jù)資源，這些數(shù)據(jù)資源也就是“人”類別關聯(lián)庫建設的主要數(shù)據(jù)來源。將這些數(shù)據(jù)資源進一步歸類分析，可發(fā)現(xiàn)其主要提供人員的背景信息、狀態(tài)信息、行為信息，此外其它一些數(shù)據(jù)資源僅作為一種信息來源，統(tǒng)計如下所示：

2.3.4數(shù)據(jù)冗余分析

利用數(shù)據(jù)元對字段含義建立準確描述的特性，可以對從基礎庫梳理出來的150多個數(shù)據(jù)資源進行進一步分析，研究來源數(shù)據(jù)中的數(shù)據(jù)冗余情況，以了解這些數(shù)據(jù)資源實際應用中可能會導致存在信息沖突的風險。通過了解不同數(shù)據(jù)資源中存在的數(shù)據(jù)冗余情況，為關聯(lián)庫設計提供依據(jù)，并針對性的制訂數(shù)據(jù)冗余的消除、融合策略。

為實現(xiàn)此過程，在數(shù)據(jù)管控平臺專門開發(fā)了數(shù)據(jù)元分析模塊，可以準確的分析信息冗余情況，了解基礎庫各類數(shù)據(jù)資源的信息重復情況。

2.3.5數(shù)據(jù)質(zhì)量檢查

數(shù)據(jù)元對數(shù)據(jù)的長度、類型、值域等均有約束作用，其可以通過與傳統(tǒng)的數(shù)據(jù)質(zhì)檢手段結合，在數(shù)據(jù)質(zhì)量分析中發(fā)揮很大作用。通過引入數(shù)據(jù)元質(zhì)檢功能，對數(shù)據(jù)項的規(guī)范性以及值域的符合性進行檢測，實現(xiàn)了對基礎庫數(shù)據(jù)資源規(guī)范性和數(shù)據(jù)質(zhì)量的檢測。這些檢測結果為基礎庫數(shù)據(jù)資源向關聯(lián)庫轉(zhuǎn)換和整合制訂策略提供了依據(jù)。并且在本次關聯(lián)庫建設過程中，針對公民身份號碼、姓名、外文姓名等核心數(shù)據(jù)元，建立了針對性的檢測驗證規(guī)則，以確保這些核心屬性的質(zhì)量。

2.3.6關聯(lián)庫設計

在實現(xiàn)對基礎庫數(shù)據(jù)資源的分析之后，對來源數(shù)據(jù)的信息冗余情況、數(shù)據(jù)質(zhì)量已經(jīng)有了全面的掌握，可開展對關聯(lián)庫的存儲及整合規(guī)則設計工作。通過對基礎庫數(shù)據(jù)資源的全面分析，為了實現(xiàn)關聯(lián)庫的建設目標，在項目建設過程中提出了建設人員主數(shù)據(jù)的思路，并以主數(shù)據(jù)為核心，對人員數(shù)據(jù)進行規(guī)范化梳理和建立索引，并以關系數(shù)據(jù)庫、列式數(shù)據(jù)庫為主要物理支撐，構建人要素的關聯(lián)庫混合存儲體系。

整個人要素關聯(lián)庫的構成包括以下幾個邏輯結構：

（1）人員主數(shù)據(jù)：按照公安數(shù)據(jù)元標準進行設計，含有人的基本信息及各種擴展信息項，包括證件號碼、常用證件代碼、姓名、性別、民族、學歷等信息，同時將數(shù)據(jù)的密級機制等落實到人員主數(shù)據(jù)上，實現(xiàn)面向具體人員的記錄級密級訪問控制和維護機制。在列式數(shù)據(jù)庫的支撐之上，人員主數(shù)據(jù)的屬性項具有良好的可擴充性，未來可結合數(shù)據(jù)資源的匯集情況及實際業(yè)務需要，進行方便的擴充。

（2）人員索引信息：通過對基礎庫數(shù)據(jù)資源的分析，可以為人員建立各種背景、狀態(tài)、登記、職業(yè)、出行軌跡等索引記錄，在主數(shù)據(jù)整合過程中同時維護人員的各種索引標志位，通過索引信息建立與基礎庫數(shù)據(jù)資源之間的關聯(lián)關系，并制成檔案的應用體系的建立。

（3）整合來源信息：在主數(shù)據(jù)整合過程中，記錄主數(shù)據(jù)每一個屬性項的整合來源，通過整合來源信息可以直接了解關聯(lián)庫的數(shù)據(jù)源頭情況，不但在關聯(lián)庫內(nèi)部建立關聯(lián)關系，同時在關聯(lián)庫和基礎庫的數(shù)據(jù)之間建立追溯關系。

（4）規(guī)范化基礎數(shù)據(jù)資源：按照公安數(shù)據(jù)元標準對數(shù)據(jù)進行清洗整合之后，形成的數(shù)據(jù)資源，與基礎庫數(shù)據(jù)資源進行對應，通過人員索引信息可以直接將這些數(shù)據(jù)進行關聯(lián)展現(xiàn)。

按照以上思路，整個關聯(lián)庫以主數(shù)據(jù)為核心，實現(xiàn)了所有數(shù)據(jù)資源的匯集和整合，并建立了較強的內(nèi)在關聯(lián)關系，同時與基礎庫建立了數(shù)據(jù)的追溯關系。此外，通過對數(shù)據(jù)元的分析，將主數(shù)據(jù)表中數(shù)據(jù)項進行了進一步劃分，分為需要整合的數(shù)據(jù)項（與人建立一對一關聯(lián)）和僅需要規(guī)范化的數(shù)據(jù)項（與人建立一對多關聯(lián)），在物理層分別采用不同的技術進行存儲和組織，以滿足數(shù)據(jù)快速分析檢索的需要。

2.3.7主數(shù)據(jù)整合

按照關聯(lián)庫的設計方式，當前廣州公安局正在開展人類別主數(shù)據(jù)的整合工作，并開發(fā)了專門的主數(shù)據(jù)整合軟件，實現(xiàn)主數(shù)據(jù)下載、分析、生成報告、整合的一整套流程，將數(shù)據(jù)元標準體系建設成果、數(shù)據(jù)對標成果直接應用于主數(shù)據(jù)整合流程中。

目前通過對150多張數(shù)據(jù)資源表制訂整合策略，現(xiàn)已匯集1.8億人員證件信息，整合了來自公安數(shù)據(jù)資源的4000萬人員姓名等核心屬性，同時對公安、社會等數(shù)據(jù)資源形成數(shù)據(jù)質(zhì)量分析報告。

3　總結與展望

本文以公安數(shù)據(jù)元為基礎，從數(shù)據(jù)元標準化建設的角度，提出了一種結合數(shù)據(jù)元標準的數(shù)據(jù)資源分類篩選、冗余分析、質(zhì)量檢查等方法，應用于公安信息資源服務平臺以及大數(shù)據(jù)等項目的關聯(lián)庫建設中，可以和數(shù)據(jù)標準化建設以及基礎庫建設成果相結合，有效提升數(shù)據(jù)資源質(zhì)量及規(guī)范性，為公安數(shù)據(jù)資源整合和應用提供了借鑒思路和方法指導。隨著公安信息化建設的不斷深入，數(shù)據(jù)元的研究和應用領域?qū)⒉粩嘌由?，必將在公安?shù)據(jù)中心建設等領域發(fā)揮越來越重要的作用。

［1］王斌君，王永紅，孫巫龍.數(shù)據(jù)元標準在信息化中作用的再認識［J］.中國人民公安大學學報（自然科學版），2005（3）.

［2］高貴錦，龍翔.基于數(shù)據(jù)元的交換數(shù)據(jù)標準維護［J］.吉林大學學報，2005.

［3］中華人民共和國公安部［S］.GA/T541—2011公安業(yè)務數(shù)據(jù)元素管理規(guī)程，2011.

［4］中華人民共和國公安部［S］.GA/T542—2011公安業(yè)務數(shù)據(jù)元素編寫規(guī)則，2011.

［5］中華人民共和國公安部［S］.GA/T543—2011公安業(yè)務基礎數(shù)據(jù)元素集，2011.

［6］中華人民共和國公安部［S］.GA/Z02—2005公安業(yè)務基礎數(shù)據(jù)元素代碼集，2005.

［7］楊永強，馬世龍，靳文.一種保持數(shù)據(jù)完整性的數(shù)據(jù)集成機制的探討［J］.北京航空航天大學學報，2008，34（9）.

*第二屆公安信息化建設與應用優(yōu)秀論文評選活動優(yōu)秀論文