張輝帥

(上海眾恒信息產(chǎn)業(yè)股份有限公司， 上海 200042)

基于列存儲(chǔ)的公共信用檔案數(shù)據(jù)管理設(shè)計(jì)與實(shí)現(xiàn)

張輝帥

(上海眾恒信息產(chǎn)業(yè)股份有限公司， 上海 200042)

以各政府部門(mén)多源異構(gòu)的公共信用檔案數(shù)據(jù)管理為目標(biāo)，分析了傳統(tǒng)行存儲(chǔ)模式的問(wèn)題，提出了列存儲(chǔ)模式，設(shè)計(jì)了存儲(chǔ)結(jié)構(gòu)，并分析其相較于行存儲(chǔ)模式的優(yōu)勢(shì)?；诹写鎯?chǔ)的信用檔案數(shù)據(jù)管理模型，實(shí)現(xiàn)了上海市公共信用信息服務(wù)平臺(tái)信用檔案信息的數(shù)據(jù)存儲(chǔ)和管理。

信用檔案； 信用信息； 數(shù)據(jù)管理； 列存儲(chǔ)； 多源異構(gòu)

0 引言

所謂公共信用信息，是指由行政機(jī)關(guān)、司法機(jī)關(guān)、法律法規(guī)授權(quán)的具有管理公共事務(wù)職能的組織以及公共企事業(yè)單位、群團(tuán)組織等，在其履行職責(zé)、提供服務(wù)過(guò)程中產(chǎn)生或者獲取的，可用于識(shí)別自然人、法人和其他組織(以下統(tǒng)稱信息主體)信用狀況的數(shù)據(jù)和資料[1]。國(guó)家發(fā)改委也將行政許可、行政處罰信息作為方便社會(huì)了解市場(chǎng)主體信用狀況的數(shù)據(jù)之一，納入公共信用信息的范疇，并要求各行政部門(mén)自作出行政決定之日起7個(gè)工作日內(nèi)上網(wǎng)公開(kāi)，提高行政管理透明度和政府公信力[2]。

本文研究的信用檔案數(shù)據(jù)，是指單個(gè)自然人、法人或其他組織的所有公共信用信息的數(shù)據(jù)集合。

1 政府部門(mén)公共信用檔案信息的數(shù)據(jù)特點(diǎn)

公共信用檔案數(shù)據(jù)具有如下主要特點(diǎn)：

(1) 主鍵編碼穩(wěn)定且唯一

公共信用信息都具備識(shí)別信息主體的統(tǒng)一社會(huì)信用代碼，該代碼穩(wěn)定且唯一，可以作為法人或自然人信用信息數(shù)據(jù)主鍵。根據(jù)國(guó)家標(biāo)準(zhǔn)[3]，法人和其他組織使用全國(guó)統(tǒng)一賦碼的18位統(tǒng)一社會(huì)信用代碼作為識(shí)別身份的編碼，自然人則使用18位身份證號(hào)碼。統(tǒng)一代碼覆蓋了所有法人和自然人主體。一個(gè)主體只能擁有一個(gè)統(tǒng)一代碼，一個(gè)統(tǒng)一代碼只能賦予一個(gè)主體。并且，統(tǒng)一代碼一經(jīng)賦予，在其主體存續(xù)期間，主體信息即使發(fā)生任何變化，統(tǒng)一代碼均保持不變。

(2) 以結(jié)構(gòu)化數(shù)據(jù)信息為主

公共信用信息數(shù)據(jù)基于各個(gè)政府部門(mén)已有的管理數(shù)據(jù)(例如工商部門(mén)的企業(yè)注冊(cè)登記信息、公安部門(mén)的行駛證登記信息、民政部門(mén)的婚姻登記信息等等)，通過(guò)比對(duì)清洗加工而成的。而這些管理數(shù)據(jù)是各政府部門(mén)現(xiàn)有的信息化系統(tǒng)日常行政工作(例如行政審批、行政處罰等)中產(chǎn)生的，通常情況下都是結(jié)構(gòu)化的數(shù)據(jù)信息。另外，國(guó)家發(fā)改委也針對(duì)“雙公示”信息(行政許可公示信息和行政處罰公示信息)分別制定了18個(gè)字段和20個(gè)字段的結(jié)構(gòu)化數(shù)據(jù)標(biāo)準(zhǔn)[4]，包括行政相對(duì)人代碼、許可或處罰決定日期、許可項(xiàng)目名稱、處罰名稱等。

(3) 來(lái)源部門(mén)繁多

截止2017年1月，上海市公共信用信息服務(wù)平臺(tái)依托上海政務(wù)外網(wǎng)，已實(shí)現(xiàn)全市100家部門(mén)的公共信用信息數(shù)據(jù)歸集，期中包含44家市級(jí)行政機(jī)關(guān)、11家中央在滬單位、2家人民團(tuán)體、2家司法機(jī)關(guān)、11家公用事業(yè)單位、14家社會(huì)組織、16家區(qū)縣[5]。接入部門(mén)的數(shù)量非常多，數(shù)據(jù)交換過(guò)程中的交換節(jié)點(diǎn)管理、清洗比對(duì)任務(wù)的維護(hù)難度較大。

(4) 數(shù)據(jù)類別和數(shù)據(jù)結(jié)構(gòu)復(fù)雜

以上海市公共信用信息服務(wù)平臺(tái)數(shù)據(jù)為例，上海市公共信用信息資源目錄共5198項(xiàng)，包括法人信息事項(xiàng)4072項(xiàng)、自然人1126項(xiàng)。按信息類別可以分為登記類、資質(zhì)類、監(jiān)管類、判決類、執(zhí)行類、管理類和公益類8類。登記類包括工商登記、社會(huì)組織登記、稅務(wù)登記等；資質(zhì)類信息包括行政許可、資質(zhì)認(rèn)定，以及執(zhí)業(yè)許可、職業(yè)資格等；監(jiān)管類信息，包括違法違規(guī)記錄、行政處罰等。執(zhí)行類和判決類來(lái)自司法機(jī)關(guān)。履約類包括欠繳公積金，擾亂用電秩序，破壞公共基礎(chǔ)設(shè)施，逃票等信息。部分資源目錄事項(xiàng)示例，如表1所示。

表1 公共信用信息資源目錄事項(xiàng)示例表

可以看到，元數(shù)據(jù)中除第1、第2項(xiàng)為“統(tǒng)一社會(huì)信用代碼”和“企業(yè)名稱”之外(對(duì)于自然人為“身份證號(hào)碼”和“個(gè)人姓名”)，其他各資源目錄事項(xiàng)的元數(shù)據(jù)都不一致。這是因?yàn)楦鞑块T(mén)、各行業(yè)、各領(lǐng)域都具有不同的業(yè)務(wù)規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)，導(dǎo)致信用信息資源目錄的元數(shù)據(jù)名稱、格式、標(biāo)準(zhǔn)、長(zhǎng)度、類型千差萬(wàn)別。以上海市公共信用信息服務(wù)平臺(tái)資源目錄為例，字段最多的資源目錄事項(xiàng)有34個(gè)字段，最少的有8個(gè)字段；另外，除國(guó)家制定的行政許可信息和行政處罰信息數(shù)據(jù)標(biāo)準(zhǔn)之外，沒(méi)有一個(gè)資源目錄事項(xiàng)的字段是一致的。因此，基于信用檔案數(shù)據(jù)的這些特點(diǎn)，需要找一套合理有效的數(shù)據(jù)存儲(chǔ)模式來(lái)管理它們。

2 基于行存儲(chǔ)模式的問(wèn)題分析

采用行存儲(chǔ)模式管理信用檔案數(shù)據(jù)時(shí)，一種方案是對(duì)各信用信息資源目錄事項(xiàng)進(jìn)行抽象，統(tǒng)一合并歸納為少數(shù)的幾個(gè)信用信息資源類別(例如登記類、資質(zhì)類、監(jiān)管類等8大類)，再統(tǒng)一制定這8類的數(shù)據(jù)標(biāo)準(zhǔn)和結(jié)構(gòu)，形成8張表結(jié)構(gòu)。另一種方案是完全按照來(lái)源部門(mén)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行映射，目標(biāo)表和原始表一一對(duì)應(yīng)，不對(duì)表結(jié)構(gòu)進(jìn)行任何變化，以上海市信用平臺(tái)為例，5198個(gè)資源目錄事項(xiàng)形成5198張表。

第一種方案問(wèn)題在于可操作性不強(qiáng)。目前還無(wú)法找到一個(gè)完美的分類標(biāo)準(zhǔn)能夠覆蓋所有的公共信用信息資源目錄事項(xiàng)。并且，信用信息資源目錄的元數(shù)據(jù)標(biāo)準(zhǔn)很難用進(jìn)行統(tǒng)一。例如登記類信息中，工商企業(yè)注冊(cè)登記信息和單用途預(yù)付卡登記備案信息的元數(shù)據(jù)完全不一致。

第二種方案問(wèn)題一方面在于數(shù)據(jù)管理和開(kāi)發(fā)維護(hù)的成本較大。軟件系統(tǒng)需要對(duì)5198張表進(jìn)行開(kāi)發(fā)和管理，在未來(lái)新的資源目錄事項(xiàng)加入時(shí)，需要不斷地新建表，對(duì)軟件代碼的可擴(kuò)展性和兼容性的要求較高。另一方面，在數(shù)據(jù)查詢應(yīng)用場(chǎng)景下(例如，通過(guò)統(tǒng)一社會(huì)信用代碼查詢指定單個(gè)企業(yè)的信用數(shù)據(jù))，軟件系統(tǒng)的性能和效率低下。其工作機(jī)制流程如下：

1) 用戶輸入統(tǒng)一社會(huì)信用代碼或身份證號(hào)碼查詢指定主體的信用檔案數(shù)據(jù)；

2) 軟件代碼掃描每一張數(shù)據(jù)表(5198張表)，逐個(gè)找到這些表中主鍵與輸入條件匹配的信用數(shù)據(jù)記錄；

3) 將這些數(shù)據(jù)記錄關(guān)聯(lián)起來(lái)進(jìn)行展示。

3 基于列存儲(chǔ)模式的表結(jié)構(gòu)設(shè)計(jì)

為了解決上述行存儲(chǔ)模式所面臨的問(wèn)題，本文采用列存儲(chǔ)的方式，將5198項(xiàng)信用信息數(shù)據(jù)進(jìn)行統(tǒng)一管理。所有公共信用檔案的元數(shù)據(jù)統(tǒng)一在“數(shù)據(jù)名稱表T_HEADER”中進(jìn)行存儲(chǔ)，所有數(shù)據(jù)記錄在“數(shù)據(jù)內(nèi)容表T_DATA”中進(jìn)行存儲(chǔ)，兩張表的表結(jié)構(gòu)如下，如表2、表3所示。

表2 數(shù)據(jù)名稱表T_HEADER表結(jié)構(gòu)

數(shù)據(jù)名稱表T_HEADER統(tǒng)一管理所有資源目錄事項(xiàng)的元數(shù)據(jù)名稱信息、元數(shù)據(jù)類型、元數(shù)據(jù)字典標(biāo)準(zhǔn)、元數(shù)據(jù)長(zhǎng)度，以及這個(gè)元數(shù)據(jù)字段在信用檔案中的展示的順序、寬度和名稱等。并通過(guò)ZYMLID與數(shù)據(jù)內(nèi)容表T_DATA中的具體數(shù)據(jù)進(jìn)行關(guān)聯(lián)。

表3 數(shù)據(jù)內(nèi)容表T_DATA表結(jié)構(gòu)

數(shù)據(jù)內(nèi)容表T_DATA統(tǒng)一管理所有的數(shù)據(jù)記錄，這些數(shù)據(jù)記錄是嚴(yán)格按照T_HEADER的元數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行存儲(chǔ)的，分別用A1至A30存放每個(gè)元數(shù)據(jù)字段所對(duì)應(yīng)的具體數(shù)據(jù)。法人的統(tǒng)一社會(huì)信用代碼和單位名稱、自然人的身份證號(hào)碼和姓名單獨(dú)用兩個(gè)字段“CREDITCODE”和“NAME”單獨(dú)存放。

在信用檔案數(shù)據(jù)查詢的應(yīng)用場(chǎng)景下，列存儲(chǔ)模式的工作機(jī)制流程如下：

(1) 用戶輸入統(tǒng)一社會(huì)信用代碼或身份證號(hào)碼；

(2) 軟件系統(tǒng)首先在數(shù)據(jù)內(nèi)容表T_DATA中進(jìn)行匹配，將CREDITCODE字段中所有符合條件的數(shù)據(jù)記錄全部找到；

(3) 以ZYMLID為外鍵，在數(shù)據(jù)名稱表T_HEADER中找到這些數(shù)據(jù)記錄對(duì)應(yīng)的表頭名稱信息、類型信息、長(zhǎng)度信息、信用檔案中展示的先后順序、展示的寬度、展示的別名等等；

(4) 將這些數(shù)據(jù)記錄關(guān)聯(lián)起來(lái)進(jìn)行展示。

4 基于列存儲(chǔ)模式的特點(diǎn)分析

(1) 應(yīng)用系統(tǒng)開(kāi)發(fā)成本低

在列存儲(chǔ)模式下，應(yīng)用系統(tǒng)只需針對(duì)兩張表進(jìn)行開(kāi)發(fā)。不需要像行存儲(chǔ)模式下關(guān)注5198張表，為每張表單獨(dú)建立實(shí)體類進(jìn)行讀寫(xiě)維護(hù)的開(kāi)發(fā)。大大降低了應(yīng)用系統(tǒng)軟件的開(kāi)發(fā)時(shí)間和維護(hù)成本。

(2) 數(shù)據(jù)易于擴(kuò)展

隨著未來(lái)新的部門(mén)不斷接入，新的信用信息資源目錄事項(xiàng)不斷增加，在基于列存儲(chǔ)的數(shù)據(jù)管理模式下，只需要在數(shù)據(jù)內(nèi)容標(biāo)T_DATA中新增數(shù)據(jù)記錄，并把對(duì)應(yīng)數(shù)據(jù)記錄的元數(shù)據(jù)信息插入數(shù)據(jù)名稱表T_HEADER中即可。不需要修改軟件程序，也不需要新增表實(shí)體或修改表結(jié)構(gòu)就可以完成擴(kuò)展，并保持來(lái)源部門(mén)的原始數(shù)據(jù)結(jié)構(gòu)不變。

(3) 查詢應(yīng)用的效率高

在此模式下，軟件系統(tǒng)不需要掃描幾千張表，只需要對(duì)兩張表進(jìn)行操作即可。大大提高了應(yīng)用系統(tǒng)的查詢效率。

5 基于列存儲(chǔ)的公共信用信息查詢報(bào)告應(yīng)用實(shí)踐

截止2017年1月，上海市信用平臺(tái)歸集了包括行政機(jī)關(guān)、司法機(jī)關(guān)以及公用事業(yè)單位在內(nèi)的100家單位數(shù)據(jù)，信息事項(xiàng)5198項(xiàng)，可供查詢法人數(shù)據(jù)1043萬(wàn)條、自然人數(shù)據(jù)近3億條。依托上海誠(chéng)信網(wǎng)、市信用平臺(tái)APP、市民信箱、法人一證通等，實(shí)現(xiàn)信用檔案在線查詢功能，遠(yuǎn)郊區(qū)縣依托行政事務(wù)服務(wù)中心設(shè)立服務(wù)窗口，構(gòu)建線上線下綜合查詢渠道。如圖1所示。

圖1 法人信用檔案查詢頁(yè)面

在基于列存儲(chǔ)的信用信息數(shù)據(jù)管理模式下，上海市信用平臺(tái)的已累計(jì)提供法人信用信息查詢377萬(wàn)次、自然人查詢1194萬(wàn)次。在2015年，上海市信用平臺(tái)圓滿完成“為全市法人和市民在線免費(fèi)提供一次信用查詢報(bào)告”市政府實(shí)事項(xiàng)目，全市106萬(wàn)法人和531萬(wàn)自然人參與在線查詢，如圖2所示。

圖2 自然人信用檔案查詢頁(yè)面

6 總結(jié)

在應(yīng)用過(guò)程中，我們也發(fā)現(xiàn)列存儲(chǔ)模式下的一些缺點(diǎn)，例如統(tǒng)計(jì)報(bào)表和信用數(shù)據(jù)專題分析等應(yīng)用的開(kāi)發(fā)實(shí)現(xiàn)相對(duì)行存儲(chǔ)較為困難。下一步，可以考慮同時(shí)保留行存儲(chǔ)和列存儲(chǔ)的混合存儲(chǔ)模式，并采用分布式大數(shù)據(jù)架構(gòu)對(duì)行存儲(chǔ)模式下的數(shù)據(jù)進(jìn)行管理，滿足統(tǒng)計(jì)報(bào)表和信用數(shù)據(jù)分析需求的同時(shí)，兼顧系統(tǒng)性能和效率。

[1] 上海市人民政府 《上海市公共信用信息歸集和使用管理辦法》(滬府令38號(hào)).

[2] 國(guó)家發(fā)展改革委《關(guān)于認(rèn)真做好行政許可和行政處罰等信用信息公示工作的通知》(發(fā)改電〔2015〕557號(hào)).

[3] GB32100—2015《法人和其他組織統(tǒng)一社會(huì)信用代碼編碼規(guī)則》.

[4] 國(guó)家發(fā)改委 《關(guān)于規(guī)范行政許可和行政處罰等信用信息數(shù)據(jù)標(biāo)準(zhǔn)的通知》(發(fā)改電〔2015〕806號(hào)).

[5] 上海市公共信用信息目錄(2016版).

ResearchonPublicCreditArchiveDataManagementBasedonColumn-basedStorageModel

Zhang Huishuai

(Shanghai Triman Information & Technology Co., Ltd，Shanghai 200042, China)

This research aims at the management of multi-source heterogeneous credit archive data from various government departments, analyzes the disadvantage of row-based storage model. It brings forward the coloumn-based storage model, designs the database structure and analyzes its advantage over the row-based model. Based on the coloumn-based model, this research implements the credit archive data storage and management of the Shanghai public credit information service platform.

Credit archive; Credit information； Data management； Column-based storage model； Multi-source heterogeneous

1007-757X(2017)12-0044-03

張輝帥(1986-)，男，工程師，學(xué)士，研究方向：信用大數(shù)據(jù)。

TP311

A

2017.07.28)