李軼
(江蘇自動(dòng)化研究所,江蘇連云港 222006)
隨著全球產(chǎn)業(yè)結(jié)構(gòu)調(diào)整與科技革命的不斷推進(jìn),各類新興信息技術(shù)被應(yīng)用于先進(jìn)制造領(lǐng)域,現(xiàn)代制造業(yè)的智能化發(fā)展迎來了千載難逢的歷史機(jī)遇[1-4]。然而,當(dāng)前大多數(shù)軍工科研院所由于任務(wù)多樣、系統(tǒng)性強(qiáng)、交叉作業(yè)量大,在科研管理和生產(chǎn)制造過程中產(chǎn)生的基礎(chǔ)數(shù)據(jù)存在多頭管理、重復(fù)錄入等質(zhì)量問題[5-6],導(dǎo)致跨信息系統(tǒng)的數(shù)據(jù)集成變得困難,嚴(yán)重制約了院所信息化、智能化的發(fā)展。
主數(shù)據(jù)(Master Data)是指在業(yè)務(wù)開展過程中產(chǎn)生的高價(jià)值的、在多個(gè)業(yè)務(wù)領(lǐng)域及信息系統(tǒng)被廣泛使用的基礎(chǔ)數(shù)據(jù)[7]。通過建設(shè)主數(shù)據(jù)管理(Master Data Management,MDM)系統(tǒng),一方面,軍工科研院所可以優(yōu)化各異構(gòu)信息系統(tǒng)間的數(shù)據(jù)交互模式,提升主數(shù)據(jù)的高可用性[8-10];另一方面,主數(shù)據(jù)管理面向的是項(xiàng)目管控、設(shè)計(jì)研發(fā)、采購(gòu)供應(yīng)、生產(chǎn)制造及售后服務(wù)等全價(jià)值鏈,可以幫助軍工科研院所逐步建成以業(yè)務(wù)為導(dǎo)向、以數(shù)據(jù)為驅(qū)動(dòng)的信息化科研院所,從而提高核心競(jìng)爭(zhēng)力。
主數(shù)據(jù)管理系統(tǒng)總體架構(gòu)采用分層的思想進(jìn)行設(shè)計(jì)[11-12],包括數(shù)據(jù)源層、數(shù)據(jù)標(biāo)準(zhǔn)層、數(shù)據(jù)集成層、主數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)應(yīng)用層。具體架構(gòu)如圖1所示。
1)數(shù)據(jù)源層:包括軍工科研院所已建的相關(guān)業(yè)務(wù)系統(tǒng)及線下數(shù)據(jù),作為主數(shù)據(jù)及數(shù)據(jù)集成的數(shù)據(jù)提供方。
2)數(shù)據(jù)標(biāo)準(zhǔn)層:建立數(shù)據(jù)分類標(biāo)準(zhǔn)、數(shù)據(jù)編碼標(biāo)準(zhǔn)、數(shù)據(jù)屬性標(biāo)準(zhǔn)、數(shù)據(jù)集成標(biāo)準(zhǔn)、數(shù)據(jù)管理標(biāo)準(zhǔn),為數(shù)據(jù)管理、數(shù)據(jù)集成提供規(guī)范和指導(dǎo)。
3)主數(shù)據(jù)管理平臺(tái):包括數(shù)據(jù)管理層和數(shù)據(jù)集成層。指利用主數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)模型管理、數(shù)據(jù)編碼管理、數(shù)據(jù)資源管理、數(shù)據(jù)集成管理、數(shù)據(jù)安全管理、數(shù)據(jù)質(zhì)量管理,并通過企業(yè)服務(wù)總線實(shí)現(xiàn)異構(gòu)系統(tǒng)之間主數(shù)據(jù)的集成與實(shí)時(shí)共享。
4)數(shù)據(jù)應(yīng)用層:基于統(tǒng)一數(shù)據(jù)管理開展生產(chǎn)運(yùn)營(yíng)管控、決策支持及大數(shù)據(jù)分析相關(guān)應(yīng)用的建設(shè)。
主數(shù)據(jù)管理系統(tǒng)功能架構(gòu)如圖2 所示。
1)數(shù)據(jù)模型管理:對(duì)數(shù)據(jù)模型進(jìn)行統(tǒng)一定義、管理,支持結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)建模,為開展院所數(shù)據(jù)資產(chǎn)各項(xiàng)管理奠定基礎(chǔ)。通過該模塊可以對(duì)院所的數(shù)據(jù)進(jìn)行分類,并且快速構(gòu)建可視化的數(shù)據(jù)模型。
2)數(shù)據(jù)應(yīng)用配置:對(duì)已經(jīng)構(gòu)建的數(shù)據(jù)模型進(jìn)行數(shù)據(jù)及相關(guān)配置的維護(hù),包括數(shù)據(jù)管理模板、編碼規(guī)則管理、數(shù)據(jù)審核流程配置、數(shù)據(jù)查重配置等,為數(shù)據(jù)應(yīng)用提供多樣化的配置選項(xiàng)。
3)主數(shù)據(jù)管理:基于統(tǒng)一構(gòu)建的數(shù)據(jù)模型,以流程驅(qū)動(dòng)的方式實(shí)現(xiàn)數(shù)據(jù)創(chuàng)建與變動(dòng),從而實(shí)現(xiàn)院所主數(shù)據(jù)的全生命周期管理??砂凑詹煌瑯I(yè)務(wù)分類和邏輯分類生成不同的數(shù)據(jù)庫(kù),實(shí)現(xiàn)動(dòng)態(tài)建庫(kù);并可支持基于應(yīng)用需求對(duì)數(shù)據(jù)進(jìn)行編組服務(wù),形成新的數(shù)據(jù)視圖,并進(jìn)行存儲(chǔ)與管理??蓪?duì)集中管理的數(shù)據(jù)資源進(jìn)行查看、統(tǒng)一搜索,支持非結(jié)構(gòu)化數(shù)據(jù)的多維度分類、定義、統(tǒng)一展現(xiàn)以及在線瀏覽。
4)數(shù)據(jù)集成管理:對(duì)數(shù)據(jù)資源管理需要的數(shù)據(jù)進(jìn)行集成管理,支持集成系統(tǒng)的定義及集成接口的注冊(cè),自定義配置集成規(guī)則及分發(fā)條件,并進(jìn)行集成數(shù)據(jù)的分發(fā)任務(wù)管理。
5)數(shù)據(jù)質(zhì)量管理:對(duì)集中管理的數(shù)據(jù)資源進(jìn)行質(zhì)量控制,支持根據(jù)實(shí)際需要自定義質(zhì)量校驗(yàn)規(guī)則,配置質(zhì)量調(diào)度任務(wù),輸出質(zhì)量報(bào)告與分析圖表,輔助數(shù)據(jù)維護(hù)人員控制并持續(xù)提升數(shù)據(jù)質(zhì)量。
6)數(shù)據(jù)管理運(yùn)行監(jiān)控:對(duì)平臺(tái)管理的數(shù)據(jù)模型及數(shù)據(jù)進(jìn)行監(jiān)控分析,從數(shù)據(jù)量、增量、集成交換情況、數(shù)據(jù)管理績(jī)效、數(shù)據(jù)質(zhì)量等方面輸出報(bào)表和可視化圖形,掌握數(shù)據(jù)管理動(dòng)態(tài)、整改薄弱環(huán)節(jié),輔助數(shù)據(jù)管理體系良性運(yùn)行。
數(shù)據(jù)集成管理模塊體現(xiàn)了主數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)接收、分發(fā)機(jī)制,是保證各信息系統(tǒng)中數(shù)據(jù)實(shí)時(shí)同步、業(yè)務(wù)共享的有效手段,是解決“信息孤島”的關(guān)鍵措施,也是主數(shù)據(jù)管理系統(tǒng)最重要的功能之一,系統(tǒng)的數(shù)據(jù)集成管理功能設(shè)計(jì)如圖3 所示。
數(shù)據(jù)集成的核心是數(shù)據(jù)集成關(guān)系管理,或稱為數(shù)據(jù)流向定義,其內(nèi)容是主數(shù)據(jù)管理系統(tǒng)中各類數(shù)據(jù)的采集來源系統(tǒng)與分發(fā)目的系統(tǒng)的定義[13-14]?;赪ebService 實(shí)現(xiàn)標(biāo)準(zhǔn)的服務(wù)調(diào)用程序,目的是系統(tǒng)都將開發(fā)好的符合主數(shù)據(jù)管理系統(tǒng)集成規(guī)范的接口注冊(cè)到主數(shù)據(jù)管理系統(tǒng)中,當(dāng)手動(dòng)或者自動(dòng)進(jìn)行數(shù)據(jù)分發(fā)操作時(shí),系統(tǒng)將會(huì)通過數(shù)據(jù)集成關(guān)系自動(dòng)識(shí)別數(shù)據(jù)流,同時(shí)調(diào)用支撐數(shù)據(jù)流向的集成接口,實(shí)現(xiàn)數(shù)據(jù)的分發(fā)共享。數(shù)據(jù)集成管理功能模塊的主要特點(diǎn)如下[15-16]:
1)提供基于WebService 的自動(dòng)化組件用于數(shù)據(jù)集成,能夠無代碼實(shí)現(xiàn)新增主數(shù)據(jù)類型,并與外部信息系統(tǒng)共享;
2)提供常用數(shù)據(jù)集成接口,包括接收數(shù)據(jù)接口、接收數(shù)據(jù)并產(chǎn)生編碼接口、生成編碼并返回接口、數(shù)據(jù)文件獲取接口、啟/停用數(shù)據(jù)接口、查詢數(shù)據(jù)接口等,并能在線查看接口參數(shù),輔助第三方信息系統(tǒng)進(jìn)行接口開發(fā)調(diào)試;
3)提供數(shù)據(jù)交換功能,可根據(jù)數(shù)據(jù)模型生成XML、JSON 格式的數(shù)據(jù)交換規(guī)范,支持xfire、axis、axis2、cxf 等服務(wù)類型,可在前臺(tái)配置數(shù)據(jù)交換規(guī)范的轉(zhuǎn)換規(guī)則,最大程度地適配第三方信息系統(tǒng);
4)提供數(shù)據(jù)發(fā)送失敗自動(dòng)重發(fā)次數(shù)、數(shù)據(jù)分發(fā)時(shí)數(shù)據(jù)啟/停用狀態(tài)可配置及單次發(fā)送數(shù)據(jù)量的自定義;
5)提供數(shù)據(jù)手動(dòng)、自動(dòng)分發(fā)數(shù)據(jù)功能,提供接口狀態(tài)、集成狀態(tài)管理,提供基于模型及接口服務(wù)的數(shù)據(jù)初始化功能;
6)提供一套數(shù)據(jù)集成接口規(guī)范,指導(dǎo)第三方系統(tǒng)開發(fā)規(guī)范性、重用性良好的集成接口。
以物料數(shù)據(jù)為例,主數(shù)據(jù)管理系統(tǒng)生成的XML格式示例如下所示:
<?xml version=”1.0”encoding=’UTF-8’?>
<LIST><!—列表編碼—>
<COMPONET><!—模型編碼—>
<CODE>物料編碼</CODE><!—varchar(40)—>
<NAME>物料名稱</NAME><!—varcha(r100)—>
<PK_MARBASCLASS>物料分類</PK_MARBAS CLASS><!—varcha(r20)—>
<MATERIALSPEC>規(guī)格型號(hào)</MATERIALSPEC><!—varcha(r100)—>
……
<MEMO>備注</MEMO><!—varchar(300)—>
<DATAID>數(shù)據(jù)id </DATAID><!—varcha(r32)—>
<DATASTATUS >啟用狀態(tài)</ DATASTATUS ><!—非空—>
</COMPONET>
</LIST>
該XML 格式摒棄了傳統(tǒng)主數(shù)據(jù)管理平臺(tái)接口規(guī)范中XML 文件中的XML 數(shù)據(jù)頭、XML 查詢參數(shù)等較復(fù)雜的輔助信息,整體簡(jiǎn)化了XML 文件結(jié)構(gòu),使其能夠最大程度地靈活適配第三方信息系統(tǒng),降低了XML 數(shù)據(jù)的接口解析成本,提高數(shù)據(jù)分發(fā)、接口調(diào)用效率。
主數(shù)據(jù)管理系統(tǒng)與ERP、PLM、MES、項(xiàng)目管理系統(tǒng)等業(yè)務(wù)系統(tǒng)基于企業(yè)服務(wù)總線(ESB)集成示意圖如圖4 所示。
該文從主數(shù)據(jù)管理系統(tǒng)接收、分發(fā)數(shù)據(jù)兩方面出發(fā),分別以MDM 系統(tǒng)向ERP 系統(tǒng)推送“物料”數(shù)據(jù)、接收ERP 系統(tǒng)的“往來單位”數(shù)據(jù)為例,從主數(shù)據(jù)的自身特點(diǎn)、數(shù)據(jù)源頭定義、接口設(shè)計(jì)及分發(fā)規(guī)范和分發(fā)機(jī)制進(jìn)行分析,突出說明系統(tǒng)集成接口設(shè)計(jì)科學(xué)合理、靈活規(guī)范。
“物料”數(shù)據(jù)是軍工科研院所在科研生產(chǎn)管理過程中最基礎(chǔ)的一類主數(shù)據(jù),是設(shè)計(jì)、生產(chǎn)的基礎(chǔ),涉及設(shè)計(jì)、采購(gòu)、庫(kù)存、生產(chǎn)等多個(gè)業(yè)務(wù)方向,無法由單一部門完成物料檔案信息的維護(hù),一般在ERP、PLM、MES 等多個(gè)業(yè)務(wù)系統(tǒng)中共享應(yīng)用。目前比較主流的ERP 產(chǎn)品都無法像MDM 系統(tǒng)一樣,能夠?qū)?shù)據(jù)進(jìn)行靈活的屬性分組及流程化管理,因此該文將以MDM 系統(tǒng)為“物料”數(shù)據(jù)維護(hù)源頭,向ERP 推送“物料”數(shù)據(jù)為例進(jìn)行接口設(shè)計(jì),MDM 向ERP 推送“物料”數(shù)據(jù)示意圖如圖5 所示。
1)ERP 系統(tǒng)按照其系統(tǒng)自身集成接口規(guī)范開發(fā)“ERP 數(shù)據(jù)同步接口服務(wù)”,并提供給ESB 注冊(cè)發(fā)布;
2)設(shè)計(jì)部門、采購(gòu)部門業(yè)務(wù)人員在MDM 系統(tǒng)中完成物料數(shù)據(jù)的設(shè)計(jì)屬性及采購(gòu)屬性維護(hù)、審批后生效數(shù)據(jù),MDM 系統(tǒng)會(huì)調(diào)用ESB 上注冊(cè)的“ERP 數(shù)據(jù)同步接口服務(wù)”,并按照ERP 系統(tǒng)需要的XML 格式將封裝好的數(shù)據(jù)發(fā)送給ERP 系統(tǒng);
3)“ERP 數(shù)據(jù)同步接口服務(wù)”解析接收到的XML數(shù)據(jù),并實(shí)時(shí)更新到ERP 系統(tǒng)數(shù)據(jù)庫(kù)表中(ERP 系統(tǒng)需要改造數(shù)據(jù)維護(hù)界面,不允許用戶手工新增數(shù)據(jù)并禁止修改主數(shù)據(jù)屬性,設(shè)置為只讀);
4)若MDM 系統(tǒng)中更新了屬性(數(shù)據(jù)狀態(tài)用DATASTATUS 表示,1 代表生效,0 代表停用,如DATASTATUS=1 且編碼在業(yè)務(wù)系統(tǒng)中不存在,則新增數(shù)據(jù);DATASTATUS=1 且編碼在業(yè)務(wù)系統(tǒng)中存在,則更新數(shù)據(jù)),生效時(shí)會(huì)同步調(diào)用ESB 上的“ERP數(shù)據(jù)同步接口服務(wù)”分發(fā)更新后的數(shù)據(jù)信息,從而保持主數(shù)據(jù)在各個(gè)業(yè)務(wù)系統(tǒng)中一致;
5)若MDM 系統(tǒng)中停用/啟用了某條物料數(shù)據(jù)(如DATASTATUS=0 則停用/刪除數(shù)據(jù)),生效時(shí)會(huì)同步調(diào)用ESB 上的“ERP 數(shù)據(jù)同步接口服務(wù)”分發(fā)停用/啟用數(shù)據(jù)信息,從而保持主數(shù)據(jù)在各個(gè)業(yè)務(wù)系統(tǒng)中的一致。MDM 接口分發(fā)界面如圖6 所示。
“往來單位”數(shù)據(jù)是軍工科研院所經(jīng)營(yíng)管理中最穩(wěn)定的一類主數(shù)據(jù),是經(jīng)營(yíng)管理的基礎(chǔ),一般在ERP、MES、項(xiàng)目管理系統(tǒng)等多個(gè)業(yè)務(wù)系統(tǒng)中共享應(yīng)用。一般由ERP 系統(tǒng)維護(hù)客戶、供應(yīng)商的基本信息,通過MDM 系統(tǒng)分發(fā)至下游業(yè)務(wù)系統(tǒng),并依賴于事務(wù)機(jī)制,實(shí)現(xiàn)“往來單位”數(shù)據(jù)在ERP、MDM 系統(tǒng)中保存、生效關(guān)聯(lián)一致,一方面保證了數(shù)據(jù)的互聯(lián)互通、實(shí)時(shí)同步,同時(shí)也降低了源頭系統(tǒng)數(shù)據(jù)接口調(diào)用、數(shù)據(jù)分發(fā)成本等。因此該文將以ERP 系統(tǒng)為往來單位數(shù)據(jù)維護(hù)源頭向MDM 系統(tǒng)推送“往來單位”數(shù)據(jù)為例進(jìn)行接口設(shè)計(jì),MDM 接收ERP“往來單位”數(shù)據(jù)示意圖如圖7 所示。
1)MDM 系統(tǒng)按照系統(tǒng)集成規(guī)范開發(fā)“MDM 數(shù)據(jù)同步接口服務(wù)”后,提供給ESB注冊(cè)發(fā)布接口服務(wù);
2)業(yè)務(wù)人員在ERP 下的客戶信息管理、供應(yīng)商管理中完成客戶數(shù)據(jù)、供應(yīng)商數(shù)據(jù)屬性維護(hù)、審批,然后保存數(shù)據(jù)(執(zhí)行事務(wù),插入ERP 數(shù)據(jù)庫(kù)表),調(diào)用MDM 系統(tǒng)的生成編碼并返回接口(生效),并按照MDM 系統(tǒng)需要的XML 格式將封裝好的數(shù)據(jù)發(fā)送給MDM 系統(tǒng);
3)MDM 生成編碼并返回接口(生效)解析接收到的XML 數(shù)據(jù),并將設(shè)數(shù)據(jù)實(shí)時(shí)更新到MDM 系統(tǒng),完成賦碼,使數(shù)據(jù)生效,并自動(dòng)返回成功標(biāo)志及數(shù)據(jù)編碼;
4)ERP 接收并判斷返回信息是否為成功標(biāo)志,若成功,則將編碼回填到往來單位數(shù)據(jù)庫(kù)表中,并成功保存數(shù)據(jù)(提交commit 事務(wù)),若失敗,則保存數(shù)據(jù)失?。ǔ蜂Nrollback 事務(wù));
5)業(yè)務(wù)人員在ERP 中的客戶信息管理、供應(yīng)商管理中完成客戶、供應(yīng)商數(shù)據(jù)銀行賬戶子表的屬性維護(hù)并進(jìn)行保存(默認(rèn)為停用狀態(tài)),啟用數(shù)據(jù)后調(diào)用MDM 系統(tǒng)的接收子表數(shù)據(jù)接口(生效),實(shí)現(xiàn)銀行賬戶子表信息同步。
MDM 接口調(diào)用界面如圖8 所示。
該文首先從主數(shù)據(jù)管理系統(tǒng)建設(shè)背景、建設(shè)架構(gòu)、功能模塊方面全面簡(jiǎn)述了系統(tǒng)建設(shè)的意義及思路;接著重點(diǎn)對(duì)主數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)集成管理模塊功能設(shè)計(jì)進(jìn)行了詳細(xì)說明;最后結(jié)合實(shí)際業(yè)務(wù)需求,分別從系統(tǒng)接收、分發(fā)兩個(gè)數(shù)據(jù)集成方向,針對(duì)與ERP 系統(tǒng)進(jìn)行物料、往來單位兩類主數(shù)據(jù)的交互,提出了對(duì)不同業(yè)務(wù)需要、不同種類主數(shù)據(jù)的個(gè)性化接口設(shè)計(jì)方案,進(jìn)一步提升了接口的靈活性與規(guī)范性。該系統(tǒng)已成功應(yīng)用于某軍工科研院所,為科研生產(chǎn)過程提供基礎(chǔ)數(shù)據(jù)支撐,對(duì)其他各軍工科研院所的數(shù)據(jù)治理及信息系統(tǒng)集成具有一定的指導(dǎo)意義。