亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于ETL的快速數(shù)據(jù)在線比對設(shè)計(jì)

        2014-06-26 20:43:11湯蕾蕾
        新媒體研究 2014年10期

        湯蕾蕾

        摘 要 在大量業(yè)務(wù)型的數(shù)據(jù)倉庫中,存在海量數(shù)據(jù)比對碰撞的問題,如何通過海量數(shù)據(jù)的比對碰撞,發(fā)現(xiàn)目標(biāo)結(jié)構(gòu)是當(dāng)前數(shù)據(jù)倉庫中面臨的一個(gè)嚴(yán)峻的現(xiàn)實(shí)問題。在許多系統(tǒng)中,通過消息隊(duì)列的形式進(jìn)行比對碰撞的實(shí)現(xiàn)。在本文中,我們通過ETL的方式在抽取的同時(shí)結(jié)合XML的配置完成比對模塊的直接運(yùn)行。通過ETL的同時(shí)進(jìn)行比對,達(dá)到數(shù)據(jù)比對的最大效率,在進(jìn)庫的同時(shí)就進(jìn)行數(shù)據(jù)的比對碰撞,及時(shí)的獲取比對結(jié)果信息。

        關(guān)鍵詞 ETL;數(shù)據(jù)比對;XML;數(shù)據(jù)抽取

        中圖分類號:TP242 文獻(xiàn)標(biāo)識碼:A 文章編號:1671-7597(2014)10-0068-02

        1 WEB技術(shù)設(shè)計(jì)

        數(shù)據(jù)比對WEB部分包含兩塊功能,

        1)提供界面對需要參與在線輯控的數(shù)據(jù)源庫和目標(biāo)庫已經(jīng)需要相關(guān)的條件進(jìn)行設(shè)置。

        2)對ETL任務(wù)的運(yùn)行時(shí)間參數(shù)和啟、停進(jìn)行設(shè)置。

        其中在線輯控的對需要進(jìn)行輯控的數(shù)據(jù)源庫和目標(biāo)庫進(jìn)行設(shè)置將仍然采用XML配置文件方式,如圖1。

        說明:

        basesql字段,為比對結(jié)果表中固化的字段,如比對的結(jié)果是人的信息,那么必須有身份證、姓名、性別等,如果是是車輛的話必須有車牌號碼,車輛名稱等信息。對于產(chǎn)生這條比對結(jié)果信息的源庫和目標(biāo)庫的信息ID也將保存。

        resultsql字段為比對結(jié)果表中保存的希望關(guān)注源庫中的一些字段的信息,將會保存到比對結(jié)果表的一個(gè)clob字段中。

        WEB方面負(fù)責(zé)提供界面供用戶選擇需要進(jìn)行關(guān)注的庫和相關(guān)的字段,保存后生成對應(yīng)的sql語句形成一個(gè)在線輯控任務(wù)。用戶可以對這個(gè)在線輯控任務(wù)進(jìn)行啟動、停止設(shè)置。

        對ETL抽取任務(wù)的控制:

        ETL的抽取任務(wù)有數(shù)據(jù)組在設(shè)計(jì)、測試完成后,在數(shù)據(jù)庫中設(shè)置需要定時(shí)執(zhí)行的任務(wù)屬性,其中設(shè)置定時(shí)執(zhí)行的參數(shù)是保存在一張表中,這張表和字段必須固化下來。

        WEB端提供UI接口供用戶管理ETL任務(wù)的啟動、停止,以及相關(guān)的任務(wù)執(zhí)行時(shí)間等參數(shù)的設(shè)定,并且提供任務(wù)的上次運(yùn)行時(shí)間等信息。

        對ETL抽取和比對過程中日志控制:

        ETL的抽取和比對過程需要產(chǎn)生日志,替代現(xiàn)在后臺采用文件方式保存的日志。

        其中ETL日志表需要數(shù)據(jù)組固化表名和字段名;

        比對過程的日志需要數(shù)據(jù)組固化另外一張表名和字段名;

        整體,采用ETL抽取完成后直接執(zhí)行比對操作,將替代現(xiàn)在后臺中執(zhí)行的定時(shí)調(diào)度任務(wù),

        但定時(shí)調(diào)度對某些操作任然需要,如案件串并中的查詢,所以這里考慮仍然保留這個(gè)功能。

        2 ETL技術(shù)設(shè)計(jì)

        此次ETL架構(gòu)主要為了滿足動態(tài)數(shù)據(jù)驗(yàn)證,實(shí)現(xiàn)數(shù)據(jù)比對功能,由前臺WEB頁面控制調(diào)度平率等相關(guān)要求而設(shè)計(jì)。(圖2)

        1)判斷是否抽取。

        設(shè)置標(biāo)志位確認(rèn)數(shù)據(jù)流狀態(tài),當(dāng)數(shù)據(jù)流處于運(yùn)行狀態(tài),那么數(shù)據(jù)流將停止,等待下次運(yùn)行時(shí)間后再次運(yùn)行。

        2)加載抽取數(shù)據(jù)。

        更具時(shí)間戳判斷,將需要抽取的數(shù)據(jù)加載到TEMP表中,由于使用TEMP表將會大大提高抽取效率。等加載完后,數(shù)據(jù)抽取的事情基本上已經(jīng)完成,此時(shí)已經(jīng)和源數(shù)據(jù)庫庫沒有任何關(guān)系了。

        3)數(shù)據(jù)量計(jì)算。

        計(jì)算當(dāng)前批次抽取數(shù)據(jù)總量、更新數(shù)據(jù)總量、數(shù)據(jù)插入總量、數(shù)據(jù)刪除總量。由此來證明數(shù)據(jù)抽取情況。

        4)數(shù)據(jù)驗(yàn)證。

        更具前臺頁面設(shè)置對應(yīng)的參數(shù)進(jìn)行數(shù)據(jù)驗(yàn)證,此數(shù)據(jù)驗(yàn)證是逐一驗(yàn)證的方式。所以效率并不是很高。

        5)數(shù)據(jù)轉(zhuǎn)換。

        更具業(yè)務(wù)要求,將數(shù)據(jù)轉(zhuǎn)換成系統(tǒng)的數(shù)據(jù)。主要是字典表轉(zhuǎn)換。

        6)數(shù)據(jù)加載。

        將抽取完成的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

        7)生產(chǎn)新數(shù)據(jù)源。

        更具具體業(yè)務(wù)要求,插入到集合數(shù)據(jù)庫中。

        8)判斷比對任務(wù)。

        更具比對任務(wù)表判斷是否有需要比對的任務(wù)。

        9)獲取比對項(xiàng)。

        循環(huán)獲取比對項(xiàng)。

        10)輸出結(jié)果。

        將比對結(jié)果輸入到比對結(jié)果表中。

        11)第三方擴(kuò)展接口。

        開發(fā)第三方組建,例如短信接口。

        3 詳細(xì)設(shè)計(jì)

        根據(jù)上面的設(shè)計(jì),我們在此主要進(jìn)行詳細(xì)方面的規(guī)劃設(shè)計(jì)。

        WEB方面:

        1)提供UI列表界面,列出當(dāng)前所有的定義的在線輯控任務(wù)。用戶可以在這個(gè)界面對在線輯控任務(wù)進(jìn)行啟動、停止控制。

        2)提供UI編輯界面,根據(jù)配置文件的定義,提供選擇兩個(gè)庫進(jìn)行比對的設(shè)置,并根據(jù)設(shè)置提供兩個(gè)庫中哪些字段進(jìn)行比對的設(shè)置。在用戶保存后將生成SQL語句保存成一個(gè)在線輯控的任務(wù)。用戶可以在后期對這個(gè)任務(wù)進(jìn)行修改,修改的內(nèi)容主要是比對的設(shè)置。默認(rèn)對于新建立的在線輯控任務(wù)是設(shè)置為活動狀態(tài)。

        3)提供UI列表界面,列出所有定義的ETL抽取任務(wù)。用戶可以在這個(gè)界面對ETL抽取任務(wù)進(jìn)行啟動、停止控制。

        4)提供UI編輯界面,編輯ETL抽取任務(wù)的時(shí)間定義。

        5)另外針對某些操作如案件串并中的案件查詢?nèi)匀恍枰〞r(shí)去執(zhí)行查詢工作,所以這里將實(shí)現(xiàn)一個(gè)獨(dú)立運(yùn)行的服務(wù),已jar 包和腳本配合的形式運(yùn)行在后臺。定時(shí)執(zhí)行任務(wù)。

        6)需要固化的表:

        比對信息結(jié)果表和相關(guān)關(guān)聯(lián)信息字段的保存形式;

        ETL抽取任務(wù)表和相關(guān)控制字段的含義;

        ETL抽取日志表;

        ETL比對日志表。

        4 總結(jié)

        本文通過這種ETL結(jié)合WEB端XML的配置方式,將海量數(shù)據(jù)在線比對的功能和數(shù)據(jù)抽取集成在一起,通過前臺靈活地信息配置,將ETL和比對抽取配置結(jié)合在一起,實(shí)現(xiàn)數(shù)據(jù)抽取時(shí)靈活地?cái)?shù)據(jù)碰撞和數(shù)據(jù)比對的功能。大大提升了數(shù)據(jù)比對的效率和數(shù)據(jù)比對的靈活度。

        參考文獻(xiàn)

        [1]Valiant L G.A bridging model for parallel computation[J].Communications of the ACM,1997,33(8):103-111.

        [2]盛憲鋒,孫健英,焦文彬.基于數(shù)據(jù)生命周期管理的ARP系統(tǒng)優(yōu)化設(shè)計(jì)[J].計(jì)算機(jī)工程與科學(xué),2011.endprint

        摘 要 在大量業(yè)務(wù)型的數(shù)據(jù)倉庫中,存在海量數(shù)據(jù)比對碰撞的問題,如何通過海量數(shù)據(jù)的比對碰撞,發(fā)現(xiàn)目標(biāo)結(jié)構(gòu)是當(dāng)前數(shù)據(jù)倉庫中面臨的一個(gè)嚴(yán)峻的現(xiàn)實(shí)問題。在許多系統(tǒng)中,通過消息隊(duì)列的形式進(jìn)行比對碰撞的實(shí)現(xiàn)。在本文中,我們通過ETL的方式在抽取的同時(shí)結(jié)合XML的配置完成比對模塊的直接運(yùn)行。通過ETL的同時(shí)進(jìn)行比對,達(dá)到數(shù)據(jù)比對的最大效率,在進(jìn)庫的同時(shí)就進(jìn)行數(shù)據(jù)的比對碰撞,及時(shí)的獲取比對結(jié)果信息。

        關(guān)鍵詞 ETL;數(shù)據(jù)比對;XML;數(shù)據(jù)抽取

        中圖分類號:TP242 文獻(xiàn)標(biāo)識碼:A 文章編號:1671-7597(2014)10-0068-02

        1 WEB技術(shù)設(shè)計(jì)

        數(shù)據(jù)比對WEB部分包含兩塊功能,

        1)提供界面對需要參與在線輯控的數(shù)據(jù)源庫和目標(biāo)庫已經(jīng)需要相關(guān)的條件進(jìn)行設(shè)置。

        2)對ETL任務(wù)的運(yùn)行時(shí)間參數(shù)和啟、停進(jìn)行設(shè)置。

        其中在線輯控的對需要進(jìn)行輯控的數(shù)據(jù)源庫和目標(biāo)庫進(jìn)行設(shè)置將仍然采用XML配置文件方式,如圖1。

        說明:

        basesql字段,為比對結(jié)果表中固化的字段,如比對的結(jié)果是人的信息,那么必須有身份證、姓名、性別等,如果是是車輛的話必須有車牌號碼,車輛名稱等信息。對于產(chǎn)生這條比對結(jié)果信息的源庫和目標(biāo)庫的信息ID也將保存。

        resultsql字段為比對結(jié)果表中保存的希望關(guān)注源庫中的一些字段的信息,將會保存到比對結(jié)果表的一個(gè)clob字段中。

        WEB方面負(fù)責(zé)提供界面供用戶選擇需要進(jìn)行關(guān)注的庫和相關(guān)的字段,保存后生成對應(yīng)的sql語句形成一個(gè)在線輯控任務(wù)。用戶可以對這個(gè)在線輯控任務(wù)進(jìn)行啟動、停止設(shè)置。

        對ETL抽取任務(wù)的控制:

        ETL的抽取任務(wù)有數(shù)據(jù)組在設(shè)計(jì)、測試完成后,在數(shù)據(jù)庫中設(shè)置需要定時(shí)執(zhí)行的任務(wù)屬性,其中設(shè)置定時(shí)執(zhí)行的參數(shù)是保存在一張表中,這張表和字段必須固化下來。

        WEB端提供UI接口供用戶管理ETL任務(wù)的啟動、停止,以及相關(guān)的任務(wù)執(zhí)行時(shí)間等參數(shù)的設(shè)定,并且提供任務(wù)的上次運(yùn)行時(shí)間等信息。

        對ETL抽取和比對過程中日志控制:

        ETL的抽取和比對過程需要產(chǎn)生日志,替代現(xiàn)在后臺采用文件方式保存的日志。

        其中ETL日志表需要數(shù)據(jù)組固化表名和字段名;

        比對過程的日志需要數(shù)據(jù)組固化另外一張表名和字段名;

        整體,采用ETL抽取完成后直接執(zhí)行比對操作,將替代現(xiàn)在后臺中執(zhí)行的定時(shí)調(diào)度任務(wù),

        但定時(shí)調(diào)度對某些操作任然需要,如案件串并中的查詢,所以這里考慮仍然保留這個(gè)功能。

        2 ETL技術(shù)設(shè)計(jì)

        此次ETL架構(gòu)主要為了滿足動態(tài)數(shù)據(jù)驗(yàn)證,實(shí)現(xiàn)數(shù)據(jù)比對功能,由前臺WEB頁面控制調(diào)度平率等相關(guān)要求而設(shè)計(jì)。(圖2)

        1)判斷是否抽取。

        設(shè)置標(biāo)志位確認(rèn)數(shù)據(jù)流狀態(tài),當(dāng)數(shù)據(jù)流處于運(yùn)行狀態(tài),那么數(shù)據(jù)流將停止,等待下次運(yùn)行時(shí)間后再次運(yùn)行。

        2)加載抽取數(shù)據(jù)。

        更具時(shí)間戳判斷,將需要抽取的數(shù)據(jù)加載到TEMP表中,由于使用TEMP表將會大大提高抽取效率。等加載完后,數(shù)據(jù)抽取的事情基本上已經(jīng)完成,此時(shí)已經(jīng)和源數(shù)據(jù)庫庫沒有任何關(guān)系了。

        3)數(shù)據(jù)量計(jì)算。

        計(jì)算當(dāng)前批次抽取數(shù)據(jù)總量、更新數(shù)據(jù)總量、數(shù)據(jù)插入總量、數(shù)據(jù)刪除總量。由此來證明數(shù)據(jù)抽取情況。

        4)數(shù)據(jù)驗(yàn)證。

        更具前臺頁面設(shè)置對應(yīng)的參數(shù)進(jìn)行數(shù)據(jù)驗(yàn)證,此數(shù)據(jù)驗(yàn)證是逐一驗(yàn)證的方式。所以效率并不是很高。

        5)數(shù)據(jù)轉(zhuǎn)換。

        更具業(yè)務(wù)要求,將數(shù)據(jù)轉(zhuǎn)換成系統(tǒng)的數(shù)據(jù)。主要是字典表轉(zhuǎn)換。

        6)數(shù)據(jù)加載。

        將抽取完成的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

        7)生產(chǎn)新數(shù)據(jù)源。

        更具具體業(yè)務(wù)要求,插入到集合數(shù)據(jù)庫中。

        8)判斷比對任務(wù)。

        更具比對任務(wù)表判斷是否有需要比對的任務(wù)。

        9)獲取比對項(xiàng)。

        循環(huán)獲取比對項(xiàng)。

        10)輸出結(jié)果。

        將比對結(jié)果輸入到比對結(jié)果表中。

        11)第三方擴(kuò)展接口。

        開發(fā)第三方組建,例如短信接口。

        3 詳細(xì)設(shè)計(jì)

        根據(jù)上面的設(shè)計(jì),我們在此主要進(jìn)行詳細(xì)方面的規(guī)劃設(shè)計(jì)。

        WEB方面:

        1)提供UI列表界面,列出當(dāng)前所有的定義的在線輯控任務(wù)。用戶可以在這個(gè)界面對在線輯控任務(wù)進(jìn)行啟動、停止控制。

        2)提供UI編輯界面,根據(jù)配置文件的定義,提供選擇兩個(gè)庫進(jìn)行比對的設(shè)置,并根據(jù)設(shè)置提供兩個(gè)庫中哪些字段進(jìn)行比對的設(shè)置。在用戶保存后將生成SQL語句保存成一個(gè)在線輯控的任務(wù)。用戶可以在后期對這個(gè)任務(wù)進(jìn)行修改,修改的內(nèi)容主要是比對的設(shè)置。默認(rèn)對于新建立的在線輯控任務(wù)是設(shè)置為活動狀態(tài)。

        3)提供UI列表界面,列出所有定義的ETL抽取任務(wù)。用戶可以在這個(gè)界面對ETL抽取任務(wù)進(jìn)行啟動、停止控制。

        4)提供UI編輯界面,編輯ETL抽取任務(wù)的時(shí)間定義。

        5)另外針對某些操作如案件串并中的案件查詢?nèi)匀恍枰〞r(shí)去執(zhí)行查詢工作,所以這里將實(shí)現(xiàn)一個(gè)獨(dú)立運(yùn)行的服務(wù),已jar 包和腳本配合的形式運(yùn)行在后臺。定時(shí)執(zhí)行任務(wù)。

        6)需要固化的表:

        比對信息結(jié)果表和相關(guān)關(guān)聯(lián)信息字段的保存形式;

        ETL抽取任務(wù)表和相關(guān)控制字段的含義;

        ETL抽取日志表;

        ETL比對日志表。

        4 總結(jié)

        本文通過這種ETL結(jié)合WEB端XML的配置方式,將海量數(shù)據(jù)在線比對的功能和數(shù)據(jù)抽取集成在一起,通過前臺靈活地信息配置,將ETL和比對抽取配置結(jié)合在一起,實(shí)現(xiàn)數(shù)據(jù)抽取時(shí)靈活地?cái)?shù)據(jù)碰撞和數(shù)據(jù)比對的功能。大大提升了數(shù)據(jù)比對的效率和數(shù)據(jù)比對的靈活度。

        參考文獻(xiàn)

        [1]Valiant L G.A bridging model for parallel computation[J].Communications of the ACM,1997,33(8):103-111.

        [2]盛憲鋒,孫健英,焦文彬.基于數(shù)據(jù)生命周期管理的ARP系統(tǒng)優(yōu)化設(shè)計(jì)[J].計(jì)算機(jī)工程與科學(xué),2011.endprint

        摘 要 在大量業(yè)務(wù)型的數(shù)據(jù)倉庫中,存在海量數(shù)據(jù)比對碰撞的問題,如何通過海量數(shù)據(jù)的比對碰撞,發(fā)現(xiàn)目標(biāo)結(jié)構(gòu)是當(dāng)前數(shù)據(jù)倉庫中面臨的一個(gè)嚴(yán)峻的現(xiàn)實(shí)問題。在許多系統(tǒng)中,通過消息隊(duì)列的形式進(jìn)行比對碰撞的實(shí)現(xiàn)。在本文中,我們通過ETL的方式在抽取的同時(shí)結(jié)合XML的配置完成比對模塊的直接運(yùn)行。通過ETL的同時(shí)進(jìn)行比對,達(dá)到數(shù)據(jù)比對的最大效率,在進(jìn)庫的同時(shí)就進(jìn)行數(shù)據(jù)的比對碰撞,及時(shí)的獲取比對結(jié)果信息。

        關(guān)鍵詞 ETL;數(shù)據(jù)比對;XML;數(shù)據(jù)抽取

        中圖分類號:TP242 文獻(xiàn)標(biāo)識碼:A 文章編號:1671-7597(2014)10-0068-02

        1 WEB技術(shù)設(shè)計(jì)

        數(shù)據(jù)比對WEB部分包含兩塊功能,

        1)提供界面對需要參與在線輯控的數(shù)據(jù)源庫和目標(biāo)庫已經(jīng)需要相關(guān)的條件進(jìn)行設(shè)置。

        2)對ETL任務(wù)的運(yùn)行時(shí)間參數(shù)和啟、停進(jìn)行設(shè)置。

        其中在線輯控的對需要進(jìn)行輯控的數(shù)據(jù)源庫和目標(biāo)庫進(jìn)行設(shè)置將仍然采用XML配置文件方式,如圖1。

        說明:

        basesql字段,為比對結(jié)果表中固化的字段,如比對的結(jié)果是人的信息,那么必須有身份證、姓名、性別等,如果是是車輛的話必須有車牌號碼,車輛名稱等信息。對于產(chǎn)生這條比對結(jié)果信息的源庫和目標(biāo)庫的信息ID也將保存。

        resultsql字段為比對結(jié)果表中保存的希望關(guān)注源庫中的一些字段的信息,將會保存到比對結(jié)果表的一個(gè)clob字段中。

        WEB方面負(fù)責(zé)提供界面供用戶選擇需要進(jìn)行關(guān)注的庫和相關(guān)的字段,保存后生成對應(yīng)的sql語句形成一個(gè)在線輯控任務(wù)。用戶可以對這個(gè)在線輯控任務(wù)進(jìn)行啟動、停止設(shè)置。

        對ETL抽取任務(wù)的控制:

        ETL的抽取任務(wù)有數(shù)據(jù)組在設(shè)計(jì)、測試完成后,在數(shù)據(jù)庫中設(shè)置需要定時(shí)執(zhí)行的任務(wù)屬性,其中設(shè)置定時(shí)執(zhí)行的參數(shù)是保存在一張表中,這張表和字段必須固化下來。

        WEB端提供UI接口供用戶管理ETL任務(wù)的啟動、停止,以及相關(guān)的任務(wù)執(zhí)行時(shí)間等參數(shù)的設(shè)定,并且提供任務(wù)的上次運(yùn)行時(shí)間等信息。

        對ETL抽取和比對過程中日志控制:

        ETL的抽取和比對過程需要產(chǎn)生日志,替代現(xiàn)在后臺采用文件方式保存的日志。

        其中ETL日志表需要數(shù)據(jù)組固化表名和字段名;

        比對過程的日志需要數(shù)據(jù)組固化另外一張表名和字段名;

        整體,采用ETL抽取完成后直接執(zhí)行比對操作,將替代現(xiàn)在后臺中執(zhí)行的定時(shí)調(diào)度任務(wù),

        但定時(shí)調(diào)度對某些操作任然需要,如案件串并中的查詢,所以這里考慮仍然保留這個(gè)功能。

        2 ETL技術(shù)設(shè)計(jì)

        此次ETL架構(gòu)主要為了滿足動態(tài)數(shù)據(jù)驗(yàn)證,實(shí)現(xiàn)數(shù)據(jù)比對功能,由前臺WEB頁面控制調(diào)度平率等相關(guān)要求而設(shè)計(jì)。(圖2)

        1)判斷是否抽取。

        設(shè)置標(biāo)志位確認(rèn)數(shù)據(jù)流狀態(tài),當(dāng)數(shù)據(jù)流處于運(yùn)行狀態(tài),那么數(shù)據(jù)流將停止,等待下次運(yùn)行時(shí)間后再次運(yùn)行。

        2)加載抽取數(shù)據(jù)。

        更具時(shí)間戳判斷,將需要抽取的數(shù)據(jù)加載到TEMP表中,由于使用TEMP表將會大大提高抽取效率。等加載完后,數(shù)據(jù)抽取的事情基本上已經(jīng)完成,此時(shí)已經(jīng)和源數(shù)據(jù)庫庫沒有任何關(guān)系了。

        3)數(shù)據(jù)量計(jì)算。

        計(jì)算當(dāng)前批次抽取數(shù)據(jù)總量、更新數(shù)據(jù)總量、數(shù)據(jù)插入總量、數(shù)據(jù)刪除總量。由此來證明數(shù)據(jù)抽取情況。

        4)數(shù)據(jù)驗(yàn)證。

        更具前臺頁面設(shè)置對應(yīng)的參數(shù)進(jìn)行數(shù)據(jù)驗(yàn)證,此數(shù)據(jù)驗(yàn)證是逐一驗(yàn)證的方式。所以效率并不是很高。

        5)數(shù)據(jù)轉(zhuǎn)換。

        更具業(yè)務(wù)要求,將數(shù)據(jù)轉(zhuǎn)換成系統(tǒng)的數(shù)據(jù)。主要是字典表轉(zhuǎn)換。

        6)數(shù)據(jù)加載。

        將抽取完成的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。

        7)生產(chǎn)新數(shù)據(jù)源。

        更具具體業(yè)務(wù)要求,插入到集合數(shù)據(jù)庫中。

        8)判斷比對任務(wù)。

        更具比對任務(wù)表判斷是否有需要比對的任務(wù)。

        9)獲取比對項(xiàng)。

        循環(huán)獲取比對項(xiàng)。

        10)輸出結(jié)果。

        將比對結(jié)果輸入到比對結(jié)果表中。

        11)第三方擴(kuò)展接口。

        開發(fā)第三方組建,例如短信接口。

        3 詳細(xì)設(shè)計(jì)

        根據(jù)上面的設(shè)計(jì),我們在此主要進(jìn)行詳細(xì)方面的規(guī)劃設(shè)計(jì)。

        WEB方面:

        1)提供UI列表界面,列出當(dāng)前所有的定義的在線輯控任務(wù)。用戶可以在這個(gè)界面對在線輯控任務(wù)進(jìn)行啟動、停止控制。

        2)提供UI編輯界面,根據(jù)配置文件的定義,提供選擇兩個(gè)庫進(jìn)行比對的設(shè)置,并根據(jù)設(shè)置提供兩個(gè)庫中哪些字段進(jìn)行比對的設(shè)置。在用戶保存后將生成SQL語句保存成一個(gè)在線輯控的任務(wù)。用戶可以在后期對這個(gè)任務(wù)進(jìn)行修改,修改的內(nèi)容主要是比對的設(shè)置。默認(rèn)對于新建立的在線輯控任務(wù)是設(shè)置為活動狀態(tài)。

        3)提供UI列表界面,列出所有定義的ETL抽取任務(wù)。用戶可以在這個(gè)界面對ETL抽取任務(wù)進(jìn)行啟動、停止控制。

        4)提供UI編輯界面,編輯ETL抽取任務(wù)的時(shí)間定義。

        5)另外針對某些操作如案件串并中的案件查詢?nèi)匀恍枰〞r(shí)去執(zhí)行查詢工作,所以這里將實(shí)現(xiàn)一個(gè)獨(dú)立運(yùn)行的服務(wù),已jar 包和腳本配合的形式運(yùn)行在后臺。定時(shí)執(zhí)行任務(wù)。

        6)需要固化的表:

        比對信息結(jié)果表和相關(guān)關(guān)聯(lián)信息字段的保存形式;

        ETL抽取任務(wù)表和相關(guān)控制字段的含義;

        ETL抽取日志表;

        ETL比對日志表。

        4 總結(jié)

        本文通過這種ETL結(jié)合WEB端XML的配置方式,將海量數(shù)據(jù)在線比對的功能和數(shù)據(jù)抽取集成在一起,通過前臺靈活地信息配置,將ETL和比對抽取配置結(jié)合在一起,實(shí)現(xiàn)數(shù)據(jù)抽取時(shí)靈活地?cái)?shù)據(jù)碰撞和數(shù)據(jù)比對的功能。大大提升了數(shù)據(jù)比對的效率和數(shù)據(jù)比對的靈活度。

        參考文獻(xiàn)

        [1]Valiant L G.A bridging model for parallel computation[J].Communications of the ACM,1997,33(8):103-111.

        [2]盛憲鋒,孫健英,焦文彬.基于數(shù)據(jù)生命周期管理的ARP系統(tǒng)優(yōu)化設(shè)計(jì)[J].計(jì)算機(jī)工程與科學(xué),2011.endprint

        日本国产精品高清在线| 亚洲国产无线乱码在线观看| 亚洲an日韩专区在线| 亚洲第一页在线观看视频网站| 亚洲国产美女高潮久久久| 亚洲成av人片天堂网| 国产欧美精品一区二区三区–老狼| 亚洲区一区二区中文字幕| 国产成人亚洲一区二区| 国产农村乱辈无码| 国产91网| 青青草视频在线免费视频 | 亚洲av一宅男色影视| 国产成品精品午夜视频| 亚洲精品中文字幕不卡| 久久狠狠色噜噜狠狠狠狠97| 国产精品美女久久久浪潮av| 亚欧免费无码AⅤ在线观看| 青青青免费在线视频亚洲视频| 日韩精品一区二区三区中文| 国产黄三级三·级三级| 精品在线视频免费在线观看视频| 五月激情综合婷婷六月久久| 久久夜色精品国产噜噜麻豆| 欧美日韩免费一区中文字幕| 亚洲av极品尤物不卡在线观看| 小说区激情另类春色| 蜜臀av一区二区| 久草精品手机视频在线观看| 亚洲毛片一区二区在线| 亚洲狠狠婷婷综合久久久久图片| 亚洲国产成人精品91久久久| 麻豆视频黄片在线免费观看| 国产av夜夜欢一区二区三区| 亚洲妇女水蜜桃av网网站| 国产精品视频免费一区二区三区| 亚洲午夜狼人综合影院| 99久久人人爽亚洲精品美女| 鲁丝一区鲁丝二区鲁丝三区| 日韩av一区二区不卡| 尤物网址在线观看|