摘 要:近些年來,國產(chǎn)數(shù)據(jù)庫逐步邁向市場化運作階段,但由于用戶相對較少,導致數(shù)據(jù)遷移資料較少,本文主要講述怎樣實現(xiàn)從前臺營業(yè)及計費賬務等oracle數(shù)據(jù)庫提取基礎數(shù)據(jù)到日常經(jīng)營分析的gbase數(shù)據(jù)庫。
關鍵詞:shell;gbase;數(shù)據(jù)遷移
中圖分類號:TP311.13
gbase 8a是南大通用公司一款數(shù)據(jù)庫產(chǎn)品,利用列數(shù)據(jù)庫復雜查詢效率高, 讀磁盤少,存儲空間少,以及由此帶來的技術、管理和應用優(yōu)勢,濟南聯(lián)通利用gbase作為分析數(shù)據(jù)庫,進行快速數(shù)據(jù)分析及歷史數(shù)據(jù)保存。以前使用的olap分析數(shù)據(jù)庫采用的是oracle,由于是同構數(shù)據(jù)庫通過db link直接提取數(shù)據(jù),而采用gbase后,需要進行數(shù)據(jù)抽取,雖然gbase提供etl等數(shù)據(jù)提取工具,但屬于南大通用的一個收費產(chǎn)品,對于簡單的數(shù)據(jù)提取可以通過shell程序自動執(zhí)行。下面簡單講述怎樣實現(xiàn)從oltp數(shù)據(jù)庫oracle 提取到olap數(shù)據(jù)庫gbase。
1 平臺環(huán)境
基礎數(shù)據(jù)是從oltp數(shù)據(jù)庫主要包括crm客戶關系庫,bill詳單庫,act賬務資料庫,ocs在線計費系統(tǒng)數(shù)據(jù)庫等前臺營業(yè)使用及計費賬務等數(shù)據(jù)庫提取數(shù)據(jù),這些數(shù)據(jù)庫采用oracle數(shù)據(jù)庫release 11.2.0.3.0。經(jīng)營分析浪潮服務器f8560m2(2顆e7-4807cpu、64g內存 7塊sas 1t硬盤)作為分析數(shù)據(jù)庫硬件平臺,安裝操作系統(tǒng)為64位red hat 6.2,gbase8a 版本8.5.1.2,安裝oracle客戶端。
2 數(shù)據(jù)提取
對于每日分析所需要的數(shù)據(jù),由于數(shù)據(jù)量相對較小,但是表比較多,由于前臺營業(yè)、計費賬務等基礎數(shù)據(jù)庫中表名都是不固定,表名按一定規(guī)則命名,可以通過select語句查詢出gbase分析庫要使用的表名,采取全量倒出的方式,清空分析庫的數(shù)據(jù)并全量導入分析庫按照這個流程,分兩步執(zhí)行:
2.1 導出數(shù)據(jù)
3 結束語
從以上可以看出怎樣編寫shell實現(xiàn)數(shù)據(jù)從前臺營業(yè)及計費賬務等oracle數(shù)據(jù)庫提取基礎數(shù)據(jù)到gbase數(shù)據(jù)庫。這些shell對其他異構數(shù)據(jù)庫的遷移也是同樣有幫助的。
參考文獻:
[1]GBase 8a 分析數(shù)據(jù)管理系統(tǒng)管理員手冊 v8.5 南大通用,2013.
[2]李超,張明博.列存儲數(shù)據(jù)庫關鍵技術綜述[J].計算機科學,2010(12).
作者單位:聯(lián)通濟南分公司信息化服務中心,濟南 250002