楊波

(廣西柳工機械股份有限公司信息技術(shù)部，廣西柳州 545007)

SAP數(shù)據(jù)歸檔在工程機械企業(yè)中的應(yīng)用
——記廣西柳工機械股份有限公司SAP數(shù)據(jù)歸檔項目

楊波

(廣西柳工機械股份有限公司信息技術(shù)部，廣西柳州 545007)

簡要闡述了中國工程機械企業(yè)普遍使用的ERP系統(tǒng)所面臨的數(shù)據(jù)量增長過快問題，介紹了SAP數(shù)據(jù)歸檔的適用條件和價值所在，以廣西柳工機械股份有限公司的SAP數(shù)據(jù)歸檔項目為例進行分析與闡述，從應(yīng)用和基礎(chǔ)架構(gòu)的層面，說明了實施數(shù)據(jù)歸檔項目的原因和必要性，并為項目實施提供思路。

SAP;ADK;數(shù)據(jù)歸檔;歸檔對象;駐留期

工程機械行業(yè)普遍使用大型ERP軟件系統(tǒng)，如SAP、ORACLE等。這些軟件系統(tǒng)功能強大，各模塊集成度很高，極大地提升了對公司各項業(yè)務(wù)的支持能力。但是，隨著IT技術(shù)的發(fā)展，伴隨著功能擴展和集成度提高同時，也給業(yè)務(wù)系統(tǒng)帶來了巨大的數(shù)據(jù)增長量。

以廣西柳工機械股份有限公司(以下簡稱柳工)的ERP系統(tǒng)實施進程為例，1996年部署的TCM－EMS系統(tǒng)(MRPⅡ系統(tǒng))最大數(shù)據(jù)量只有5GB，2000年部署的IFS系統(tǒng)(ERP系統(tǒng))最大數(shù)據(jù)量接近100GB，2006年上線的SAP系統(tǒng)(ECC6版本)僅初始安裝數(shù)據(jù)量就接近300GB，系統(tǒng)上線后ERP數(shù)據(jù)量增長迅速，一個月的數(shù)據(jù)增長超過原系統(tǒng)幾年的數(shù)據(jù)增長，系統(tǒng)數(shù)據(jù)的增速是越來越快?！半S著業(yè)務(wù)的增長以及對數(shù)據(jù)存儲、保存和可用性存在法規(guī)上的要求，面對著不斷增長的數(shù)據(jù)，這些數(shù)據(jù)的備份成為各公司和組織的當務(wù)之急。”［1］并且，數(shù)據(jù)量的劇增造成系統(tǒng)的負荷加重，性能需求加大，必須采購更高級的服務(wù)器(更多的CPU和內(nèi)存)來滿足性能需求，同時需要不斷對存儲進行擴容以滿足容量需求。而生產(chǎn)系統(tǒng)數(shù)據(jù)量增加，配套的質(zhì)量保證系統(tǒng)(用于測試)數(shù)據(jù)量需要增加，相應(yīng)的主存儲需要擴容，備份存儲也需要擴容，同時備份設(shè)備也需要擴容，環(huán)環(huán)相扣，給系統(tǒng)的IT基礎(chǔ)架構(gòu)帶來了巨大的壓力。

然而，數(shù)據(jù)也是有生命周期的?！半S著時間的推移，數(shù)據(jù)的重要性和關(guān)鍵性都會改變。大部分產(chǎn)生的數(shù)據(jù)都只在短時間內(nèi)有重要性，時間一長就不那么重要了，這一點決定了數(shù)據(jù)存儲解決方案的使用?！保?］由于法規(guī)性及審計要求，特定的業(yè)務(wù)數(shù)據(jù)有保留期，并且在審計時能夠讀取或在必要的時候可以再次使用，這使得SAP系統(tǒng)的數(shù)據(jù)將會有相當長的保留期限，對某些財務(wù)數(shù)據(jù)來說，保存期可能達到15年以上。面對這種壓力，僅僅依靠簡單硬件的升級來提升性能和擴容容量，既不經(jīng)濟也難以持續(xù)滿足未來需求，數(shù)據(jù)歸檔的需求應(yīng)運而生。

1 數(shù)據(jù)歸檔原理分析

“根據(jù)不同的數(shù)據(jù)類型和應(yīng)用，數(shù)據(jù)歸檔可以分為3類:數(shù)據(jù)庫歸檔、記錄歸檔和內(nèi)容歸檔?！保?］出于性能考慮，大型ERP系統(tǒng)的數(shù)據(jù)主要存放于后臺數(shù)據(jù)庫中，以便隨時能訪問所需數(shù)據(jù)。當數(shù)據(jù)庫數(shù)據(jù)量較小時，其大小對性能影響不明顯;但當數(shù)據(jù)庫數(shù)據(jù)量增加很多，數(shù)據(jù)表的大小達到幾百萬甚至上千萬條數(shù)據(jù)，數(shù)據(jù)庫容量也達到幾百GB或幾千GB時，量變已經(jīng)引起質(zhì)變，需要多方優(yōu)化并且控制整個數(shù)據(jù)庫的數(shù)據(jù)規(guī)模，才能保證數(shù)據(jù)庫的性能水平不降低。因此，對于制造業(yè)的ERP系統(tǒng)來說，其數(shù)據(jù)歸檔的主要內(nèi)容是對ERP數(shù)據(jù)庫的歸檔。

簡單的說，數(shù)據(jù)歸檔就是將不再需要頻繁訪問并且以后也不會再發(fā)生變化的數(shù)據(jù)，從數(shù)據(jù)庫中轉(zhuǎn)移到歸檔文件中去，然后將這部分數(shù)據(jù)從在線數(shù)據(jù)中刪除，以降低在線數(shù)據(jù)的數(shù)據(jù)庫容量，提升數(shù)據(jù)庫的性能，進而整體提升業(yè)務(wù)系統(tǒng)的性能。

數(shù)據(jù)庫是結(jié)構(gòu)化的數(shù)據(jù)集合，“數(shù)據(jù)歸檔的核心是標識數(shù)據(jù)庫中非活動數(shù)據(jù)，然后將活動數(shù)據(jù)從中央數(shù)據(jù)庫中分離出來存儲，至更廉價的存儲設(shè)備?！保?］通常將應(yīng)用系統(tǒng)的歸檔文件存儲在外部歸檔介質(zhì)或系統(tǒng)上，并且被歸檔出去的數(shù)據(jù)還可以通過多種方式進行訪問，部分數(shù)據(jù)可以重載到系統(tǒng)中?，F(xiàn)以SAP系統(tǒng)的數(shù)據(jù)歸檔來進行說明，數(shù)據(jù)歸檔原理如圖1所示。

圖1 SAP數(shù)據(jù)歸檔原理圖

由圖1可知，要進行數(shù)據(jù)歸檔，首先需要標識出滿足數(shù)據(jù)歸檔條件的數(shù)據(jù)。但是如何讓系統(tǒng)知道哪些數(shù)據(jù)能夠被歸檔呢?對SAP系統(tǒng)來說，只有滿足以下兩方面條件的數(shù)據(jù)才允許被歸檔:第一，業(yè)務(wù)已經(jīng)完結(jié)且憑證記錄完整;第二，數(shù)據(jù)的駐留期小于歸檔時間與數(shù)據(jù)創(chuàng)建時間之差。這需要了解SAP數(shù)據(jù)歸檔中的一個重要概念——駐留期。駐留期是指數(shù)據(jù)從創(chuàng)建到允許進行歸檔的時間。通過對駐留期的定義，可以在成千上萬的數(shù)據(jù)中將可以歸檔的部分區(qū)分出來，使數(shù)據(jù)歸檔具有可行性。駐留期與保留期的區(qū)別如圖2所示。

2 現(xiàn)行國內(nèi)工程機械行業(yè)SAP系統(tǒng)使用分析

圖2 駐留期示意圖

大部分企業(yè)在SAP上線時，都會上FI/CO/ MM/SD模塊，PP模塊通常只在制造業(yè)才會使用，由于工程機械企業(yè)的離散制造的特點，決定了其PP模塊使用會更為復(fù)雜，因此工程機械企業(yè)在使用SAP數(shù)據(jù)歸檔解決方案時，需要依據(jù)其自身的特點進行調(diào)整。國內(nèi)一些主要工程機械企業(yè)均使用了SAP ERP系統(tǒng)，包括柳工、徐工集團、三一重工、中聯(lián)中科、廈工等在內(nèi)。這些企業(yè)的業(yè)務(wù)模塊和基礎(chǔ)架構(gòu)都有如下特點:

a．這些企業(yè)都使用了SAP的五大基本模塊: FI(財務(wù)會計)/CO(管理會計)/MM(物料管理)/ PP(生產(chǎn)計劃)/SD(銷售和分銷)。部分企業(yè)還使用了QM(質(zhì)量管理)/PM(工廠管理)/HR(人力資源)模塊。但由于離散制造業(yè)的特點，F(xiàn)I/CO/MM/ PP 4個模塊通常是數(shù)據(jù)的主要來源，是影響系統(tǒng)數(shù)據(jù)量的主要方面，其他模塊占數(shù)據(jù)總量的比例較小。數(shù)據(jù)歸檔的主要對象也將圍繞這4個模塊展開。

b．IT基礎(chǔ)架構(gòu)上，這些企業(yè)的SAP系統(tǒng)都采用UNIX小型機+FC－SAN存儲架構(gòu)。標準的IT基礎(chǔ)架構(gòu)，使得數(shù)據(jù)歸檔方案可以相互借鑒和參照。

柳工和三一重工SAP系統(tǒng)上線時間較早，距今已經(jīng)超過5年。通常，使用時間超過5年，應(yīng)用系統(tǒng)各方面都會進入一個較為成熟穩(wěn)定的階段，總體的業(yè)務(wù)方案及技術(shù)架構(gòu)的調(diào)整不會過于劇烈和頻繁，具備了進行數(shù)據(jù)歸檔的基本條件。并且經(jīng)過5年的使用，SAP系統(tǒng)的數(shù)據(jù)量也達到了一個較為龐大的規(guī)模，對IT基礎(chǔ)架構(gòu)各性能、容量、備份等方面的要求也越來越高，實施數(shù)據(jù)歸檔的必要性也越來越迫切。目前柳工和三一重工均已實施了數(shù)據(jù)歸檔項目，其他的企業(yè)也將陸續(xù)面臨數(shù)據(jù)歸檔的問題。這兩個企業(yè)的數(shù)據(jù)歸檔項目的成功經(jīng)驗也可以為后續(xù)企業(yè)提供有益的參考和項目思路。

3 柳工SAP數(shù)據(jù)歸檔方案介紹

柳工SAP R/3系統(tǒng)自2007年上線以來，核心系統(tǒng)SAP R/3數(shù)據(jù)量由上線時的300GB增長到2010年末的超過4 200GB，項目前SAP數(shù)據(jù)庫增長量超過4GB/天，系統(tǒng)數(shù)據(jù)量劇增造成系統(tǒng)響應(yīng)速度變慢，系統(tǒng)運行效率降低，MRP運算時間由原來的十幾分鐘上升到幾個小時，系統(tǒng)備份時間由原來的幾個小時增長到30多個小時。于是，柳工在2011年開始啟動SAP數(shù)據(jù)歸檔項目。

柳工的數(shù)據(jù)歸檔采用ADK(Archive Development Kit)結(jié)合File System的方式進行，SAP數(shù)據(jù)歸檔架構(gòu)如圖3所示。ADK是SAP標準模塊之一，SAP系統(tǒng)通過ADK接口提供結(jié)構(gòu)化數(shù)據(jù)(TransactionalData)的歸檔功能，把數(shù)據(jù)從SAP數(shù)據(jù)庫系統(tǒng)中移出并歸檔到外部的文件系統(tǒng)。為提高效率，歸檔文件存放在UNIX小型機的文件系統(tǒng)中，以備后續(xù)的數(shù)據(jù)歸檔和歸檔數(shù)據(jù)查詢，并在歸檔后對系統(tǒng)數(shù)據(jù)庫進行優(yōu)化重組，以釋放數(shù)據(jù)庫空間。

圖3 SAP數(shù)據(jù)歸檔架構(gòu)圖

需要明確的是，數(shù)據(jù)歸檔項目不僅僅是IT部門的事情，它需要業(yè)務(wù)部門和IT部門高度合作，并在此基礎(chǔ)上共同計劃和實施的一個項目。實施過程在技術(shù)上分幾個階段進行。第一階段:分析和設(shè)計。定義歸檔對象、策略和流程。需要通過全面的數(shù)據(jù)分析，業(yè)務(wù)部門需要與IT部門高度合作，最終定義好歸檔對象和歸檔策略。需要注意的是，數(shù)據(jù)歸檔通常按年限進行，需要與各業(yè)務(wù)單位確認好歸檔的年份，通常在線數(shù)據(jù)會保留最近的2～3年。柳工在開展項目時，通過與業(yè)務(wù)單位溝通，確定了保留兩年的在線數(shù)據(jù)。歸檔分析過程中，首要的是對SAP數(shù)據(jù)庫中TABLE of TOP100(數(shù)據(jù)量排名前100的表)進行分析。TABLE100數(shù)據(jù)庫表容量圖見表1。通過對大表的數(shù)據(jù)分析，最終將相關(guān)的數(shù)據(jù)表容量歸集到歸檔對象中，并按照年份形成歷年各個歸檔對象的數(shù)據(jù)分布，項目預(yù)期的歸檔目標可以在此基礎(chǔ)上產(chǎn)生。歸檔對象容量分析見表2。從表2中可以看到，PP_ORDER生產(chǎn)訂單的數(shù)據(jù)量非常大(＞800GB)，這就是工程機械行業(yè)相對其他行業(yè)特別之處——大量的生產(chǎn)訂單，所以該對象的歸檔是重點需要考慮的問題。

表1 TABLE100數(shù)據(jù)庫表容量圖

表2 歸檔對象容量分析表

第二階段:歸檔測試。完成歸檔配置、歸檔開發(fā)以及歸檔測試。通過第一階段的分析，對本項目的歸檔情況已經(jīng)有了初步的預(yù)期?？梢砸罁?jù)確定的歸檔年限，進行相應(yīng)的系統(tǒng)配置，本項目歸檔2007年、2008年、2009年這3年的數(shù)據(jù)。由于只有完結(jié)了業(yè)務(wù)流程的數(shù)據(jù)才能被歸檔，所以通過與業(yè)務(wù)部門的充分溝通，可以促成業(yè)務(wù)部門對部分長期未清業(yè)務(wù)進行清理，一定程度上提高業(yè)務(wù)的規(guī)范性。一個基本的歸檔過程(或歸檔循環(huán))通常有3個步驟。數(shù)據(jù)歸檔過程如圖4所示。業(yè)務(wù)對象的歸檔有相應(yīng)的先后順序，總體上通常是按照模塊CO/FI/MM/PP/SD的順序來進行。由于數(shù)據(jù)歸檔后，大部分的數(shù)據(jù)不能通過原來的事物代碼進行訪問，因此需要通過特定歸檔事物碼SARI訪問。對于很多自開發(fā)的報表，必須要通過對信息結(jié)構(gòu)進行配置及進行相應(yīng)的歸檔開發(fā)，才能保證數(shù)據(jù)歸檔后，能夠按照正確的邏輯進行讀取、匯總和計算。對于個別需要經(jīng)常性讀取在線數(shù)據(jù)和歸檔數(shù)據(jù)的標準事物代碼，需要進行歸檔增強開發(fā)。本階段主要難點在于清理歸檔區(qū)間內(nèi)的未結(jié)業(yè)務(wù)和進行歸檔開發(fā)。

圖4 數(shù)據(jù)歸檔過程

第三階段:歸檔實施。調(diào)整歸檔策略，歸檔配置并完成生產(chǎn)系統(tǒng)的正式歸檔。由于測試環(huán)境和生產(chǎn)環(huán)境的差異，測試時通過的配置參數(shù)在生產(chǎn)系統(tǒng)實施時，有很大幾率因性能或其他問題而需要進行調(diào)整，才能不影響生產(chǎn)系統(tǒng)正常業(yè)務(wù)的運行。同時，歸檔的開發(fā)工作在此階段也持續(xù)進行，業(yè)務(wù)部門需要經(jīng)常對信息結(jié)構(gòu)進行優(yōu)化，并且需要對最終用戶進行充分培訓(xùn)，以保證獲取業(yè)務(wù)數(shù)據(jù)的準確性。

第四階段:上線和支持。重組數(shù)據(jù)庫，歸檔確認和后續(xù)技術(shù)支持。完成數(shù)據(jù)歸檔后，對數(shù)據(jù)庫進行重組以釋放數(shù)據(jù)庫空間并提升性能，處理歸檔開發(fā)中可能遺漏的BUG。同時，由于歸檔數(shù)據(jù)不會發(fā)生修改，因此對歸檔數(shù)據(jù)的備份不需要頻繁進行，可以以較低的備份頻率進行備份，以縮減備份窗口，降低對備份設(shè)備存儲資源的占用。

柳工通過6個月的項目實施，成功完成了對24個歸檔對象實施歸檔，保證歸檔數(shù)據(jù)安全可查。通過數(shù)據(jù)歸檔釋放生產(chǎn)系統(tǒng)數(shù)據(jù)庫空間，降低生產(chǎn)系統(tǒng)數(shù)據(jù)庫容量，縮短系統(tǒng)響應(yīng)時間，提高系統(tǒng)性能，總體來看數(shù)據(jù)庫空間減少1.24TB，約占歸檔前總數(shù)據(jù)量的32%，達到數(shù)據(jù)庫容量減少30%的預(yù)期目標。

通過對SAP系統(tǒng)的數(shù)據(jù)歸檔，可以給企業(yè)帶來如下的收益:

a．SAP系統(tǒng)的響應(yīng)時間有明顯的改善，報表整體查詢效率提高，有效地提高員工的工作效率;

b．通過提高系統(tǒng)的運行效率，連帶提高與SAP集成的系統(tǒng)接口運行效率，減少客戶因系統(tǒng)響應(yīng)問題產(chǎn)生的投訴，提高了服務(wù)質(zhì)量;

c．縮短了系統(tǒng)的備份時間和恢復(fù)時間，從而整體上提高了系統(tǒng)的安全性;

d．通過將過期的數(shù)據(jù)從數(shù)據(jù)庫剝離出去，可以降低總體擁有成本(TCO)，如對主機系統(tǒng)、存儲系統(tǒng)、備份系統(tǒng)的投入;

e．由于數(shù)據(jù)量增速下降，連帶降低了對數(shù)據(jù)庫及存儲進行優(yōu)化、擴容的維護工作量，降低SAP系統(tǒng)的維護成本和風險;

f．建立了數(shù)據(jù)管理機制，保證柳工SAP系統(tǒng)數(shù)據(jù)庫容量增長保持相對穩(wěn)定目標的實現(xiàn)。

4 結(jié)束語

在工程機械行業(yè)中開展數(shù)據(jù)歸檔項目，其實施過程中需要充分考慮行業(yè)自身的特點，才能達到可預(yù)期的結(jié)果。數(shù)據(jù)歸檔技術(shù)在ERP系統(tǒng)上的應(yīng)用通常表現(xiàn)為對數(shù)據(jù)庫的歸檔，對解決企業(yè)ERP系統(tǒng)數(shù)據(jù)量劇增問題有著極為明顯的優(yōu)勢。作為一個軟件為主導(dǎo)而又能影響硬件的方案，它摒棄了傳統(tǒng)的硬件為主的對應(yīng)方案，從根本上減弱ERP系統(tǒng)大數(shù)據(jù)對硬件的依賴，成為軟硬結(jié)合、治標治本的解決方案。隨著軟硬件技術(shù)的不斷發(fā)展，對應(yīng)的各種解決方案也將呈現(xiàn)出新的軟硬件結(jié)合的趨勢，只有多方技術(shù)設(shè)備結(jié)合使用，才能獲取最優(yōu)TCO解決方案。

［1］(美)薩曼達，(美)希瓦史塔瓦.信息存儲與管理:數(shù)字信息的存儲、管理和保護［M］.羅英偉，汪小林，尹冬生，等譯.1版.北京:人民郵電出版社，2010:6，251.

［2］沈立強.高校信息系統(tǒng)數(shù)據(jù)歸檔研究［J］.中山大學學報:自然科學版，2009，48(S1):215－219.

The Application of SAP Data Archiving in Engineer Machinery Enterprises

YANG Bo

(Guangxi Liugong Machinery Co.，Ltd.，Guangxi Liuzhou，545007，China)

It briefly describes that the data of ERP grows faster and faster in Chinese engineering machinery enterprises.Taking the SAP data archiving project in Liugong as an example，it puts forward the applicable conditions and the value about database archiving.From the application and infrastructure，it explains the causes and necessity of implementation of data archiving project，and provides ideas for projects.

SAP;ADK;Data Archiving;Archiving Object;Residence Time

TP315

A

2095－509X(2013)09－0068－05

10.3969/j.issn.2095－509X.2013.09.017

2013－06－14

楊波(1974—)，男，廣西柳州人，廣西柳工機械股份有限公司主任工程師，主要從事IT大型應(yīng)用系統(tǒng)集成、運維管理、系統(tǒng)架構(gòu)分析方面的工作。