摘要：商務智能通過分析大量數(shù)據(jù)與信息產生對企業(yè)管理決策

有用的知識，對于企業(yè)有著重要意義。但是數(shù)據(jù)與信息的不斷集中與膨脹對計算機的存儲和處理能力提出了挑戰(zhàn)，因此內存計算和列存儲技術逐漸興起并在實際中得到應用。本文簡單介紹內存計算和列存儲的概念，并結合商務智能分析這兩種技術所帶來的影響以及使用中需要注意的問題。

關鍵詞：內存計算 列存儲 商務智能

1 內存計算概述

在2011年SAP“全球技術研發(fā)者大會”上，“內存計算”這一名詞突然出現(xiàn)在我們的視野中，引起了廣泛的關注。SAP高調的推廣與宣傳，使很多人誤以為內存計算是由其提出的。其實不然，內存計算的概念很早就被提出，并且一直有人在研究。除了SAP的內存技術外，相關產品還有sqllite、Altibase、eXtremeDB等。

所謂內存計算，就是使用內存數(shù)據(jù)庫將大量的數(shù)據(jù)直接裝載到內存中，并進行計算。內存計算技術大大減少了從硬盤讀寫數(shù)據(jù)的時間，從而使計算速度更快。內存計算技術融合了硬件與軟件技術創(chuàng)新。硬件創(chuàng)新包括具有多核架構和以TB計的內存容量的刀片服務器，可實現(xiàn)大規(guī)模并行擴展。軟件創(chuàng)新包括內存數(shù)據(jù)庫，它采用了為最大限度發(fā)揮內存計算技術的潛力而專門設計的行、列存儲，并行處理在數(shù)據(jù)庫層進行，而不是我們所熟知的客戶端-服務器架構中的應用程序層。使用內存計算，在理想狀態(tài)下可以使數(shù)據(jù)處理速度提高1000倍以上。例如，農夫山泉一個銷售表就有上億條記錄，原本系統(tǒng)計算一次運費就要一天的時間，但使用了內存計算技術后，可以做到數(shù)據(jù)的實時觀測。內存計算對于內存的開銷比傳統(tǒng)方式大得多，但是隨著內存價格的不斷下降，使該技術的廣泛應用成為可能。

使用內存計算需要注意以下問題：①可靠性。由于內存數(shù)據(jù)庫所有的數(shù)據(jù)都放在內存中，所以各種原因所引起的服務器宕機造成的損失要遠遠超過傳統(tǒng)的數(shù)據(jù)庫。為了防止數(shù)據(jù)的丟失，在系統(tǒng)運行時要做好日志記錄，在每次數(shù)據(jù)提交時，將日志更新到硬盤，以便出現(xiàn)數(shù)據(jù)丟失時能及時恢復。同時保證電源的持續(xù)供應和做好散熱工作。②臨時內存的清理。在內存計算會產生大量的臨時內存，這些緩存信息對內存的占用不僅浪費存儲空間還嚴重影響系統(tǒng)的運行速度。因此，及時清理臨時內存非常重要。③信息安全。大多數(shù)病毒針對內存展開攻擊，為了保證信息的安全，就需要有完善的數(shù)據(jù)訪問控制機制和加密機制作為保證。

我們說內存計算解決了從硬盤讀寫數(shù)據(jù)的瓶頸，更好體現(xiàn)多核CPU的強大處理能力。

2 列存儲概述

數(shù)據(jù)的存儲方式主要有行存儲和列存儲兩種，其中行存儲是指屬性在物理上是按行記錄順序存儲；而列存儲則是按列的順序連續(xù)存儲，如圖1所示。

列存儲的實現(xiàn)方式主要有三種：①使用行存儲模擬，保留存儲管理器和執(zhí)行引擎。②修改存儲管理器，但為了和并列，保留面向行查詢執(zhí)行器部分。③修改存儲管理器和查詢執(zhí)行引擎。

兩種存儲方式各有優(yōu)點，如果對數(shù)據(jù)庫經常進行整條記錄的查詢，那么行存儲的方式是很好的選擇，因為該記錄的所有信息都在一起；相反，如果查找的是表中某個屬性值或對某列屬性進行計算，采用列存儲效率更高，不必讀到不相關的屬性。

因此列存儲方式有兩大顯著優(yōu)點：①提高查詢屬性列值的吞吐量，減少I/O操作。表數(shù)據(jù)基于列存儲，能夠快速地定位到需要的數(shù)據(jù)列，同時不會讀取無關的列數(shù)據(jù)，減少無效磁盤讀寫操作。當表有較多的數(shù)據(jù)列時，效果提升更加明顯。②列存儲有利于數(shù)據(jù)壓縮。相對于行存儲，列存儲更加適合數(shù)據(jù)壓縮。因為數(shù)據(jù)列屬性有相同的數(shù)據(jù)類型，數(shù)據(jù)相似度較大；而行存儲，屬性是以記錄方式連續(xù)存儲的，一條記錄中各屬性具有不同的數(shù)據(jù)類型，因此，很難為不同的數(shù)據(jù)類型數(shù)據(jù)采用統(tǒng)一的壓縮算法。然而，列存儲不足之處主要表現(xiàn)在將列重構成行和插入、刪除數(shù)據(jù)效率比較低。所以列存儲適用于更新操作很少的環(huán)境中。

3 內存計算和列存儲在商務智能中的應用

商務智能（Business Intelligence，BI）是通過運用數(shù)據(jù)倉庫、聯(lián)機分析和數(shù)據(jù)挖掘技術處理和分析業(yè)務數(shù)據(jù)，解決商務活動中的復雜問題，輔助管理者決策，從而改善企業(yè)的經營、管理能力的系統(tǒng)。商務智能適用企業(yè)規(guī)模大、顧客規(guī)模大、產品線規(guī)模大、市場規(guī)模大、信息規(guī)模大的企業(yè)以及政府部門等。

商務智能主要包括數(shù)據(jù)預處理、建立數(shù)據(jù)倉庫、數(shù)據(jù)分析和展示結果四個環(huán)節(jié)。數(shù)據(jù)預處理階段負責將海量數(shù)據(jù)進行抽取、轉換后裝載到數(shù)據(jù)倉庫；數(shù)據(jù)倉庫是數(shù)據(jù)處理的基礎，其功能既包括傳統(tǒng)的聯(lián)機事務處理，也包括決策支持和聯(lián)機分析處理功能，實現(xiàn)了數(shù)據(jù)的提取、凈化、過濾和數(shù)據(jù)標準化；數(shù)據(jù)分析采用聯(lián)機分析處理和數(shù)據(jù)挖掘技術，對數(shù)據(jù)進行多維分析，挖掘其背后的知識，是商務智能的關鍵。

內存計算技術在商務智能中應用帶來的優(yōu)勢：

①幫助簡化IT布局并降低總擁有成本（Total Cost of Ownership，TCO）。②通過運營數(shù)據(jù)的實時分析與報告使用戶能夠更迅速地對業(yè)務活動做出響應。③分析、運營和績效管理等工作合并在一個系統(tǒng)中，使硬件資源更集中，同時可以減少數(shù)據(jù)冗余。

內存計算技術以較低的總成本將聯(lián)機事務處理與聯(lián)機分析處理融合在一起，以此實現(xiàn)實時計算。

基于內存計算的分析還有助于降低新架構和現(xiàn)有架構的總擁有成本。IT所能獲得的某些巨大成本優(yōu)勢包括：更低的硬件成本、更高的性能與業(yè)務靈活性、更快的部署、以增量方式實施的機會以及與現(xiàn)有架構的兼容性。內存計算技術提供了硬件的可擴展性和靈活性，以實現(xiàn)更高性能。動態(tài)匯總功能將IT員工從手動查詢調整和數(shù)據(jù)匯總任務中解脫出來。比較而言，在傳統(tǒng)的數(shù)據(jù)倉庫環(huán)境中，更高的性能和功能需求意味著需要獲得額外的硬件、軟件，并要執(zhí)行更多性能調優(yōu)任務。在高度異構的環(huán)境中，多個商務智能解決方案集需要各自獨立的生命周期管理，從而增加解決方案的維護負擔。

列存儲技術在商務智能中的應用：①列存儲方式適合壓縮數(shù)據(jù)，其數(shù)據(jù)壓縮率能達到10倍，對于擁有海量數(shù)據(jù)的商務智能系統(tǒng)來說能節(jié)省大量存儲空間。②在數(shù)據(jù)倉庫環(huán)境中，通常都是定期的裝載數(shù)據(jù)，然后在很長一段時間針對大量數(shù)據(jù)的聚合進行查詢操作，同時很少進行更新操作，因此，使用列存儲方式更有效率。

通過分析發(fā)現(xiàn)，內存計算和列存儲技術對于商務智能中提高數(shù)據(jù)處理速度和優(yōu)化存儲有著重要意義。

4 結束語

商務智能是信息時代商業(yè)與信息技術相結合的產物，它可以幫助企業(yè)更進一步挖掘業(yè)務數(shù)據(jù)的價值。但是，隨著現(xiàn)代商業(yè)節(jié)奏的不斷加快，企業(yè)在系統(tǒng)能夠支持決策和發(fā)現(xiàn)知識的基礎上，對數(shù)據(jù)的實時要求也越來越高。由此，為了解決該問題，內存計算和列存儲技術出現(xiàn)并不斷發(fā)展、完善，相信這將成為新的研究熱點。

參考文獻：

[1]彭青松.DWMS中列存儲的研究與實現(xiàn).上海：東華大學，2009.

[2]李超，張明博，邢春曉，胡勁松.列存儲數(shù)據(jù)庫關鍵技術綜述.北京：清華大學信息技術研究院，2010.

[3]奚曉音，何忠江，王丹.基于內存計算技術的電信行業(yè)數(shù)據(jù)倉庫系統(tǒng)構建探討.上海：中國電信股份有限公司上海研究院，2012.

[4]邱燕娜.內存計算改變商務智能.中國計算機報，2012.

[5]胡翠華，陳登科.商務智能在我國的發(fā)展現(xiàn)狀、問題及其對策.上海立信會計學院信息科學系；武漢大學信息管理學院上海；湖北武漢；上海卡方信息技術有限公司，2007.

[6]孫海俠.商務智能系統(tǒng)的構架及技術支持.青島：青島大學，2005.

作者簡介：

周春娜（1978-），女，山東棲霞人，濟南市委辦公廳工程師。主要從事網站信息發(fā)布及維護等電子技術相關專業(yè)工作。

王海川（1988-），男，山東淄博人，山東財經大學管理科學與工程專業(yè)研究生，研究方向：信息管理。