柳美 李夏光 李曉陽(yáng)

（國(guó)能數(shù)智科技開(kāi)發(fā)（北京）有限公司 北京市 100001）

1 背景

為了智能報(bào)表能夠更好、更穩(wěn)定地運(yùn)行，集團(tuán)決定對(duì)智能報(bào)表存儲(chǔ)方面做出提升，使得報(bào)表系統(tǒng)能夠更好地支持集團(tuán)的報(bào)表工作。存儲(chǔ)設(shè)備往往連接多個(gè)系統(tǒng)，因此，必須保護(hù)每個(gè)系統(tǒng)的數(shù)據(jù)，防止其他系統(tǒng)未經(jīng)權(quán)限而訪問(wèn)數(shù)據(jù)，或著破壞數(shù)據(jù)。防止集團(tuán)數(shù)據(jù)內(nèi)部和外部數(shù)據(jù)的安全性問(wèn)題，也是集團(tuán)數(shù)據(jù)存儲(chǔ)的重中之重。

2 智能報(bào)表存儲(chǔ)優(yōu)化

2.1 數(shù)據(jù)庫(kù)慢

智能報(bào)表最常用的兩種功能是數(shù)據(jù)填寫(xiě)和數(shù)據(jù)查詢(xún)，無(wú)論是關(guān)系型數(shù)據(jù)庫(kù)還是NoSql，任何存儲(chǔ)系統(tǒng)決定于其添加、查詢(xún)性能的主要有三種：查詢(xún)時(shí)間復(fù)雜度、數(shù)據(jù)大小、高負(fù)載。

2.1.1 查詢(xún)復(fù)雜度

數(shù)據(jù)查詢(xún)受時(shí)間復(fù)雜度和空間復(fù)雜度影響。

（1）時(shí)間復(fù)雜度。在計(jì)算機(jī)科學(xué)中，算法的時(shí)間復(fù)雜度是一個(gè)函數(shù)，它定量描述了該算法的運(yùn)行時(shí)間。一個(gè)算法執(zhí)行所耗費(fèi)的時(shí)間理論上來(lái)說(shuō)是算不出來(lái)的，因?yàn)樗粌H僅與編寫(xiě)的算法有關(guān)，還與運(yùn)行這個(gè)算法的機(jī)器有關(guān)系，計(jì)算機(jī)很好，那么所耗費(fèi)的時(shí)間就可能會(huì)更少，因此，一個(gè)算法耗費(fèi)的時(shí)間是需要放在機(jī)器上實(shí)際測(cè)驗(yàn)才能知道的。一個(gè)算法所花費(fèi)的時(shí)間與其中語(yǔ)句的執(zhí)行次數(shù)成正比例，算法中的基本操作的執(zhí)行次數(shù)，為算法的時(shí)間復(fù)雜度。簡(jiǎn)單來(lái)說(shuō)，時(shí)間復(fù)雜度就是一個(gè)程序運(yùn)行所消耗的時(shí)間，叫做時(shí)間復(fù)雜度。

（2）空間復(fù)雜度。對(duì)一個(gè)算法在運(yùn)行過(guò)程中臨時(shí)占用存儲(chǔ)空間大小的量度?？臻g復(fù)雜度不是程序占用了多少bytes 的空間，因?yàn)檫@個(gè)也沒(méi)太大意義，空間復(fù)雜度算的是變量的個(gè)數(shù)。空間復(fù)雜度計(jì)算規(guī)則基本跟實(shí)踐復(fù)雜度類(lèi)似。簡(jiǎn)單來(lái)說(shuō)，空間復(fù)雜度就是程序運(yùn)行所需要的時(shí)間。

2.1.2 數(shù)據(jù)存儲(chǔ)量

智能報(bào)表為多個(gè)系統(tǒng)提供技術(shù)服務(wù)支持，因此數(shù)據(jù)存儲(chǔ)量比較龐大，選用適合的數(shù)據(jù)庫(kù)也是至關(guān)重要的，數(shù)據(jù)庫(kù)通常分為層次式數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)式數(shù)據(jù)庫(kù)和關(guān)系式數(shù)據(jù)庫(kù)三種。而不同的數(shù)據(jù)庫(kù)是按不同的數(shù)據(jù)結(jié)構(gòu)來(lái)聯(lián)系和組織的。而在當(dāng)今的互聯(lián)網(wǎng)中，最常見(jiàn)的數(shù)據(jù)庫(kù)模型主要分為兩種，即關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。

（1）關(guān)系新數(shù)據(jù)庫(kù)。關(guān)系型數(shù)據(jù)庫(kù)模型是把復(fù)雜的數(shù)據(jù)結(jié)構(gòu)歸結(jié)為簡(jiǎn)單的二元關(guān)系（即二維表格形式），表之間的聯(lián)系通過(guò)不同表中的公共字段來(lái)體現(xiàn)。即一個(gè)關(guān)系型數(shù)據(jù)庫(kù)是由二維表及其之間的關(guān)系組成的一個(gè)數(shù)據(jù)組織。在關(guān)系型數(shù)據(jù)庫(kù)中，對(duì)數(shù)據(jù)的操作幾乎全部建立在一個(gè)或多個(gè)關(guān)系表格上，通過(guò)對(duì)這些關(guān)聯(lián)的表格分類(lèi)、合并、連接或選取等運(yùn)算來(lái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)的管理。

①關(guān)系型數(shù)據(jù)庫(kù)的特性。

1.系型數(shù)據(jù)庫(kù)，是指采用了關(guān)系模型來(lái)組織數(shù)據(jù)的數(shù)據(jù)庫(kù)；

2.關(guān)系型數(shù)據(jù)庫(kù)的最大特點(diǎn)就是事務(wù)的一致性；

3.簡(jiǎn)單來(lái)說(shuō)，關(guān)系模型指的就是二維表格模型，而一個(gè)關(guān)系型數(shù)據(jù)庫(kù)就是由二維表及其之間的聯(lián)系所組成的一個(gè)數(shù)據(jù)組織。

②關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)。

1.容易理解：二維表結(jié)構(gòu)是非常貼近邏輯世界一個(gè)概念，關(guān)系模型相對(duì)網(wǎng)狀、層次等其他模型來(lái)說(shuō)更容易理解；

2.使用方便：通用的SQL 語(yǔ)言使得操作關(guān)系型數(shù)據(jù)庫(kù)非常方便；

3.易于維護(hù)：豐富的完整性(實(shí)體完整性、參照完整性和用戶(hù)定義的完整性)大大減低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率；

4.支持SQL，可用于復(fù)雜的查詢(xún)。

③關(guān)系型數(shù)據(jù)庫(kù)的缺點(diǎn)。

1.為了維護(hù)一致性所付出的巨大代價(jià)就是其讀寫(xiě)性能比較差；

2.固定的表結(jié)構(gòu)；

3.高并發(fā)讀寫(xiě)需求；

4.海量數(shù)據(jù)的高效率讀寫(xiě)；

（2）非關(guān)系新數(shù)據(jù)庫(kù)。非關(guān)系型數(shù)據(jù)庫(kù)，也稱(chēng)NoSQL 數(shù)據(jù)庫(kù)，采用不同于關(guān)系數(shù)據(jù)“行列”組織的數(shù)據(jù)模型，可以混合支持多種數(shù)據(jù)類(lèi)型。對(duì)比關(guān)系型數(shù)據(jù)庫(kù)，NoSQL 數(shù)據(jù)庫(kù)采用更簡(jiǎn)單的設(shè)計(jì)方式，更靈活的數(shù)據(jù)模型，在設(shè)計(jì)上有著更好的擴(kuò)展能力，這使得NoSQL 數(shù)據(jù)庫(kù)能更有效地應(yīng)對(duì)數(shù)據(jù)負(fù)載超過(guò)單個(gè)服務(wù)器承載能力的應(yīng)用場(chǎng)景。

NoSQL 數(shù)據(jù)庫(kù)的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類(lèi)帶來(lái)的挑戰(zhàn)，特別是大數(shù)據(jù)應(yīng)用難題。

①非關(guān)系型數(shù)據(jù)庫(kù)的特性。

1.使用鍵值對(duì)存儲(chǔ)數(shù)據(jù)；

2.分布式；

3.一般不支持ACID 特性；

4.非關(guān)系型數(shù)據(jù)庫(kù)嚴(yán)格上不是一種數(shù)據(jù)庫(kù)，應(yīng)該是一種數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)方法的集合。

②非關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)。

1.無(wú)需經(jīng)過(guò)sql 層的解析，讀寫(xiě)性能很高；

2.基于鍵值對(duì)，數(shù)據(jù)沒(méi)有耦合性，容易擴(kuò)展；

3.存儲(chǔ)數(shù)據(jù)的格式：nosql 的存儲(chǔ)格式是key,value形式、文檔形式、圖片形式等等，文檔形式、圖片形式等等，而關(guān)系型數(shù)據(jù)庫(kù)則只支持基礎(chǔ)類(lèi)型。

③非關(guān)系型數(shù)據(jù)庫(kù)的缺點(diǎn)。

1.不提供sql 支持，學(xué)習(xí)和使用成本較高；

2.無(wú)事務(wù)處理，附加功能bi 和報(bào)表等支持也不好；

無(wú)論是哪種存儲(chǔ)，數(shù)據(jù)量越少，自然查詢(xún)性能就越高，隨著數(shù)據(jù)量增多，資源的消耗、磁盤(pán)讀寫(xiě)繁忙）、耗時(shí)也會(huì)越來(lái)越高。

原有的智能報(bào)表數(shù)據(jù)是存儲(chǔ)于NoSql 數(shù)據(jù)庫(kù)的?，F(xiàn)對(duì)數(shù)據(jù)存儲(chǔ)做優(yōu)化，對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行數(shù)據(jù)歸檔，將數(shù)據(jù)遷移到關(guān)系型數(shù)據(jù)庫(kù)，通過(guò)數(shù)據(jù)庫(kù)作業(yè)把非熱點(diǎn)數(shù)據(jù)遷移到歷史表，新增業(yè)務(wù)入口路由到對(duì)應(yīng)的歷史表（庫(kù)）。從關(guān)系型數(shù)據(jù)庫(kù)角度出發(fā)，索引結(jié)構(gòu)基本固定是B+Tree，時(shí)間復(fù)雜度是O(log n)，存儲(chǔ)結(jié)構(gòu)是行式存儲(chǔ)。因此可對(duì)關(guān)系數(shù)據(jù)庫(kù)優(yōu)化。關(guān)系型數(shù)據(jù)庫(kù)是按照結(jié)構(gòu)化的方法存儲(chǔ)數(shù)據(jù)，每個(gè)數(shù)據(jù)表都必須先定義好表的結(jié)構(gòu)，再根據(jù)表的結(jié)構(gòu)存入數(shù)據(jù)，這樣整個(gè)數(shù)據(jù)表的可靠性和穩(wěn)定性都比較高。

（3）歷史數(shù)據(jù)遷移。歷史數(shù)據(jù)遷移就是采用什么方法第數(shù)據(jù)進(jìn)行遷移，數(shù)據(jù)遷移主要策略有先錄后遷，單個(gè)遷移，批量遷移。根據(jù)不同報(bào)表類(lèi)型，在不同頁(yè)面下配置報(bào)表數(shù)據(jù)結(jié)構(gòu)。存儲(chǔ)至關(guān)系型數(shù)據(jù)庫(kù)的報(bào)表的范圍可以配置，主要指通過(guò)配置可以控制哪些報(bào)表可以往關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)。可以通過(guò)報(bào)表模板單獨(dú)配置報(bào)表，也可以通過(guò)配置文件批量全部配置報(bào)表。同一份數(shù)據(jù)存儲(chǔ)在兩個(gè)數(shù)據(jù)庫(kù)中。這樣一份兩存對(duì)數(shù)據(jù)的存儲(chǔ)也有一定的保障作用。

先錄后遷；報(bào)表數(shù)據(jù)先錄入到NoSql 數(shù)據(jù)庫(kù)，再通過(guò)需要將數(shù)據(jù)遷移至關(guān)系型數(shù)據(jù)庫(kù)。先錄后遷只要針對(duì)的是新舊數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)在特定差異的差異的情況，

單個(gè)遷移：根據(jù)需要將需要遷移的報(bào)表數(shù)據(jù)進(jìn)行一張報(bào)表的數(shù)據(jù)遷移，單表遷移的優(yōu)點(diǎn)在于遷移實(shí)施的過(guò)程段，相對(duì)批量遷移，遷移涉及的問(wèn)題少，相對(duì)風(fēng)險(xiǎn)比較低，其缺點(diǎn)就是故宮工作強(qiáng)度比較大，如果遷移的數(shù)據(jù)量較大，工作人員會(huì)很疲勞。

批量遷移：根據(jù)需要將需要遷移的報(bào)表數(shù)據(jù)進(jìn)行多張報(bào)表的數(shù)據(jù)遷移，批量遷移可以將任務(wù)分開(kāi)，有效地解決了數(shù)據(jù)量大和宕機(jī)時(shí)間段之間的矛盾，但是批量遷移會(huì)增加出錯(cuò)的概率，

因此，在進(jìn)行報(bào)表遷移時(shí)選擇適合的遷移方法即可。

2.1.3 高負(fù)載

高負(fù)載造成原因有高并發(fā)請(qǐng)求、復(fù)雜查詢(xún)等，導(dǎo)致CPU、磁盤(pán)繁忙等，而服務(wù)器資源不足則會(huì)導(dǎo)致慢查詢(xún)等問(wèn)題。該類(lèi)型問(wèn)題會(huì)選擇集群、數(shù)據(jù)冗余的方式分擔(dān)壓力。

2.2 數(shù)據(jù)存儲(chǔ)優(yōu)化的層面

自頂向下的一共有四層，分別是硬件、存儲(chǔ)系統(tǒng)、存儲(chǔ)結(jié)構(gòu)、具體實(shí)現(xiàn)。

層與層之間是緊密聯(lián)系的，每一層的上層是該層的載體；因此越往頂層越能決定性能的上限，同時(shí)優(yōu)化的成本也相對(duì)會(huì)比較高，性?xún)r(jià)比也隨之越低。

以最底層的具體實(shí)現(xiàn)為例，索引的優(yōu)化的成本應(yīng)該是最小的，可以說(shuō)加了索引后無(wú)論是CPU 消耗還是響應(yīng)時(shí)間都是立竿見(jiàn)影降低。一個(gè)簡(jiǎn)單的語(yǔ)句，無(wú)論如何優(yōu)化加索引也是有局限的，當(dāng)在具體實(shí)現(xiàn)這層沒(méi)有任何優(yōu)化空間的時(shí)候就得往上一層【存儲(chǔ)結(jié)構(gòu)】，【存儲(chǔ)結(jié)構(gòu)】是否從物理表設(shè)計(jì)的層面出發(fā)優(yōu)化（如分庫(kù)分表、壓縮數(shù)據(jù)量等），如果是文檔型數(shù)據(jù)庫(kù)得思考下文檔聚合的結(jié)果。

如果在存儲(chǔ)結(jié)構(gòu)這層優(yōu)化得沒(méi)效果，得繼續(xù)往再上一次進(jìn)行考慮，是不是關(guān)系型數(shù)據(jù)庫(kù)不適合用在現(xiàn)在的業(yè)務(wù)場(chǎng)景？如果要換存儲(chǔ)，那么得換一個(gè)適用于業(yè)務(wù)的NoSQL。最后則考慮優(yōu)化硬件，而優(yōu)化硬件成本是最高的，因此，優(yōu)化著先考慮優(yōu)化sql 索引、存儲(chǔ)結(jié)構(gòu)、存儲(chǔ)系統(tǒng)。

2.3 數(shù)據(jù)存儲(chǔ)的安全性

2.3.1 加密

在智能報(bào)表數(shù)據(jù)存儲(chǔ)項(xiàng)目中，加密是保證數(shù)據(jù)安全和系統(tǒng)安全的一種有效手段。數(shù)據(jù)加密技術(shù)可分為數(shù)據(jù)傳輸加密技術(shù)、數(shù)據(jù)存儲(chǔ)加密技術(shù)。

數(shù)據(jù)傳輸加密技術(shù)的目的是對(duì)傳輸中的數(shù)據(jù)流加密，通常有線(xiàn)路加密與端—端加密兩種。線(xiàn)路加密側(cè)重在線(xiàn)路上而不考慮信源與信宿，是對(duì)保密信息通過(guò)各線(xiàn)路采用不同的加密密鑰提供安全保護(hù)。端—端加密指信息由發(fā)送端自動(dòng)加密，并且由TCP/IP 進(jìn)行數(shù)據(jù)包封裝，然后作為不可閱讀和不可識(shí)別的數(shù)據(jù)穿過(guò)互聯(lián)網(wǎng)，當(dāng)這些信息到達(dá)目的地，將被自動(dòng)重組、解密，而成為可讀的數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)加密技術(shù)的目的是防止在存儲(chǔ)環(huán)節(jié)上的數(shù)據(jù)失密，數(shù)據(jù)存儲(chǔ)加密技術(shù)可分為密文存儲(chǔ)和存取控制兩種。前者一般是通過(guò)加密算法轉(zhuǎn)換、附加密碼、加密模塊等方法實(shí)現(xiàn)；后者則是對(duì)用戶(hù)資格、權(quán)限加以審查和限制，防止非法用戶(hù)存取數(shù)據(jù)或合法用戶(hù)越權(quán)存取數(shù)據(jù)。

2.3.2 授權(quán)

智能報(bào)表為多個(gè)系統(tǒng)提供服務(wù)，權(quán)限對(duì)數(shù)存儲(chǔ)有著至關(guān)重要的作用，是所有安全防范和保護(hù)的主要策略之一，授權(quán)可以從登錄控制和權(quán)限控制兩個(gè)層面進(jìn)行保護(hù)，主體依據(jù)是某些控制策略或權(quán)限對(duì)客體或其資源進(jìn)行的不同授權(quán)訪問(wèn)，限制對(duì)關(guān)鍵資源的訪問(wèn)，防止非法用戶(hù)進(jìn)入系統(tǒng)及合法用戶(hù)對(duì)資源的非法使用。

登錄訪問(wèn)控制。登錄訪問(wèn)控制為網(wǎng)絡(luò)訪問(wèn)提供了第一層訪問(wèn)控制它主要控制哪些用戶(hù)能夠登錄到網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)并獲取存儲(chǔ)資源。

訪問(wèn)權(quán)限控制。將能夠訪問(wèn)網(wǎng)絡(luò)的合法用戶(hù)劃分為不同的用戶(hù)組，每個(gè)用戶(hù)組被賦予一定的權(quán)限。用戶(hù)對(duì)存儲(chǔ)資源的訪問(wèn)權(quán)限可以用訪問(wèn)控制表來(lái)描述。它的主要特征是可以保證系統(tǒng)的所有資源不被未經(jīng)授權(quán)的實(shí)體任意非法使用和非法訪問(wèn)。基于這一特征，訪問(wèn)控制決定了哪些實(shí)體能夠訪問(wèn)進(jìn)入系統(tǒng)，能訪問(wèn)使用系統(tǒng)的哪資源信息以及如何使用這些數(shù)據(jù)。合理適當(dāng)?shù)脑L問(wèn)控制能夠有效阻止未經(jīng)允許的實(shí)體有意或無(wú)意地獲取使用數(shù)據(jù)資源信息。訪問(wèn)控制的方法通常包括用戶(hù)識(shí)別代碼、口令、登錄控制、資源授權(quán)、授權(quán)核查、日志和審計(jì)信息。訪問(wèn)控制是維護(hù)安全，保護(hù)系統(tǒng)資源的主要手段之一，也是防止黑客攻擊的關(guān)鍵手段之一。

2.3.3 完整性

數(shù)據(jù)完整性是指數(shù)據(jù)沒(méi)有受到非授權(quán)方式所做的篡改，同時(shí)也沒(méi)有出現(xiàn)未經(jīng)授權(quán)的使用情況，如果充許“向上寫(xiě)、向下讀”，那么高安全等級(jí)的數(shù)據(jù)就有可能被低安全等級(jí)的用戶(hù)、進(jìn)程等主體篡改，數(shù)據(jù)完整性將沒(méi)有任何安全保障可言。

2.3.4 數(shù)據(jù)安全

數(shù)據(jù)安全主要包括白名單防護(hù)系統(tǒng)訪問(wèn)安全、通過(guò)用戶(hù)登錄防護(hù)填報(bào)數(shù)據(jù)訪問(wèn)安全、通過(guò)日志記錄訪問(wèn)信息、使用域名。

（1）白名單防護(hù)系統(tǒng)訪問(wèn)安全：允許訪問(wèn)填報(bào)工具的第三方系統(tǒng)的域名及IP 記錄在填報(bào)工具白名單中，填報(bào)頁(yè)面被訪問(wèn)時(shí)做白名單檢查。

（2）用戶(hù)登錄防護(hù)填報(bào)數(shù)據(jù)訪問(wèn)安全：在第三方系統(tǒng)訪問(wèn)填報(bào)工具時(shí)，先調(diào)用登錄，使得當(dāng)前用戶(hù)自動(dòng)登錄填報(bào)工具；當(dāng)前登錄用戶(hù)的權(quán)限等信息將自動(dòng)加載到填報(bào)工具內(nèi)存；用戶(hù)在填報(bào)工具保存、修改數(shù)據(jù)時(shí)，操作信息均記錄在填報(bào)工具日志中，詳見(jiàn)《填報(bào)工具日志設(shè)計(jì)》。

（3）日志記錄訪問(wèn)信息：將每次訪問(wèn)填報(bào)工具的第三方系統(tǒng)IP、用戶(hù)電腦IP、用戶(hù)工號(hào)、組織機(jī)構(gòu)、期間等信息記錄在填報(bào)工具日志中。

（4）使用域名：通過(guò)域名填報(bào)工具，不能直接通過(guò)IP 地址訪問(wèn)。

2.4 數(shù)據(jù)存儲(chǔ)的準(zhǔn)確性

2.4.1 數(shù)據(jù)采集

通常數(shù)據(jù)處理之前會(huì)有數(shù)據(jù)采集的過(guò)程，數(shù)據(jù)采集會(huì)涉及到多數(shù)據(jù)來(lái)源，每種數(shù)據(jù)來(lái)源由于格式等不一致，需要特殊處理。針對(duì)不通的數(shù)據(jù)源，需要做到每個(gè)數(shù)據(jù)源獲取數(shù)據(jù)能夠獨(dú)立；采集過(guò)程需要監(jiān)控，傳輸之前如有條件，可以做到本地有備份數(shù)據(jù)，便于異常查找時(shí)進(jìn)行數(shù)據(jù)比對(duì)。

2.4.2 數(shù)據(jù)傳輸（實(shí)時(shí)/批量）

數(shù)據(jù)傳輸部分在整個(gè)系統(tǒng)中是相當(dāng)重要的。數(shù)據(jù)傳輸是數(shù)據(jù)從一個(gè)地方傳送到另一個(gè)地方的通信過(guò)程。數(shù)據(jù)傳輸系統(tǒng)通常由傳輸信道和信道兩端的數(shù)據(jù)電路終端設(shè)備（DCE）組成。傳輸信道可以是一條專(zhuān)用的通信信道，也可以由數(shù)據(jù)交換網(wǎng)、電話(huà)交換網(wǎng)或其他類(lèi)型的交換網(wǎng)路來(lái)提供。

數(shù)據(jù)源本地已經(jīng)做到有備份的情況下，對(duì)于傳輸異常的時(shí)候，需要支持重試，存儲(chǔ)端需要支持去重。

2.4.3 數(shù)據(jù)建模/存儲(chǔ)

數(shù)據(jù)存儲(chǔ)可以針對(duì)結(jié)果集合進(jìn)行冗余分類(lèi)存儲(chǔ)，便于數(shù)據(jù)進(jìn)行比對(duì)，針對(duì)存儲(chǔ)需要進(jìn)行副本備份，同時(shí)數(shù)據(jù)可以考慮按生效記錄進(jìn)行疊加存儲(chǔ)，支持回溯歷史的存儲(chǔ)結(jié)構(gòu)進(jìn)行存儲(chǔ)。

2.4.4 數(shù)據(jù)計(jì)算/分析/挖掘

數(shù)據(jù)進(jìn)行計(jì)算，分析的時(shí)候需要進(jìn)行步驟分解，便于準(zhǔn)確性的分析和統(tǒng)計(jì)

（1）計(jì)算之前，支持測(cè)算，同時(shí)支持?jǐn)?shù)據(jù)進(jìn)行分批計(jì)算，需要能導(dǎo)出本批次清單基礎(chǔ)數(shù)據(jù)（例如人員或者id），便于數(shù)據(jù)核對(duì)。

（2）計(jì)算之中，支持快速少量指定的典型數(shù)據(jù)測(cè)算，支持選擇，是否存儲(chǔ)參與計(jì)算過(guò)程的全部的中間變量。

（3）計(jì)算之后，可以選擇，支持導(dǎo)出本次計(jì)算過(guò)程中的所有參與變量和中間變量參數(shù)，可以線(xiàn)下根據(jù)數(shù)據(jù)列表對(duì)應(yīng)的參數(shù)，進(jìn)行計(jì)算，從而進(jìn)行數(shù)據(jù)準(zhǔn)確性的核對(duì)。

計(jì)算過(guò)程中，支持針對(duì)有問(wèn)題的數(shù)據(jù)ID 進(jìn)行染色，染色后的數(shù)據(jù)，所有的中間過(guò)程變量全部進(jìn)行打印輸出。

3 結(jié)論

總而言之，智能報(bào)表數(shù)據(jù)存儲(chǔ)優(yōu)化是多個(gè)方面的，卓先考慮的就是適合業(yè)務(wù)需求的存儲(chǔ)系統(tǒng)，智能報(bào)表最適合的存儲(chǔ)系統(tǒng)則是mongodb，因?yàn)閙ongodb 的最大特點(diǎn)就是格式自由，易于存儲(chǔ)數(shù)據(jù)，然而報(bào)表數(shù)據(jù)的內(nèi)容是多樣化的，在對(duì)智能報(bào)表數(shù)據(jù)存儲(chǔ)優(yōu)化，就是將mongo 數(shù)據(jù)格式轉(zhuǎn)化為mysql 格式的數(shù)據(jù)存儲(chǔ)，mysql存儲(chǔ)性能高于mongo 的存儲(chǔ)性能。數(shù)據(jù)存儲(chǔ)的安全性和準(zhǔn)確性也是數(shù)據(jù)存儲(chǔ)優(yōu)化必不可少的，不準(zhǔn)確、不安全的數(shù)據(jù)存儲(chǔ)會(huì)使得工作出現(xiàn)和恩多不必要的麻煩。為了智能報(bào)表長(zhǎng)期、穩(wěn)定地運(yùn)行，數(shù)據(jù)存儲(chǔ)優(yōu)化萬(wàn)萬(wàn)不能小視。