徐詠綺

（俐奧特（上海）商務(wù)咨詢有限公司，上海 200000）

計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)在快速發(fā)展的過程中，大數(shù)據(jù)技術(shù)和云計(jì)算技術(shù)隨之產(chǎn)生，尤其是在進(jìn)入到數(shù)據(jù)信息化時(shí)代以后，大數(shù)據(jù)技術(shù)在人們?nèi)粘Ｉa(chǎn)和生活中發(fā)揮出了重要的作用。隨著云計(jì)算技術(shù)的不斷成熟，各行各業(yè)對(duì)云計(jì)算技術(shù)的研究更加深入。在建設(shè)大型數(shù)據(jù)中心的過程中，使用的核心技術(shù)為云計(jì)算技術(shù)，實(shí)現(xiàn)了云計(jì)算技術(shù)的改革與創(chuàng)新，深度挖掘大數(shù)據(jù)技術(shù)的潛在價(jià)值，為人類社會(huì)進(jìn)步作出了突出的貢獻(xiàn)。

1.云計(jì)算技術(shù)

在互聯(lián)網(wǎng)平臺(tái)上新增加的交互模式為云計(jì)算技術(shù)，云計(jì)算技術(shù)的虛擬化資源以網(wǎng)絡(luò)動(dòng)態(tài)拓展為依托，網(wǎng)絡(luò)和互聯(lián)網(wǎng)被比喻為云。云服務(wù)被劃分多種類型，分別為混合云、私有云和公有云等，公有云主要是指公共網(wǎng)的整體和整個(gè)互聯(lián)網(wǎng)；私有云指的是私有的網(wǎng)絡(luò)信息環(huán)境，最為常見的有政府或者是企業(yè)的信息集；混合云將私有云和公有云集合在一起。在使用云計(jì)算技術(shù)以后，資源再利用和信息共享成為可能，IT結(jié)構(gòu)變得更加優(yōu)化，加快了職能決策技術(shù)、虛擬技術(shù)和資源整合技術(shù)的發(fā)展速度。云計(jì)算技術(shù)的核心為虛擬技術(shù)，在數(shù)據(jù)處理和數(shù)據(jù)挖掘的過程中發(fā)揮了重要的作用。

云計(jì)算的主要特征是“云”，具有大規(guī)模的特征。云計(jì)算支持用戶在任何位置使用各種終端獲取應(yīng)用服務(wù)，請(qǐng)求的資源來自“云”。多副本數(shù)據(jù)容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施保證服務(wù)，比使用本地計(jì)算機(jī)更可靠，它支持多個(gè)不同類型的應(yīng)用程序同時(shí)運(yùn)行，具有通用性的特點(diǎn)，并具有很高的可擴(kuò)展性，以滿足應(yīng)用程序的擴(kuò)展和用戶的增加。用戶按需購(gòu)買服務(wù)，節(jié)省了軟件和硬件的早期投資，用戶獲得低成本、高自動(dòng)化服務(wù)，節(jié)能環(huán)保，接受“云” 另一端最專業(yè)團(tuán)隊(duì)的管理、運(yùn)維服務(wù)。

2.大型數(shù)據(jù)中心和云計(jì)算間的關(guān)系

在建設(shè)大型數(shù)據(jù)中心時(shí)，其最終的目標(biāo)為以信息存儲(chǔ)系統(tǒng)和用戶需求為依托完成訪問任務(wù)，使應(yīng)用和切換變得更加自由，快速提升數(shù)據(jù)的使用效率和挖掘效率，這就是大型數(shù)據(jù)中心建設(shè)的核心內(nèi)容。云計(jì)算技術(shù)利用服務(wù)器和計(jì)算機(jī)完成海量數(shù)據(jù)信息的高效整合，使數(shù)據(jù)信息的計(jì)算效率發(fā)生根本性的改變。在建設(shè)大型數(shù)據(jù)中心的過程中，使用云計(jì)算技術(shù)以后功能變得更加強(qiáng)大，大型數(shù)據(jù)中心能夠像互聯(lián)網(wǎng)一樣完成信息資源的自由搜尋，使得大型數(shù)據(jù)中心建設(shè)過程中遇到的各類問題迎刃而解。將云計(jì)算技術(shù)融入大型數(shù)據(jù)中心建設(shè)中以后，大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)共享速度變得更快，安全級(jí)別也更高，同時(shí)也會(huì)使網(wǎng)絡(luò)資源的使用效率變得更加快速，對(duì)客戶端的要求隨之下降。

3.大型數(shù)據(jù)中心建設(shè)中使用云計(jì)算技術(shù)

3.1 虛擬計(jì)算與存儲(chǔ)模塊

虛擬計(jì)算模塊能夠使功能模塊高效地轉(zhuǎn)化成為虛擬網(wǎng)絡(luò)，充分發(fā)揮超級(jí)計(jì)算機(jī)、網(wǎng)絡(luò)、存儲(chǔ)和服務(wù)器的各項(xiàng)功能，使得物流設(shè)備資源的利用效率和整合速度變得更加強(qiáng)大。虛擬化服務(wù)器使用的主要軟件類型為VM ware軟件，UCS在硬件系統(tǒng)中運(yùn)行，將計(jì)算機(jī)的計(jì)算功能和存儲(chǔ)功能高效整合到虛擬平臺(tái)里，利用虛擬化的軟件平臺(tái)，真正實(shí)現(xiàn)不停機(jī)操作使系統(tǒng)運(yùn)行的實(shí)時(shí)性得到保證。使用UCS能夠?qū)⑷藶橐蛩氐挠绊懡档阶畹?，無狀態(tài)計(jì)算機(jī)技術(shù)能夠隨時(shí)遷移物理設(shè)備，使大型數(shù)據(jù)中心管理變得更加便捷，虛擬服務(wù)器的使用安全也得到了保證。

所謂虛擬存儲(chǔ)以云存儲(chǔ)的存儲(chǔ)方案為依據(jù)，使得數(shù)據(jù)信息資源的統(tǒng)一存儲(chǔ)變成可能，使用虛擬存儲(chǔ)技術(shù)以后，物理存儲(chǔ)的弊端被高效的解決，超大容量的存儲(chǔ)成為可能，如果條件允許，無限存儲(chǔ)也會(huì)存在。以網(wǎng)絡(luò)協(xié)議為依托，創(chuàng)建能夠被服務(wù)器調(diào)用的存儲(chǔ)網(wǎng)絡(luò)架構(gòu)，使數(shù)據(jù)信息的存儲(chǔ)功能得以實(shí)現(xiàn)。在虛擬存儲(chǔ)系統(tǒng)里，算法占據(jù)著核心位置，主流算法包含的具體形式有FIFO、LRU、LFU、OPT等，不同算法的優(yōu)勢(shì)和劣勢(shì)也存在著很大的差別，本文對(duì)LRU算法設(shè)計(jì)工作給予了重點(diǎn)的論述，以原有算法為基礎(chǔ)，優(yōu)化升級(jí)了數(shù)據(jù)存儲(chǔ)的效率和空間。對(duì)于傳統(tǒng)的LRU算法來說，其機(jī)理為距離節(jié)點(diǎn)比較近，長(zhǎng)時(shí)間頁(yè)面的先刪除被省略，在操作的過程中，初始化頁(yè)面以后，能夠?qū)崿F(xiàn)快速的存儲(chǔ)，假如出現(xiàn)了新的訪問需求， 能夠直接對(duì)棧頂進(jìn)行訪問，沒有被訪問的則會(huì)直接移動(dòng)到棧底。隨著訪問量的不斷增加，會(huì)有容量不足的情況發(fā)生，棧底信號(hào)會(huì)出現(xiàn)被刪除的情況。在LRU實(shí)現(xiàn)升級(jí)改造以后，高頻率訪問的頁(yè)面會(huì)被標(biāo)記成為熱點(diǎn)頁(yè)面，那些長(zhǎng)時(shí)間沒有人訪問的頁(yè)面則會(huì)成為冰點(diǎn)頁(yè)面，顯著提升了運(yùn)行的實(shí)效性。

3.2 虛擬網(wǎng)絡(luò)及安全服務(wù)

虛擬網(wǎng)絡(luò)能夠使分散的網(wǎng)絡(luò)架構(gòu)被重新的整合到一個(gè)全新的網(wǎng)絡(luò)架構(gòu)里，使信息的操作效率和信息的共享率得到明顯提高。從技術(shù)層面分析，使用虛擬網(wǎng)絡(luò)以后，網(wǎng)絡(luò)的運(yùn)行速度變得更加快捷，將大數(shù)據(jù)中心建設(shè)成本投入控制到最低，優(yōu)化升級(jí)原有網(wǎng)絡(luò)資源。虛擬技術(shù)包含的內(nèi)容比較多，最核心的內(nèi)容為虛擬傳輸、虛擬端口通道和虛擬設(shè)備系統(tǒng)等，這也是大型數(shù)據(jù)中心通信模塊的核心內(nèi)容[1]。在大型數(shù)據(jù)中心建設(shè)的過程中，使用云計(jì)算技術(shù)以后，其網(wǎng)絡(luò)架構(gòu)真正實(shí)現(xiàn)了不同程度的虛擬化。在對(duì)大型數(shù)據(jù)中心性能進(jìn)行衡量時(shí)，不再使用硬件這一標(biāo)準(zhǔn)進(jìn)行衡量，需要從多個(gè)方面著手。假如仍然使用以硬件為基礎(chǔ)的安全架構(gòu)模式，網(wǎng)絡(luò)安全漏洞就會(huì)隨之產(chǎn)生，給大型數(shù)據(jù)中心的安全性和運(yùn)行效率造成不同程度的影響。從應(yīng)用層面和服務(wù)器的角度分析，在互聯(lián)網(wǎng)中，虛擬安全與服務(wù)的安全功能和防御策略最先進(jìn)，利用虛擬技術(shù)使得大型數(shù)據(jù)中心變得更加安全、可靠。

4.大型數(shù)據(jù)中心中云計(jì)算技術(shù)的實(shí)現(xiàn)原理

4.1 云架構(gòu)建設(shè)

銀行信息服務(wù)需求對(duì)云架構(gòu)起到了強(qiáng)有力的推動(dòng)作用，使用冗余、并行等模式，使系統(tǒng)的可靠性和安全性得到快速提升。在使用彈性云以后，資源分配能夠?qū)?shù)據(jù)處理需求進(jìn)行實(shí)時(shí)的滿足，對(duì)系統(tǒng)負(fù)載動(dòng)態(tài)變化進(jìn)行了最大程度的適應(yīng)，使得IT基礎(chǔ)架構(gòu)的可擴(kuò)展性得以實(shí)現(xiàn)。云管理包含的內(nèi)容非常多，比如應(yīng)急處置、風(fēng)險(xiǎn)防控、資源分配以及運(yùn)行維護(hù)等，使得投入產(chǎn)出比變得更加合理、科學(xué)。

（1）云服務(wù)平臺(tái)。云架構(gòu)作為數(shù)據(jù)處理環(huán)境，其具有較強(qiáng)的基礎(chǔ)性和統(tǒng)一性。某中資商業(yè)銀行數(shù)據(jù)中心對(duì)行內(nèi)外業(yè)務(wù)數(shù)據(jù)資源進(jìn)行了高效的整合，積極開展企業(yè)級(jí)數(shù)據(jù)模型設(shè)計(jì)工作，使得平行可拓展的云服務(wù)平臺(tái)得以構(gòu)建。云服務(wù)平臺(tái)主要包含3個(gè)層次的內(nèi)容，分別為應(yīng)用服務(wù)層、平臺(tái)服務(wù)層和基礎(chǔ)設(shè)施服務(wù)層等?；A(chǔ)設(shè)施服務(wù)層將管理功能組件和硬件資源進(jìn)行了高效的集合，通過虛擬化技術(shù)對(duì)集群、存儲(chǔ)和網(wǎng)絡(luò)等資源進(jìn)行抽象，使得內(nèi)部資源管理自動(dòng)化得以真正的實(shí)現(xiàn)。平臺(tái)服務(wù)層處于應(yīng)用服務(wù)層和基礎(chǔ)設(shè)施服務(wù)層的中間，具有可復(fù)用性和通用性的軟件資源全部集中于此，使云應(yīng)用的開發(fā)、運(yùn)行、管理和監(jiān)控等平臺(tái)環(huán)境得以保證。應(yīng)用服務(wù)層處于平臺(tái)服務(wù)層和基礎(chǔ)設(shè)施服務(wù)層的上面，對(duì)云架構(gòu)中的應(yīng)用軟件進(jìn)行了高效的集合，利用網(wǎng)絡(luò)資源對(duì)用戶提出的所有應(yīng)用服務(wù)需求進(jìn)行滿足。云服務(wù)平臺(tái)對(duì)Hadoop平臺(tái)、海量并行計(jì)算、開放式PC Server集群等技術(shù)進(jìn)行了充分的利用，使基礎(chǔ)環(huán)境變得更加高效、穩(wěn)定，使得IT基礎(chǔ)架構(gòu)變得更加靈活、易于拓展和低成本投入[2]。云服務(wù)平臺(tái)的基礎(chǔ)為數(shù)據(jù)架構(gòu)，將數(shù)據(jù)整合和數(shù)據(jù)覆蓋進(jìn)行全包含。從數(shù)據(jù)覆蓋的角度分析，將某中資商業(yè)銀行所有的應(yīng)用系統(tǒng)和行外數(shù)據(jù)信息進(jìn)行了全部覆蓋，使得數(shù)據(jù)的集中存放成為可能。從數(shù)據(jù)整合的角度分析，在高效的整合內(nèi)外各類數(shù)據(jù)以后，使得設(shè)計(jì)數(shù)據(jù)模型描述的內(nèi)容變得更加清晰，為后續(xù)的數(shù)據(jù)信息管理、使用和存儲(chǔ)提供便利。

（2）核心技術(shù)。云服務(wù)平臺(tái)在構(gòu)建基礎(chǔ)環(huán)境時(shí)，使用的主要技術(shù)類型為大規(guī)模分布式存儲(chǔ)、海量數(shù)據(jù)處理、并行部署和虛擬化等，使得基礎(chǔ)環(huán)境便于管理，顯著提升了其擴(kuò)展性和可靠性。

1）虛擬化。云計(jì)算技術(shù)的核心特點(diǎn)為虛擬化，實(shí)現(xiàn)對(duì)物理資源的高效整合與劃分。某中資商業(yè)銀行數(shù)據(jù)中心抽取的數(shù)據(jù)作用量能夠達(dá)到8萬(wàn)多個(gè)，作業(yè)間的關(guān)系非常復(fù)雜。云服務(wù)平臺(tái)在使用虛擬化技術(shù)以后，對(duì)物理資源實(shí)現(xiàn)了高效的整合和靈活的調(diào)配，使作業(yè)監(jiān)控和調(diào)度得到不斷地增強(qiáng)，數(shù)據(jù)并發(fā)處理效率發(fā)生了明顯的提升，使得云服務(wù)平臺(tái)的運(yùn)行變得更加平穩(wěn)和安全。

2）并行部署。隨著物理資源的不斷吃緊，并行部署技術(shù)也顯得格外的重要。云服務(wù)平臺(tái)在使用并行部署技術(shù)以后，對(duì)以往使用的串行部署方式進(jìn)行了有效的改變，使其改變成為并行部署方式，完成對(duì)多個(gè)部署任務(wù)的執(zhí)行，在多個(gè)物理機(jī)上完成虛擬機(jī)的有效部署，將部署所需時(shí)間降到最低，顯著提升部署過程的速度[3]。

3）海量數(shù)據(jù)處理。在處理海量數(shù)據(jù)信息時(shí)，使用由眾多PC服務(wù)器構(gòu)成的集群來高效的處理海量數(shù)據(jù)信息，這也是整個(gè)行業(yè)中普遍存在的問題。某中，資商業(yè)銀行在使用Map Reduce編程模型和Hadoop集群以后，并行處理大量的數(shù)據(jù)信息資源，Task Tracker和Job Tracker共同構(gòu)成了Map Reduce編程模型，一個(gè)任務(wù)被分解成為多個(gè)能夠單獨(dú)執(zhí)行的任務(wù)，以各個(gè)計(jì)算節(jié)點(diǎn)的處理能力為核心，在多個(gè)服務(wù)器集群上并行處理分配的各項(xiàng)任務(wù)，將整個(gè)任務(wù)的完成時(shí)間縮減到最短。

4）大規(guī)模分布式存儲(chǔ)技術(shù)。云服務(wù)平臺(tái)在存儲(chǔ)數(shù)據(jù)信息資源時(shí)，使用的服務(wù)器數(shù)量比較多，將Hadoop分布式文件系統(tǒng)（HDFS）部署在底層，實(shí)現(xiàn)了統(tǒng)一管理和抽象表示。分布式文件系統(tǒng)在通用硬件上運(yùn)行以后，在HDFS易拓展性和高容錯(cuò)率的影響下，能夠在上千個(gè)服務(wù)器集群上發(fā)揮出積極的促進(jìn)作用，數(shù)據(jù)信息資源的高速輸入輸出得以真正的實(shí)現(xiàn)。

4.2 云服務(wù)平臺(tái)運(yùn)維管理

某中資商業(yè)銀行數(shù)據(jù)中心從實(shí)際需求的角度出發(fā)，在保證系統(tǒng)穩(wěn)定運(yùn)行的情況下，增強(qiáng)動(dòng)態(tài)資源優(yōu)化管理、創(chuàng)建集中監(jiān)控系統(tǒng)和集中運(yùn)維管理平臺(tái)以后，使基礎(chǔ)架構(gòu)的精細(xì)化、自動(dòng)化管理水平得到顯著的提升，并使整個(gè)系統(tǒng)的風(fēng)險(xiǎn)費(fèi)防范能力和實(shí)時(shí)報(bào)警功能變得更加強(qiáng)大。

（1）高效管理。創(chuàng)建集中運(yùn)維管理平臺(tái)以后，各類資源的自動(dòng)備份和配置部署得以真正的實(shí)現(xiàn)，在與數(shù)據(jù)中心管理程序協(xié)同運(yùn)轉(zhuǎn)時(shí)，集群內(nèi)部管理模塊發(fā)揮出了積極的促進(jìn)作用，集群的資源調(diào)整、節(jié)點(diǎn)啟停和實(shí)時(shí)遷移得以高效的實(shí)現(xiàn)。集中運(yùn)維管理平臺(tái)使用增量備份與全量備份、虛擬集群外部備份與內(nèi)部備份等相結(jié)合的方式，高效的處理了Hadoop分布式文件系統(tǒng)（HDFS）數(shù)據(jù)備份時(shí)遇到的各類復(fù)雜問題，將備份時(shí)間縮減到最短，節(jié)省了大量的存儲(chǔ)空間，從而使運(yùn)維管理的效率發(fā)生了明顯的提升[4]。

（2）集中監(jiān)控。積極創(chuàng)建高效的集中監(jiān)控系統(tǒng)，對(duì)開發(fā)的接口規(guī)范進(jìn)行不斷地明確，使網(wǎng)絡(luò)、應(yīng)用和系統(tǒng)等集成得以實(shí)現(xiàn)，對(duì)代碼質(zhì)量和系統(tǒng)運(yùn)行結(jié)構(gòu)進(jìn)行優(yōu)化升級(jí)，使得集中監(jiān)控系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性得到快速的提升。使用功能全面、自動(dòng)高效的監(jiān)控工具，集中監(jiān)控全行各類數(shù)據(jù)信息資源，并對(duì)作業(yè)流程和運(yùn)行狀態(tài)進(jìn)行高效的管理。

（3）動(dòng)態(tài)優(yōu)化。做好云平臺(tái)資源全生命周期管理工作，科學(xué)分析和整合各類數(shù)據(jù)資源，使其與實(shí)際的需求保持高度的統(tǒng)一。以業(yè)務(wù)需求和服務(wù)級(jí)別目標(biāo)為依托，做好資源優(yōu)化配置工作，顯著提升云服務(wù)平臺(tái)的綜合實(shí)力。對(duì)今后云計(jì)算技術(shù)的發(fā)展方向進(jìn)行預(yù)測(cè)和分析，做好數(shù)據(jù)資源的動(dòng)態(tài)調(diào)整工作，在確保系統(tǒng)有序運(yùn)行的背景下，對(duì)客戶的體驗(yàn)感進(jìn)行不斷提升，使得各類資源的集中、統(tǒng)一管理得以真正的實(shí)現(xiàn)。

5.云計(jì)算應(yīng)用的思考

云計(jì)算強(qiáng)大的計(jì)算能力解決了很多問題，能夠真正存儲(chǔ)和處理海量數(shù)據(jù)資源。但是，實(shí)際上，如何在計(jì)算分布式環(huán)境中設(shè)計(jì)正確的大規(guī)模數(shù)據(jù)模擬器仍然是一個(gè)很大的問題。合理地平衡使用資源是必要的，并且具有高效率，安全性和數(shù)據(jù)庫(kù)可靠性。當(dāng)人們想要充分利用 云計(jì)算技術(shù)來幫助解決一些其他傳統(tǒng)IT方法無法解決的問題時(shí)，還需要考慮產(chǎn)品和服務(wù)的兩個(gè)出發(fā)點(diǎn)，深入思考產(chǎn)品設(shè)計(jì)和不同地區(qū)的差異，想想自己的服務(wù)可能的優(yōu)勢(shì)和劣勢(shì)，以及如何通過自己的創(chuàng)新，各種層次的產(chǎn)品和服務(wù)來構(gòu)建不同的規(guī)模。如今，云計(jì)算的安全性已被研究和討論。安全性不僅是一個(gè)單獨(dú)的概念，而且還需要在平臺(tái)運(yùn)行時(shí)得到補(bǔ)充和解決。對(duì)于 “云計(jì)算” 來說，安全性和可靠性是平臺(tái)正常運(yùn)行的基礎(chǔ)，這需要大量的實(shí)際研究和工作來證明。當(dāng)前，要進(jìn)一步深化對(duì)網(wǎng)絡(luò)虛擬化的探索和研究，學(xué)習(xí)和運(yùn)用網(wǎng)絡(luò)虛擬化的相關(guān)技術(shù)，正確地將網(wǎng)絡(luò)虛擬化應(yīng)用于云計(jì)算服務(wù)，正確認(rèn)識(shí)云計(jì)算網(wǎng)絡(luò)虛擬化的各種特點(diǎn)和優(yōu)勢(shì)。

6.結(jié)語(yǔ)

在建設(shè)大型數(shù)據(jù)中心的過程中，云計(jì)算技術(shù)發(fā)揮著至關(guān)重要的作用，使得硬件資源的使用效率發(fā)生明顯的改變，同時(shí)將成本投入控制到最低，顯著提升運(yùn)行效能。在使用云計(jì)算技術(shù)以后，大型數(shù)據(jù)中心的所有性能都發(fā)生了明顯的改變，數(shù)據(jù)共享、更新、備份等功能也隨之發(fā)生了明顯的變化，促使大型數(shù)據(jù)中心架構(gòu)朝著更加便捷、高效的方向發(fā)展。