摘? 要：如今信息技術(shù)高速發(fā)展，信息數(shù)據(jù)呈爆炸式增長(zhǎng)，傳統(tǒng)的單點(diǎn)數(shù)據(jù)庫(kù)架構(gòu)已無(wú)法滿足業(yè)務(wù)需要，數(shù)據(jù)庫(kù)集群技術(shù)應(yīng)運(yùn)而生。集群模型設(shè)計(jì)的重難點(diǎn)在于系統(tǒng)的負(fù)載均衡、數(shù)據(jù)一致性和可靠性?！敖K學(xué)習(xí)在線”網(wǎng)站建設(shè)根據(jù)實(shí)際需求及數(shù)據(jù)量測(cè)算采用了一種高可用的數(shù)據(jù)庫(kù)集群模型。

關(guān)鍵詞：集群;負(fù)載均衡;可靠性;一致性

中圖分類號(hào)：TP311.13? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）20-0100-03

Abstract：In the era of rapid development of information technology and explosive growth of data，traditional database management system has been unable to meet business needs，and database cluster technology emerged as the times require. The key and difficult points of cluster model design are load balancing，data consistency and reliability. According to the actual demand and data measurement，a highly available database cluster model is adopted in the construction of “Jiangsu Learning Online Website”.

Keywords：cluster;load balancing;reliability;consistency

0? 引? 言

隨著各地政府對(duì)社區(qū)教育工作的投入加大，對(duì)社區(qū)教育的關(guān)注度越來(lái)越高，省級(jí)社區(qū)教育數(shù)字化學(xué)習(xí)平臺(tái)的建設(shè)和各級(jí)社區(qū)教育在線學(xué)習(xí)平臺(tái)互聯(lián)互通互動(dòng)也成為一項(xiàng)重要工作。

在建設(shè)省級(jí)社區(qū)教育在線學(xué)習(xí)平臺(tái)的過(guò)程中，作為終身教育綜合服務(wù)平臺(tái)，要考慮到將省域內(nèi)基礎(chǔ)數(shù)據(jù)不同的異構(gòu)網(wǎng)站系統(tǒng)進(jìn)行整合，構(gòu)建一個(gè)具有統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)中心，實(shí)現(xiàn)高效的數(shù)據(jù)交換和共享，為全省居民服務(wù)。以“江蘇學(xué)習(xí)在線”網(wǎng)站第三次改版建設(shè)為例，在線學(xué)習(xí)平臺(tái)既要實(shí)現(xiàn)省級(jí)門(mén)戶網(wǎng)站的功能，又要對(duì)接全省同類網(wǎng)站數(shù)據(jù)，為了節(jié)約硬件資源，便于數(shù)據(jù)的集中存儲(chǔ)和管理，從提升用戶體驗(yàn)和系統(tǒng)性能出發(fā)，基于數(shù)據(jù)的高可用性、安全性和完整性方面考慮，一個(gè)高效的數(shù)據(jù)庫(kù)集群方案顯得尤為重要。

在信息技術(shù)高速發(fā)展的時(shí)代，數(shù)據(jù)爆炸式增長(zhǎng)，數(shù)據(jù)存儲(chǔ)作為中型網(wǎng)站的核心任務(wù)之一，單點(diǎn)數(shù)據(jù)庫(kù)或單點(diǎn)服務(wù)器的運(yùn)行壓力越來(lái)越大，在中后期難以正常運(yùn)行，一旦數(shù)據(jù)庫(kù)出現(xiàn)故障，不僅系統(tǒng)服務(wù)無(wú)法運(yùn)行，而且海量數(shù)據(jù)丟失的風(fēng)險(xiǎn)加大，后果嚴(yán)重，于是數(shù)據(jù)庫(kù)集群技術(shù)應(yīng)運(yùn)而生。數(shù)據(jù)庫(kù)集群的具體優(yōu)勢(shì)在于：使系統(tǒng)性能顯著提升、安全性提高、使用靈活性、系統(tǒng)可用性增強(qiáng)和維護(hù)更加便捷。

1? 數(shù)據(jù)庫(kù)集群的工作原理和關(guān)鍵技術(shù)

1.1? 工作原理

數(shù)據(jù)庫(kù)集群是將數(shù)據(jù)庫(kù)系統(tǒng)部署在若干個(gè)工作節(jié)點(diǎn)上，其數(shù)據(jù)是共享存儲(chǔ)的，每個(gè)節(jié)點(diǎn)對(duì)數(shù)據(jù)都有相同的訪問(wèn)權(quán)利，若其中某個(gè)單點(diǎn)數(shù)據(jù)庫(kù)壓力過(guò)大或發(fā)生故障，其他服務(wù)器將正常提供服務(wù)，集群控制系統(tǒng)會(huì)自動(dòng)將服務(wù)切換至正常節(jié)點(diǎn)，以保障整個(gè)系統(tǒng)持續(xù)正常運(yùn)轉(zhuǎn)。

1.2? 關(guān)鍵技術(shù)

1.2.1? 負(fù)載均衡技術(shù)

負(fù)載均衡是目前主要的一種計(jì)算機(jī)網(wǎng)絡(luò)的部署方法，它的任務(wù)是把各種壓力負(fù)載均衡分配到多個(gè)計(jì)算資源上，這樣使得壓力分散到各個(gè)節(jié)點(diǎn)上，提高了資源利用率，提升了資源吞吐量，減少了系統(tǒng)響應(yīng)時(shí)間，避免負(fù)載過(guò)大造成系統(tǒng)崩潰等現(xiàn)象。負(fù)載均衡主要有以下幾類：重定向負(fù)載均衡、域名解析負(fù)載均衡、反向代理負(fù)載均衡、網(wǎng)絡(luò)層負(fù)載均衡、數(shù)據(jù)鏈路層負(fù)載均衡。

1.2.2? 數(shù)據(jù)同步性技術(shù)

數(shù)據(jù)庫(kù)集群的架構(gòu)分類很多，比較常用的是共享存儲(chǔ)結(jié)構(gòu)和無(wú)共享存儲(chǔ)結(jié)構(gòu)。共享存儲(chǔ)結(jié)構(gòu)是把共享存儲(chǔ)器劃分為多個(gè)模塊，模塊分布于各個(gè)節(jié)點(diǎn)，數(shù)據(jù)庫(kù)分散至各個(gè)節(jié)點(diǎn)，始終讀寫(xiě)使用一份數(shù)據(jù)，使用成本較高，提升了數(shù)據(jù)的同步性，是目前較受歡迎的一種架構(gòu)方式;使用無(wú)共享存儲(chǔ)結(jié)構(gòu)雖然也能保證數(shù)據(jù)的同步性，但會(huì)存在數(shù)據(jù)讀寫(xiě)頻率過(guò)高的問(wèn)題，導(dǎo)致系統(tǒng)性能降低，但使用成本相對(duì)較低，在適合的業(yè)務(wù)系統(tǒng)中可以使用。

1.2.3? 數(shù)據(jù)可靠性技術(shù)

數(shù)據(jù)庫(kù)集群是整個(gè)系統(tǒng)部署高效運(yùn)行的重要保證，集群能夠有效地提升系統(tǒng)訪問(wèn)性能，如果集群中某個(gè)服務(wù)或節(jié)點(diǎn)出現(xiàn)故障，集群系統(tǒng)將及時(shí)地把出現(xiàn)故障的節(jié)點(diǎn)準(zhǔn)確高效地切換至其他正常節(jié)點(diǎn)，保證系統(tǒng)的正常運(yùn)行，這就要依靠集群系統(tǒng)的數(shù)據(jù)可靠性技術(shù)。

2? MySQL數(shù)據(jù)庫(kù)集群設(shè)計(jì)

2.1? 系統(tǒng)總體架構(gòu)

本文中數(shù)據(jù)庫(kù)集群系統(tǒng)將以“江蘇學(xué)習(xí)在線”網(wǎng)站建設(shè)為例，網(wǎng)站基于MySQL數(shù)據(jù)庫(kù)技術(shù)構(gòu)建的高可用數(shù)據(jù)庫(kù)集群，根據(jù)過(guò)去兩版網(wǎng)站的應(yīng)用情況和新版網(wǎng)站的實(shí)際需求，數(shù)據(jù)庫(kù)服務(wù)更多針對(duì)的是密集讀請(qǐng)求，比如用戶學(xué)習(xí)數(shù)據(jù)的查詢讀取功能。本例中集群系統(tǒng)在部署負(fù)載均衡節(jié)點(diǎn)時(shí)，忽略各單點(diǎn)數(shù)據(jù)庫(kù)的分布和異構(gòu)，設(shè)計(jì)一個(gè)類似的中間件平臺(tái)，向各個(gè)應(yīng)用提供相同的數(shù)據(jù)接口，同時(shí)集群系統(tǒng)隨時(shí)監(jiān)聽(tīng)集群內(nèi)各節(jié)點(diǎn)的運(yùn)行狀況，并且具有無(wú)限擴(kuò)展功能。該集群系統(tǒng)下的各個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)是相對(duì)獨(dú)立部署的，雖然有主從之分，但各節(jié)點(diǎn)數(shù)據(jù)可互為副本，保證數(shù)據(jù)的安全性和冗余性，使系統(tǒng)的性能和可靠性大大提高。

在本例實(shí)踐中，負(fù)載均衡將部署在主節(jié)點(diǎn)上，把來(lái)自各方的壓力進(jìn)行均衡分配，其他各節(jié)點(diǎn)都部署MySQL數(shù)據(jù)庫(kù)。各節(jié)點(diǎn)的數(shù)據(jù)相互之間是平等的，部署一個(gè)節(jié)點(diǎn)為主庫(kù)，其他部署為從庫(kù)，這樣的關(guān)系就需要考慮數(shù)據(jù)庫(kù)的讀寫(xiě)分離部署，數(shù)據(jù)的更新操作在主庫(kù)完成，讀寫(xiě)操作由從庫(kù)負(fù)責(zé)，大大降低了網(wǎng)絡(luò)通信壓力，提高系統(tǒng)訪問(wèn)性能。根據(jù)網(wǎng)站系統(tǒng)的設(shè)計(jì)和部署，集群系統(tǒng)可分為以下幾個(gè)模塊：應(yīng)用服務(wù)請(qǐng)求模塊、負(fù)載均衡模塊、節(jié)點(diǎn)處理模塊、數(shù)據(jù)一致性模塊。

2.2? 應(yīng)用服務(wù)請(qǐng)求模塊

該模塊模擬用戶對(duì)數(shù)據(jù)庫(kù)的讀寫(xiě)操作請(qǐng)求，對(duì)于應(yīng)用端來(lái)說(shuō)，服務(wù)端的內(nèi)容是明確且固定的，應(yīng)用服務(wù)將SQL語(yǔ)句通過(guò)socket請(qǐng)求發(fā)送給服務(wù)器端上負(fù)載均衡模塊，再由負(fù)載均衡模塊把任務(wù)請(qǐng)求分配到集群內(nèi)的各個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)。各模塊和各節(jié)點(diǎn)之間都是通過(guò)網(wǎng)絡(luò)通信服務(wù)來(lái)實(shí)現(xiàn)的，一般采用應(yīng)用服務(wù)接口通信。

整個(gè)過(guò)程即是用戶端向負(fù)載均衡模塊發(fā)送查詢請(qǐng)求，并把查詢結(jié)果返回給服務(wù)端，同時(shí)把返回內(nèi)容設(shè)計(jì)成標(biāo)準(zhǔn)格式，返回時(shí)不再經(jīng)過(guò)中間節(jié)點(diǎn)，減少網(wǎng)絡(luò)通信壓力。

發(fā)送請(qǐng)求模塊：首先采用指數(shù)補(bǔ)償?shù)乃惴ㄟM(jìn)行連接，如果嘗試連接失敗，系統(tǒng)進(jìn)程提示暫停嘗試，暫停結(jié)束再嘗試連接，每嘗試一次將增加一次延時(shí)，延時(shí)時(shí)間根據(jù)系統(tǒng)具體情況設(shè)定。接著使用MySQL的connect（）函數(shù)連接負(fù)載均衡模塊，并使用send（）函數(shù)向數(shù)據(jù)庫(kù)節(jié)點(diǎn)發(fā)送對(duì)應(yīng)的查詢請(qǐng)求。

接收返回模塊：首先系統(tǒng)使用MySQL的內(nèi)置函數(shù)獲得相關(guān)主機(jī)信息，再通過(guò)相關(guān)函數(shù)取得主機(jī)地址的結(jié)構(gòu)列表，進(jìn)行網(wǎng)絡(luò)監(jiān)聽(tīng)服務(wù)的初始化。當(dāng)網(wǎng)絡(luò)監(jiān)聽(tīng)服務(wù)初始化完成，即可接收到來(lái)自節(jié)點(diǎn)的查詢返回結(jié)果。

2.3? 負(fù)載均衡模塊

負(fù)載均衡模塊的作用是均衡分配來(lái)自用戶端的壓力和請(qǐng)求，先接受用戶應(yīng)用端發(fā)送的請(qǐng)求并進(jìn)行計(jì)算，按照負(fù)載均衡策略和負(fù)載均衡算法將該請(qǐng)求發(fā)送至集群內(nèi)各對(duì)應(yīng)的數(shù)據(jù)庫(kù)節(jié)點(diǎn);同時(shí)對(duì)各節(jié)點(diǎn)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，并及時(shí)處理或修復(fù)節(jié)點(diǎn)故障，將請(qǐng)求切換至正常運(yùn)行節(jié)點(diǎn);在增加了新節(jié)點(diǎn)后，智能分配新加入節(jié)點(diǎn)的負(fù)載。

負(fù)載均衡模塊是整個(gè)數(shù)據(jù)庫(kù)集群系統(tǒng)正常運(yùn)行的核心，因?yàn)樾枰?jì)算和處理負(fù)載均衡算法，具有承上啟下和任務(wù)分配的作用，對(duì)機(jī)器性能的要求也非常高。

2.4? 節(jié)點(diǎn)處理模塊

節(jié)點(diǎn)處理模塊是直接操作與數(shù)據(jù)庫(kù)之間的任務(wù)，作為服務(wù)端的節(jié)點(diǎn)處理模塊與負(fù)載均衡模塊通信時(shí)，負(fù)責(zé)接收并提取處理負(fù)載均衡模塊轉(zhuǎn)發(fā)的請(qǐng)求，從socket的數(shù)據(jù)包里釋放出SQL語(yǔ)句和請(qǐng)求端IP地址，然后連接數(shù)據(jù)庫(kù)，同時(shí)執(zhí)行SQL語(yǔ)句，最后將SQL語(yǔ)句執(zhí)行的結(jié)果發(fā)送給目的請(qǐng)求端。由于這個(gè)處理過(guò)程要隨時(shí)打開(kāi)和關(guān)閉數(shù)據(jù)庫(kù)的連接，并且系統(tǒng)有不斷的請(qǐng)求處理過(guò)程，就需要頻繁地開(kāi)關(guān)數(shù)據(jù)庫(kù)連接，不僅增加系統(tǒng)壓力，而且對(duì)系統(tǒng)資源也會(huì)造成極大的浪費(fèi)，所以需要利用系統(tǒng)進(jìn)程池的技術(shù)，保持與數(shù)據(jù)庫(kù)通信連接。在本系統(tǒng)部署的案例中先調(diào)用系統(tǒng)函數(shù)initserver（）來(lái)初始化監(jiān)聽(tīng)，通過(guò)accept（）函數(shù)接收請(qǐng)求，然后使用info_handle（）函數(shù)來(lái)處理請(qǐng)求，調(diào)用MySQL的API程序接口，執(zhí)行數(shù)據(jù)查詢。

2.5? 數(shù)據(jù)一致性模塊

數(shù)據(jù)一致性模塊就是在整個(gè)系統(tǒng)集群中承擔(dān)主數(shù)據(jù)庫(kù)角色的節(jié)點(diǎn)，該集群中設(shè)置分配主/從數(shù)據(jù)庫(kù)節(jié)點(diǎn)，形成一主多從的數(shù)據(jù)庫(kù)架構(gòu)。主數(shù)據(jù)庫(kù)節(jié)點(diǎn)主要是接收數(shù)據(jù)更新請(qǐng)求并執(zhí)行語(yǔ)句，通過(guò)數(shù)據(jù)一致性模塊將更新后的數(shù)據(jù)同步到從數(shù)據(jù)庫(kù)節(jié)點(diǎn)，保證數(shù)據(jù)的一致性。

根據(jù)系統(tǒng)的規(guī)模、用途和需求的不同，MySQL數(shù)據(jù)庫(kù)也需要使用相應(yīng)的版本，不同的版本在某些用法和語(yǔ)句上略有差別，所以建議主從數(shù)據(jù)庫(kù)的MySQL版本一致，或者從庫(kù)的版本高些。

以“江蘇學(xué)習(xí)在線”網(wǎng)站的數(shù)據(jù)庫(kù)配置為例，數(shù)據(jù)庫(kù)安裝過(guò)程省略，配置步驟如下：

（1）登錄主數(shù)據(jù)庫(kù)服務(wù)器，創(chuàng)建從數(shù)據(jù)庫(kù)用戶。

MySQL>grant replication slave，reload，super on *.* to slave@192.168.5.60 identified by 'slave';? ? ?#對(duì)應(yīng)從數(shù)據(jù)庫(kù)的ip和名稱

（2）修改主數(shù)據(jù)的MySQL配置文件my.ini或my.cnf。

server-id=10 ? ?#設(shè)置主數(shù)據(jù)庫(kù)的server-id號(hào)，各庫(kù)需區(qū)別

log-bin=MySQL-binlog? ? #設(shè)置MySQL的日志，最好放在其他硬盤(pán)上，保證數(shù)據(jù)完整性

expire_logs_day=30? ? ?#設(shè)置MySQL運(yùn)行日志保存日期，根據(jù)具體需求設(shè)置

max_binlog_size=2048M? #設(shè)置MySQL日志文件大小，根據(jù)需求設(shè)定

（3）重啟主數(shù)據(jù)庫(kù)的MySQL服務(wù)，使設(shè)置生效。

#service MySQL restart

（4）查看主數(shù)據(jù)庫(kù)狀態(tài)，獲取相關(guān)的數(shù)據(jù)庫(kù)信息，以便從庫(kù)連接時(shí)使用。

MySQL> show master status：

| File? ? ? ?| Position? |? Binlog_Do_DB | Binlog_Ignore_DB|

| MySQL-bin.000036? |? ?183? ?|? ? ? ?|? ? ? |

| row in set（0.00sec）

（5）登錄從數(shù)據(jù)庫(kù)主機(jī)，修改從庫(kù)的配置文件my.ini或my.cnf。

server-id=60? ? ? ?#根據(jù)從庫(kù)的數(shù)量依次配置，設(shè)置不同的ID號(hào)

slave-skip-errors=all? ? #由于多方面原因?qū)е履承┱Z(yǔ)句在主庫(kù)正常運(yùn)行，從庫(kù)無(wú)法運(yùn)行，因此在配置文件my.cnf里加一句slave-skip-errors=all來(lái)忽略所有的SQL語(yǔ)句錯(cuò)誤

relay-log=MySQL-relay-bin? #配置該文件的作用是存放從庫(kù)線程從主庫(kù)端讀取的文件信息

關(guān)閉從庫(kù)的binlog，因?yàn)樵谥鲙?kù)已經(jīng)使用了binlog進(jìn)行增量備份，從庫(kù)就不需要了，減少系統(tǒng)消耗。

（6）重啟MySQL數(shù)據(jù)庫(kù)服務(wù)后，在從庫(kù)服務(wù)器登錄MySQL，并對(duì)從庫(kù)服務(wù)器進(jìn)行授權(quán)（可以先通過(guò)MySQL的MySQLdump命令將主數(shù)據(jù)庫(kù)備份后恢復(fù)到從數(shù)據(jù)庫(kù)，保證數(shù)據(jù)一致）。

MySQL>? change master to master_host= '192.168.5.128'，master_user='123'，master_password= '123'，master_log_file='MySQL-bin.000036'，master_pos=238;

（7）啟動(dòng)從數(shù)據(jù)庫(kù)，進(jìn)行數(shù)據(jù)同步。

MySQL>? start slave;

（8）檢查主從數(shù)據(jù)同步狀態(tài)。

MySQL〉 show slave status;

Slave_IO_Running：Yes

Slave_SQL_Running：Yes

如果看到Slave_IO_Running和Slave_SQL_Running的值均為Yes，則主從數(shù)據(jù)同步正常。

（9）通過(guò)Heartbeat搭建雙機(jī)熱備環(huán)境，Heartbeat有兩種模式，默認(rèn)只支持兩個(gè)節(jié)點(diǎn)，在本系統(tǒng)集群的部署中采用cib模式，則需要修改以下配置文件：

1）把所有從庫(kù)節(jié)點(diǎn)都加入到配置文件ha.cf中，并在ha.cf最后加上：”crm 1”。

2）然后按以下步驟使用cib.xml文件。

/usr/local/lib64/heartbeat/haresources2cib.py把/usr/local/etc/ha.d/haresources轉(zhuǎn)換為/usr/local/var/lib/ heartbeat/crm/cib.xml

3）最后清空haresources文件。

這樣一個(gè)主從MySQL數(shù)據(jù)庫(kù)集群系統(tǒng)就搭建完畢。

3? 結(jié)? 論

在“江蘇學(xué)習(xí)在線”網(wǎng)站第三次改版建設(shè)中，設(shè)計(jì)MySql數(shù)據(jù)庫(kù)集群方案，采用一主三從的分布式數(shù)據(jù)庫(kù)結(jié)構(gòu)，增強(qiáng)了橫向擴(kuò)展性，實(shí)現(xiàn)了數(shù)據(jù)的高吞吐量和低延遲性，提升了數(shù)據(jù)的高可用性，提高了網(wǎng)站訪問(wèn)的效率。

參考文獻(xiàn)：

[1] 黃旭.分布式MySQL數(shù)據(jù)庫(kù)集群在線監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) [D].哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

[2] 陳君芳.高可用集群系統(tǒng)在播出數(shù)據(jù)庫(kù)中的實(shí)現(xiàn) [J].視聽(tīng)界（廣播電視技術(shù)），2013（6）：18-20.

[3] 龐遼軍，王力，李慧賢.基于集群技術(shù)的Linux虛擬服務(wù)器 [J].計(jì)算機(jī)工程與應(yīng)用，2003，39（14）：161-163.

[4] 謝怡，燕彩蓉，彭勤科，等.數(shù)據(jù)庫(kù)集群服務(wù)器的設(shè)計(jì)和管理 [J].微電子學(xué)與計(jì)算機(jī)，2003，20（1）：1-4.

作者簡(jiǎn)介：王權(quán)（1982-），男，漢族，江蘇金壇人，工程師，學(xué)士學(xué)位，研究方向：教育信息化。