曹輝標(biāo)

摘 要：文章從公司實際情況出發(fā)，以現(xiàn)有運營系統(tǒng)及運營保障機制為例，介紹了如何進(jìn)行穩(wěn)定可靠運營系統(tǒng)的日常運行保障，同時通過對運營維護(hù)中關(guān)鍵技術(shù)的描述，闡述了在未來一段時間內(nèi)運營維護(hù)工作的發(fā)展方向。

關(guān)鍵詞：運營系統(tǒng)；運維；穩(wěn)定；可靠

引言

隨著公司業(yè)務(wù)的發(fā)展壯大，企業(yè)的日常運營維護(hù)工作已經(jīng)越來越被重視，運營系統(tǒng)的可靠穩(wěn)定關(guān)系著客戶使用滿意的高低。因此，打造一個穩(wěn)定、可靠的運營系統(tǒng)是所有運營企業(yè)的核心工作，由此孕育而生的關(guān)鍵技術(shù)也越來越多，也更好的為運營系統(tǒng)的維護(hù)提供了技術(shù)保障。

1 定義

運營維護(hù)簡稱運維，一般是指對企業(yè)已經(jīng)建立好的網(wǎng)絡(luò)系統(tǒng)軟硬件的維護(hù)以及對信息系統(tǒng)的維護(hù)。例如，電腦硬件、軟件維修，電話問題處理等基礎(chǔ)維護(hù)工作。同時也包含了對外的運營系統(tǒng)的維護(hù)，要保證運營系統(tǒng)是在正常運作的，通過各種手段，有人工的也有自動的，進(jìn)行監(jiān)控，出現(xiàn)問題及時處理解決等等。

2 運營維護(hù)

運營系統(tǒng)的穩(wěn)定可靠是運營維護(hù)的重點工作，要對公司內(nèi)部、外部使用的所有自運營系統(tǒng)的正常運作進(jìn)行保證，保證服務(wù)器能夠正常運行，保證系統(tǒng)資源足夠使用，在必要時進(jìn)行硬件升級，保證出問題時能夠第一時間分析解決問題，主要可以從以下幾個方面采取保證措施。

2.1 巡檢保障

運營系統(tǒng)由兩大部分組成，一部分是運行環(huán)境，包括網(wǎng)絡(luò)、硬件等資源，一部分是系統(tǒng)程序，包括各種應(yīng)用程序以及網(wǎng)站等。要保證系統(tǒng)的穩(wěn)定，就必須保證運行環(huán)境和系統(tǒng)程序是穩(wěn)定正常的，為此可以通過日常巡檢來進(jìn)行檢查保證。

每天至少對運行環(huán)境進(jìn)行兩次巡檢，包括應(yīng)用程序開啟、系統(tǒng)資源、系統(tǒng)事件日志、系統(tǒng)監(jiān)控情況等等，確保運行環(huán)境是正常的。

只有環(huán)境的正常也是不夠的，還必須保證程序開啟后能夠正常提供工作，因此需要安排人員通過一些自動化程序驗證以及人工的巡檢驗證來保證應(yīng)用程序能正常提供業(yè)務(wù)功能。

2.2 監(jiān)控保障

為了保證系統(tǒng)的穩(wěn)定可靠，如果僅僅是通過人為的巡檢保障是不夠的，還需要配置完備的運營監(jiān)控機制，進(jìn)行主動監(jiān)控以及主動報警。

一般的監(jiān)控系統(tǒng)能做到的是進(jìn)行郵件和短信報警，但是如果在夜間出現(xiàn)問題，就很容易被忽略，因此需要一套能提供電話報警的監(jiān)控系統(tǒng)，同時對于運營系統(tǒng)的各種參數(shù)需要定期進(jìn)行分析，也需要一套對各種運營參數(shù)能提供詳細(xì)報表的監(jiān)控系統(tǒng)。

監(jiān)控系統(tǒng)一：

一套自主開發(fā)的監(jiān)控系統(tǒng)，主要是對系統(tǒng)資源的使用情況以及應(yīng)用程序啟用情況進(jìn)行監(jiān)控。

運營系統(tǒng)每臺服務(wù)器安裝客戶端，同時安裝一臺服務(wù)器端，客戶端將報警信息提交到服務(wù)器端，服務(wù)器端連接到報警終端，報警終端連接公司語音網(wǎng)關(guān)系統(tǒng)和短信平臺，一旦報警終端收到報警信息，將向系統(tǒng)負(fù)責(zé)人員發(fā)送一條報警信息，告知某某系統(tǒng)出現(xiàn)問題，同時向報警手機撥打報警電話，語音提示系統(tǒng)負(fù)責(zé)人查看報警信息。雙管齊下進(jìn)行報警提醒，避免只有短信晚間容易讓負(fù)責(zé)人遺漏報警信息的問題。

監(jiān)控系統(tǒng)二：

一套比較成熟的監(jiān)控軟件，對系統(tǒng)、網(wǎng)絡(luò)、資源以及整體的可用性進(jìn)行比較全面的監(jiān)控，并產(chǎn)生詳細(xì)的日志，這套系統(tǒng)主要是通過日志用來對系統(tǒng)的可用性進(jìn)行分析，并為系統(tǒng)是否需要進(jìn)行優(yōu)化升級等操作提供可靠的參考依據(jù)。

通過這兩套監(jiān)控系統(tǒng)配合人為的日常巡檢，對運營系統(tǒng)的正常穩(wěn)定運行提供了有效的保障。

2.3 可靠性、可用性保障

系統(tǒng)穩(wěn)定可靠的運行，要考慮到各種可能出現(xiàn)的意外情況，例如服務(wù)器出現(xiàn)故障、網(wǎng)絡(luò)中斷或是機房無法正常工作等等，針對這些情況，必須要采取相應(yīng)的措施來保證運營系統(tǒng)的可靠性和可用性。

目前通常都是采取如下措施：

1）數(shù)據(jù)庫本地做鏡像，在主服務(wù)器出現(xiàn)故障時立即切換。

2）程序本地做負(fù)載均衡，避免出現(xiàn)單點故障。

3）數(shù)據(jù)庫異地做日志傳送，在機房或網(wǎng)絡(luò)出問題時，切換到異地服務(wù)器。

4）程序異地做備份，在機房或網(wǎng)絡(luò)出問題時，異地啟用。

3 運營系統(tǒng)要求

運營系統(tǒng)的穩(wěn)定可靠必須建立在一定的要求之上，只有滿足這些要求，才能建設(shè)一個穩(wěn)定、可靠并且高效的運營系統(tǒng)。

3.1 性能要求

運營系統(tǒng)的用戶群體是企業(yè)用戶，較為集中使用時間為6：30-20：00，在高度集中使用時對于性能要求較高，內(nèi)存、CPU、磁盤IO都要能滿足使用，支持高并發(fā)，保證使用速度較快，不會有過多的延遲。

3.2 擴展要求

隨著用戶量的增加，服務(wù)器、數(shù)據(jù)庫性能以及容量方面都要能夠通過較為簡單的方式實現(xiàn)擴容，最好是能夠在線擴容，保證服務(wù)不會中斷。同時服務(wù)要能夠支持負(fù)載均衡，以提高系統(tǒng)速度及可用性。

3.3 本地災(zāi)備

數(shù)據(jù)實現(xiàn)本地鏡像，當(dāng)服務(wù)器或是數(shù)據(jù)庫無法正常工作時，能夠?qū)崿F(xiàn)本地服務(wù)的快速切換（最好是能夠做到秒級切換）。

3.4 異地災(zāi)備

數(shù)據(jù)實現(xiàn)異地備份，當(dāng)機房遇到不可抗力的自然災(zāi)難導(dǎo)致機房整體不可用時，能夠快速的啟動異地的備用系統(tǒng)提供正常服務(wù)。

3.5 網(wǎng)絡(luò)要求

運營系統(tǒng)網(wǎng)絡(luò)必須保持7*24小時通暢，提供電信、網(wǎng)通、移動、教育網(wǎng)等主流運營商的多線接入，保證網(wǎng)間互聯(lián)的順暢，當(dāng)出現(xiàn)移動終端無法登陸系統(tǒng)時，能夠迅速的定位并解決問題。保證運營網(wǎng)絡(luò)的資源使用不會被同機房其它系統(tǒng)影響。

3.6 安全要求

系統(tǒng)用戶數(shù)據(jù)保密性要求極高，絕對不容許泄密事件的發(fā)生。同時要求運營系統(tǒng)能夠主動的防御外部的攻擊以及抵御病毒的破壞。

3.7 響應(yīng)要求

運營系統(tǒng)要能提供7*24小時的服務(wù)，當(dāng)出現(xiàn)問題需要調(diào)整溝通時能夠立即進(jìn)行響應(yīng)。

3.8 團(tuán)隊要求

一套成功的系統(tǒng)，除了必須具備上述強大可靠的服務(wù)器、網(wǎng)絡(luò)安全等硬件支撐能力、完善的系統(tǒng)和數(shù)據(jù)安全保障能力、完善的系統(tǒng)監(jiān)控和保障機制之外，更重要的是能夠有一支強大的技術(shù)管理團(tuán)隊。公司在開始規(guī)劃運營系統(tǒng)的同時，即開始著手運維團(tuán)隊的建設(shè)和規(guī)劃，并一直給予很高的重視。目前所有運營系統(tǒng)都交付公司的運維團(tuán)隊負(fù)責(zé)，運維團(tuán)隊成員都具備多年的工作經(jīng)驗，每個技術(shù)人員都有自已專長。運維團(tuán)隊創(chuàng)建初始就按ITIL流程進(jìn)行規(guī)范化日常維護(hù)和管理。通過近幾年的實踐和摸索，目前已經(jīng)有較為完備的服務(wù)臺、事件管理、變更管理、問題管理等流程。通過ITIL最佳化實踐經(jīng)驗，所有故障都將通過服務(wù)臺進(jìn)行工單記錄、流程化故障處理。針對所有變更按流程進(jìn)行白盒、黑盒等測試，只有測試通過后才提交運維部進(jìn)行發(fā)布升級，針對每個流程都有完備的記錄和日志跟蹤，做到所有操作都有跡可循。

4 運維關(guān)鍵技術(shù)

運維是一項綜合性的工作，運維工程師在運維過程中會遇見形形色色的各種問題需要參與解決并從運維角度給出參考意見，包括架構(gòu)設(shè)計、系統(tǒng)使用資源的評估、應(yīng)用軟件設(shè)計的缺陷評估、系統(tǒng)資源調(diào)優(yōu)、托管機房選擇、安全調(diào)優(yōu)等等，并參與整個項目的實施過程。隨著時間的推移，越來越多的新技術(shù)會出現(xiàn)在運維過程中，例如集群技術(shù)應(yīng)用、動態(tài)擴展的架構(gòu)、安全運營中心（SOC）構(gòu)建、網(wǎng)站加速（CDN）、大數(shù)據(jù)存儲等等，所以運維人員要與時俱進(jìn)，需要不斷地通過這些新技術(shù)新的應(yīng)用來完善運營系統(tǒng)，使得系統(tǒng)更加穩(wěn)定可靠。這里主要介紹一下集群技術(shù)的應(yīng)用。

集群技術(shù)應(yīng)用：集群是由兩臺或多臺節(jié)點機（服務(wù)器）構(gòu)成的一種松散耦合的計算節(jié)點集合，為用戶提供網(wǎng)絡(luò)服務(wù)或應(yīng)用程序（包括數(shù)據(jù)庫、Web服務(wù)和文件服務(wù)等）的單一客戶視圖，同時提供接近容錯機的故障恢復(fù)能力。例如高性能計算科學(xué)集群，高可用性集群，負(fù)載均衡集群，分布式儲、計算存儲集群，數(shù)據(jù)庫集群，郵件集群等。集群由于機器較多，管理起來比較復(fù)雜，需要綜合考慮到以下幾點因素：

1）智能監(jiān)控

包括對集群系統(tǒng)故障的監(jiān)控以及資源、負(fù)載、網(wǎng)絡(luò)流量等使用情況的實時監(jiān)控，從而保證集群系統(tǒng)穩(wěn)定可靠的運行，并且對可能出現(xiàn)的問題及時處理。

2）故障維護(hù)

集群服務(wù)器數(shù)量較多，出現(xiàn)服務(wù)器宕機以及硬件故障的概率也隨之增大，因此，從系統(tǒng)穩(wěn)定性可靠性角度出發(fā)，要充分考慮到故障問題，更多的通過應(yīng)用程序的冗余負(fù)載部署來解決此類問題。同時要針對可能出現(xiàn)的問題，建立較為完備的應(yīng)急響應(yīng)機制，從而快速有效的采取解決措施。

3）運維自動化

集群服務(wù)器多，一些日常的工作，例如修改密碼，系統(tǒng)升級，系統(tǒng)發(fā)布等工作量比較大，需要借助一些自動化工具來批量完成這些日常工作，提高工作效率。

5 構(gòu)建穩(wěn)定可靠運營系統(tǒng)

構(gòu)建穩(wěn)定可靠的運營系統(tǒng)是所有對外運營公司的核心工作，需要通過一支穩(wěn)定高效的團(tuán)隊來進(jìn)行建設(shè)。綜合前文所述，穩(wěn)定可靠運營系統(tǒng)的構(gòu)建影響因素很多，需要根據(jù)經(jīng)驗不斷的進(jìn)行運維策略的制定，并不斷進(jìn)行調(diào)整，確保人工和自動巡檢的有效性，保證監(jiān)控保障機制使用到位，避免出現(xiàn)監(jiān)控不到位的情況，同時通過各種運維高新技術(shù)的學(xué)習(xí)和使用，確保運營系統(tǒng)的穩(wěn)定、可靠。

參考文獻(xiàn)

[1] （美）阿爾斯帕瓦，（美）羅賓斯.網(wǎng)站運維：保持?jǐn)?shù)據(jù)實時的秘技[M].楊建華譯.北京：電子工業(yè)出版社.

[2]劉宇熹，陳尹立.計算機系統(tǒng)服務(wù)外包及運行維護(hù)管理[M].北京：清華大學(xué)出版社.

[3]楊威.網(wǎng)站組建、管理與維護(hù)[M].北京：電子工業(yè)出版社。

[4]葛世倫，尹雋.信息系統(tǒng)運行與維護(hù)[M].北京：電子工業(yè)出版社.