李 亮，李安昊，方魯杰，張 宇，李 鎖 在，徐志亮，袁 泉

(1.中電（海南）聯(lián)合創(chuàng)新研究院有限公司，海南 澄邁 571924；2.海南省PK體系關鍵技術研究重點實驗室，海南 澄邁 571924；3.中軟信息系統(tǒng)工程有限公司，北京 102209)

0 引言

計算機技術的發(fā)展推動著社會進步，各行各業(yè)逐漸開始進入信息化的時代。隨著大數據時代的到來，人們對網絡應用需求日益增長，對計算機性能的要求越來越高。服務器相比于普通的終端機，其在穩(wěn)定性、安全性、性能等方面的要求更高，更受企業(yè)與一些行業(yè)工作者的青睞。目前市場上的服務器品牌有很多，例如中國長城、華為、戴爾、惠普、浪潮等，其性能、系統(tǒng)架構、價格等也不同，對于不同的使用場景也需要使用不同的服務器，對于企業(yè)或個人來說，如何為自己的應用場景選擇合適的服務器是重中之重，因此在選購前需要對服務器的性能進行評價。

目前服務器的性能評價并沒有一個完整的國家標準或國際標準，只是對性能中的安全性等進行規(guī)定，關于服務器性能評價的相關標準如表1所示。

表1 服務器性能評價相關標準

由于未有一個完整的服務器性能評價指標，因此最初的服務器性能評價方法主要是對速度和穩(wěn)定性這兩個指標進行分析，一般情況下，只要速度和穩(wěn)定性滿足用戶要求，就認為該服務器符合標準，這種方法具有一定的局限性。后續(xù)隨著計算機測試技術的發(fā)展，陸續(xù)加入了CPU、內存容量、網絡延遲和寬帶、硬盤等指標，逐漸豐富了服務器性能評價方法。

本文將目前主流的服務器性能評價方法歸納為三類：基于測試工具的評價方法、基于多屬性決策的評價方法及基于數據驅動的評價方法。基于測試工具的性能評價方法，需要技術人員對服務器的參數十分了解，根據一些測試軟件的數據進行分析，通過知識表達和知識推理技術達到對服務器性能分析的目的。基于多屬性決策的性能評價方法是以服務器的工作原理為支撐，對服務器的性能指標進行數據收集，通過對服務器性能指標建立數學模型，通過建模的方式完成對服務器性能的評價。基于數據驅動的性能評價方法，它不需要對服務器的指標進行大量的數據處理或者建立復雜的模型去分析，只需要通過數據的自主學習來建立參數輸入與評價輸出的關系即可。

本文系統(tǒng)性地對上述三種服務器性能評價方法進行介紹，然后對目前服務器性能評價中存在的問題還有未來的發(fā)展方向做進一步的探討，并提出一些建議，最后對可能面臨的問題和挑戰(zhàn)進行了闡述。

1 基于測試工具的評價方法

最初服務器的性能評價主要依靠技術人員的操作經驗進行判斷，要求相關人員有著豐富的實踐經驗，充分掌握各種服務器的工作參數，從而完成服務器的性能評價，但這種方法較為費時，對人員的要求高[1]。

隨著計算機軟件技術的不斷提升，利用計算機多線程的計算能力，使用一些服務器測評軟件(例如SPEC、Linpack、HPCC、UnixBench)進行綜合測評達到性能評價的目的[2]。

文獻[3]采用了性能測試工具SPECweb99，將網絡性能作為標準，通過閾值分析的方式完成對服務器網絡系統(tǒng)性能的評價。文獻[4]采用ServerScope工具提供的數據監(jiān)控服務來監(jiān)控被測系統(tǒng)的性能，測試指標主要包含最大并發(fā)流數目、聚合輸出帶寬等，以此分析和優(yōu)化電子商務Web服務器的性能。文獻[5]采用HPL(Hero Pro League)測試軟件進行參數測量，深入探討了Linpack測試原理，提出了一套以此為基礎的測試指標。

雖然計算機測試技術的快速發(fā)展極大程度上簡化了數據處理與邏輯推理的過程，但是測試工具具有一定的局限性。由于測試工具的開發(fā)時間普遍較早，其部分算法已經并不適用于目前的高性能的服務器，而對算法進行改進需要大量時間。此外不同測評軟件的標準不同，沒有統(tǒng)一性，并不能建立一個完整的評價結構，應用場景多有限制，例如HPCC測試軟件測試的子項過多，測試的結果需要非常專業(yè)的人士來進行解讀，對于普通人士或者非專業(yè)人士并不友好，普通用戶或者非專業(yè)人士很難對自己的應用場景做出正確的選擇[6-7]。此外由于標準不同，不同的測試工具測評出來的結果差異較大。例如使用UnixBench軟件進行測評，使用相同的服務器而使用不同的系統(tǒng)內核都會導致結果不盡相同，十分不利于非專業(yè)人士與普通用戶進行分析。

2 基于多屬性決策的性能評價方法

基于多屬性決策的性能評價方法是根據經驗與知識的評價方法改進而成的，它最初的想法是構建數學模型或物理模型模擬服務器在特定的場景的工作過程，通過分布擬合出它們的工作參數，將模擬出的相關參數與實際測量值進行對比，通過分布擬合它們的殘差值設置閾值，根據閾值進行服務器性能評價，但這種僅限單一指標判斷。根據數據處理的技術不斷加強，越來越多的智能算法被人們所提出，此時基于模型與數據聯(lián)合的建模方法越來越被人們所認可，服務器的性能會關聯(lián)到不同的指標，若想全面地將不同屬性的多個指標結合在一起進行評價，需要建立一定的數學模型進行數據處理，基于此，服務器多屬性決策理論開始進入了人們的視野。

在多屬性決策理論中，首先需要判斷將指標劃分為定量指標與定性指標，一般來說處理此類多屬性決策問題需要設計決策方案，要清楚自己的指標選取方式，指標的選取有三種方案：全部選擇定量指標、全部選擇定性指標以及定量指標與定性指標的混合選用。這三種情況對應的多屬性決策問題分別稱為定量型多屬性決策問題、定性型多屬性決策問題和混合型多屬性決策問題。通常根據不同的場景選擇不同的情況進行分析[8]。

在解決多屬性決策問題中，一般都要涉及三個方面，分別是決策矩陣的規(guī)范化、各屬性權重的確定和最終結果的綜合排序，具體工作過程如圖1所示。

圖1 多屬性決策一般過程

多屬性決策通常具備以下特點：

(1)多方案調度：在進行多屬性決策之前，必須要先進行多種方案評估，并對所提出的方案編寫方案書；

(2)多評估屬性調度：在進行多屬性決策之前，必須要衡量可行的屬性數，提出方案可能面臨的屬性調度問題，分析屬性間的關系，判斷屬性間是相互獨立還是具有關聯(lián)；

(3)多屬性的權重分配：對于不同的應用場景指標有不同的權重分配方案，分配不同的權重給不同的屬性，一般來說屬性的權重分配通常會經過正規(guī)化處理。

目前應用最多的是混合型多屬性決策問題，在應用時屬性權重的選擇問題上一直是一個重要問題，近些年來對于其的研究一直未中斷。迄今為止，權重的分析方法主要有兩種：主觀賦權法和客觀賦權法。

主觀賦權法是根據研究人員或專業(yè)人士的經驗對一些指標進行主觀判斷，從而確定指標權重的方法。常見的主觀賦權法包括判斷矩陣法、模糊子集法、點估計值法等[9]。

相比較于主觀賦權法，客觀賦權法不含人的主觀因素，利用客觀信息通過一定的數學運算完成指標的賦權，目前常用的方法包括主成分分析方法、層次分析法、聚類分析、熵權法、均方根法等一系列方法。相比于主觀賦權法，客觀賦權法舍棄了主觀因素影響，在權重的選擇上可以利用數學公式來證明，更加具有公正性。

基于多屬性決策的服務器性能評價方式目前國內外的研究較多，文獻[10]采用了層次分析法與模糊矩陣相結合的方式進行流媒體服務器性能評價，首先使用層次分析法完成指標的權重分析，然后采用模糊矩陣的定義來構造判斷矩陣，最后采用定量與定性指標結合的方式完成整個服務器的性能評價。文獻[11]建立了一種基于FTP服務器的排隊理論模型，通過對網絡帶寬利用率等定量指標與網絡的可靠性等定性指標進行分析，提出了相應的FTP服務改進方案。文獻[12]針對云服務器的安全架構、機制等進行分析，建立了定量與定性指標，通過建立模糊矩陣的方式將定性指標定量化，將問題轉為定量指標的分析上完成對云服務器安全的評價指標。

但這種方法也有一定的缺陷，如果對指標采用主動賦權法，主觀性影響較大，在進行指標賦權的時候權重分配沒有一定的原理性，如果采用客觀賦權，因評估標準不具有一貫性，一旦參與評估的對象發(fā)生改變，權重也會相應地進行改變。

3 基于數據驅動的性能評價方法

隨著近些年機器學習的快速發(fā)展，基于數據驅動的服務器性能評價方法是當下學者們研究的重要方向，相對于基于測試工具的評價方法或基于多屬性決策的評價方法來說，它不需要對服務器的指標進行大量的數據處理或者建立復雜的模型去分析，只需要通過數據的自主學習來建立參數輸入與評價輸出的關系即可[13-15]。

機器學習是一門涉及智能算法、統(tǒng)計學、概率論學等多領域的交叉學科，其核心思想是通過計算機模擬或實現(xiàn)人類的學習行為，從而獲取新的知識或技能，或者是重新組織目前已經學習到的知識框架并不斷進行改進，其工作原理如圖2所示。

圖2 機器學習一般過程

基于數據驅動的服務器的性能評價方法主要有兩種，一種是基于擬合的方式進行服務器性能評價，一種是基于回歸的方式進行服務器性能評價?；跀M合的方式進行服務器性能評價需要先建立一定的評價等級，將所測量的參數作為輸入，將評價等級作為輸出進行模型訓練并保留模型。后續(xù)將所需要進行性能評價的服務器的測量參數輸入到模型中進行擬合，輸出所定的評價等級[16]。

基于回歸的方式進行服務器性能評價方法主要是將分析服務器參數與評價等級建立一個回歸分析模型，根據實測服務器參數來求解回歸模型中的參數，并對回歸模型的擬合效果進行評價，如果擬合效果較好，則可以根據服務器參數對服務器性能進行下一步的評價[17]。

文獻[18]結果表明此方法無需建立復雜的數學模型即可實現(xiàn)對Web服務器的性能評價。文獻[19]提出了多路徑傳輸網絡的評價模型——基于灰色關聯(lián)網絡性能評估模型MPTCP-GANPEM(Multi-Path TCP Grey Associated Network Performance Evaluation Model)，定性指標選擇了精簡性、可測性、代表性，并依次抽取了相應的評價指標作為網絡輸入，利用回歸的方式對服務器的綜合性能進行量化評分。

此類方法雖不需要建立復雜模型，但其工作原理為黑箱原理，可解釋性不強，且過于依賴模型的穩(wěn)定性，容易出現(xiàn)過擬合的現(xiàn)象。此外此類方法需要充足的先驗知識作為訓練模型的數據，如果先驗知識具有局限性，那么會對整體的評價產生較大的影響。

對以上三種服務器性能評價方法進行總結，如表2所示。

表2 三種服務器性能評價方法對比

4 試驗驗證

選用兩臺服務器，配置分別如表3和表4所示。

表3 A服務器配置

表4 B服務器配置

分別使用三種方法對兩個服務器進行對比，首先使用測試工具UnixBench對兩個服務器評價，測評結果如表5所示。

表5 UnixBench測試結果

其次采用多屬性的權重分配的方法進行服務器性能評價，具體工作包括：對于定量指標，采用改進的灰色關聯(lián)分析方法進行特征貢獻度求取，對于灰色關聯(lián)分析中主觀性較強導致求取關聯(lián)程度精度較差的問題，采用客觀賦權法進行賦權，構造一個最優(yōu)的虛擬方案作為參考數列，將其他方案以其為參考計算關聯(lián)系數，將關聯(lián)系數較低的定量指標剔除；對于定性指標，采用模糊化的方法進行數據定量化，最后綜合定量指標和定性指標對可行方案進行排序，完成對服務器的性能評價，結果如表6所示。

表6 評價得分

最后采用神經網絡的方式建立一個回歸分析模型，根據實測服務器參數來求解回歸模型中的參數，并對回歸模型的擬合效果進行評價，擬合效果較好，則可以根據服務器參數對服務器性能進行下一步的評價，同時完成模型的訓練。將驗證數據導入到訓練好的模型中得到相應的值，與評價等級進行比較。評價等級如表7所示，輸出結果如表8所示。

表7 評價等級

從上面的結果可得，三種方法中的結果都是B服務器性能較優(yōu)，但基于數據驅動的方法兩者相差較小，經分析是先驗數據不足導致，說明基于數據驅動的模型穩(wěn)定性較差，所以在先驗數據不充足的情況下目前并不提倡使用這種方法，建議使用前兩種方法。

5 結論

目前針對服務器的性能評價主要包含有三種：基于測試工具的評價方法、基于多屬性決策的方法及基于數據驅動的方法，對三種方法的總結如下：

基于測試工具的性能評價方法的優(yōu)點是使用工具方便上手，可操作性強，但其應用場景多有限制，且測試的結果需要非常專業(yè)的人士來進行解讀，對于普通人士或者非專業(yè)人士并不友好，很難對自己的應用場景做出正確的選擇。其次大多數測試工具是早些年開發(fā)的，算法較為落后，如果對算法進行改進會浪費大量的時間。

基于多屬性決策的性能評價方法是根據經驗與知識的評價方法改進而成的，通過建立復雜的數學模型來建立評價體系。其優(yōu)點為可以將多個目標關聯(lián)在一起，利用多屬性決策理論的想法來進行數學模型搭建，評價體系通過數學公式來進行構建，方便非專業(yè)人士直接調用模型。但這種方法也有一定的缺陷，如果對指標采用主動賦權法，主觀性影響較大，在進行指標賦權的時候權重分配沒有一定的原理性；如果采用客觀賦權法，因評估標準不具有一貫性，一旦參與評估的對象發(fā)生改變，權重也會相應地進行改變。

基于數據驅動的性能評價方法相對于基于經驗與知識的評價方法或基于模型搭建的評價方法來說，它不需要對服務器的指標進行大量的數據處理或者建立復雜的模型去分析，只需要通過數據的自主學習來建立參數輸入與評價輸出的關系即可。但其工作原理為黑箱原理，可解釋性不強，且過于依賴模型的穩(wěn)定性，容易出現(xiàn)過擬合的現(xiàn)象。

所以在接下來的研究中，首先要確定一個完整的服務器測評指標，也就是要確定定量指標與定性指標，需要進行大量的模型搭建進行體系搭建，從而選擇出在大部分場景都能通用的服務器性能評價指標，且目前的研究沒有將經濟性因素概括進去，后續(xù)的研究工作可以建立服務器性價比模型，將經濟因素與性能評價結合，方便在實際應用下選取最優(yōu)解。

其次，自動化測試是繼續(xù)要研究的方向，在今后的工作中需要力圖實現(xiàn)測評過程的自動化。而且目前還面臨著大多時候無法去現(xiàn)場進行測試布置，只能通過場景模擬來進行測試，由于大部分場景難以模擬，因此測試結果與實際結果差距較大，所以在后續(xù)工作中也要對服務器測試環(huán)境模擬技術進行有針對性的研究。

最后，目前的服務器測評都是在一個相對溫和的場景下進行測評，針對高并發(fā)、高壓力的環(huán)境下服務器測評的研究較少，且對服務器集群體性能測試較少，后續(xù)要增強此類研究。