付 平，肖 偉（.中國聯(lián)通網(wǎng)絡(luò)技術(shù)研究院，北京 00048；.中訊郵電咨詢設(shè)計院有限公司鄭州分公司，河南鄭州 450007）

1 概述

1.1 背景

隨著云計算技術(shù)的成熟，IT 資源服務(wù)化的思想日益普及，服務(wù)已成為云計算的核心概念。各領(lǐng)域云服務(wù)的需求正快速增長，大量多樣性服務(wù)不斷涌現(xiàn)，因此對云服務(wù)進(jìn)行指標(biāo)體系建設(shè)、構(gòu)建指標(biāo)權(quán)重和評價方法變得迫在眉睫。為服務(wù)商提供優(yōu)質(zhì)的云服務(wù)質(zhì)量評價及管理手段，具有重要現(xiàn)實(shí)意義。

當(dāng)前云服務(wù)質(zhì)量評價模型中存在如下不足。

a）云服務(wù)評價指標(biāo)不合理，不能滿足度量服務(wù)質(zhì)量的需求。

b）評價指標(biāo)權(quán)重分配不合理，缺乏科學(xué)理論依據(jù)。

c）各類云服務(wù)評價依據(jù)標(biāo)準(zhǔn)不統(tǒng)一，當(dāng)前云服務(wù)種類多樣，包含計算、存儲、網(wǎng)絡(luò)、容器、組件等一系列云服務(wù)產(chǎn)品類型，如何統(tǒng)一標(biāo)準(zhǔn)針對不同類型云服務(wù)進(jìn)行打分及排序成為難點(diǎn)。

針對這些問題，提出一種基于層次分析法（Analytic Hierarchy Process）的QoE 感知模型來計算云服務(wù)指標(biāo)權(quán)重，同時得出云服務(wù)質(zhì)量評價模型。

1.2 行業(yè)調(diào)研

首先，調(diào)研業(yè)界主要云服務(wù)質(zhì)量評價指標(biāo)，業(yè)界的云服務(wù)指標(biāo)選取有5E 模型、QoS 模型、QoE 模型等。QoS 是當(dāng)前普遍采用的一種服務(wù)度量標(biāo)準(zhǔn)，但其評估指標(biāo)更多側(cè)重于對網(wǎng)絡(luò)性能方面，同時也沒有考慮用戶的主觀因素，無法充分體現(xiàn)云服務(wù)評價質(zhì)量。因此提出QoE 服務(wù)度量標(biāo)準(zhǔn)，在功能評價因素和非功能評價因素屬性基礎(chǔ)上，對云服務(wù)做出更加貼近用戶體驗(yàn)的云服務(wù)質(zhì)量評價。其次，調(diào)研指標(biāo)權(quán)重分配方法，各行業(yè)普遍采用統(tǒng)計學(xué)的層次分析法（AHP）、模糊綜合評估法等，選取更適合本場景的AHP 方法計算指標(biāo)權(quán)重，該方法自1982 年被介紹到我國以來，以其定性與定量相結(jié)合的處理各種決策因素的特點(diǎn)，迅速在我國社會經(jīng)濟(jì)各領(lǐng)域內(nèi)得到廣泛重視，其中就包括性能評價方面的應(yīng)用。最后，針對不同類型的云服務(wù)進(jìn)行統(tǒng)一標(biāo)準(zhǔn)的評判，根據(jù)國家頒布的云服務(wù)質(zhì)量評價標(biāo)準(zhǔn)和云計算綜合標(biāo)準(zhǔn)化體系建設(shè)指南，業(yè)界可采用與云服務(wù)商的服務(wù)標(biāo)準(zhǔn)進(jìn)行比對，通過比對結(jié)果進(jìn)行質(zhì)量管控。

2 云服務(wù)質(zhì)量評價模型

云服務(wù)質(zhì)量評價模型主要包含以下幾個基本步驟。

a）QoE 指標(biāo)選?。焊鶕?jù)國家云服務(wù)質(zhì)量標(biāo)準(zhǔn)及企業(yè)云服務(wù)用戶訴求，對服務(wù)質(zhì)量做定性分析，即選取可反映云服務(wù)質(zhì)量及用戶體驗(yàn)的指標(biāo)。

b）指標(biāo)權(quán)重計算：采集專家指標(biāo)偏好信息，通過層次分析法（AHP）把定性指標(biāo)分析轉(zhuǎn)換為定量指標(biāo)權(quán)重分析，采用統(tǒng)計學(xué)方法計算各項(xiàng)指標(biāo)權(quán)重。

c）質(zhì)量評價：對云服務(wù)評價所需的主觀反饋、客觀質(zhì)量評估等信息進(jìn)行采集，并根據(jù)服務(wù)規(guī)范及評價依據(jù)對云服務(wù)每項(xiàng)指標(biāo)進(jìn)行打分，根據(jù)每項(xiàng)云服務(wù)的每個指標(biāo)的打分和權(quán)重，得出該云服務(wù)的總得分，從而得到所有云服務(wù)質(zhì)量的打分及排名。

本文提出的基于AHP 的QoE 客戶感知云服務(wù)質(zhì)量評價方法評價模型如圖1所示。

2.1 QoE指標(biāo)

云服務(wù)的質(zhì)量評價，需要從多個方面進(jìn)行考察，依據(jù)中華人民共和國國家標(biāo)準(zhǔn)《信息技術(shù)云計算服務(wù)質(zhì)量評價指標(biāo)》（GB/T 27728-2019），云服務(wù)質(zhì)量可從安全性、可用性、可靠性、響應(yīng)性和滿意度多方面進(jìn)行表征，同時結(jié)合企業(yè)云服務(wù)用戶對IT 云服務(wù)指標(biāo)選取側(cè)重點(diǎn)，基于QoE 將指標(biāo)選取分為功能評價和非功能評價因素2 類。功能評價因素主要是從服務(wù)可用性、可靠性、響應(yīng)性這3個方面體現(xiàn)云服務(wù)的優(yōu)劣，每個方面還有具體指標(biāo)來反映云服務(wù)質(zhì)量；而非功能評價因素主要是用戶對于云服務(wù)的滿意度的主觀評價，即通過自服務(wù)滿意度、服務(wù)響應(yīng)滿意度、服務(wù)定制化滿意度、計量機(jī)制完備性4個方面體現(xiàn)云服務(wù)質(zhì)量。

圖1 云服務(wù)評價模型

2.1.1 功能評價因素

功能評價因素主要是針對云服務(wù)本身客觀的質(zhì)量所選取的指標(biāo)。指標(biāo)選取依據(jù)國家標(biāo)準(zhǔn)及QoE指標(biāo)選擇方法，最終從可用性、可靠性、響應(yīng)性3 個方面給出相應(yīng)指標(biāo)，指標(biāo)細(xì)化如下。

2.1.1.1 可用性

可用性指標(biāo)用于描述云服務(wù)在服務(wù)協(xié)議規(guī)定的條件下處于可執(zhí)行規(guī)定狀態(tài)的能力，這里主要包含服務(wù)可用率指標(biāo)。服務(wù)可利用率指在預(yù)定義時間段中，服務(wù)可用時間之和與預(yù)定義時間段之和的比例，可排除允許的服務(wù)不可用時間。

式中：

N——預(yù)定義時段數(shù)量

Ti——預(yù)定義時間段

2.1.1.2 可靠性

可靠性指標(biāo)用于描述云服務(wù)商在預(yù)定義時間內(nèi)履行服務(wù)規(guī)范的能力，如關(guān)鍵業(yè)務(wù)的容災(zāi)能力、服務(wù)中斷次數(shù)及服務(wù)的連續(xù)性保障能力，具體分為如下3 個指標(biāo)。

a）關(guān)鍵業(yè)務(wù)容災(zāi)能力：云服務(wù)商是否建立完善的容災(zāi)制度及措施，是否提供關(guān)鍵業(yè)務(wù)的容災(zāi)能力。

b）服務(wù)中斷次數(shù)：預(yù)定義時間段內(nèi)服務(wù)中斷的次數(shù)。

c）業(yè)務(wù)連續(xù)性保障能力：云服務(wù)商具備有效的業(yè)務(wù)連續(xù)性能力，確保業(yè)務(wù)的可持續(xù)性。業(yè)務(wù)連續(xù)性保障能力=預(yù)定義時間內(nèi)無中斷業(yè)務(wù)數(shù)/業(yè)務(wù)總數(shù)×100%。

2.1.1.3 響應(yīng)性

響應(yīng)性指標(biāo)用于描述云服務(wù)商為用戶提供有效、及時的彈性擴(kuò)展性服務(wù)能力，具體分為如下4個指標(biāo)。

a）服務(wù)請求響應(yīng)及時性：云服務(wù)商響應(yīng)客戶需求的及時性程度。

b）資源彈性可擴(kuò)展性：云服務(wù)商具備資源彈性擴(kuò)展機(jī)制以保證客戶在資源擴(kuò)展時的需求、規(guī)模要求的及時性。

c）響應(yīng)處理制度：云服務(wù)商是否建立響應(yīng)機(jī)制，并且執(zhí)行記錄是否完整。

d）關(guān)單率：在云服務(wù)過程中，預(yù)定義時間內(nèi)對客戶服務(wù)是否做出及時響應(yīng)，并結(jié)束客戶訴求工單。關(guān)單率=已關(guān)閉工單/所有工單×100%。

2.1.2 非功能評價因素

非功能評價因素主要是通過對用戶的調(diào)研反饋，可反映用戶對云服務(wù)質(zhì)量主觀評價的指標(biāo)，指標(biāo)選取依據(jù)國家標(biāo)準(zhǔn)及QoE指標(biāo)選擇方法，指標(biāo)細(xì)化如下：

a）自服務(wù)滿意度：自服務(wù)滿意度主要是用戶對于自助服務(wù)的滿意度，自服務(wù)滿意度=滿意樣本數(shù)/樣本總數(shù)×100%。

b）服務(wù)響應(yīng)滿意度：服務(wù)響應(yīng)滿意度指用戶在服務(wù)運(yùn)維、服務(wù)申請、服務(wù)咨詢等方面響應(yīng)的體驗(yàn)的滿意程度，服務(wù)滿意度=滿意樣本數(shù)/樣本總數(shù)×100%。

c）服務(wù)定制化滿意度：服務(wù)定制化滿意度指可及時響應(yīng)定制化用戶的需求，是否得到用戶認(rèn)可的滿意程度。服務(wù)定制化滿意度=滿意樣本數(shù)/樣本總數(shù)×100%。

d）計量機(jī)制完備性：計量機(jī)制完備性指云服務(wù)商是否提供計量機(jī)制，計量機(jī)制是否完整，是否包含服務(wù)定制化的計量模板。

2.2 指標(biāo)權(quán)重計算

層次分析法（AHP）是美國統(tǒng)計學(xué)家匹茲堡大學(xué)的T.L.Saaty 教授于20 世紀(jì)70 年代提出的一種定性分析和定量分析相結(jié)合的多目標(biāo)系統(tǒng)分析方法。它根據(jù)問題的性質(zhì)和要求達(dá)到的總目標(biāo)，將問題分解成不同的子目標(biāo)，通過兩兩比較的方式確定層次中諸目標(biāo)的相對重要性，即不把所有因素放在一起比較，而是兩兩相互比較，采用相對尺度，以盡可能減少性質(zhì)不同的諸因素相互比較的困難，從而提高了指標(biāo)權(quán)重確定的信度和效度。此數(shù)學(xué)模型對多因素的復(fù)雜問題評判效果顯著，根據(jù)AHP，對于各指標(biāo)權(quán)重判定的基本步驟如圖2所示。

圖2 云服務(wù)指標(biāo)權(quán)重獲得基本步驟

a）主觀排序：需根據(jù)專家組建議，定性分析各指標(biāo)重要程度，并對其進(jìn)行主觀排序。

b）建立層次模型：將決策的目標(biāo)、考慮的因素按它們之間的相互關(guān)系分為目標(biāo)層、權(quán)重層及決策層，由于目標(biāo)層云服務(wù)數(shù)量不確定，因此本文只考慮用層次分析法解決指標(biāo)權(quán)重問題。

c）構(gòu)造判斷矩陣：為實(shí)現(xiàn)定性向定量轉(zhuǎn)化需要有定量的標(biāo)度，即需兩兩比較指標(biāo)的權(quán)重，此過程需要結(jié)合專家建議，得到判斷矩陣。例如云服務(wù)質(zhì)量評價各因素P1，P2，P3，…，P12，使用兩兩比較法可以得到權(quán)重判斷矩陣，A=（aij）n×n其中aij的取值可以參考表1。

表1 權(quán)重因素

各個等級之間也可以用2，4，6，8 或者它們的倒數(shù)將其量化，判斷矩陣需滿足：aij=1，aij=1/aij（i，j=1，2，…，n），最終得出矩陣A。

d）計算權(quán)重向量：因素權(quán)重W 可以通過矩陣A的特征方程AW=λmaxW，優(yōu)先解出λmax，其次根據(jù)λmax解出特征向量W=a1，a2，a3，…，a12。

e）計算調(diào)整判斷矩陣：由于客觀事物的復(fù)雜性，人們的評價和認(rèn)識總是帶有比較強(qiáng)的主觀性甚至是片面的，這就需要做一致性檢查。本文將一致性指標(biāo)用CI表示，其中CI=（λmax-n）/（n-1），當(dāng)CI越大時，矩陣不一致越嚴(yán)重，為了保證龐大矩陣的一致性，通過計算CR=CI/RI，需要CR≤0.1，否則需要重新調(diào)整矩陣。

本文依據(jù)python實(shí)現(xiàn)d）、e）步驟計算，最終得出各指標(biāo)計算權(quán)重（見圖3）。

圖3 云服務(wù)權(quán)重計算結(jié)果

2.3 質(zhì)量評價

根據(jù)工信部頒布的《云計算綜合標(biāo)準(zhǔn)化體系建設(shè)指南》，要求云服務(wù)商提出云服務(wù)標(biāo)準(zhǔn)用于規(guī)范云服務(wù)質(zhì)量及服務(wù)能力。在確定好各指標(biāo)權(quán)重后，給各云服務(wù)打分。針對每個云服務(wù)的每個指標(biāo)進(jìn)行評價，最終得出加權(quán)合計分值。本環(huán)節(jié)有圖4所示的4個步驟。

圖4 云服務(wù)質(zhì)量評價步驟

a）數(shù)據(jù)采集：數(shù)據(jù)采集需明確數(shù)據(jù)的來源，評價的數(shù)據(jù)來源主要來自服務(wù)規(guī)范、服務(wù)實(shí)施結(jié)果和用戶調(diào)研三方面。服務(wù)規(guī)范是云服務(wù)質(zhì)量保證的前提，包括云服務(wù)商對自身提供云服務(wù)能力說明和實(shí)施要求等；服務(wù)實(shí)施結(jié)果包括云服務(wù)商的日常服務(wù)報告、自查報告、內(nèi)審報告等；用戶調(diào)研主要是用戶的服務(wù)評價報告等。對于功能性指標(biāo)進(jìn)行評價可采用日常服務(wù)報告等進(jìn)行數(shù)據(jù)采集，對于非功能性指標(biāo)數(shù)據(jù)采集可采用問卷調(diào)查、人員訪談等多種形式并借助工具進(jìn)行自動數(shù)據(jù)收集。

b）指標(biāo)評分依據(jù)：針對云服務(wù)的各指標(biāo)進(jìn)行評分，評分依據(jù)如表2所示。指標(biāo)評分確認(rèn)，采取的主要方式是將服務(wù)實(shí)施結(jié)果與服務(wù)規(guī)范及協(xié)議進(jìn)行對比，當(dāng)服務(wù)協(xié)議及服務(wù)規(guī)范與服務(wù)實(shí)施結(jié)果存在差異時，需對服務(wù)實(shí)施結(jié)果的數(shù)據(jù)真實(shí)性、正確性進(jìn)行確認(rèn)，并以確認(rèn)后的服務(wù)實(shí)施結(jié)果作為服務(wù)質(zhì)量評價基準(zhǔn)。

c）計算總分：根據(jù)2.2 節(jié)得出的各項(xiàng)指標(biāo)權(quán)重ai，評價指標(biāo)的得分與相應(yīng)指標(biāo)的權(quán)重進(jìn)行加權(quán)計算，得出合計得分，即每個云服務(wù)的合計得分，評價指標(biāo)計算公式為：

式中：

S——該云服務(wù)在期限內(nèi)測試總得分

Si——指標(biāo)項(xiàng)i的測試得分

ai——指標(biāo)項(xiàng)i的權(quán)重

n——指標(biāo)個數(shù)

d）橫縱排名：該合計分值可用于對不同云服務(wù)的服務(wù)質(zhì)量進(jìn)行橫向比較，即最終云服務(wù)的質(zhì)量排名；也可對同一個云服務(wù)不同時期的服務(wù)質(zhì)量進(jìn)行縱向比較。云服務(wù)質(zhì)量評價根據(jù)各指標(biāo)數(shù)據(jù)采集的時段，可按月、年分別得出質(zhì)量報告，進(jìn)行橫向縱向質(zhì)量比較。

3 結(jié)論

首先，根據(jù)最新發(fā)布的云服務(wù)質(zhì)量國家評價標(biāo)準(zhǔn)并結(jié)合企業(yè)現(xiàn)狀確定了符合企業(yè)本身的云服務(wù)質(zhì)量QoE指標(biāo)體系，充分考慮了云服務(wù)用戶的主觀感受；其次，運(yùn)用統(tǒng)計學(xué)中層次分析法（AHP）對指標(biāo)進(jìn)行從定性到定量分析，采用python工具對指標(biāo)進(jìn)行權(quán)重試算，科學(xué)地分配了指標(biāo)權(quán)重；最后，對云服務(wù)中各類指標(biāo)打分給出判斷依據(jù)，在企業(yè)制定云服務(wù)規(guī)范的基礎(chǔ)上，對每項(xiàng)云服務(wù)進(jìn)行打分，該得分可以對公司同一時間內(nèi)各云服務(wù)質(zhì)量進(jìn)行排名，也可對同一云服務(wù)不同時期的服務(wù)質(zhì)量進(jìn)行比較。使用該評價體系與試算權(quán)重方法，可以科學(xué)有效公平地督促云服務(wù)商努力對云服務(wù)提質(zhì)增效，提高用戶感知體驗(yàn)。

表2 指標(biāo)來源及打分依據(jù)