成 靜，葛璐琦，張 濤，劉 瑩，張逸飛

(1.西安工業(yè)大學 計算機科學與工程學院，西安 710021； 2.西北工業(yè)大學 軟件與微電子學院，西安 710072;3.西北工業(yè)大學 計算機學院，西安 710068)

移動應(yīng)用眾包測試是一種將傳統(tǒng)內(nèi)部執(zhí)行的測試任務(wù)以自由自愿方式外包給網(wǎng)絡(luò)匿名大眾用戶的測試行為[1]。眾包測試因其可在線招募測試專家、無需準備測試環(huán)境與設(shè)備等低成本的測試方式而被移動應(yīng)用開發(fā)商及個人所使用[2]。然而，因移動應(yīng)用復(fù)雜的測試環(huán)境、多樣化的測試需求、能力水平不一的測試參與人員，令移動應(yīng)用眾包測試的開展面臨復(fù)雜的質(zhì)量因素影響，測試質(zhì)量難以得到有效保障。

目前，眾包測試質(zhì)量保證研究主要集中在以下方面：

1)眾包工作者的信譽問題。通過評估工作者的信譽值，將其作為眾包平臺識別惡意工作者或選擇接包方工作者的重要指標[3]。阮閃閃等[4]通過證據(jù)理論計算出眾包測試者的直接信譽和間接信譽，評定綜合信譽，檢測出惡意工作者。肖江輝[5]通過對眾包測試人員的可信度進行建模，根據(jù)測試人員的測試表現(xiàn)，提交的Bug數(shù)量以及Bug等級，給出一個可信度值，從而對眾包測試人員的可信度進行評估。

2)眾包平臺的獎勵機制。眾包平臺通過設(shè)置合理的激勵機制，讓接包工作者具有較高的工作動力[6]。一般情況下，眾包平臺都是通過提供金錢報酬的方法來促進工作者的動力。當眾包工作者提交任務(wù)后，發(fā)包方將以現(xiàn)金的形式支付給工作者一定的工作報酬[7]。 Wen等[8]基于質(zhì)量驅(qū)動的拍賣理論，提出了針對移動群智感知環(huán)境的眾包激勵機制。

3)眾包結(jié)果的質(zhì)量控制。通過對眾包工作者提交的結(jié)果質(zhì)量進行評估，來識別一些惡意的工作者，保證眾包任務(wù)的質(zhì)量[9]。目前最流行的方法是通過建立概率模型，并使用期望最大化(Expectation Maximization, EM)算法和其他推理工具計算誤差率，進而對眾包人員的工作進行評價[10]。

然而，上述研究僅對眾包測試質(zhì)量的保證措施開展，而未針對影響眾包測試質(zhì)量的基本關(guān)鍵因素進行深入分析。本文從眾包測試人員、眾包測試平臺、眾包測試任務(wù)這3個方面出發(fā)，結(jié)合斯皮爾曼相關(guān)分析、多元逐步回歸技術(shù)對移動應(yīng)用眾包測試進行全面的質(zhì)量影響因素分析，進而篩選出移動應(yīng)用眾包測試質(zhì)量關(guān)鍵影響因素。

1 移動應(yīng)用眾包測試質(zhì)量影響因素分析過程

移動應(yīng)用眾包測試質(zhì)量影響因素的分析過程主要包括數(shù)據(jù)收集、斯皮爾曼相關(guān)系數(shù)分析、逐步回歸法建立模型、模型評估這幾個步驟，其具體過程如圖1所示。

圖1 移動應(yīng)用眾包測試質(zhì)量影響因素分析過程

首先，通過抓包程序抓取眾測平臺上近幾年的相關(guān)移動應(yīng)用測試的數(shù)據(jù)，并從眾包測試人員、眾包測試平臺、眾包測試任務(wù)三個維度來分析對測試質(zhì)量產(chǎn)生影響的因素。其次，通過斯皮爾曼相關(guān)系數(shù)計算各潛在因素與測試質(zhì)量之間的相關(guān)性，識別出與測試質(zhì)量顯著相關(guān)的因素，剔除掉與測試質(zhì)量相關(guān)性弱或無關(guān)的數(shù)據(jù)。最后，通過多元回歸分析方法建立各影響因素與測試質(zhì)量之間的分析模型，并使用相對平均誤差對模型評估，當具備較好評估效果時，則結(jié)束關(guān)鍵質(zhì)量影響因素的篩選過程。

表1 眾包測試人員、平臺及任務(wù)質(zhì)量影響因素

2 潛在影響因素分析

針對目前已有的移動應(yīng)用眾包測試質(zhì)量研究成果[11]以及移動應(yīng)用眾包測試相關(guān)特性，本文從眾包測試人員、眾包測試平臺、眾包測試任務(wù)3個方面對測試質(zhì)量影響因素進行分析，并給出了相應(yīng)的度量方式。移動應(yīng)用眾包測試質(zhì)量影響因素如圖2所示。

1)眾包測試人員因素。

眾包測試人員是眾包測試任務(wù)的執(zhí)行方，眾包測試人員的專業(yè)能力以及信用問題等都會對眾測結(jié)果產(chǎn)生極大影響，因此在眾包測試任務(wù)執(zhí)行過程中，邀請高水平、高信用的眾包測試人員十分關(guān)鍵。

2)眾包測試平臺因素。

眾包測試平臺是眾包測試工作的開展平臺，為測試人員提供測試任務(wù)選擇與接收以及測試相關(guān)工具。在測試平臺方面，任務(wù)發(fā)布天數(shù)是衡量一個平臺的重要因素，該因素說明平臺用戶的活躍程度。當存在較多活躍用戶及任務(wù)數(shù)，任務(wù)質(zhì)量也相對較高。

圖2 移動應(yīng)用眾包測試質(zhì)量影響因素

3)眾包測試任務(wù)基本信息因素。

眾包測試任務(wù)基本信息是眾包測試任務(wù)發(fā)布的基本信息，如測試需求、薪酬、測試周期等。眾包測試任務(wù)基本信息是對參與測試人員的篩選，也是測試人員衡量任務(wù)是否合適自己的標準，故眾包測試任務(wù)的基本信息也對測試質(zhì)量有潛在影響[12]。

綜上所述，移動應(yīng)用眾包測試人員、平臺及任務(wù)三個方面的影響因素及度量方式如表1所示。

3 影響因素評估模型

3.1 斯皮爾曼相關(guān)分析

為研究各潛在因素與測試質(zhì)量之間的相關(guān)密切程度，分析出移動應(yīng)用眾包測試質(zhì)量顯著相關(guān)的因素，需要進行相關(guān)性分析。在正式進行研究之前，本文從模擬搭建的小型眾包平臺中提取了200個相關(guān)數(shù)據(jù)作為訓(xùn)練樣本，經(jīng)過研究對比，發(fā)現(xiàn)這些數(shù)據(jù)中影響因素與測試質(zhì)量之間的聯(lián)合分布不一定滿足正態(tài)分布，因此在本文中采用斯皮爾曼相關(guān)系數(shù)來研究各潛在因素與測試質(zhì)量之間的相關(guān)性。經(jīng)過對訓(xùn)練樣本的實驗，發(fā)現(xiàn)采用斯皮爾曼相關(guān)系數(shù)可以快速且準確地篩選出移動應(yīng)用眾包測試關(guān)鍵影響因素，故證明本方法是有效的。

斯皮爾曼相關(guān)系數(shù)也稱秩相關(guān)系數(shù)，是利用兩個變量的秩次大小來作線性相關(guān)分析，對于原始變量的分布不作要求，屬于非參數(shù)型統(tǒng)計方法。

斯皮爾曼相關(guān)系數(shù)計算時，需要對樣本數(shù)據(jù)進行排秩，其計算公式如下：

(1)

其中：di2=(R1i-R2i)2,表示兩變量之間秩差的平方，n為樣本容量，表示該潛在影響因素與測試質(zhì)量有n對樣本值。rs的取值范圍在-1～+1，即-1≤rs≤1,rs>0為正相關(guān)，rs<0為負相關(guān)，如果rs=0，表示兩個變量之間完全不相關(guān)。

3.2 多元線性回歸模型

利用相關(guān)系數(shù)分析，僅是獲取因變量和自變量相關(guān)關(guān)系的方向和密切程度，需要通過回歸分析建立分析模型進一步分析與測試質(zhì)量顯著相關(guān)的因素與測試質(zhì)量之間的相互依賴關(guān)系。為了消除多重共線性對最終分析結(jié)果造成的干擾，本文采用逐步回歸法建立分析模型。

使用逐步回歸方法建立眾包測試質(zhì)量分析模型的過程中將逐個引入自變量，并在引入同時檢查是否可以剔除某個變量，具體的實現(xiàn)步驟如下：

通過前一階段斯皮爾曼相關(guān)系數(shù)分析,篩選出p個與眾包測試質(zhì)量顯著相關(guān)的因素為自變量，測試質(zhì)量為因變量，就可以建立多元回歸模型。

多元回歸模型建立步驟：

首先對p個質(zhì)量影響因素xi(1≤i≤p)分別擬合線性回歸模型

y=β0+βixi+ε

(2)

其中：β0,β1,…,βp是p+1個未知參數(shù)，ε是不可預(yù)測的隨機誤差，且通常假定ε～N(0,δ2)。y為因變量，即測試質(zhì)量，影響因素xi為自變量，即上一階段得出的與測試質(zhì)量顯著相關(guān)的影響因素。

然后計算F統(tǒng)計量：

(3)

其中：SSR(xi)表示通過該影響因素預(yù)測的測試質(zhì)量與實際測試質(zhì)量的均值的差的平方和，也稱之為回歸平方和；MSE(xi)表示通過該影響因素預(yù)測的測試質(zhì)量與實際測試質(zhì)量的差的平方和的均值。

選出F統(tǒng)計量中的最大值Fmax與測試質(zhì)量影響因素的F臨界值FE進行比較：若Fmax≤FE，即除該影響因素xi1外的其他影響因素中沒有一個是統(tǒng)計上顯著的，則選取過程結(jié)束，上一步選擇的模型為最優(yōu)模型；若Fmax>FE，則表示影響因素xi2質(zhì)量的影響是顯著的，則將自變量xi2選入模型中。

此外，需計算當xi2進入模型后，xi2對y的影響是否仍然顯著。計算公式如下：

(4)

重復(fù)以上步驟，直到?jīng)]有新的影響因素能進入模型，同時在模型之中的已有影響因素都無法剔除，則結(jié)束選擇過程。最后一個模型即為所求的最優(yōu)回歸模型，其得出的結(jié)果即可反映各影響因素與測試質(zhì)量間的依賴關(guān)系。其中該模型中的自變量便為與測試質(zhì)量顯著相關(guān)的影響因素，相關(guān)系數(shù)即為該影響因素與測試質(zhì)量之間的密切程度。

4 仿真與分析

通過獲取某移動應(yīng)用眾包測試平臺相關(guān)數(shù)據(jù)，根據(jù)斯皮爾曼相關(guān)系數(shù)計算出各因素與測試質(zhì)量之間的關(guān)聯(lián)關(guān)系，進而篩選出關(guān)聯(lián)性較強的關(guān)鍵影響因素，利用多元逐步回歸法建立各影響因素與測試質(zhì)量之間的線性關(guān)系。最后計算出模型預(yù)測結(jié)果與樣本實際結(jié)果之間的平均相對誤差完成對模型的評估分析。

4.1 數(shù)據(jù)獲取

本文通過爬蟲程序，獲取了某移動應(yīng)用眾包測試平臺上發(fā)布的各類測試信息，包括任務(wù)類型、任務(wù)薪酬、測試周期等，測試人員的測試經(jīng)驗、專業(yè)能力、信譽等級以及平臺成熟度等相關(guān)數(shù)據(jù)。在獲取到的2 048個測試任務(wù)數(shù)據(jù)中，分別統(tǒng)計眾包測試人員、平臺及任務(wù)樣本數(shù)據(jù)如表2所示。

表2 眾包測試人員、平臺、任務(wù)樣本數(shù)據(jù)

4.2 數(shù)據(jù)分析

根據(jù)獲取到的數(shù)據(jù)以及各因素數(shù)據(jù)的分布特征進行相關(guān)性分析。利用3.1節(jié)中的斯皮爾曼相關(guān)分析法，計算各影響因素與測試質(zhì)量之間的斯皮爾曼的相關(guān)系數(shù)，以及在0.05的顯著性水平下，各影響因素與測試質(zhì)量之間的斯皮爾曼顯著性，計算結(jié)果如表3所示。

表3 斯皮爾曼相關(guān)系數(shù)結(jié)果

由表7可知，在顯著性水平為0.05時，對測試質(zhì)量有顯著影響的因素有測試人員測試經(jīng)驗、測試人員專業(yè)能力、測試人員信譽度、參與任務(wù)數(shù)量、按時交稿任務(wù)數(shù)量、設(shè)計測試用例數(shù)量、測試用例執(zhí)行數(shù)量、發(fā)現(xiàn)Bug數(shù)量、有效Bug數(shù)量、近期活躍用戶數(shù)量、近期平均任務(wù)質(zhì)量、任務(wù)類型、任務(wù)要求數(shù)目、需求文檔長度這14個因素。其中任務(wù)要求數(shù)目和需求文檔長度的相關(guān)系數(shù)為負數(shù)，表明其值越高，則測試質(zhì)量越低，其余因素皆與測試質(zhì)量呈正相關(guān)；收益、測試周期、測試環(huán)境等由于樣本值分布比較集中，對測試任務(wù)區(qū)分性小，因此與測試質(zhì)量沒有顯著相關(guān)性；測試人員專業(yè)能力和測試人員經(jīng)驗這兩個因素之間具有重復(fù)性。因此可以篩選出測試人員專業(yè)能力、按時交稿任務(wù)數(shù)量、有效Bug數(shù)量、平均任務(wù)質(zhì)量、任務(wù)類型、任務(wù)要求數(shù)目這6項為關(guān)鍵質(zhì)量影響因素。

4.3 多元逐步回歸模型有效性評估

4.3.1 多元逐步回歸模型建立

將斯皮爾曼相關(guān)分析識別出的6個顯著影響因素作為模型的輸入，測試人員測試質(zhì)量的分值作為輸出，建立多元逐步回歸模型。各影響因素的系數(shù)β、t檢驗值、P值以及方差膨脹因子(Variance Inflation Factor, VIF)的回歸結(jié)果如表4所示。

根據(jù)表4可知，該回歸模型中所有影響因素的P值是小于0.05的，表明其對測試質(zhì)量有顯著影響，并且各影響因素的方差膨脹因子VIF均小于1.5，表明多元線性回歸模型中不存在多重共線性。

表4 回歸系數(shù)表

依據(jù)多元回歸結(jié)果，對測試質(zhì)量有顯著影響的6個關(guān)鍵質(zhì)量影響因素，可以用式(5)的多元線性回歸方程表示，其中TQ表示任務(wù)質(zhì)量。

TQ=20.343+0.012×professionalAbility+0.291×SubmitTNum+0.087×ValidBugNum+0.577×TaskQuality+0.042×TaskType-0.153×TaskItemNum

(5)

從式(5)可以看到，在6項關(guān)鍵質(zhì)量影響因素中，對移動應(yīng)用眾包測試質(zhì)量影響程度最大的為近期平均任務(wù)質(zhì)量，其次為按時交稿任務(wù)數(shù)量。所以發(fā)包方為了提高移動應(yīng)用眾包測試質(zhì)量，可以考慮以上6個因素，尤其是可以選擇近期平均任務(wù)質(zhì)量高及按時交稿任務(wù)數(shù)量高的測試人員來完成任務(wù)。

4.3.2 模型評估

為驗證多元線性回歸模型結(jié)果的準確性，本文使用平均相對誤差(Mean Relative Error, MRE)作為衡量指標，具體的計算公式如下：

(6)

其中:n為樣本數(shù)量，Qi為樣本值，Qi′為預(yù)測值，MRE的值越小表明模型的準確率越高，效果越好。本文隨機抽取樣本數(shù)據(jù)集中的近15天的數(shù)據(jù)為測試樣本，進行模型效果的計算，計算結(jié)果MRE值為3.08%。根據(jù)式(5)對模型結(jié)果進行預(yù)測，并以模型的預(yù)測值與網(wǎng)站樣本值作比較，在SPSS中建立如圖3所示的散點圖。

圖3 預(yù)測值與樣本值散點圖

MRE的結(jié)果值為3.08%表明模型的平均相對誤差很小，同時在圖3可以看到，檢驗數(shù)據(jù)中樣本值和預(yù)測值的結(jié)果非常接近，表明多元線性回歸模型和樣本數(shù)據(jù)集具備較好的擬合程度。因此，對于移動應(yīng)用眾包測試質(zhì)量影響因素分析，本文構(gòu)建的基于斯皮爾曼相關(guān)分析及多元逐步回歸模型分析方法具有較好的適用性。

傳統(tǒng)眾包任務(wù)的評分機制往往是由眾包任務(wù)的發(fā)布者及專業(yè)的評審人員根據(jù)提交的軟件與需求的符合程度來對軟件的質(zhì)量打分，因此，眾測平臺采用的質(zhì)量評價機制所提供的測試質(zhì)量得分也可以比較客觀地反映眾包測試人員完成測試任務(wù)的程度，和發(fā)現(xiàn)bug的數(shù)量以及等級。然而這種評分機制仍可能存在發(fā)布者惡意差評、專家在大量任務(wù)評估時出現(xiàn)差錯、消耗大量人力、評價效率低下等問題。為了進一步說明，本文在剔除任務(wù)發(fā)布者惡意差評的情況下，從測試樣本中隨機選取50,100,…,500組評分，以任務(wù)發(fā)布者評分為基準，分別計算本模型的評分及專家評分與任務(wù)發(fā)布者評分之間的平均相對誤差。計算結(jié)果如圖4所示。

由圖4可知，隨著樣本數(shù)量的增加，專家評分的平均相對誤差逐漸變大，而本模型評價的平均相對誤差卻穩(wěn)定在一個相對較小的水平，說明本模型結(jié)果的可靠性。雖然大部分情況下，任務(wù)發(fā)布者的評分是客觀的，但仍存在少數(shù)惡意差評的情況。通過本模型，可以高效且準確地對任務(wù)質(zhì)量進行評價，也進一步說明本文篩選出的6個關(guān)鍵影響因素是準確的，可通過對這6個關(guān)鍵影響因素對測試質(zhì)量進行控制與提升。

5 結(jié)語

由于影響移動應(yīng)用眾包測試質(zhì)量的因素眾多，難以從中識別關(guān)鍵影響因素。本文通過斯皮爾曼相關(guān)系數(shù)分析及逐步回歸法建立分析模型對移動應(yīng)用眾包測試質(zhì)量影響因素進行分析篩選，識別出移動應(yīng)用眾包測試關(guān)鍵質(zhì)量影響因素。下一步將深入研究如何利用質(zhì)量影響因素有效提高移動應(yīng)用眾包測試質(zhì)量。