譚頂梅，成 靜

（西安工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，陜西西安 710021）

0 引言

隨著互聯(lián)網(wǎng)平臺的快速發(fā)展，眾包技術(shù)被廣泛應(yīng)用于解決各種工程任務(wù)，尤其是軟件測試［1］。眾包一詞是由Howe［2］于2006 年提出，其是一種分布式問題解決模式，即公司或組織通過一個(gè)開放網(wǎng)絡(luò)平臺，以自由和自愿的方式將以往由全職員工完成的工作任務(wù)外包給一群不特定的解決方案提供者［3］。眾包測試是依托新一代互聯(lián)網(wǎng)技術(shù)衍生出來的新興測試方法，其利用互聯(lián)網(wǎng)的即時(shí)性和共享性，采用分布、協(xié)作的方式組織生產(chǎn)，協(xié)同測試需求和測試資源，最終聚合形成規(guī)模效益［4］。

隨著新興移動(dòng)應(yīng)用數(shù)量的激增，移動(dòng)應(yīng)用測試中也引入了眾包測試形式。移動(dòng)應(yīng)用眾包測試任務(wù)的完成需要發(fā)包方、眾包平臺與眾包測試人員三者之間良好協(xié)作，典型的移動(dòng)應(yīng)用眾包測試模型如圖1 所示。與傳統(tǒng)測試相比，眾包測試可以輕松、廉價(jià)地獲得大量候選測試人員，他們可以在不同環(huán)境、平臺以及知識背景下進(jìn)行測試，能快速且低成本地發(fā)現(xiàn)軟件缺陷［5］，提高了測試效率，解決了企業(yè)人手與資金不足的問題。

Fig.1 Typical mobile application crowdsourcing testing model圖1 典型移動(dòng)應(yīng)用眾包測試模型

雖然移動(dòng)應(yīng)用眾包測試有很多候選測試人員，但由于成本限制，不可能讓所有候選人員都執(zhí)行測試任務(wù)。同時(shí)在眾包測試背景下，軟件測試成功與否很大程度取決于眾包測試人員的反饋。然而，由于眾包測試的匿名性與非契約性，眾包測試人員會產(chǎn)生懈怠、欺詐等行為，使測試結(jié)果質(zhì)量得不到保證［6］，因此如何選取眾包測試人員十分重要。為使發(fā)包方更加方便地選擇眾包測試人員，本文以數(shù)據(jù)化的方式對眾包測試人員信譽(yù)度進(jìn)行研究與展現(xiàn)。

1 相關(guān)研究

國內(nèi)外學(xué)者對眾包測試人員的信譽(yù)度進(jìn)行了積極研究并取得了一定成果。例如，芮蘭蘭等［7］采用重復(fù)博弈方法計(jì)算測試人員信譽(yù)值并構(gòu)建了激勵(lì)機(jī)制，同時(shí)設(shè)置了懲罰機(jī)制針對惡意工作者作出相應(yīng)懲罰，有效激勵(lì)了理性工作者盡力工作；阮閃閃等［8］提出基于證據(jù)理論的信任評估模型實(shí)現(xiàn)眾包平臺的質(zhì)量監(jiān)控，通過計(jì)算眾包測試人員的直接信譽(yù)值和間接信譽(yù)值綜合評定其信譽(yù)值，模型中同時(shí)引入獎(jiǎng)懲機(jī)制,用以激勵(lì)接包方參與眾包并提供高質(zhì)量眾包，同時(shí)遏制惡意的接包方；嚴(yán)俊等［9］通過控制眾包交互過程中測試人員的積極性和任務(wù)完成質(zhì)量構(gòu)建眾包測試人員信譽(yù)模型，實(shí)現(xiàn)了眾包平臺的質(zhì)量控制；肖江輝［10］提出一種基于可信度的眾包協(xié)同測試算法，即通過統(tǒng)計(jì)測試人員在測試過程中發(fā)現(xiàn)的bug數(shù)目和等級計(jì)算其客觀可信度，然后通過評估bug的可信程度給出主觀可信度，最后通過集成二者獲得測試人員的全局可信度；Lee 等［11］提出基于質(zhì)量評估和用戶等級任務(wù)分配框架的眾包質(zhì)量提升策略。然而，目前已有的信譽(yù)度計(jì)算方法均未考慮到眾包測試人員受到的主客觀因素影響。本文在前人研究的基礎(chǔ)上充分考慮影響眾包測試人員信譽(yù)度的主客觀因素，提出移動(dòng)應(yīng)用眾包測試人員信譽(yù)度復(fù)合計(jì)算模型，通過眾包測試人員主觀評分計(jì)算主觀信譽(yù)度，采用層次分析法計(jì)算其客觀信譽(yù)度，最后評估出眾包測試人員的綜合信譽(yù)度。

2 基于主客觀因素的眾包測試人員信譽(yù)度計(jì)算

2.1 主觀信譽(yù)度計(jì)算

采用評分算法選取用戶可靠評分并更新目前眾包測試人員的個(gè)人評分，在個(gè)人評分不斷更新的基礎(chǔ)上計(jì)算其主觀信譽(yù)度。目前，評分算法已被廣泛應(yīng)用于各類場合，具有一定的有效性，可以很好地反映被評價(jià)方的任務(wù)完成度、信譽(yù)度以及滿意度，對其有一定的督促作用［12］。常用用戶評分機(jī)制包括2 分制、5 分制和10 分制。本文采用10分制對眾包測試人員信譽(yù)度進(jìn)行評分，評分越高表示發(fā)包方對眾包測試人員越滿意。

發(fā)包方的評分范圍包括眾包平臺上給出的眾包測試人員各方面屬性，維度越多，眾包測試人員的個(gè)人信譽(yù)度越準(zhǔn)確［13-14］。為方便計(jì)算，本文選取3 個(gè)維度，分別為測試人員可靠性、測試結(jié)果質(zhì)量和測試結(jié)果數(shù)量。發(fā)包方對眾包測試人員的評價(jià)用V表示，V1、V2和V3分別表示發(fā)包方對眾包測試人員的可靠性、測試結(jié)果質(zhì)量和測試結(jié)果數(shù)量評分。由于無法保證新發(fā)包方給眾包測試人員的評分全部真實(shí)可靠，本文通過研究評分的可靠置信區(qū)間計(jì)算偏離值，去除惡意評分，更新眾包測試人員的歷史評分，使評分更加真實(shí)有效。

2.1.1 評分可靠置信區(qū)間計(jì)算

為保證新發(fā)包方給出的評分具有可信度，本文根據(jù)新評分與眾包測試人員歷史評分之間的關(guān)系提出評分置信區(qū)間的概念，計(jì)算出新評分與樣本總體評分之間的偏差，偏差在可靠置信區(qū)間內(nèi)即為有效評分［15-16］。當(dāng)新發(fā)包方的評分明顯低于或高于該眾包測試人員歷史評分時(shí)，這個(gè)新評分便有可能是虛假評分，在更新用戶評分時(shí)不予采納。若新發(fā)包方的評分在給出的可靠置信區(qū)間內(nèi)，說明該評分可信，則將新評分納入眾包測試人員歷史評分中進(jìn)行評分更新。具體計(jì)算方法如下：

首先，計(jì)算第j個(gè)眾包測試人員的第k個(gè)屬性評分均值，公式為：

然后，計(jì)算新發(fā)包方對眾包測試人員評分向量相對于該人員歷史評分向量平均值的偏離大小，即新評分的可信度L，采用距離向量表示，距離越小，說明新發(fā)包方的評價(jià)與該人員的歷史評價(jià)越相似，評分信息也越可靠，反之則不可信。具體計(jì)算公式為：

2.1.2 眾包測試人員主觀信譽(yù)度計(jì)算

對眾包測試人員信譽(yù)度的計(jì)算實(shí)際上是對其評分的不斷更新。在測試任務(wù)結(jié)束后，發(fā)包方對眾包測試人員進(jìn)行評分，通過計(jì)算該評分與該用戶總體評分均值之間的偏離度來判斷新評分是否可用，偏離度越小說明新評分越可信，則將新評分代入該用戶歷史評分，計(jì)算出該人員新的綜合評分V，即為其主觀信譽(yù)度值。以下給出計(jì)算過程部分?jǐn)?shù)據(jù)作為實(shí)例進(jìn)行分析。

表1 給出了20 個(gè)發(fā)包方對眾包測試人員T1 的評價(jià)，具體計(jì)算方法為：

首先根據(jù)式（1）計(jì)算T1各維度評分的均值，分別為：

可以得出T1 的評分均值為（8.1，7.9，7.1）。由表1 可以看出，U6 對T1 的評分明顯偏離，即以該評分為例，根據(jù)式（2）計(jì)算出偏離大小，即為：

L=0.790＞0.3，即該評分不可信，不予采納。若新用戶對T1 的評分為（9，9，7），根據(jù)式（2）可得L=0.142＜0.3，說明新評分可信，則采納新評分并代入計(jì)算T1 的新評分，得到：=7.09，T1 的新主觀信譽(yù)度V=7.76。

Table 1 Scoring table for crowdsourcing tester T1表1 眾包測試人員T1評分表

2.2 客觀信譽(yù)度計(jì)算

2.2.1 影響因素

選擇按時(shí)交稿任務(wù)數(shù)量、發(fā)現(xiàn)Bug 數(shù)量、有效Bug 數(shù)量以及測試人員等級4 個(gè)影響因素對測試人員客觀信譽(yù)度進(jìn)行研究分析［17］，具體如表2所示。

（1）按時(shí)交稿任務(wù)數(shù)量。眾包測試人員的按時(shí)反饋對于發(fā)包方錯(cuò)誤的及時(shí)更正具有重要意義，基層嚴(yán)重Bug 的出現(xiàn)會導(dǎo)致整條生產(chǎn)線重新測試。同時(shí)按時(shí)交稿任務(wù)數(shù)量也體現(xiàn)了眾包測試人員的時(shí)間觀念，是影響眾包測試人員信譽(yù)度的重要因素。

（2）發(fā)現(xiàn)Bug 數(shù)量。發(fā)現(xiàn)Bug 數(shù)量多少是測試人員能力和工作積極性的一種體現(xiàn)，發(fā)現(xiàn)Bug 數(shù)量越多，眾包測試人員的信譽(yù)度也會有一定提高。

（3）有效Bug 數(shù)量。有效Bug 數(shù)量是相對于發(fā)現(xiàn)Bug數(shù)量來說的，有效Bug 越多，且在Bug 數(shù)量中占比越大，說明眾包測試人員測試質(zhì)量越高，其信譽(yù)度也就越高。

（4）測試人員等級。眾包測試人員等級分為初級、中級、高級，等級劃分是對眾包測試人員能力的認(rèn)定，其等級越高，信譽(yù)度也就越高。

Table 2 Influencing factors of tester's credibility表2 眾包測試人員信譽(yù)度影響因素

2.2.2 層次分析法

層次分析法是一種解決多目標(biāo)復(fù)雜問題的定性與定量相結(jié)合的決策分析方法［18］，其在對復(fù)雜決策問題的本質(zhì)、影響因素及內(nèi)在關(guān)系等進(jìn)行深入研究的基礎(chǔ)上，利用較少的定量信息使決策思維過程數(shù)學(xué)化，從而為多目標(biāo)、多準(zhǔn)則或無結(jié)構(gòu)特性的復(fù)雜問題提供簡便的決策方法［19］。本文采用層次分析法評估眾包測試人員信譽(yù)度的客觀評分，將影響眾包測試人員信譽(yù)度的客觀因素分為4 個(gè)層次，然后借助定性和定量分析得到評價(jià)指標(biāo)的權(quán)重向量［20］，依據(jù)權(quán)重計(jì)算出眾包測試人員的客觀信譽(yù)度。

層次分析法的具體步驟為：①建立層次結(jié)構(gòu)模型。依據(jù)上述影響眾包測試人員客觀信譽(yù)度的目標(biāo)因素構(gòu)建出層次結(jié)構(gòu)圖，將各因素分為不同層級，構(gòu)建多層級多指標(biāo)結(jié)構(gòu)；②構(gòu)造判斷矩陣。依據(jù)專家或相關(guān)資料對同一層的影響因子兩兩打分，比較確定影響因子的重要性，以此建立判斷矩陣U=(Aij)n×n，其中Aij為因素i相較于因素j的重要程度量化值，判斷矩陣中Aij的值越大，說明因素i相對于因素j 越重要，Aij取值范圍為1～9；③層次單排序及其一致性檢驗(yàn)。計(jì)算上述判斷矩陣中最大特征根λmax的特征向量，經(jīng)標(biāo)準(zhǔn)化處理后記為W。W 為同一層次因素對于上一層次因素相對重要性的排序權(quán)值，這一過程稱為層次單排序［21］。為檢驗(yàn)判斷矩陣的一致性，需要計(jì)算一致性指標(biāo)CI，公式為：

式中，λmax為矩陣的最大特征值，n 為矩陣階數(shù)。當(dāng)CI=0 時(shí)，表示有完全的一致性，當(dāng)CI接近于0 時(shí)，表示有滿意的一致性，CI越大，不一致性越高。

為降低主觀偏差，引入判斷矩陣的平均隨機(jī)一致性比率CR，計(jì)算公式為：

式中，RI為平均隨機(jī)一致性指標(biāo)，對于低階矩陣可直接通過查表得到。當(dāng)CR＜0.1 時(shí)，則表明判斷矩陣U通過一致性檢驗(yàn)，判別結(jié)果為可以接受，否則需要重新構(gòu)造判別矩陣U，直至通過一致性檢驗(yàn)。

2.2.3 判斷矩陣構(gòu)造

如表3 所示，A表示眾包測試人員信譽(yù)度；B表示影響A的指標(biāo)，其中B1為按時(shí)交稿任務(wù)數(shù)量，B2為發(fā)現(xiàn)Bug 數(shù)量，B3為有效Bug 數(shù)量，B4為測試人員等級。本文選取直接相關(guān)因素，僅構(gòu)造了一層相關(guān)層次結(jié)構(gòu)，因而計(jì)算較為簡單。根據(jù)Santy 的1-9 標(biāo)度方法及相關(guān)資料數(shù)據(jù)［22］，得出A 相對于B 的判斷矩陣U，表示為：

2.2.4 信譽(yù)度指標(biāo)權(quán)重向量計(jì)算

為判斷層次分析法是否符合邏輯，需要對判斷矩陣U進(jìn)行一致性檢驗(yàn)。根據(jù)一致性檢驗(yàn)步驟可以得出，U 的最大特征值λmax=4.223 0，將λmax代入式（3）可得CI=0.074 3，RI=0.90，將計(jì)算結(jié)果代入式（4）可得CR=0.082 6＜0.1，說明U 具有滿意一致性，對應(yīng)的特征向量即為其權(quán)重向量。U的最大特征值對應(yīng)的特征向量W=［0.833 8 0.203 5 0.499 8 0.116 7］，該向量經(jīng)歸一化處理后可得=[0.504 2 0.123 0 0.302 2 0.070 6]。歸一化后的向量稱為權(quán)向量，可以看出在計(jì)算眾包測試人員信譽(yù)度時(shí)按時(shí)交稿任務(wù)數(shù)量最重要，其次為有效Bug 數(shù)量，再次為Bug 數(shù)量，最后為眾包測試人員等級，具體權(quán)重如表3所示。

根據(jù)權(quán)向量的計(jì)算結(jié)果可以得到眾包測試人員信譽(yù)度影響因素指標(biāo)模型，表示為：

2.2.5 信譽(yù)度影響因素權(quán)重的應(yīng)用

測試用戶信譽(yù)度N0可表示為：

Table 3 Credit impact indexes and their weight value表3 信譽(yù)度影響指標(biāo)及其權(quán)重值

該式是對信譽(yù)度各影響因素的歸一化處理，其中N表示測試用戶當(dāng)前指標(biāo)值，Nmax為該指標(biāo)的最大值，Nmin為該指標(biāo)的最小值。

根據(jù)表3 中的權(quán)重構(gòu)建眾包測試人員客觀信譽(yù)度計(jì)算模型，表示為：

式中，Ci為信譽(yù)度計(jì)算模型中第i 個(gè)影響指標(biāo)的賦值，本文采用10 分制，則Ci=10 ×N0；Wi為第i 個(gè)影響指標(biāo)的權(quán)重。將賦值分別乘以權(quán)重并求和，所得分?jǐn)?shù)即為眾包測試人員客觀信譽(yù)度值。

2.3 復(fù)合信譽(yù)度計(jì)算模型

綜合分析主觀和客觀影響因素，眾包測試人員復(fù)合信譽(yù)度Z最終表示為：

式中，V表示眾包測試人員主觀信譽(yù)度值，A表示眾包測試人員客觀信譽(yù)度值；α、β 分別表示其對應(yīng)權(quán)重，且α+β=1，其值可以根據(jù)用戶個(gè)人需要設(shè)定。

3 實(shí)驗(yàn)方法與結(jié)果分析

數(shù)據(jù)提取自某開放式網(wǎng)絡(luò)授課系統(tǒng)的實(shí)驗(yàn)結(jié)果［23］，將學(xué)生在亞馬遜眾包平臺完成的1 000 道測試題得分作為初始信譽(yù)度評分，再通過發(fā)布新任務(wù)更新學(xué)生的信譽(yù)度。實(shí)驗(yàn)在初始信譽(yù)度數(shù)據(jù)的基礎(chǔ)上進(jìn)行相應(yīng)擴(kuò)展并模擬出眾包測試社區(qū)中3 種典型眾包測試人員TS1、TS2、TS3，其中TS1 為優(yōu)秀型，TS2 為一般型，TS3 為惡意型。為驗(yàn)證人為惡意評分對眾包測試人員信譽(yù)度的影響，實(shí)驗(yàn)?zāi)M了一批發(fā)包方對TS1 和TS2 進(jìn)行惡意差評，對TS3 進(jìn)行好評，評分為10 分制，模擬眾包測試人員數(shù)量為50 人，信譽(yù)值計(jì)算次數(shù)分別為10 次和20 次。在計(jì)算客觀信譽(yù)值時(shí)，參考眾包測試人員信譽(yù)度模擬相應(yīng)數(shù)值，要求偏差不能過大。

為驗(yàn)證本文模型的優(yōu)越性，分別對基于發(fā)包方評分的模型和本文復(fù)合模型進(jìn)行信譽(yù)度計(jì)算。其中基于發(fā)包方評分的模型信譽(yù)度計(jì)算以網(wǎng)絡(luò)授課系統(tǒng)實(shí)驗(yàn)中學(xué)生的信譽(yù)度為基礎(chǔ)，僅根據(jù)新發(fā)包方的評分更新迭代眾包測試人員的信譽(yù)度。圖2 為僅基于發(fā)包方評分計(jì)算出的眾包測試人員信譽(yù)值，可以看出，惡意評分對眾包測試人員的信譽(yù)值影響較大。從圖2（a）可以看出，TS2 一般型人員在惡意差評下迭代10 次的信譽(yù)值與TS3 惡意型人員在故意好評下迭代10 次的用戶信譽(yù)度值重疊。由圖2（b）可以看出，當(dāng)?shù)?0 次時(shí)，TS3 惡意型人員的信譽(yù)值甚至高過了TS1 優(yōu)秀型人員，這明顯與實(shí)際情況不符。基于發(fā)包方評分的模型受惡意評價(jià)影響嚴(yán)重，評價(jià)結(jié)果不夠合理。

Fig.2 Credibility values of different types of personnel under the employer's scoring model圖2 不同類型人員在發(fā)包方評分模型下的信譽(yù)值

圖3 為基于本文復(fù)合模型計(jì)算出的眾包測試人員信譽(yù)值。在同樣的惡意評價(jià)下，可靠置信區(qū)間的計(jì)算排除了大部分惡意評價(jià)，只有一小部分與眾包測試人員歷史評分相近的評分被保留代入計(jì)算，因此對主觀信譽(yù)度值影響不大。由于客觀信譽(yù)度不受主觀評分影響，只與眾包測試人員本身的行為有關(guān)，使得綜合信譽(yù)度幾乎不受惡意評分的影響。由圖3 可以看出，無論是迭代10 次還是20 次，不同類型測試人員的信譽(yù)值均可以保持平穩(wěn)，說明復(fù)合模型可根據(jù)測試人員實(shí)際行為對其信譽(yù)度作出有效評估。

Fig.3 Credibility values of different types of personnel under the compound models圖3 不同類型人員在復(fù)合模型下的信譽(yù)值

4 結(jié)語

本文提出一種基于將主客觀因素相結(jié)合的移動(dòng)應(yīng)用眾包測試人員信譽(yù)度復(fù)合計(jì)算模型，該模型通過發(fā)包方對測試人員的主觀評分以及評分可靠置信區(qū)間的計(jì)算迭代更新測試人員的主觀信譽(yù)度值，根據(jù)眾包測試人員行為計(jì)算其客觀信譽(yù)度值，最后將兩者結(jié)合，根據(jù)各自權(quán)重綜合計(jì)算出最終信譽(yù)度。該模型既排除了主觀因素的惡意評分，并對主觀信譽(yù)度進(jìn)行實(shí)時(shí)更新，又考慮了眾包測試人員行為因素，使得評價(jià)結(jié)果合理性得以保證。

目前復(fù)合信譽(yù)度模型還存在一定缺陷。首先，評分可靠置信區(qū)間的計(jì)算會阻擋真實(shí)的跳崖式下降或上升的評分，影響眾包測試人員主觀信譽(yù)度的真實(shí)性；其次，目前考察的客觀信譽(yù)度影響因素不夠完善。下一步將結(jié)合發(fā)包方評分參考價(jià)值度增強(qiáng)眾包測試人員主觀信譽(yù)度的真實(shí)性，并進(jìn)一步完善影響因素模型，對眾包測試人員信譽(yù)度進(jìn)行擴(kuò)展性研究。