周艷

摘要 眾包（Crowdsourcing）是將一項(xiàng)任務(wù)在網(wǎng)絡(luò)上分包給許多人共同完成，傳統(tǒng)的競(jìng)爭(zhēng)式眾包中，眾包工人獨(dú)立完成測(cè)試任務(wù)，往往進(jìn)行大量冗余工作，未能充分發(fā)揮群體智能優(yōu)勢(shì)。本文旨在研究協(xié)作式眾包工作機(jī)制，引導(dǎo)眾包工人進(jìn)行信息交互，協(xié)作完成眾包任務(wù)，基于社會(huì)心理學(xué)的相關(guān)理論，研究協(xié)作對(duì)眾包測(cè)試效率的提升。為了驗(yàn)證該機(jī)制的可行性，本文收集了來自協(xié)作式眾包平臺(tái)的實(shí)驗(yàn)數(shù)據(jù)，設(shè)置對(duì)照試驗(yàn)，分析不同眾包模式下的任務(wù)完成情況，眾包工人的貢獻(xiàn)差異，實(shí)驗(yàn)結(jié)果表明，協(xié)作能夠提升眾包測(cè)試效率。

關(guān)鍵詞 協(xié)作式眾包 社會(huì)心理學(xué) 測(cè)試效率

1.引言

眾包近年來得到工業(yè)界和學(xué)術(shù)界的共同重視，作為群體智能的典型應(yīng)用，被社會(huì)學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)、計(jì)算機(jī)學(xué)、系統(tǒng)工程學(xué)科廣泛研究。當(dāng)前的眾包只能在簡(jiǎn)單任務(wù)上形成群體協(xié)作，在復(fù)雜任務(wù)上無法支撐群體智能的協(xié)作，只是獨(dú)立完成測(cè)試任務(wù)，由眾測(cè)平臺(tái)審核海量報(bào)告并選擇高質(zhì)量的報(bào)告作為最優(yōu)方案，無法支撐眾包工人之間的有效地增效性的協(xié)作，簡(jiǎn)單的說，現(xiàn)在面對(duì)復(fù)雜問題的眾包，無法實(shí)現(xiàn)1+1>2。

只有針對(duì)不同的測(cè)試場(chǎng)景引導(dǎo)眾包工人協(xié)作完成測(cè)試任務(wù)，才能使工人更高效地完成測(cè)試任務(wù)。社會(huì)心理學(xué)為協(xié)作式眾包提供了更多理論支撐[1]。美國(guó)社會(huì)心理學(xué)家拉塔奈（B.Latane）提出社會(huì)作用理論，其證明了群體行為對(duì)個(gè)體行為具有制約作用，個(gè)體行為是個(gè)體需要與其所處的心理環(huán)境的函數(shù)的著名社會(huì)作用力公式，從社會(huì)立場(chǎng)角度探討個(gè)人行為受他人和社會(huì)影響的問題，如群體合力影響的倍增效益，協(xié)作式眾包測(cè)試也將提升眾包測(cè)試效率。在協(xié)作式眾包測(cè)試[2]中，所有Bug報(bào)告對(duì)眾包工人都是可見的（即信息共享），眾包工人以Wiki（多人協(xié)作的寫作系統(tǒng)）協(xié)作編輯的方式完成測(cè)試報(bào)告以減少重復(fù)報(bào)告;眾包工人不僅可以提交報(bào)告，也能對(duì)他人報(bào)告進(jìn)行審核，幫助眾包測(cè)試平臺(tái)識(shí)別高質(zhì)量報(bào)告。協(xié)作式眾包測(cè)試通過提供特定協(xié)作方式，減輕對(duì)眾包工人專業(yè)能力的要求，給眾包工人提供多樣的任務(wù)類型，使眾包工人有更強(qiáng)的參與感和成就感;同時(shí)通過眾包工人協(xié)作，使Bug報(bào)告聚合產(chǎn)生高質(zhì)量報(bào)告，能以更快的速度交付給任務(wù)發(fā)布者高可用的軟件缺陷列表。本文主要貢獻(xiàn)：

嘗試將社會(huì)心理學(xué)相關(guān)理論引入到眾包測(cè)試當(dāng)中去以激勵(lì)眾包工人去通過不斷修改別人的答案，使得整體任務(wù)的結(jié)果質(zhì)量提高;

設(shè)置對(duì)照試驗(yàn)，分析不同機(jī)制下的效率狀況，不同貢獻(xiàn)模型下的眾包工人成績(jī)影響;

針對(duì)基于社會(huì)心理學(xué)的協(xié)作式眾包測(cè)試提出協(xié)作建議。

2.協(xié)作式眾包機(jī)制

本文使用的協(xié)作式眾包測(cè)試平臺(tái)眾包測(cè)試系統(tǒng)能夠?qū)⑼瓿烧麄€(gè)測(cè)試任務(wù)進(jìn)行過程中的信息共享與任務(wù)分配，眾包工人在整個(gè)過程中，既是提交者也是審閱者，充分利用用戶之間的協(xié)作以及平臺(tái)推薦引導(dǎo)來提升報(bào)告質(zhì)量。其中，用戶對(duì)于推薦報(bào)告可以選擇點(diǎn)贊、點(diǎn)踩，眾測(cè)平臺(tái)在報(bào)告整合階段，可以參照該信息，對(duì)于報(bào)告質(zhì)量做出初步評(píng)價(jià)。同時(shí)，用戶亦可以選擇共同編輯（Fork），對(duì)推薦報(bào)告進(jìn)行補(bǔ)充。眾包工人之間相互協(xié)作，信息共享，可以在很大程度上減少冗余測(cè)試報(bào)告，同時(shí)共同完善測(cè)試報(bào)告，幫助開發(fā)人員進(jìn)行Bug重現(xiàn)。

3.實(shí)驗(yàn)

3.1實(shí)驗(yàn)設(shè)計(jì)

本次眾包測(cè)試任務(wù)是一項(xiàng)復(fù)雜的移動(dòng)應(yīng)用測(cè)試，考察眾包工人多方面的測(cè)試能力。我們選擇了一款漫畫閱讀軟件，“ComicsIsland”。眾包工人需要手動(dòng)對(duì)其進(jìn)行測(cè)試，特別是功能測(cè)試，盡可能覆蓋所有測(cè)試需求并提交測(cè)試用例和測(cè)試報(bào)告。

為了分析在協(xié)作機(jī)制與傳統(tǒng)競(jìng)爭(zhēng)機(jī)制環(huán)境下的測(cè)試效率，我們?cè)O(shè)置了一組對(duì)比實(shí)驗(yàn)：將眾包工人按1：1比例方法分別設(shè)為協(xié)作測(cè)試組和獨(dú)立測(cè)試組，在測(cè)試環(huán)境、測(cè)試任務(wù)及測(cè)試時(shí)間一致的情況下，協(xié)作測(cè)試組開展協(xié)作眾包測(cè)試，獨(dú)立測(cè)試組獨(dú)立測(cè)試并提交測(cè)試用例和報(bào)告。

為了深入研究協(xié)作眾包測(cè)試機(jī)制對(duì)眾包工人的影響，我們?cè)跍y(cè)試任務(wù)完成后對(duì)眾包工人進(jìn)行了一次匿名在線問卷調(diào)查以了解工人的個(gè)人真實(shí)想法，并結(jié)合眾包工人的測(cè)試結(jié)果進(jìn)行分析。我們發(fā)放了50份調(diào)查問卷，最后收到了38份調(diào)查反饋，并對(duì)其進(jìn)行了一定的篩選，刪除無效報(bào)告（如所有選項(xiàng)均相同），最后只留下28份有效調(diào)查報(bào)告。

3.2結(jié)果分析

3.2.1協(xié)作對(duì)眾包測(cè)試結(jié)果的提升

我們對(duì)整個(gè)測(cè)試過程進(jìn)行研究分析。本次眾包測(cè)試時(shí)常為4小時(shí)，我們每隔半小時(shí)對(duì)兩類學(xué)生在測(cè)試過程中已找到的bug總數(shù)進(jìn)行了統(tǒng)計(jì)，目的是想了解不同機(jī)制背景下的眾包工人在測(cè)試實(shí)踐過程中測(cè)試表現(xiàn)是否會(huì)存在差別。統(tǒng)計(jì)詳情如圖1所見。

觀察上圖Bug數(shù)量的變化趨勢(shì)，我們看到橙色折線（協(xié)作測(cè)試組找到的Bug數(shù)量）幾乎是一直呈現(xiàn)穩(wěn)定增長(zhǎng)，而灰色折線（獨(dú)立測(cè)試組發(fā)現(xiàn)的Bug數(shù)量）在測(cè)試開始3小時(shí)后則趨于平緩，近乎可以被看作是一條拋物線的一部分。在不考慮已發(fā)現(xiàn)Bug的有效性的前提下，我們很容易就可以得出眾包工人通過協(xié)作方式發(fā)現(xiàn)缺陷問題的數(shù)明顯多于獨(dú)立測(cè)試情況所發(fā)現(xiàn)缺陷數(shù)的結(jié)論。隨著時(shí)間推移，兩個(gè)實(shí)驗(yàn)組找到bug數(shù)量的差距明顯越來越大?？梢钥闯?，協(xié)作式眾包工作機(jī)制能夠?qū)崿F(xiàn)很好的支撐眾包工人之間的有效地增效性的協(xié)作，提高了眾包測(cè)試效率與質(zhì)量。

3.2.2協(xié)作對(duì)眾包測(cè)試的影響

圖2和圖3分別為問題Q1和Q2的調(diào)查結(jié)果統(tǒng)計(jì)。分析上述結(jié)果，我們知道雖然只有10.71%的學(xué)生一點(diǎn)都不想?yún)⒓拥奖姲鼫y(cè)試當(dāng)中去，但高達(dá)64.29%的學(xué)生對(duì)眾包測(cè)試有一定興趣。也就是說，絕大多數(shù)眾包工人以積極態(tài)度參與此次眾包測(cè)試，此次的實(shí)驗(yàn)結(jié)果對(duì)于我們分析不同機(jī)制下的測(cè)試效率差異是有價(jià)值的。從眾包工人對(duì)眾包測(cè)試的評(píng)估結(jié)果來看，協(xié)作測(cè)試組中認(rèn)為眾包測(cè)試對(duì)自身測(cè)試能力的提高有幫助的人數(shù)遠(yuǎn)遠(yuǎn)多于獨(dú)立測(cè)試組的人數(shù)，獨(dú)立測(cè)試組的多數(shù)眾包工人（62.33%）認(rèn)為眾包測(cè)試對(duì)自己是毫無幫助的。結(jié)合上文提到的社會(huì)心理理論，群體社會(huì)中的個(gè)體在能力更高的同伴、成人或工具的幫助下自身的認(rèn)知潛力將被很大程度的挖掘出來，即能力獲得提升，這與協(xié)作測(cè)試組眾包工人認(rèn)為眾包測(cè)試是有幫助的是相通的。綜上所述，眾包工人間的相互協(xié)作對(duì)于每個(gè)眾包工人的認(rèn)知發(fā)展和知識(shí)獲得至關(guān)重要。

4.結(jié)論

本文嘗試將社會(huì)心理學(xué)相關(guān)理論引入到眾包測(cè)試效率分析中。為了分析協(xié)作的作用，我們?cè)O(shè)置對(duì)照試驗(yàn)，分析不同機(jī)制下的效率狀況，不同貢獻(xiàn)模型下對(duì)眾包工人影響。根據(jù)實(shí)驗(yàn)結(jié)果所示，基于社會(huì)心理學(xué)理論建立起來的協(xié)作機(jī)制能夠?qū)崿F(xiàn)很好的支撐眾包工人之間的有效地增效性的協(xié)作，使眾包工人在相互交流的過程中獲取知識(shí)，促進(jìn)個(gè)體高級(jí)認(rèn)知能力的發(fā)展，這對(duì)現(xiàn)代化教育有很大的借鑒意義。