丁岳偉+王飄

摘要：

眾包產(chǎn)生于比較復(fù)雜的互聯(lián)網(wǎng)平臺上，必須對互聯(lián)網(wǎng)平臺上的眾包質(zhì)量進行控制，研究基于社交平臺的眾包質(zhì)量控制算法尤為必要。根據(jù)眾包問題涉及領(lǐng)域，將用戶在社交平臺領(lǐng)域的直接信譽度算法與用戶對歷史任務(wù)完成情況的質(zhì)量評估算法相結(jié)合完成用戶篩選，并根據(jù)篩選用戶給出的方案集，利用最大期望算法（E-M算法）獲取正確率相對較高的方案。實驗結(jié)果表明，即使在加入了一些惡意工作者的情況下，利用直接信譽度算法與用戶質(zhì)量評估算法篩選用戶，并使用E-M算法處理方案集能夠使社交平臺上的眾包質(zhì)量得到較好控制。

關(guān)鍵詞：

眾包；社交平臺；質(zhì)量檢測；領(lǐng)域信譽度；最大期望算法

DOIDOI：10.11907/rjdk.171970

中圖分類號：TP312

文獻標(biāo)識碼：A 文章編號：1672-7800（2017）012-0090-04

Abstract：As crowd-sourcing is generated on the Internet platform complex relatively， it is necessary to control the quality of crowd-sourcing on the Internet platform. So far， however， there has been little research into crowd-sourcing quality control on social platforms. Mainly studies the quality control algorithm of crowd-sourcing based on social platform. Firstly， this paper adopts the user's direct reputation algorithm based on the social platform and the user's quality evaluation algorithm for the completion of the historical task to filter users， according to the domain covered of crowd-sourcing problem. Finally， according to the scheme set of the filtered users， the maximum expectation algorithm （EM algorithm） is adopted to obtain the scheme with correct rate relatively high. The experimental results show that， even in the case of some malicious workers joining in， using the direct algorithm of the reputation and the quality of the user evaluation algorithm to filter users， and using EM algorithm to process scheme set can make the quality of crowd-sourcing on social platform get control better.

Key Words：crowdsourcing； social networking platform； quality inspection； field of credibility； maximumexpected algorithm

0 引言

作為一種新興的分布式計算模型，眾包已成為一大研究熱點。在這種分布式計算模型中[1-2]，企業(yè)通過互聯(lián)網(wǎng)平臺分配任務(wù)招募優(yōu)秀工作者，讓他們?yōu)槿蝿?wù)提供更合理的解決方案。目前，越來越多的企業(yè)開始使用眾包模式[3]。對于企業(yè)而言，眾包可以為他們降低成本并提高他們的技術(shù)水平和創(chuàng)造力。目前數(shù)據(jù)顯示，使用亞馬遜（AMT）眾包的應(yīng)用最為廣泛，社交平臺對眾包的應(yīng)用最少。隨著Facebook等社交平臺對眾包的應(yīng)用，以及社交平臺的不斷發(fā)展壯大，眾包在社交平臺的應(yīng)用會越來越廣泛。但是眾包是一種面向互聯(lián)網(wǎng)大眾的分布式問題解決機制，它通過整合計算機和互聯(lián)網(wǎng)未知大眾完成計算機單獨難以完成的任務(wù)。當(dāng)面臨諸多解決方案時，發(fā)包者很難作出選擇。但并不是每個工作者都是合格的工作者，由于不同背景的工作者信譽和能力不同，甚至可能在眾包平臺上存在惡意工作者，因此，從大量的眾包工作者中挖掘出工作者的信譽并判斷工作者的意圖十分重要。為了使眾包在社交平臺能夠得到更加準(zhǔn)確的應(yīng)用，本文著重對社交平臺上的眾包質(zhì)量控制算法進行研究。

1 相關(guān)工作

近年來，眾包作為一種新型的分布式技術(shù)，已經(jīng)得到了廣泛應(yīng)用，并且在很多領(lǐng)域已經(jīng)運用于眾包平臺。目前數(shù)據(jù)顯示，使用亞馬遜（AMT）眾包平臺的應(yīng)用最為廣泛，社交平臺上眾包的應(yīng)用最少。但隨著Facebook等社交平臺對眾包的應(yīng)用，以及社交平臺的不斷發(fā)展壯大，眾包在社交平臺上的應(yīng)用也會越來越廣泛。大多數(shù)眾包都是依賴線下或人工方式對質(zhì)量進行控制和評估[4]，忽略了互聯(lián)網(wǎng)平臺上的質(zhì)量控制問題，鑒于此，很多研究者[5-7]開始關(guān)注互聯(lián)網(wǎng)平臺上眾包的質(zhì)量控制。其中，Kamar等[8]提出了一個模型使得系統(tǒng)能夠平衡預(yù)期收益和雇傭工作者的成本。Vakharia andLease[9]在其調(diào)查中將質(zhì)量精確度控制作為調(diào)查的重要部分，在很多眾包平臺上使用不同方法和不同控制工具以控制工作者的質(zhì)量。這些方法或多或少都需要人工干預(yù)，對工作者質(zhì)量的人工控制嚴(yán)重影響了眾包發(fā)展，對在線工作者的質(zhì)量評估[10]已經(jīng)吸引了越來越多人的注意力。

Joglekar[13]基于對方案集的分歧評估工作者質(zhì)量，同時為了提高評估精確度，使用置信區(qū)間評估工人。Rzeszotarski和Kittur[11-12]通過討論工作者的行為評判不同的工作者，這需要眾包系統(tǒng)提供不同工作者的行為。這些方法大多是對商業(yè)平臺的眾包質(zhì)量控制，沒有考慮基于專門平臺對眾包質(zhì)量的控制，同時也沒有考慮到一些隱含因素。當(dāng)前其研究方法雖有一定進展，但仍然受幾大因素的限制：任務(wù)發(fā)布平臺、時間、經(jīng)濟、參與者。

針對上述不足，本文基于社交平臺，利用參與者的相關(guān)背景知識或者其在該領(lǐng)域的活躍程度，判斷用戶在該領(lǐng)域的信譽度，并結(jié)合參與者歷史任務(wù)完成情況對參與者進行綜合評價，選出優(yōu)質(zhì)參與者作為工作者，同時采用最大期望算法驗證方案集的合理性。本文結(jié)合這兩種評判指標(biāo)對社交平臺上的眾包進行質(zhì)量檢測與控制。

2 社交平臺上的眾包質(zhì)量檢測

社交平臺上的質(zhì)量檢測包含若干環(huán)節(jié)，本文主要討論其中的兩個環(huán)節(jié)：一是檢查參與者是否為誠實的工作者；二是檢測所得方案集的合理性。通過控制這兩個環(huán)節(jié)提高社交平臺上的眾包質(zhì)量。

2.1 用戶直接信任度

本環(huán)節(jié)檢測參與者是否為誠實的工作者，實質(zhì)上是在所有參與者中過濾掉那些惡意的工作者。本文根據(jù)社交平臺上發(fā)布的問題所涉及領(lǐng)域，計算工作者在該領(lǐng)域的直接信任度，再根據(jù)其值篩選工作者。

2.1.1 參與者領(lǐng)域衰減因子

現(xiàn)實生活中，每個人對不同領(lǐng)域的興趣度持續(xù)時間不同，惡意工作者所持續(xù)時間比信譽度較高的工作者持續(xù)時間要短很多。因此，參與者衰減因子越小，代表用戶越可靠，反之亦然。

可以選取社交平臺的一段相對比較長的時間，然后將時間離散化，分成若干個時間段，給每一個時間段進行標(biāo)號，序號按照時間依次變大。其中，時間間隔表示用戶在該領(lǐng)域進行交互的時間段序號與現(xiàn)在時間段序號的差值。若用戶對于某個領(lǐng)域的評分行為保持連續(xù)性，則認(rèn)為該參與者對該領(lǐng)域有一定了解。因此，用戶在該領(lǐng)域的持續(xù)性可用參與者從第一次在該領(lǐng)域互動的時間段序號與當(dāng)前時間段序號之間，用戶在該領(lǐng)域進行交互所占比例表示，比例越高，持續(xù)性越好，衰減速度越慢。

2.4 眾包結(jié)果篩選

眾包質(zhì)量檢測在收到所篩選的參與者給出方案集時，并不能保證所接受的方案是正確的，需要將正確率低的結(jié)果過濾掉。本文采用較為通用的最大期望值算法。

最大似然估計算法利用迭代過程，主要應(yīng)用于存在缺失或者隱含數(shù)據(jù)情況下的最大似然估計。算法主要分為兩步：①E步中對隱含數(shù)據(jù)的估計，需要根據(jù)已經(jīng)觀測到的數(shù)據(jù)和當(dāng)前估計的概率模型參數(shù)確定；②M步根據(jù)E步中得到的隱含數(shù)據(jù)，通過最大似然函數(shù)估計新的概率模型參數(shù)。

4 實驗結(jié)果與分析

由實驗1可知，當(dāng)取0.6時， Pselected得到的正確性最高；由實驗2可知，在不斷添加作弊者數(shù)目時，Pselected相對于TU，V、ScorceW影響更?。挥蓪嶒?可知，E-M算法比M-V算法選擇效果更好。由此可以得出，應(yīng)利用參與者在社交平臺上的直接信譽度與工作者質(zhì)量評估函數(shù)相結(jié)合判斷選擇合適的工作者。同時，在所得到的結(jié)果中用E-M算法比其它算法得到的正確率更高。

5 結(jié)語

通過上述實驗結(jié)果可知，通過計算參與者的直接信任度方法與E-M算法結(jié)合對社交平臺上眾包質(zhì)量的控制與檢測，增加惡意工作者數(shù)量顯然使得最后方案集的準(zhǔn)確率更高，影響也更少，這使得眾包的優(yōu)勢得到很好體現(xiàn)。

本文重點探討了眾包在社交平臺上的質(zhì)量檢測，而對于眾包在其它平臺上的質(zhì)量控制方法尚有待進一步研究。同時，本文對于眾包的質(zhì)量控制并沒有考慮一些隱含因素，比如：根據(jù)工作者每次提交任務(wù)的時間等進行工作者篩選，這在后續(xù)工作中需加以考慮。

參考文獻：

[1] BRABHAM D C.Crowdsourcing as a model for problem solving： an introduction and cases[J].the International Journal of Research Into New Media Technologies，2008， 14（1）：75-90.

[2] ALLAHBAKHSH M， BENATALLAH B， IGNJATOVIC A，et al.Quality control in crowdsourcing systems：issues and directions[C].IEEEInternet Computing IEEE Internet Computing，2013，17（2）： 76-81.

[3] CLOUGH P，SANDERSON M， TANG J， et al.Examining the limits of crowdsourcing for relevance assessment[J].IEEE Internet Computing，2013，17（4）：32-38.

[4] HOWE J.Therise of crowdsourcing [J].Wired Agazine，2006，14（4）：1-5.

[5] WANG J， KRASKA T， FRANKLINM J， et al. CrowdER：crowdsourcing entity resolution，[J].Proceedings of the VLDB Endowment， 2012，11（5）：1483-1494.

[6] MANISONNEUVEN，CHOPARD B.Crowdsourcing satellite imagery analysis： study ofparallel and iterative models[J].Crowdsourcing satellite imagery analysis： Study of parallel and iterative models，2012，7478（1）：116-131.

[7] WU S， WANG X， WANGS， ZHANG Z， et al. K-anonymity for crowd sourcing database[J].IEE Transactions on Knowledge and Data Engineering， 2014，26（9）：2207-2221.

[8] KAMAR E， HACKERS HORVITZ E. Combining human and machine intelligence in large-scale crowdsourcing[J].Proceedings of the 11th International Conference on Autonomous Agents and Multiagent Systems，2014，27（1）： 129-164.

[9] VAKHARIA D，LEASEM.Beyond AMT：an analysis of crowdwork platforms[Z].Research Gate，2013.

[10] LIU Q，PENGJ，IHLER A.Variational inference for crowdsourcing[Z].2012.

[11] KARGERD R， OH S，SHAH D. Iterative learning for reliable crowdsourcing systems[J].25th Annual Conference on Neural Information Processing Systems （NIPS），2011：1-8.

[12] RZESZOTARSKI J M，KITTUR A. Instrumenting the crowd：using implicit behavioral measures to predict task performance[C].In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology，UIST11， ACM，2011： 13-22.

[13] JOGLEKAR M， GARACIA-MOLINA H， PARAMESWARAMA.Evaluating the crowd with confidence[Z].2014.

（責(zé)任編輯：孫 娟）