趙江華，王學(xué)志，林青慧，黎建輝，周園春

1. 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190；2. 中國(guó)科學(xué)院大學(xué)，北京 100049

眾包模式在大規(guī)模遙感影像信息提取領(lǐng)域的探索

趙江華1,2，王學(xué)志1，林青慧1，黎建輝1，周園春1

1. 中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190；2. 中國(guó)科學(xué)院大學(xué)，北京 100049

基于地理空間數(shù)據(jù)云平臺(tái)，對(duì)基于眾包的大規(guī)模遙感影像信息提取模式進(jìn)行了研究，提出了一套完整的流程體系，并通過(guò)多時(shí)期的青藏高原湖泊提取任務(wù)對(duì)模式的報(bào)酬發(fā)放機(jī)制、任務(wù)分配方式、任務(wù)劃分方法、人才激勵(lì)等領(lǐng)域進(jìn)行了探索和完善。實(shí)驗(yàn)結(jié)果表明提前支付部分報(bào)酬并采用小組的方式，對(duì)提高數(shù)據(jù)質(zhì)量和控制并沒(méi)有很大影響，而積累人才對(duì)獲取高質(zhì)量的數(shù)據(jù)結(jié)果很重要。由于該模式集成了眾包和機(jī)器計(jì)算能力，且對(duì)遙感影像處理是通用的，因此可用于更多的需要人工參與的海量遙感影像處理工作中。

遙感影像；信息提??；眾包；地理空間數(shù)據(jù)云

1 引言

自1957年前蘇聯(lián)發(fā)射世界上第一顆人造地球衛(wèi)星以來(lái)，人類利用航天器探索宇宙的研究已有近60年的歷史[1]。隨著遙感技術(shù)的發(fā)展和新一代遙感平臺(tái)的出現(xiàn)，遙感影像在空間分辨率、時(shí)間分辨率、光譜分辨率和輻射分辨率上都有了很大程度的提高。由于遙感具有覆蓋面廣、及時(shí)快速的優(yōu)勢(shì)[2]，因此通過(guò)遙感影像提取地物信息得到廣泛應(yīng)用[3-6]。

遙感影像信息提取一般包括分類、識(shí)別和特征提取[7]，最早通過(guò)目視解譯實(shí)現(xiàn)，即通過(guò)人腦對(duì)遙感影像的綜合理解和分析，利用判讀人員自身的經(jīng)驗(yàn)，同時(shí)從多種非遙感信息資料中獲取相關(guān)的地學(xué)知識(shí)，對(duì)圖像的影像特征和空間特征做出分析，得到判讀結(jié)果[8]。由于目視解譯能夠綜合利用地物的色調(diào)、形狀、大小、陰影、紋理、圖案、位置和布局等影像特征知識(shí)以及有關(guān)地物的專家知識(shí)，并結(jié)合其他知識(shí)進(jìn)行綜合分析和邏輯推理，因而達(dá)到較高的信息提取精度?，F(xiàn)階段，目視解譯仍然被廣泛地應(yīng)用于精度要求較高的研究和實(shí)踐中，然而，該方法解譯速度慢，需要投入大量的人力和時(shí)間。在當(dāng)今的信息化社會(huì)，面對(duì)堆積如山的海量高分辨率遙感數(shù)據(jù)，大范圍、高速度的實(shí)時(shí)解譯工作幾乎超越了目視解譯的極限，因此依靠人工目視解譯的方法已遠(yuǎn)遠(yuǎn)不能滿足數(shù)據(jù)生產(chǎn)和更新的需要[9]。

利用計(jì)算機(jī)進(jìn)行遙感影像信息提取是以計(jì)算機(jī)系統(tǒng)為支撐環(huán)境，將模式識(shí)別技術(shù)與人工智能相結(jié)合，對(duì)遙感圖像中地物的影像特征與專家知識(shí)庫(kù)的知識(shí)進(jìn)行比對(duì)、分析、推理，從而實(shí)現(xiàn)專題信息的提取[10,11]，目前主要包括基于像元的遙感影像信息提取和面向?qū)ο蟮倪b感影像信息提取方法。基于像元的遙感影像信息提取方法主要根據(jù)光譜信息，以像元為基礎(chǔ)單元進(jìn)行信息提取，而面向?qū)ο蟮倪b感影像信息提取方法首先將遙感影像中空間相鄰的像元分割成一個(gè)個(gè)同質(zhì)性的對(duì)象，然后將這些對(duì)象作為最小的分類單元對(duì)影像進(jìn)行分類，完成地物信息的提取[12,13]。不僅利用了遙感影像的光譜信息，還綜合考慮影像對(duì)象的紋理、幾何和上下文信息，因此得到更廣泛的應(yīng)用。

然而，雖然自動(dòng)進(jìn)行遙感影像信息提取的方法和技術(shù)一直在提高，但由于遙感影像場(chǎng)景復(fù)雜，自動(dòng)提取方法目前只能用于幾何形狀和邊界有規(guī)則的小面積區(qū)域，并未在有復(fù)雜情況的大面積區(qū)域應(yīng)用。因此，遙感影像信息提取在很大程度上還不能實(shí)現(xiàn)完全自動(dòng)化，多數(shù)情況下都需要人工參與[14,15]。隨著遙感數(shù)據(jù)集的不斷增長(zhǎng)，各類研究的時(shí)間、空間跨度要求越來(lái)越大，實(shí)現(xiàn)快速準(zhǔn)確的大面積長(zhǎng)時(shí)間序列的遙感影像信息提取，成為迫切要解決的問(wèn)題之一。

眾包作為一種分布式的問(wèn)題解決和生產(chǎn)模式，通過(guò)高效調(diào)用分散的人力資源實(shí)現(xiàn)海量數(shù)據(jù)的快速精準(zhǔn)分析[16]，成為解決人類比較擅長(zhǎng)，而計(jì)算機(jī)難以自動(dòng)計(jì)算的復(fù)雜問(wèn)題的絕佳方案，目前已經(jīng)在多種領(lǐng)域得到應(yīng)用，如圖像標(biāo)記、自然語(yǔ)言處理領(lǐng)域等[17-22]。同時(shí)眾包平臺(tái)也得到了很大的發(fā)展，其中用戶規(guī)模最大、知名度最高的眾包平臺(tái)就是亞馬遜的土耳其機(jī)器人（Mechanical Turk，MTurk）。MTurk充分利用了公眾的碎片時(shí)間，發(fā)布的任務(wù)一般比較簡(jiǎn)單，如圖片識(shí)別等[23]，這些任務(wù)相互獨(dú)立，通過(guò)傳統(tǒng)的方法即可完成，需要較少的時(shí)間、知識(shí)和技能，但報(bào)酬通常也非常低。

不同于MTurk上發(fā)布的典型任務(wù)，遙感影像信息提取工作更加復(fù)雜，往往需要大量的時(shí)間和知識(shí)精力來(lái)完成。Fritz、Dstes等人利用公眾協(xié)作開(kāi)發(fā)了Geo-Wiki①http://www.geowiki.org/和DIYlandcover平臺(tái)，均通過(guò)在網(wǎng)上發(fā)布遙感影像，由公眾目視解譯、勾畫土地利用類型，從而實(shí)現(xiàn)遙感影像的信息提取[24-26]。由于其對(duì)參與人沒(méi)有任何專業(yè)知識(shí)和技能方面的要求，容易出現(xiàn)結(jié)果質(zhì)量參差不齊的情況。See L等人通過(guò)Geo-Wiki的人類影響分支進(jìn)行實(shí)驗(yàn)，研究發(fā)現(xiàn)，只有在提供大量例子和訓(xùn)練材料或者評(píng)價(jià)反饋的情況下，大眾處理的數(shù)據(jù)質(zhì)量才能達(dá)到專家的水平[27]。而且，對(duì)于一個(gè)獨(dú)立的遙感影像信息提取任務(wù)，無(wú)法保證其能夠在有限的時(shí)間內(nèi)征集到足夠多的公眾參加，因此對(duì)于有時(shí)間限制的大規(guī)模遙感影像信息提取任務(wù)來(lái)說(shuō)，單純依靠公眾人工繪制無(wú)法保證能夠在有限時(shí)間內(nèi)完成任務(wù)[28]。

Kaggle是全球最大的數(shù)據(jù)科學(xué)家社區(qū)，也是一個(gè)通過(guò)競(jìng)賽形式來(lái)解決問(wèn)題的眾包平臺(tái)。通過(guò)提供數(shù)據(jù)和問(wèn)題說(shuō)明，由任務(wù)參與者建立模型來(lái)解決問(wèn)題。Kaggle發(fā)布的任務(wù)多屬于機(jī)器學(xué)習(xí)、智能識(shí)別以及數(shù)據(jù)挖掘等領(lǐng)域[29]，參與者可在比賽期間不斷完善自己的模型，從而獲得更優(yōu)的結(jié)果。對(duì)于大規(guī)模遙感影像信息提取任務(wù)來(lái)說(shuō)，由于目前還沒(méi)有一種很好的自動(dòng)進(jìn)行質(zhì)量評(píng)價(jià)的方法[30-33]，因此，很少通過(guò)此類競(jìng)賽式眾包模式來(lái)完成。

近幾年，國(guó)內(nèi)也出現(xiàn)了大量的眾包平臺(tái)，如豬八戒網(wǎng)等，但多是圍繞軟件開(kāi)發(fā)進(jìn)行的眾包。由于遙感影像信息提取不僅需要大量具有相關(guān)專業(yè)知識(shí)和技能的公眾，還需要提供相關(guān)數(shù)據(jù)資源和基礎(chǔ)設(shè)施，并有技術(shù)團(tuán)隊(duì)進(jìn)行結(jié)果的質(zhì)量控制，因此，目前還沒(méi)有一個(gè)完善的基于眾包進(jìn)行遙感影像信息提取的平臺(tái)。地理空間數(shù)據(jù)云（GSCloud）是一個(gè)基于云計(jì)算技術(shù)的海量地學(xué)數(shù)據(jù)資源以及數(shù)據(jù)處理模型服務(wù)的平臺(tái)，從2007年開(kāi)始向公眾提供服務(wù)，目前，已經(jīng)積累了海量數(shù)據(jù)資源，形成了完善的基礎(chǔ)設(shè)施和專業(yè)的服務(wù)團(tuán)隊(duì)，累計(jì)注冊(cè)用戶數(shù)超過(guò)13萬(wàn)人。在這些優(yōu)勢(shì)條件的基礎(chǔ)上，對(duì)基于眾包的遙感影像信息提取進(jìn)行了研究，提出了一套完整的流程框架，并對(duì)報(bào)酬發(fā)放機(jī)制、任務(wù)分配方式、任務(wù)劃分方法以及人才激勵(lì)方案等領(lǐng)域進(jìn)行了探索。

2 方法

圖1 基于眾包的數(shù)據(jù)處理框架

本文提出了基于眾包的大規(guī)模遙感影像信息提取框架，如圖1所示?？蚣馨ㄈ蝿?wù)設(shè)計(jì)與分配、各子任務(wù)的遙感影像信息提取、質(zhì)量評(píng)價(jià)以及結(jié)果集成與報(bào)酬發(fā)放4個(gè)過(guò)程，即首先清晰地定義任務(wù)，并將大任務(wù)劃分為較小的子任務(wù)，然后分配給任務(wù)申請(qǐng)人，由任務(wù)申請(qǐng)人去分別完成每個(gè)子任務(wù)，通過(guò)對(duì)各個(gè)子任務(wù)進(jìn)行質(zhì)量評(píng)價(jià)，合格的數(shù)據(jù)結(jié)果將被集成到整個(gè)任務(wù)的結(jié)果中，并給各子任務(wù)領(lǐng)取人發(fā)放報(bào)酬。

2.1 任務(wù)設(shè)計(jì)與分配

在開(kāi)始處理眾包任務(wù)之前，為方便任務(wù)申請(qǐng)人對(duì)任務(wù)的理解，需對(duì)整個(gè)任務(wù)有清晰的定義和描述，然后將大任務(wù)劃分為較小的子任務(wù)，這樣不僅可以降低任務(wù)的復(fù)雜度，并且處理時(shí)間可以大大縮短[34]。對(duì)于大規(guī)模遙感影像信息提取任務(wù)，通常采用時(shí)間和空間相結(jié)合的方法進(jìn)行任務(wù)劃分。為保證不同任務(wù)領(lǐng)取人提交結(jié)果的一致性，應(yīng)對(duì)子任務(wù)的處理方法加以規(guī)定和說(shuō)明。同時(shí)在對(duì)各個(gè)子任務(wù)進(jìn)行定價(jià)時(shí)，需考慮工作量和任務(wù)的難易程度。

研究表明，除任務(wù)描述外，任務(wù)領(lǐng)取人的能力對(duì)于任務(wù)完成的結(jié)果質(zhì)量影響很大[35,36]，因此，在進(jìn)行任務(wù)分配時(shí)，人才選取很關(guān)鍵。本文基于GSCloud平臺(tái)，提出基于層次數(shù)據(jù)庫(kù)的人才篩選機(jī)制，如圖2所示。

由于GSCloud已積累了海量數(shù)據(jù)資源，且向用戶提供基于HTTP和FTP兩種數(shù)據(jù)下載方式，為便于任務(wù)的開(kāi)展和數(shù)據(jù)的統(tǒng)一提供，平臺(tái)規(guī)定任務(wù)領(lǐng)取人首先注冊(cè)成為GSCloud用戶，然后補(bǔ)充完善相關(guān)技能和數(shù)據(jù)處理經(jīng)驗(yàn)，成為人才庫(kù)的一員。對(duì)于每項(xiàng)任務(wù)，人才庫(kù)成員在申請(qǐng)時(shí)需填寫任務(wù)解決方案和相關(guān)的成果示例等信息。后續(xù)，工作人員會(huì)綜合考慮申請(qǐng)人的技能水平、數(shù)據(jù)處理經(jīng)驗(yàn)以及是否能夠保證完成任務(wù)，對(duì)申請(qǐng)人進(jìn)行篩選。為了保證可以及時(shí)獲得高質(zhì)量的數(shù)據(jù)結(jié)果，采用競(jìng)爭(zhēng)機(jī)制，即每個(gè)任務(wù)會(huì)分配給1～2個(gè)人。對(duì)于任務(wù)領(lǐng)取人，GSCLoud會(huì)與其簽訂協(xié)議，協(xié)議主要規(guī)定了數(shù)據(jù)處理內(nèi)容、任務(wù)報(bào)酬、數(shù)據(jù)處理時(shí)間等內(nèi)容。

圖2 人才篩選機(jī)制中的層次數(shù)據(jù)庫(kù)

圖3 專題信息提取流程

2.2 遙感影像信息提取

為了保證各個(gè)子任務(wù)的結(jié)果的一致性，本文對(duì)每個(gè)任務(wù)的影像信息提取方法進(jìn)行了規(guī)定，包括數(shù)據(jù)預(yù)處理、專題信息提取和后分類3個(gè)步驟，如圖3所示。通過(guò)遙感影像進(jìn)行信息提取時(shí)，常用光譜、紋理等信息進(jìn)行特征提取，由于涉及多個(gè)閾值的設(shè)定，因此需要人的參與，無(wú)法通過(guò)計(jì)算機(jī)自動(dòng)實(shí)現(xiàn)。

首先對(duì)遙感影像進(jìn)行預(yù)處理，包括輻射校正、幾何校正、大氣校正等；其次，從影像中提取專題信息。由于每景的成像條件不同，各影像之間存在很大的差異，因此目前沒(méi)有一個(gè)通用的閾值適用于所有的影像信息提取工作。在進(jìn)行信息提取時(shí)，通過(guò)目視解譯，對(duì)每景影像的信息提取閾值進(jìn)行優(yōu)化，通過(guò)迭代的人工檢查，得到最優(yōu)閾值，并使用該閾值從影像中提取信息。最后，人工檢查并修改數(shù)據(jù)結(jié)果，直至數(shù)據(jù)質(zhì)量滿足要求。

2.3 質(zhì)量控制

為了在有限的時(shí)間內(nèi)以低成本獲得高質(zhì)量的數(shù)據(jù)結(jié)果，質(zhì)量控制過(guò)程貫穿整個(gè)眾包任務(wù)流程。任務(wù)分配階段，通過(guò)將每個(gè)任務(wù)分配給一到多人，保證及時(shí)獲得合格的數(shù)據(jù)結(jié)果。同時(shí)對(duì)每個(gè)子任務(wù)的數(shù)據(jù)結(jié)果進(jìn)行精度評(píng)價(jià)。

遙感影像信息提取工作常見(jiàn)的誤差有兩類：漏分和錯(cuò)分。由于漏分和錯(cuò)分常見(jiàn)于特殊的情況下，如云層的遮擋、云陰影和山體陰影的影響等，因此本文提出采用定性和定量評(píng)價(jià)相結(jié)合的方式進(jìn)行數(shù)據(jù)質(zhì)量的評(píng)價(jià)。首先疊加遙感影像作為底圖，放大提取的結(jié)果數(shù)據(jù)，對(duì)結(jié)果進(jìn)行目視檢查；然后根據(jù)目視檢查結(jié)果，對(duì)每景影像進(jìn)行驗(yàn)證點(diǎn)采樣。采樣方法采用隨機(jī)采樣和目的性采樣相結(jié)合的方式，即對(duì)于容易造成分類誤差的區(qū)域，如有云和山體陰影覆蓋的區(qū)域，增加采樣點(diǎn)。最后根據(jù)采樣點(diǎn)數(shù)據(jù)，分別計(jì)算以下3個(gè)精度評(píng)價(jià)值。

其中，PA為生產(chǎn)者精度，UA為用戶精度，OA為總體精度，TP為結(jié)果與參考數(shù)據(jù)同為要提取的地物類型的像素?cái)?shù)，OP為漏分的該地物類型的像素?cái)?shù)，F(xiàn)P為錯(cuò)分為該地物類型的像素?cái)?shù)。顯然，PA和UA值越大，數(shù)據(jù)質(zhì)量越高，理想情況下，PA和UA值應(yīng)為1。通常視總體精度OA大于85%的結(jié)果為合格結(jié)果。

研究表明，對(duì)于遙感影像信息提取任務(wù)，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行及時(shí)的反饋和針對(duì)任務(wù)的結(jié)果檢查的反饋都有助于提高結(jié)果質(zhì)量[37]。因此本文提出迭代回歸的質(zhì)量控制方法，對(duì)于數(shù)據(jù)質(zhì)量不合格的數(shù)據(jù)結(jié)果，平臺(tái)專家會(huì)根據(jù)質(zhì)量評(píng)價(jià)結(jié)果對(duì)任務(wù)領(lǐng)取人提出數(shù)據(jù)修改意見(jiàn)，如果修改次數(shù)過(guò)多，為保證任務(wù)的正常完成，會(huì)從任務(wù)申請(qǐng)人中重新篩選新的任務(wù)領(lǐng)取人來(lái)完成整個(gè)數(shù)據(jù)處理任務(wù)。具體流程如圖4所示。

2.4 結(jié)果集成與報(bào)酬發(fā)放

得到各個(gè)子任務(wù)的合格數(shù)據(jù)結(jié)果后，對(duì)數(shù)據(jù)結(jié)果進(jìn)行整合與集成。對(duì)于質(zhì)量合格的數(shù)據(jù)結(jié)果，任務(wù)領(lǐng)取人會(huì)獲得全額報(bào)酬，對(duì)于數(shù)據(jù)質(zhì)量不合格的任務(wù)領(lǐng)取人，通過(guò)評(píng)估其任務(wù)執(zhí)行效率，包括數(shù)據(jù)質(zhì)量和時(shí)間成本，發(fā)放部分報(bào)酬。

圖4 質(zhì)量控制流程

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

針對(duì)本文提出的基于眾包的大規(guī)模遙感影像信息提取方法及流程，為檢測(cè)其可用性及有效性，設(shè)計(jì)并開(kāi)展了基于Landsat遙感影像的青藏高原湖泊提取任務(wù)。青藏高原位于亞洲中部，涉及中國(guó)的6個(gè)省及自治區(qū)，即青海省、四川省、云南省、甘肅省、西藏自治區(qū)、新疆維吾爾自治區(qū)。由于青藏高原面積廣闊，占地約260萬(wàn)平方公里，且海拔高、地形復(fù)雜，從遙感影像上提取湖泊的干擾信息多，因此無(wú)法使用計(jì)算機(jī)快速地對(duì)遙感影像進(jìn)行解譯來(lái)提取湖泊。

本任務(wù)需提取中國(guó)境內(nèi)的青藏高原區(qū)域在1995年、2000年、2005年、2010年和2015年共5個(gè)時(shí)期的湖泊信息，所使用的數(shù)據(jù)為L(zhǎng)andsat影像，包括多光譜掃描儀（MSS）、專題成像儀（TM）、增強(qiáng)型主題成像儀（ETM+）和陸地成像儀（OLI）影像。整個(gè)研究區(qū)需146景Landsat影像才能全部覆蓋。由于工作量大，所以，此任務(wù)首先按照時(shí)間進(jìn)行劃分，每個(gè)時(shí)期為一個(gè)子任務(wù)，然后對(duì)1995年、2000年、2010年和2015年的子任務(wù)再按照空間范圍分別劃分為3個(gè)更小的子任務(wù)。由于超過(guò)一半的湖泊分布在西部區(qū)域，因此在進(jìn)行空間劃分時(shí)，整個(gè)區(qū)域（whole region，WR）被劃分為西北（northwest，NW）、西南（southwest，SW）和東部，各子區(qū)域面積分別為66.33萬(wàn)平方公里、56.17萬(wàn)平方公里和135.77萬(wàn)平方公里。最后，整個(gè)任務(wù)共劃分為13個(gè)子任務(wù)，分別為1995-NW、1995-SW、1995-East、2000-NW、2000-SW、2000-East、2005-WR、 2010-NW、2010-SW、2010-East、2015-NW、2015-SW 和 2015-East。除2005年青藏高原湖泊提取任務(wù)報(bào)酬為12 000元外，其余12個(gè)子任務(wù)每個(gè)子任務(wù)報(bào)酬為4 000元。

為了保證任務(wù)的易于理解和可執(zhí)行，對(duì)此任務(wù)進(jìn)行了詳細(xì)的描述和說(shuō)明，具體如下：

· 為避免季節(jié)變化影響，選取每一時(shí)期9-11月份，湖泊區(qū)域無(wú)云或少云（低于5%）的Landsat影像；

· 為保證結(jié)果的一致性，湖泊提取方法要一致；

· 有效去除山體陰影、云及云的陰影、積雪、冰川、裸地等非水體地物的影響；

· 當(dāng)存在覆蓋某一區(qū)域的兩景相鄰影像因日期不同造成湖泊邊界不同時(shí)，在最后結(jié)果中，保留較大的湖泊邊界；

· 提取精度要求達(dá)到30 m及誤差控制在一個(gè)像元內(nèi)，并在最終結(jié)果中去除小于3 600 m2的湖泊。

3.2 結(jié)果與分析

3.2.1 精度分析

在青藏高原湖泊提取工作中，常見(jiàn)的兩類誤差為小湖泊和由于云、陰影等造成的湖泊漏分以及由于云陰影、積雪、冰川和其他地物影響造成的錯(cuò)分。各時(shí)期的青藏高原湖泊提取結(jié)果數(shù)據(jù)精度見(jiàn)表1，其中除2005年任務(wù)外，其他時(shí)期的數(shù)據(jù)精度為該時(shí)期內(nèi)3個(gè)子任務(wù)的精度平均值。

由表1可知，各子任務(wù)最終數(shù)據(jù)結(jié)果的整體精度（OA）均達(dá)到90%，超過(guò)通常所使用的85%精度規(guī)定[30]。

3.2.2 申請(qǐng)人分析

將所有任務(wù)在GSCloud網(wǎng)站進(jìn)行發(fā)布，為了對(duì)影響任務(wù)申請(qǐng)人數(shù)的因素進(jìn)行研究，每個(gè)子任務(wù)在發(fā)布時(shí)，所規(guī)定的申請(qǐng)時(shí)間長(zhǎng)度不同，且對(duì)2000年、2005年和2010年3個(gè)時(shí)期的子任務(wù)，采取提前支付20%的報(bào)酬，剩余80%在提交合格結(jié)果后支付的方法。1995年和2015年時(shí)期的子任務(wù)，采取數(shù)據(jù)處理者提交合格數(shù)據(jù)結(jié)果后，一次性支付所有報(bào)酬的方法。各子任務(wù)的申請(qǐng)人數(shù)如

圖5可知，整個(gè)青藏高原湖泊提取任務(wù)的申請(qǐng)人數(shù)共239人。各子任務(wù)隨著申請(qǐng)時(shí)長(zhǎng)的增加，申請(qǐng)人數(shù)有所增長(zhǎng)，但并不成正比。同時(shí)，2005年和2010年各子任務(wù)申請(qǐng)人數(shù)在申請(qǐng)時(shí)長(zhǎng)和1995年各子任務(wù)一致的情況下，申請(qǐng)人數(shù)并未增多，因此可知，在任務(wù)開(kāi)始執(zhí)行前提前支付

圖5所示。從20%的報(bào)酬，對(duì)提高任務(wù)申請(qǐng)人數(shù)并無(wú)多大的影響。但是，同一時(shí)期的子任務(wù)中，西南區(qū)域的子任務(wù)申請(qǐng)人數(shù)比其他兩個(gè)子任務(wù)多，這是由于西南區(qū)域的面積比其他兩個(gè)區(qū)域小，從而直接影響了申請(qǐng)人對(duì)工作量的評(píng)估。3.2.3 成本分析

為在有限的時(shí)間內(nèi)獲得高質(zhì)量的數(shù)據(jù)結(jié)果，1995年、2000年、2005年和2010年的每個(gè)子任務(wù)均由2個(gè)申請(qǐng)人或團(tuán)隊(duì)來(lái)完成。這可能會(huì)導(dǎo)致冗余，由于只有滿足精度要求的數(shù)據(jù)才會(huì)被采用，并發(fā)放報(bào)酬，因此整個(gè)任務(wù)的成本可得到控制。每個(gè)子任務(wù)的成本信息見(jiàn)表2。

表1 提取的湖泊數(shù)據(jù)的精度數(shù)據(jù)

圖5 青藏高原湖泊提取任務(wù)各子任務(wù)的申請(qǐng)人數(shù)

由表2可知，雖然1995年、2000年、2010年和2005年均選取了兩個(gè)任務(wù)申請(qǐng)人或團(tuán)隊(duì)來(lái)完成任務(wù)，但只有2000-NW子任務(wù)最終接收了兩份合格的數(shù)據(jù)結(jié)果，其他子任務(wù)因不合格的數(shù)據(jù)結(jié)果多支出了共4 800元。由于2015年的各子任務(wù)發(fā)布時(shí)間最晚，而且也已經(jīng)獲得之前任務(wù)領(lǐng)取人的能力信息，因此2015年各子任務(wù)均有1人完成，并且數(shù)據(jù)結(jié)果合格。由此可知，專業(yè)人才的積累能夠使得成本逐漸得到控制。

為進(jìn)一步分析申請(qǐng)人類型對(duì)任務(wù)處理時(shí)間成本的影響，2005年子任務(wù)需提取整個(gè)區(qū)域的湖泊，因此是由團(tuán)隊(duì)完成的；其他時(shí)期的子任務(wù)均由個(gè)人來(lái)完成。在得到合格的數(shù)據(jù)結(jié)果前，數(shù)據(jù)處理人需對(duì)數(shù)據(jù)結(jié)果進(jìn)行修改，直到數(shù)據(jù)質(zhì)量合格。數(shù)據(jù)處理人為個(gè)人和團(tuán)隊(duì)時(shí)，數(shù)據(jù)修改次數(shù)的平均值如圖6可知，團(tuán)隊(duì)作為數(shù)據(jù)處理人，對(duì)數(shù)據(jù)修改次數(shù)高達(dá)11次，而數(shù)據(jù)處理人為個(gè)人時(shí)，平均的修改次數(shù)為2次。推測(cè)這和團(tuán)隊(duì)負(fù)責(zé)人有較大的關(guān)系。但由于在進(jìn)行數(shù)據(jù)處理人篩選時(shí)，很難獲得申請(qǐng)人的領(lǐng)導(dǎo)力信息，且此次研究樣本數(shù)較少，故申請(qǐng)人類型和時(shí)間成本的關(guān)系還需要進(jìn)一步進(jìn)行研究。圖6所示。

由

表2 每個(gè)子任務(wù)的報(bào)酬和相關(guān)統(tǒng)計(jì)數(shù)據(jù)

圖6 不同申請(qǐng)人類型得到合格結(jié)果的平均修改次數(shù)

4 結(jié)束語(yǔ)

本文提出一種基于眾包的大規(guī)模遙感影像信息提取模式，并對(duì)模式的各個(gè)流程進(jìn)行了研究與設(shè)計(jì)。采用該模式進(jìn)行大規(guī)模專題進(jìn)行提取的3個(gè)關(guān)鍵方面為人才吸引、質(zhì)量控制、成本分析。為了在短時(shí)間內(nèi)獲得高質(zhì)量結(jié)果，同時(shí)控制成本，開(kāi)展了實(shí)驗(yàn)進(jìn)行相關(guān)研究。在青藏高原湖泊提取實(shí)驗(yàn)中，探索了報(bào)名時(shí)長(zhǎng)、提前支付部分報(bào)酬、個(gè)人和團(tuán)隊(duì)領(lǐng)取任務(wù)方式、每個(gè)任務(wù)發(fā)給2個(gè)人的競(jìng)爭(zhēng)機(jī)制對(duì)目標(biāo)的影響。結(jié)果發(fā)現(xiàn)，報(bào)名時(shí)長(zhǎng)并不與報(bào)名人數(shù)成正比；提前支付部分報(bào)酬也沒(méi)有幫助吸引更多的人報(bào)名；個(gè)人領(lǐng)取的方式比團(tuán)隊(duì)的修改次數(shù)更少，但由于樣本較少，所以還需更多的實(shí)例進(jìn)行進(jìn)一步的研究；競(jìng)爭(zhēng)機(jī)制有利于在有限時(shí)間內(nèi)保證得到高質(zhì)量結(jié)果，不過(guò)需要額外支付一部分錢給不合格的人，作為辛苦勞動(dòng)的報(bào)酬。研究發(fā)現(xiàn)，高技能的專業(yè)人才的積累，可逐漸消除額外支付的成本，因此如何積累更多的人才，將是下一步要研究的方向。

[1] 黃文虎, 曹登慶, 韓增堯. 航天器動(dòng)力學(xué)與控制的研究進(jìn)展與展望[J]. 力學(xué)進(jìn)展, 2012, 42(4): 367-394. HUANG W H, CAO D Q, HAN Z Y. Advances and trends in dynamics and control of spacecrafts[J]. Advances in Mechanics, 2012, 42(4): 367-394.

[2] BELLO O M, AINA Y A. Satellite remote sensing as a tool in disaster management and sustainable development: towards a synergistic approach[J]. Procedia - Social and Behavioral Sciences, 2014(120): 365-373.

[3] YAN L, ROY D P. Automated crop field extraction from multi-temporal web enabled landsat data[J]. Remote Sensing of Environment, 2014, 144(144): 42-64.

[4] MUELLER N, LEWIS A, ROBERTS D, et al. Water observations from space: mapping surface water from 25 years of landsat imagery across Australia[J]. Remote Sensing of Environment, 2016(174): 341-352.

[5] LESIV M, MOLTCHANOVA E, SCHEPASCHENKO D, et al. Comparison of data fusion methods using crowdsourced data in creating a hybrid forest cover map[J]. Remote Sensing, 2016, 8(3): 261.

[6] CHU D A, KAUFMAN Y J, ZIBORDI G, et al. Global monitoring of air pollution over land from the earth observing system-terra moderate resolution imaging spectroradiometer (MODIS)[J]. Journal of Geophysical Research, 2003, 108(D21): 1-18.

[7] 呂超, 呂游. 遙感影像信息提取技術(shù)的研究與實(shí)現(xiàn)[J]. 黑龍江工程學(xué)院學(xué)報(bào), 2014, 28(1): 34-37. LV C, LV Y. Research and realization of remote sensing image information extraction technologies[J]. Journal of Heilongjiang Institute of Technology, 2014, 28(1): 34-37

[8] 蘭澤英. 基于土地利用空間知識(shí)挖掘的高分辨率遙感影像分類[D]. 武漢: 武漢大學(xué), 2010. LAN Z Y. High resolution RS image classification based on spatial knowledge mining of land use[D]. Wuhan: Wuhan University, 2010

[9] 臧藝. 基于面向?qū)ο蠛图蓪W(xué)習(xí)的高分辨率地物要素半自動(dòng)提取方法與實(shí)現(xiàn)[D]. 北京: 中國(guó)測(cè)繪科學(xué)研究院, 2008. ZANG Y, Semi-automatic approach and implementation of feature extraction for high resolution remote sensing image based on object oriented and ensemble learning[D]. Beijing: Chinese Academy of Surveying and Mapping, 2008.

[10] POHL C, J V G. Review article multisensor image fusion in remote sensing: concepts, methods and applications[J]. International Journal of Remote Sensing, 1998, 19(5): 823-854.

[11] YUAN J. Automatic building extraction in aerial scenes using convolutionalnetworks[J]. 2016: arXiv: 1602.06564.

[12] 黃小兵. 高分辨率遙感影像建筑物提取方法研究[D]. 西安: 西安科技大學(xué), 2014. HUANG X B. A study of building exttraction from high resolution remote sensing image[D]. Xi'an: Xi'an Technology University, 2014.

[13] 崔衛(wèi)紅. 基于圖論的面向?qū)ο蟮母叻直媛视跋穹指罘椒ㄑ芯縖D]. 武漢: 武漢大學(xué), 2010. CUI W H. Research on graph theory based object oriented high resolution image segmentation[D]. Wuhan: Wuhan University, 2010.

[14] 吳秀蕓. 基于高分辨率遙感影像的建筑物提取及輪廓矢量化研究[D]. 南京: 南京大學(xué), 2011. WU X Y. Research on extraction and Contour vectorization of buildings from high-resolution remote sensed images[D]. Nanjing: Nanjing University, 2011.

[15] MA Y, CHEN F, LIU J, et al. An automatic procedure for early disaster change mapping based on optical remote sensing[J]. Remote Sensing, 2016, 8(4): 272.

[16] BARRINGTON L, GHOSH S, GREENE M, et al. Crowdsourcing earthquake damage assessment using remote sensing imagery[J]. Annals of Geophysics, 2011, 54(6): 680-687.

[17] KAZAI G, KAMPS J, MILIC-FRAYLING N. An analysis of human factors and label accuracy in crowdsourcing relevance judgments[J]. Information Retrieval, 2013, 16(2): 138-178.

[18] FIENEN M N, LOWRY C S. Social.water-a crowdsourcing tool for environmental data acquisition[J]. Computers and Geosciences, 2012, 49(4): 164-169.

[19] GAO J, LIU X, OOI B C, et al. An online cost sensitive decision-making method in crowdsourcing systems[C]//The ACM SIGMOD International Conference on Management of Data, June 22-27, 2013, New York, USA. [S.l.:s.n.], 2013: 217-228.

[20] FRATERNALI P, CASTELLETTI A, SONCINI-SESSA R, et al. Putting humans in the loop: social computing for water resources management[J]. Environmental Modelling and Software, 2012, 37(17): 68-77.

[21] AHN L V. Human computation[C]// The 46th Annual Design Automation Conference, July 26-31, 2009, SanFranciso, CA. New York: ACM Press, 2009: 418-419.

[22] LIU X, LU M, OOI B C, et al. CDAS: a crowdsourcing data analytics system[J]. Proceedings of the VLDB Endowment, 2012, 5(10): 1040-1051.

[23] KITTUR A, SMUS B, KRAUT R. CrowdForge: Crowdsourcing Complex Work[C]//The 24th Annual ACM Symposium on Vser interface Software and technology, October 16-19, 2011, Santa Barbara, USA. New York: ACM Press, 2011: 43-52.

[24] FRITZ S, SEE L, MCCALLUM I, et al. Mapping global cropland and field size[J]. Global Change Biology, 2015, 21(5): 1980-1992.

[25] FRITZ S, PERGER C, SEEL, et al. A campaign to collect volunteered geographic information on land cover and human impact information on land cover and human impact[M]. [S.l.:s.n.], 2012: 83-91.

[26] FRITZ S, MCCALLUM I, SCHILL C, et al. Geo-wiki: an online platform for improving global land cover[J]. Environmental Modelling and Software, 2012, 31(7): 110-123.

[27] SEE L, COMBER A, SALK C, et al. Comparing the quality of crowdsourced data contributed by expert and non-experts[J]. Plos One, 2013, 8(7): 670-692.

[28] OFLI F, MEIER P, IMRAN M, et al. Combining human computing and machine learning to make sense of big (aerial) data for disaster response[J]. Big Data, 2016, 4(1): 47-59.

[29] 路凱. Kaggle眾包平臺(tái)的隸屬網(wǎng)絡(luò)模型構(gòu)建與特征分析[D]. 大連: 大連理工大學(xué), 2015. LU K. Affiliation network model's constructing and characteristics analysis based on Kaggle crowdsourcing platform[D]. Dalian: Dalian University of Technology, 2015.

[30] FOODY G M. Status of land cover classification accuracy assessment[J]. Remote Sensing of Environment, 2002, 80(1): 185-201.

[31] 朱小寧. 支持任務(wù)推送的眾包系統(tǒng)的研究與實(shí)現(xiàn)[D]. 北京: 北京郵電大學(xué), 2014. ZHU X N. Research and implementation of a crowdsourcing system supporting task routing[D]. Beijing: Beijing University of Posts and Telecommunications, 2014.

[32] DIPALANTINO D, VOJNOCIC M. Crowdsourcing and all-pay auctions[C]// The 10th ACM Conference on Electronic Commerce, July 6-10, 2009, Stanford, California. New York: ACM Press, 2009: 119-128.

[33] 張志強(qiáng), 逄居升, 謝曉芹, 等. 眾包質(zhì)量控制策略及評(píng)估算法研究[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(8): 1636-1649. ZHANG Z, PANG J, XIE X, et al. Research on crowdsourcing quality control strategies and evaluation algorithm[J]. Chinese Journal of Computers, 2013, 36(8): 1636-1649

[34] IMRAN M, LYKOURENTZOU I, CASTILLO C. Engineering crowdsourced stream processing systems[J].Computer Science, 2013(1): 1-32.

[35] KITTUR A, NICKERSON J V, BERNSTEIN M, et al. The future of crowd work[C]// Conference on Computer Supported Cooperative Work, June 27-29, 2013, Whistler, Canada. [S.l.:s.n.], 2013: 1301-1318.

[36] HO C J, VAUGHAN J W. Online task assignment in crowdsourcing markets[C]//The Twenty-Sixth AAAI Conference on Artificial Intelligence, July 22-26, 2012, Toronto, Canada. [S.l.:s.n.], 2012: 45-51.

[37] DOW S, KULKARNI A, BUNGE B, et al. Shepherding the crowd: managing and providing feedback to crowd workers[C]// Extended Abstracts on Human Factors in Computing Systems, April 10-15, 2010, Atlanta, USA. New York: ACM Press, 2011: 1669-1674.

Exploration of crowdsourcing in information extraction from remote sensing images

ZHAO Jianghua1,2, WANG Xuezhi1, LIN Qinghui1, LI Jianhui1, ZHOU Yuanchun1
1. Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China 2. University of Chinese Academy of Sciences, Beijing 100049, China

Based on geospatial data cloud(GSCloud), the application of crowdsourcing in large scale information extraction from satellite images was studied, and a systematic architecture of this paradigm was proposed. By performing an experiment of extracting lakes on Qinghai-Tibetan plateau from landsat images, various aspects of the paradigm like the incentive mechanism, task assignment method, task division and many others were explored. Results show that paying part of the reward in advance and assigning a task to a team instead of individuals do not help attracting more applicants and improving the quality of results. And the accumulation of talents is of critical importance to obtain high-quality task results. Since this paradigm integrates crowdsourcing and machine computing power, and it is generic, it can be applied in more massive remote sensing image processing work which requires much human intervention.

remote sensing image, information extraction, crowdsourcing, GSCloud

TP79

A

10.11959/j.issn.2096-0271.2016066

趙江華(1989-)，女，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心研究實(shí)習(xí)員，主要研究方向?yàn)榇髷?shù)據(jù)分析與處理、數(shù)據(jù)挖掘。

王學(xué)志（1979-），男，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心副研究員，主要研究方向?yàn)楹Ａ繒r(shí)空數(shù)據(jù)處理與分析。

林青慧（1979-），女，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心副研究員，主要研究方向?yàn)榇髷?shù)據(jù)資源匯聚、分析、共享及服務(wù)。

黎建輝（1973-），男，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心研究員、博士生導(dǎo)師，主要研究方向?yàn)榇髷?shù)據(jù)管理、大數(shù)據(jù)分析與處理。

周園春（1975-），男，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心研究員、博士生導(dǎo)師，主要研究方向?yàn)閿?shù)據(jù)挖掘、大數(shù)據(jù)分析與處理。

2016-09-14

國(guó)家重點(diǎn)研發(fā)計(jì)劃基金資助項(xiàng)目“科學(xué)大數(shù)據(jù)管理系統(tǒng)”（No.2016YFB1000600）；國(guó)家重點(diǎn)研發(fā)計(jì)劃基金資助項(xiàng)目“協(xié)同精密定位技術(shù)”（No.2016YFB0501900）

Foundation Items:The National Key Research Program of China “Scientific Big Data Management System”(No.2016YFB1000600), The National Key Research Program of China “Collaborative Precision Positioning Project”(No.2016YFB0501900)