陳薈慧，鐘委釗

1.佛山科學(xué)技術(shù)學(xué)院電子信息工程學(xué)院，廣東佛山528225

2.佛山科學(xué)技術(shù)學(xué)院機(jī)電工程與自動(dòng)化學(xué)院，廣東佛山528225

人機(jī)協(xié)作研究的是人與機(jī)器同時(shí)工作時(shí)如何利用人類強(qiáng)大的認(rèn)知決策能力和機(jī)器強(qiáng)大的計(jì)算、通信和存儲(chǔ)能力來(lái)解決問(wèn)題，其目標(biāo)是由人和機(jī)器共同高效、高質(zhì)量地完成一項(xiàng)任務(wù)。目前，人機(jī)協(xié)作技術(shù)已在手術(shù)機(jī)器人[1-2]、災(zāi)難搜救機(jī)器人[3]、裝配機(jī)器人[4]、采摘機(jī)器人[5]、巡邏機(jī)器人[6]等場(chǎng)景中得到應(yīng)用。

人機(jī)協(xié)作智慧城市感知框架包括人、智能手機(jī)、機(jī)器人（如無(wú)人車、無(wú)人機(jī)）和云端服務(wù)器4 部分，如圖1 所示?；谌藱C(jī)協(xié)作的圖像采集是智慧城市感知的一個(gè)場(chǎng)景。在此場(chǎng)景下，人接收到以自然語(yǔ)言表達(dá)的感知任務(wù)后，使用智能手機(jī)等設(shè)備采集數(shù)據(jù)并提交。人機(jī)融合感知后臺(tái)根據(jù)人提交的感知數(shù)據(jù)解析出任務(wù)的關(guān)鍵參數(shù)后，生成以機(jī)器語(yǔ)言表達(dá)的感知任務(wù)并分發(fā)給具備工作能力的機(jī)器人。當(dāng)機(jī)器人提交了感知數(shù)據(jù)以后，后臺(tái)將人和機(jī)器采集的數(shù)據(jù)推送給應(yīng)用場(chǎng)景做進(jìn)一步處理。在這個(gè)工作流程里，由人引導(dǎo)機(jī)器人完成感知任務(wù)的核心功能是后臺(tái)服務(wù)器根據(jù)人提交的感知數(shù)據(jù)解析出機(jī)器任務(wù)的關(guān)鍵參數(shù)，這也是本文研究的重點(diǎn)。

圖1 人機(jī)協(xié)作框架圖Figure 1 Human-machine collaboration framework

人機(jī)協(xié)作強(qiáng)調(diào)的是充分發(fā)揮人和機(jī)器各自的優(yōu)點(diǎn)，兩者相互協(xié)作完成任務(wù)。本文研究的人擁有強(qiáng)大的認(rèn)知能力，負(fù)責(zé)找到感知對(duì)象，機(jī)擁有充足的時(shí)間和通信能力，負(fù)責(zé)按任務(wù)要求完成長(zhǎng)期的感知任務(wù)。

人根據(jù)感知任務(wù)要求到達(dá)規(guī)定的感知地點(diǎn)，找到被感知對(duì)象，使用智能手機(jī)采集被感知對(duì)象的圖像，將手機(jī)記錄下的時(shí)空情境提交給人機(jī)融合感知云端服務(wù)器，并向移動(dòng)機(jī)器人發(fā)送當(dāng)前智能手機(jī)的情境數(shù)據(jù)。移動(dòng)機(jī)器人接收到數(shù)據(jù)信息后，分析數(shù)據(jù)以調(diào)整云臺(tái)的姿態(tài)，隨后進(jìn)行圖像采集。

人機(jī)協(xié)作感知是人機(jī)協(xié)作技術(shù)的一種應(yīng)用場(chǎng)景，它將群智感知和機(jī)器人感知結(jié)合在一起，是一種新的感知模式。群智感知將人群攜帶的移動(dòng)設(shè)備作為基本感知單元，通過(guò)移動(dòng)互聯(lián)網(wǎng)進(jìn)行有意識(shí)或無(wú)意識(shí)協(xié)作，實(shí)現(xiàn)感知任務(wù)分發(fā)與感知數(shù)據(jù)收集，完成大規(guī)模的、復(fù)雜的社會(huì)感知任務(wù)，例如交通路況感知[7]、街景變化檢測(cè)[8]和噪聲檢測(cè)[9]。機(jī)器人感知指機(jī)器人根據(jù)設(shè)定好的程序自動(dòng)完成感知任務(wù)，例如智能巡檢機(jī)器人，它能滿足農(nóng)業(yè)、工業(yè)、商業(yè)、安全等不同應(yīng)用場(chǎng)景下的巡檢需求，也能完成地圖構(gòu)建[10-12]任務(wù)。

群智感知和機(jī)器人感知已經(jīng)可以應(yīng)用在許多場(chǎng)景，但也有一定的局限性。例如，群智感知需要通過(guò)激勵(lì)措施招募大量參與者，若參與者不足則會(huì)降低群智感知應(yīng)用的效果；機(jī)器人感知需要為機(jī)器人預(yù)設(shè)感知指令，這些指令需要憑借人類經(jīng)驗(yàn)或者借助人工智能技術(shù)生成。人機(jī)協(xié)作可以融合群智感知中人的能力和機(jī)器人感知中機(jī)器的能力。本文利用基于人機(jī)協(xié)作采集城市場(chǎng)景圖像數(shù)據(jù)，研究人機(jī)協(xié)作中存在的問(wèn)題，提高人機(jī)協(xié)作的可用性。

智慧城市很多應(yīng)用都需要采集城市圖像[13]，如海報(bào)[14]、道路裂紋[15]、突發(fā)事件[16]等。除了采用專業(yè)的圖像采集車和采集設(shè)備，群智感知也是常用的圖像采集途徑[13,17-18]，而且圖像采集車和群智感知都由人準(zhǔn)確找到目標(biāo)并拍照。

目前機(jī)器人的認(rèn)知能力有限，需要根據(jù)任務(wù)指令完成圖像采集任務(wù)。機(jī)器人任務(wù)指令可以采用3 種方式生成：1）通過(guò)大量語(yǔ)義數(shù)據(jù)訓(xùn)練機(jī)器人，當(dāng)機(jī)器人檢測(cè)到相同語(yǔ)義的行為或者場(chǎng)景時(shí)拍照[19-21]；2）人遙控指揮機(jī)器人進(jìn)行拍照，例如機(jī)器人可以代替人進(jìn)入有害環(huán)境中采集圖像數(shù)據(jù)[22]；3）人設(shè)置機(jī)器人拍照參數(shù)，包括地點(diǎn)和方位等，例如人為提供施工道路/建筑物的方位信息，派遣移動(dòng)機(jī)器人持續(xù)跟蹤施工進(jìn)度并拍照。其中第2、3 種方式屬于人機(jī)協(xié)作范疇，不同的是，前者將機(jī)器人當(dāng)作人的代步工具，執(zhí)行任務(wù)時(shí)，全程需要人工參與；而后者通過(guò)人提供的信息引導(dǎo)機(jī)器人拍照，這種方式既減少了因參與者不足而帶來(lái)的不良影響，又間接地提高了機(jī)器人的感知能力。本文主要討論第3 種機(jī)器人拍照指令的生成方式。

在人機(jī)協(xié)作方式下，機(jī)器人的行動(dòng)指令來(lái)源于機(jī)器對(duì)人執(zhí)行拍照任務(wù)行為的理解，該過(guò)程實(shí)際是一個(gè)用多傳感器數(shù)據(jù)描述人的行為并轉(zhuǎn)化為機(jī)器人拍照指令的過(guò)程。由于人的行為姿態(tài)的多樣性和傳感器存在一定的誤差，因此機(jī)器人對(duì)人的拍照行為的理解會(huì)有一定的偏差。為了使機(jī)器人能準(zhǔn)確理解人的拍照行為并自動(dòng)生成高質(zhì)量拍照指令，本文完成了以下工作：1）提出基于人機(jī)協(xié)作的圖像采集框架，實(shí)現(xiàn)通過(guò)人與機(jī)器人的協(xié)作完成大規(guī)模圖像采集任務(wù)；2）提出圖像采集指令的優(yōu)化方法，提高圖像采集的質(zhì)量；3）通過(guò)多組實(shí)驗(yàn)結(jié)果驗(yàn)證了人機(jī)協(xié)作圖像采集模型的可用性和采集指令優(yōu)化方法的有效性。

1 形式化定義

1.1 任務(wù)與數(shù)據(jù)

在人機(jī)協(xié)作場(chǎng)景下，由人承擔(dān)的任務(wù)與群智感知任務(wù)類似，記作Th: (xh,yh,rh,th)，其中，Lh: (xh,yh) 為任務(wù)地點(diǎn)的坐標(biāo)點(diǎn)，rh為被感知對(duì)象所在區(qū)域的半徑，th為任務(wù)的有效期。本文研究不涉及感知對(duì)象受時(shí)間的影響，因此任務(wù)簡(jiǎn)化為Th: (xh,yh,rh)。任務(wù)地點(diǎn)Lh和rh實(shí)際組成了一個(gè)圓形區(qū)域，表示被感知對(duì)象可能存在的區(qū)域，人可以根據(jù)任務(wù)提示尋找被感知對(duì)象[17]。

人找到被感知對(duì)象后拍照上傳即完成了一次任務(wù)。拍照的情境在手機(jī)里自動(dòng)獲取并記錄，記作Ch:(xc,yc,ec,hc,vc)。其中，Lc:(xc,yc) 表示被手機(jī)定位記錄下的拍照地點(diǎn)，該定位可直接使用經(jīng)度和維度表示，本文將GPS 坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)；ec為定位誤差；(hc,vc) 為拍照時(shí)的鏡頭朝向，vc為鏡頭朝向與水平面的夾角；hc為鏡頭朝向在地面的投影與正北的夾角。

機(jī)器人的任務(wù)記作Tr: (xr,yr,hr,vr,fr)，其中Lr: (xr,yr) 為任務(wù)地點(diǎn)的坐標(biāo)；(hr,vr)為機(jī)器人拍照時(shí)鏡頭的朝向，通常(hr,vr)=(hc,vc)；fr是定位圍欄半徑，由人工根據(jù)實(shí)際的物理環(huán)境而設(shè)，當(dāng)機(jī)器人與任務(wù)地點(diǎn)Lr之間的距離小于等于fr米時(shí)，機(jī)器人按照情境參數(shù)(hr,vr) 調(diào)整拍照云臺(tái)進(jìn)行拍照。在受路網(wǎng)限制的區(qū)域內(nèi)，若fr過(guò)小，則移動(dòng)機(jī)器人可能受定位誤差的影響而無(wú)法準(zhǔn)確到達(dá)任務(wù)地點(diǎn)，從而導(dǎo)致任務(wù)失敗。時(shí)間和fr對(duì)感知效果的影響與本文內(nèi)容無(wú)關(guān)，在本文中不再探討。

機(jī)器人的感知任務(wù)是對(duì)人的拍照情境數(shù)據(jù)的一種映射，情境參數(shù)(hr,vr) 被用于調(diào)整二自由度攝像云臺(tái)，hr用于云臺(tái)的水平旋轉(zhuǎn)，vr用于云臺(tái)的俯仰角度調(diào)整。機(jī)器人到達(dá)區(qū)域QR后，調(diào)整云臺(tái)并拍照，記機(jī)器人拍照的情境為Cr:(xd,yd,hr,vr,ed)，Lr與Ld:(xd,yd) 之間的距離不大于fr。區(qū)域QF 為參數(shù)(xd,yd,ed) 形成的區(qū)域。

由于ec≥0，ed≥0，因此，機(jī)器人并不能保證每次準(zhǔn)確復(fù)現(xiàn)人完成任務(wù)的數(shù)據(jù)質(zhì)量，如圖2 所示。

圖2 數(shù)據(jù)采集任務(wù)的空間覆蓋示意圖Figure 2 Illustration on data acquisition task and spatial coverage

1.2 存在的問(wèn)題

從感知任務(wù)發(fā)布階段到機(jī)器人執(zhí)行任務(wù)階段，任務(wù)所在的物理空間并不能完全重疊。如圖2 所示，QT 表示感知任務(wù)覆蓋的區(qū)域，QC 為人拍照時(shí)的空間情境，QR 為機(jī)器人任務(wù)覆蓋的區(qū)域。因?yàn)槭謾C(jī)GPS 定位（或北斗定位）存在米級(jí)誤差，所以，人實(shí)際的拍照地點(diǎn)在QC區(qū)域內(nèi)。

假設(shè)引導(dǎo)者和機(jī)器人使用相同的定位技術(shù)（如GPS 或北斗），機(jī)器人的移動(dòng)路徑依賴于引導(dǎo)者的位置信息，于是引導(dǎo)者和機(jī)器人之間的期望距離范圍是[0,fr+ec]，人與機(jī)器人之間的實(shí)際距離范圍為[0,fr+ec+ed]，即

在理想情況下，若定位誤差和拍照角度誤差為零，則機(jī)器人到達(dá)引導(dǎo)者的位置由情境數(shù)據(jù)驅(qū)動(dòng)機(jī)器人就可以進(jìn)行有效感知。但由于人機(jī)協(xié)作過(guò)程中可能存在定位誤差和拍照角度傳感器誤差，因此機(jī)器人采集的圖像與引導(dǎo)者的真實(shí)圖像也有一定的偏差。如圖3 所示，圖3(a)為引導(dǎo)者拍攝的圖像，圖3(b) 為機(jī)器人采集的圖像，可以看出兩幅圖像存在差異，照片的重疊區(qū)域約占引導(dǎo)者拍攝圖像的65%。若差異過(guò)大，機(jī)器人采集的圖像可能無(wú)法呈現(xiàn)有效信息。

圖3 人與機(jī)器人采集的圖像Figure 3 Photos collected by human-machine collaboration

2 機(jī)器感知任務(wù)指令的優(yōu)化算法

2.1 算法流程

為了提高機(jī)器人的感知能力，本文通過(guò)評(píng)估人和機(jī)器拍攝的圖像差異，優(yōu)化機(jī)器感知任務(wù)指令。任務(wù)優(yōu)化流程如圖4 所示。首先使用已標(biāo)注的人機(jī)協(xié)作數(shù)據(jù)集對(duì)比人機(jī)采集數(shù)據(jù)的差異，并訓(xùn)練出能夠提高機(jī)器人感知精度的參數(shù)值；然后修正機(jī)器人的任務(wù)指令。為了比對(duì)人機(jī)采集圖像的差異，本文提出使用動(dòng)態(tài)閾值近似最近鄰（approximate nearest neighbor with dynamic threshold,DTANN）算法，匹配人機(jī)采集圖像的SIFT（scale-invariant feature transform）特征點(diǎn)[23]，再經(jīng)過(guò)隨機(jī)采樣一致性（random sample consensus,RANSAC）算法[24]過(guò)濾錯(cuò)誤匹配的特征點(diǎn)對(duì)。基于特征點(diǎn)的位置差異計(jì)算出景物差異和景深差異，這兩種差異用于修正機(jī)器人的拍照任務(wù)指令。

圖4 機(jī)器感知任務(wù)優(yōu)化流程圖Figure 4 Flow chart of machine perception task optimization

2.2 關(guān)鍵任務(wù)參數(shù)

二自由度云臺(tái)由水平方向旋轉(zhuǎn)舵機(jī)和垂直方向旋轉(zhuǎn)舵機(jī)組成。云臺(tái)即時(shí)姿態(tài)為(hs,vs)；hs為水平方向舵機(jī)順時(shí)針旋轉(zhuǎn)時(shí)的角度值，取值區(qū)間為[0°,360°)；vs為垂直方向舵機(jī)的角度值，取值區(qū)間為[0°,180°)，當(dāng)鏡頭垂直朝下時(shí)，vs=0°；機(jī)器人所處位置的坡度值為vg，vg的取值區(qū)間為[－90°,90°]，機(jī)器人處于水平地面時(shí)，vg=0°，當(dāng)機(jī)器人上坡時(shí)，vg值減小。云臺(tái)調(diào)整姿態(tài)過(guò)程中，舵機(jī)水平順時(shí)針和垂直向上的轉(zhuǎn)動(dòng)角度值分別為hm和vm，機(jī)器人的圖像采集任務(wù)指令表示為I: (xr,yr,hm,vm)，即移動(dòng)機(jī)器人到達(dá)任務(wù)位置坐標(biāo)(xr,yr)后獲取云臺(tái)的即時(shí)姿態(tài)，然后控制水平順時(shí)針旋轉(zhuǎn)hm和垂直向上旋轉(zhuǎn)vm后拍照。其中，hm=hc－h(huán)s，vm=vc－vs+vg。

智能手機(jī)的方位角、翻轉(zhuǎn)角參數(shù)(hc,vc) 與云臺(tái)姿態(tài)參數(shù)(hs,vs) 在功能上相對(duì)應(yīng)。原始vc的取值區(qū)間只有[0°,90°]，需要借助加速度Z軸的值（記為a）來(lái)區(qū)分智能手機(jī)的俯仰狀態(tài)，并擴(kuò)展取值區(qū)間為[0°,180°]。當(dāng)a ＜0 時(shí)，手機(jī)處于仰拍狀態(tài)；當(dāng)a ＞0 時(shí)，手機(jī)處于俯拍狀態(tài)。通過(guò)式(4) 將vc的取值區(qū)間擴(kuò)展至與vs的一致，為0°～180°。

2.3 圖像差異評(píng)估

本文的人機(jī)協(xié)作感知差異指人和機(jī)器人采集照片中的景物差異和景深差異，可通過(guò)對(duì)比兩幅圖像的相似特征點(diǎn)的位置差異進(jìn)行評(píng)估。

2.3.1 DTANN 算法

在人機(jī)協(xié)作感知過(guò)程中，人和機(jī)器人采集的圖像之間的差異是不確定的，很難初始化一個(gè)固定閾值用于相似特征點(diǎn)的匹配，所以，本文提出DTANN 算法。DTANN 根據(jù)預(yù)設(shè)的期望匹配點(diǎn)對(duì)的最小數(shù)量（記為ω）對(duì)初始閾值進(jìn)行迭代優(yōu)化，直到匹配得到的相似特征點(diǎn)對(duì)的數(shù)量不小于ω或者已無(wú)法優(yōu)化，此時(shí)得到一個(gè)閾值，且閾值是動(dòng)態(tài)的。設(shè)目標(biāo)點(diǎn)與最近鄰特征點(diǎn)的距離為dn，目標(biāo)點(diǎn)與次近鄰特征點(diǎn)之間的距離為的比值上限記為τ，動(dòng)態(tài)閾值設(shè)為σ，σ的初始值可設(shè)為0.3，此時(shí)σ的迭代計(jì)算為

當(dāng)σ或者|FA| 無(wú)法再增大時(shí)，停止迭代。每次迭代時(shí)先使用ANN 算法計(jì)算出匹配特征點(diǎn)集合FA和FB，如果|M|＜ω并且σ ＜τ，則更新σ后重新計(jì)算M，直到σ不滿足更新條件。此時(shí)，M即為所求匹配特征點(diǎn)對(duì)集合。

2.3.2 景物差異評(píng)估

在人和機(jī)器人拍攝的照片中，從不同景物上提取的特征點(diǎn)能表示出該景物所在的位置，由于景物在圖像中的分布是相對(duì)固定的，評(píng)估景物差異可知兩幅圖像在二維平面水平和豎直方向上的差異，本文采用相似性匹配后的特征點(diǎn)對(duì)的位置差異進(jìn)行景物差異評(píng)估。

特征點(diǎn)對(duì)的平面位置差異可分為水平方向的差異Δx和豎直方向的差異Δy，分別表示特征點(diǎn)之間平面位置坐標(biāo)差異的平均值，計(jì)算公式為

式中：M′為M經(jīng)RANSAC 算法過(guò)濾后的特征點(diǎn)對(duì)集合。

2.3.3 景深差異評(píng)估

景深差異是由于人、機(jī)器人與景物之間的距離有差異造成的，兩幅圖像的匹配特征點(diǎn)覆蓋區(qū)域比例能夠反映出兩幅圖像的景深差異。因此，本文基于圖像的匹配特征點(diǎn)對(duì)的空間分布對(duì)圖像的景深差異進(jìn)行評(píng)估。

式中：ε為一個(gè)無(wú)窮小的數(shù)，1 ≤k≤|M′|－1。

根據(jù)匹配特征點(diǎn)對(duì)的景深相似度，采用式(8) 將特征點(diǎn)對(duì)分為大、中、小3 類，分別對(duì)應(yīng)3 個(gè)集合JL、JM和JS。

記兩幅圖像的景深差異量為μ。如果JL、JM或JS任一集合元素?cái)?shù)量大于或等于則μ等于該集合元素的平均值；如果3 個(gè)集合元素?cái)?shù)量均小于，則μ=1。

2.4 機(jī)器感知任務(wù)指令優(yōu)化

機(jī)器人的圖像采集任務(wù)指令表示為I: (xr,yr,hm,vm)，根據(jù)圖像差異，需要對(duì)任務(wù)指令進(jìn)行優(yōu)化。

2.4.1 云臺(tái)參數(shù)修正

假設(shè)攝像頭拍攝的分辨率為X×Y，當(dāng)機(jī)器人拍照云臺(tái)的水平舵機(jī)旋轉(zhuǎn)1°時(shí)圖像在水平方向上改變p個(gè)像素；當(dāng)垂直舵機(jī)旋轉(zhuǎn)1°時(shí)圖像在垂直方向上改變q個(gè)像素值，那么舵機(jī)的任務(wù)參數(shù)的修正公式為

2.4.2 拍照位置參數(shù)優(yōu)化

機(jī)器人到達(dá)位置(xr,yr) 后，調(diào)整云臺(tái)使其指向優(yōu)化后的拍照方向，然后機(jī)器人調(diào)整方向，使行駛方式與拍照方向一致。根據(jù)景物差異和景深差異對(duì)機(jī)器人的拍照位置進(jìn)行優(yōu)化。設(shè)機(jī)器人需橫向向右平移xo，然后前進(jìn)yo。當(dāng)xo和yo為負(fù)時(shí)，表示向左平移和向后移動(dòng)。

假設(shè)當(dāng)機(jī)器人水平向右平移1 m 時(shí)拍攝的圖像在水平方向上改變了p′個(gè)像素；當(dāng)機(jī)器人前進(jìn)1 m 時(shí)，圖像無(wú)變化區(qū)域的像素為m×n，那么機(jī)器人位置修正的移動(dòng)參數(shù)公式為

這里限定|xo|≤2ed和|yo|≤2ed。

3 算法評(píng)估

3.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)采用GPS 定位，在天氣晴朗且空曠的環(huán)境下，定位誤差不超過(guò)1 m。機(jī)器人感知平臺(tái)如圖5 所示，云臺(tái)的旋轉(zhuǎn)精度為0.1°，攝像頭高度為1.5 m，各項(xiàng)實(shí)驗(yàn)參數(shù)如表1 所示，實(shí)驗(yàn)共采集了446 組人機(jī)協(xié)作拍照數(shù)據(jù)。

表1 實(shí)驗(yàn)參數(shù)表Table 1 Parameters for experiments

圖5 機(jī)器人感知平臺(tái)Figure 5 Robot sensing platform

3.2 機(jī)器感知能力評(píng)估指標(biāo)

對(duì)機(jī)器感知能力的評(píng)價(jià)主要基于機(jī)器采集的圖像B與人工采集的圖像A的景物重疊度。將圖像A與B變換為相同大小的圖像，記oa表示機(jī)器采集的圖像和人工采集的圖像的公共部分的像素?cái)?shù)量，noa表示圖像A未被圖像B覆蓋的像素?cái)?shù)量，ob表示圖像B被圖像A覆蓋的像素?cái)?shù)量，nob表示圖像B未被圖像A覆蓋的像素?cái)?shù)量。由于圖像A和圖像B存在景物和景深差異，相同景物在圖像A和B中的大小不一定相同，所以，oa不一定等于ob。

參考分類算法的評(píng)價(jià)指標(biāo)，本文定義的機(jī)器感知算法評(píng)價(jià)指標(biāo)有召回率R、精準(zhǔn)率P和F1-measure 值，公式分別為

3.3 期望效果

人機(jī)協(xié)同的感知圖像采集的誤差與定位誤差有關(guān)，因此，本文將在沒(méi)有定位誤差情況下的人機(jī)協(xié)作效果作為期望效果，對(duì)文中的方法進(jìn)行評(píng)估。假設(shè)引導(dǎo)者與移動(dòng)機(jī)器人之間不存在定位誤差，即當(dāng)ec和ed均為0 時(shí)采集數(shù)據(jù)并評(píng)估實(shí)驗(yàn)結(jié)果。本文采集18 組人機(jī)協(xié)作圖像數(shù)據(jù)，實(shí)驗(yàn)結(jié)果顯示精確率、召回率和F1-measure 值的95% 置信區(qū)間分別為（91.22%，95.38%）、（80.24%，84.99%）、（82.90%，88.15%）。

3.4 任務(wù)參數(shù)選擇

人機(jī)協(xié)作的任務(wù)參數(shù)對(duì)機(jī)器人感知質(zhì)量具有一定的影響，比如引導(dǎo)者到感知對(duì)象的距離、定位誤差、拍照姿態(tài)和地面坡度等參數(shù)。為了選出合適的參數(shù)值進(jìn)行感知任務(wù)優(yōu)化，這里通過(guò)實(shí)驗(yàn)評(píng)估任務(wù)參數(shù)對(duì)感知性能的影響，然后選擇參數(shù)。

3.4.1 人與物之間的距離對(duì)機(jī)器感知能力的影響

在現(xiàn)實(shí)的城市情景感知下，定位誤差是必然存在的。本文采用高德地圖的組合定位，實(shí)驗(yàn)場(chǎng)景在晴天戶外，定位誤差半徑可達(dá)1 m 以內(nèi)，本文定位誤差半徑e值在0.25 m～1 m 范圍內(nèi)。

引導(dǎo)者與感知對(duì)象之間的距離會(huì)影響機(jī)器人的感知范圍和能力。實(shí)驗(yàn)將引導(dǎo)者與感知對(duì)象之間距離以米為單位劃分為4 種情況，分別是2.5 m、3.5 m、4.5 m 和5.5 m。每一種情況采集18 組圖像數(shù)據(jù)，實(shí)驗(yàn)數(shù)據(jù)共4×4×18=288 組。對(duì)比平均召回率、平均精確率和F1-measure平均值如圖6 所示。

圖6 人與物距離的改變對(duì)機(jī)器感知能力的影響Figure 6 Impact of diffierent guider-object distance on machine sensing

圖6 的實(shí)驗(yàn)結(jié)果顯示，當(dāng)定位誤差增大時(shí)，整體的精確率、召回率、F1-measure 值均下降。當(dāng)引導(dǎo)者到感知對(duì)象的距離大于或等于3.5 m 時(shí)，感知對(duì)象基本不會(huì)完全消失在移動(dòng)機(jī)器人的視野中，平均精確率、召回率、F1-measure 值均大于或等于45%，達(dá)到基本感知要求。接下來(lái)的實(shí)驗(yàn)會(huì)以引導(dǎo)者到感知對(duì)象的距離大于或等于3.5 m 為標(biāo)準(zhǔn)進(jìn)行。

3.4.2 人的拍照習(xí)慣對(duì)機(jī)器感知能力的影響

引導(dǎo)者持手機(jī)拍照時(shí)的習(xí)慣不同，那么手機(jī)拍照時(shí)的姿態(tài)可能不同，這將影響機(jī)器拍照參數(shù)。在沒(méi)有定位誤差的前提下，實(shí)驗(yàn)按水平和豎直兩個(gè)維度對(duì)拍照姿態(tài)進(jìn)行分類。水平維度指同一位置下選擇3 個(gè)方向朝感知對(duì)象拍攝，記為w1、w2和w3；豎直維度分類包括仰拍、平拍和俯拍，共分為9 種組合情況。每種情況采集4 組人機(jī)協(xié)作圖像數(shù)據(jù)，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 引導(dǎo)者拍照姿態(tài)不同時(shí)的實(shí)驗(yàn)結(jié)果Figure 7 Results of diffierent guider postures for taking photo

從圖7 的實(shí)驗(yàn)結(jié)果可以看出，引導(dǎo)者的拍照姿態(tài)對(duì)機(jī)器感知能力的影響并不是很大。這一結(jié)論可以說(shuō)明人機(jī)協(xié)同感知對(duì)引導(dǎo)者拍照姿態(tài)的限制不需要太苛刻。

3.4.3 地形起伏對(duì)機(jī)器感知能力的影響

地形起伏主要體現(xiàn)為地面坡度的變化。坡度地形使得機(jī)器云臺(tái)難以保持水平狀態(tài)，那么機(jī)器感知能力會(huì)受到影響。在沒(méi)有定位誤差的前提下，實(shí)驗(yàn)中設(shè)定4 種不同的坡度，分別是0°、5°、30°、45°。在每種情況下采集10 組人機(jī)協(xié)作圖像數(shù)據(jù)，實(shí)驗(yàn)結(jié)果如圖8 所示。

圖8 地面坡度不同時(shí)的實(shí)驗(yàn)結(jié)果Figure 8 Results of diffierent land’s slope for taking photo

從圖8 的實(shí)驗(yàn)結(jié)果可知，當(dāng)坡度增大時(shí)，機(jī)器感知效果整體下降。在小坡度時(shí)，機(jī)器感知能力受影響較小，足以勝任日常城市圖像采集工作。而坡度較大時(shí)機(jī)器感知能力受影響更大，是因?yàn)樵婆_(tái)的過(guò)度傾斜導(dǎo)致拍攝了大量的無(wú)關(guān)內(nèi)容。針對(duì)這個(gè)問(wèn)題，可在云臺(tái)上增加一個(gè)鏡頭旋轉(zhuǎn)舵機(jī)，根據(jù)機(jī)器人的傾斜狀態(tài)使鏡頭保持水平，舵機(jī)旋轉(zhuǎn)計(jì)算方法與垂直方向舵機(jī)旋轉(zhuǎn)計(jì)算方法類似，在此不再贅述。

3.5 任務(wù)參數(shù)優(yōu)化效果評(píng)估

機(jī)器感知任務(wù)參數(shù)優(yōu)化包括云臺(tái)參數(shù)優(yōu)化和拍照位置參數(shù)優(yōu)化。每種優(yōu)化實(shí)驗(yàn)按定位誤差的大小，將實(shí)驗(yàn)數(shù)據(jù)分為4 種情況，每種情況下采集8 組照片，分別是引導(dǎo)者采集的照片、未優(yōu)化機(jī)器指令前的機(jī)器采集照片和優(yōu)化機(jī)器指令后的機(jī)器采集照片，共計(jì)64 組實(shí)驗(yàn)數(shù)據(jù)。

3.5.1 云臺(tái)參數(shù)優(yōu)化方法評(píng)估

對(duì)機(jī)器人的云臺(tái)參數(shù)進(jìn)行優(yōu)化后的實(shí)驗(yàn)結(jié)果如圖9 所示。從實(shí)驗(yàn)結(jié)果可以看出，對(duì)云臺(tái)參數(shù)進(jìn)行優(yōu)化后，精確率、召回率和F1-measure 值均有不同程度的提高，其中，精確率平均提高約11%，召回率平均提高約14%，F(xiàn)1-measure 值提高約13%。

圖9 云臺(tái)參數(shù)優(yōu)化提高機(jī)器感知能力的效果Figure 9 Effiect of steering engine parameter optimization on machine sensing

3.5.2 拍照位置參數(shù)優(yōu)化方法評(píng)估

拍照位置參數(shù)優(yōu)化的實(shí)驗(yàn)結(jié)果如圖10 所示。實(shí)驗(yàn)結(jié)果顯示，優(yōu)化后采集圖像的各項(xiàng)評(píng)價(jià)指標(biāo)均有提升，但提升效果與定位誤差有一定的關(guān)系。當(dāng)定位誤差e小于0.75 m 時(shí)，感知能力提高效果較明顯，F(xiàn)1-measure 值提高近20%；當(dāng)定位誤差e為1 m 時(shí)，感知能力提高效果不明顯，F(xiàn)1-measure 值僅提高了8%。

圖10 拍照位置優(yōu)化提高機(jī)器感知能力的效果Figure 10 Effiect of optimizing the camera position on machine sensing

對(duì)比圖9 與10 的兩種優(yōu)化方法的實(shí)驗(yàn)結(jié)果，舵機(jī)旋轉(zhuǎn)參數(shù)優(yōu)化方法較拍照位置參數(shù)優(yōu)化方法在指標(biāo)提升方面上更穩(wěn)定、更有效，拍照位置參數(shù)優(yōu)化方法能夠解決人機(jī)協(xié)作中的視差問(wèn)題，符合實(shí)際應(yīng)用場(chǎng)景的需求。

4 結(jié)語(yǔ)

本文以基于人機(jī)協(xié)作方式采集城市圖像為應(yīng)用背景，針對(duì)提高移動(dòng)機(jī)器人的感知能力提出了優(yōu)化感知任務(wù)指令的方法。在人機(jī)協(xié)作下移動(dòng)機(jī)器人自主有效地進(jìn)行感知是未來(lái)的應(yīng)用需求。本文的研究主要是通過(guò)提高機(jī)器人的感知能力實(shí)現(xiàn)提高人機(jī)協(xié)同感知質(zhì)量的目的。下一步，我們將在智能交通領(lǐng)域研究如何應(yīng)用人機(jī)協(xié)作技術(shù)實(shí)現(xiàn)交通事件的人機(jī)協(xié)作機(jī)會(huì)式感知。