楊 靜，楊紅平，張 慧，楊 杰

（天水師范學(xué)院 機(jī)電與汽車(chē)工程學(xué)院，甘肅 天水 741001）

目前，工業(yè)機(jī)器人已在生產(chǎn)、制造等多個(gè)領(lǐng)域中廣泛應(yīng)用，并在各種重復(fù)、危險(xiǎn)和有沖突的任務(wù)中取代了人類(lèi)。雖然其解放了大量勞動(dòng)力，但隨之帶來(lái)了新的事故風(fēng)險(xiǎn)，即工人和機(jī)器人之間沖突事故的發(fā)生。為了防止發(fā)生事故，安全系統(tǒng)的應(yīng)用必不可少。

實(shí)際工業(yè)現(xiàn)場(chǎng)環(huán)境復(fù)雜多變，突發(fā)事件頻發(fā)，一般避免人機(jī)沖突的方式是設(shè)置剛性安全系統(tǒng)，將機(jī)器人工作空間與人類(lèi)工作空間分開(kāi)，并且只有當(dāng)機(jī)器人處于非自動(dòng)模式時(shí)，才能在機(jī)器人工作空間內(nèi)對(duì)其進(jìn)行編程、維護(hù)或維修。然而，近年來(lái)，由于產(chǎn)品設(shè)計(jì)的柔性化、生產(chǎn)方法的優(yōu)化和新技術(shù)的引入，工業(yè)機(jī)器人執(zhí)行的任務(wù)不再局限于對(duì)象的轉(zhuǎn)移或其他重復(fù)性任務(wù)。相反，越來(lái)越多的任務(wù)需要人類(lèi)和機(jī)器人協(xié)同工作。因此，為了實(shí)現(xiàn)人機(jī)協(xié)作，必須消除剛性安全系統(tǒng)，并引入其他類(lèi)型的安全系統(tǒng)。新的系統(tǒng)可以通過(guò)檢測(cè)障礙物及其動(dòng)態(tài)特性來(lái)避免碰撞，并且在意外發(fā)生的情況下可以減輕對(duì)人類(lèi)造成的傷害，有效實(shí)現(xiàn)人機(jī)共享工作空間。

考慮安全性是機(jī)器人制造系統(tǒng)設(shè)計(jì)的一個(gè)基本方面，而允許人機(jī)安全協(xié)同工作是工業(yè)機(jī)器人本身和系統(tǒng)安全策略發(fā)展必須考慮的問(wèn)題。因此，本文對(duì)人機(jī)共享工作空間的防撞系統(tǒng)設(shè)計(jì)的初始階段進(jìn)行研究，提出了將兩種不同類(lèi)型信息進(jìn)行融合的方法。該方法主要聚焦于從ToF相機(jī)拍攝的信息，實(shí)現(xiàn)顏色和3D信息的融合。通過(guò)信息融合的方式生成顏色和3D信息矩陣，該矩陣允許同時(shí)估計(jì)目標(biāo)的顏色特征和其在世界坐標(biāo)系中的三維位置。在主動(dòng)安全系統(tǒng)隨后的環(huán)節(jié)中，使用這些融合信息以防止工業(yè)機(jī)器人和人之間可能的碰撞。

1 人機(jī)共享空間

1.1 工業(yè)機(jī)器人安全系統(tǒng)

適用于工業(yè)機(jī)器人環(huán)境的安全性類(lèi)型不唯一，不同類(lèi)型的安全性分類(lèi)如表1所示。表中的被動(dòng)安全系統(tǒng)指的是不改變機(jī)器人行為的危險(xiǎn)警告方式，這些系統(tǒng)產(chǎn)生的是可聽(tīng)或可見(jiàn)的信號(hào)，如警報(bào)或燈光系統(tǒng)，目的是防止人類(lèi)意外進(jìn)入受限區(qū)域。主動(dòng)安全系統(tǒng)是當(dāng)機(jī)器人處于自動(dòng)作業(yè)模式時(shí)用于防止人侵入其工作空間的方法。它可以改變機(jī)器人的行為方式，從而提升安全系統(tǒng)在工業(yè)環(huán)境中應(yīng)用的靈活性和實(shí)用性，最大限度降低人機(jī)之間產(chǎn)生的沖突，確保工業(yè)機(jī)器人環(huán)境中的工人的人身安全。

傳統(tǒng)工業(yè)現(xiàn)場(chǎng)一般借助于力學(xué)、加速度或光學(xué)傳感器等設(shè)備來(lái)檢測(cè)人對(duì)機(jī)器人工作空間的訪(fǎng)問(wèn)，一旦檢測(cè)到人類(lèi)侵入，安全系統(tǒng)會(huì)立即停止機(jī)器人任務(wù)的執(zhí)行，以此來(lái)保證人類(lèi)安全。然而，頻繁停機(jī)不但影響機(jī)器人的使用壽命，還會(huì)降低企業(yè)的生產(chǎn)效率，增加運(yùn)營(yíng)成本。因此，這一領(lǐng)域的研究需要朝著允許人機(jī)共享工作空間的方向發(fā)展。

1.2 避碰系統(tǒng)

目前，工業(yè)機(jī)器人已具備捕捉局部信息的傳感器，如超聲波傳感器[1]、電容式傳感器[2]、激光掃描儀系統(tǒng)[3]等。利用這些傳感器采集的信息可以構(gòu)建避碰系統(tǒng)，提高人機(jī)共享工作空間的安全性。然而，這些傳感器提供的信息是局部的，不能覆蓋整個(gè)作業(yè)場(chǎng)景，構(gòu)建的避碰系統(tǒng)只能作為工業(yè)機(jī)器人主動(dòng)安全系統(tǒng)中的子系統(tǒng)，提供部分信息來(lái)增強(qiáng)人機(jī)協(xié)作任務(wù)的安全性。

表1 工業(yè)機(jī)器人的安全系統(tǒng)類(lèi)型

1.2.1機(jī)器人視覺(jué)系統(tǒng)

機(jī)器人視覺(jué)系統(tǒng)可以用于防止人機(jī)產(chǎn)生碰撞。該信息可以單獨(dú)使用，也可以與其他類(lèi)型的信息結(jié)合使用。為了實(shí)現(xiàn)安全的人機(jī)協(xié)作，文獻(xiàn)[4]描述了由基于相機(jī)和計(jì)算機(jī)視覺(jué)技術(shù)獲取人的位置信息的模塊和基于加速度傳感器和關(guān)節(jié)位置信息的模塊共同組成的安全系統(tǒng)，用于防止由于硬件或軟件故障導(dǎo)致的意外的機(jī)器人行為。文獻(xiàn)[5]提出基于兩個(gè)相機(jī)的視覺(jué)信息和力/扭矩傳感器信息的融合實(shí)現(xiàn)人機(jī)共存與協(xié)作的安全策略。

1.2.2測(cè)距系統(tǒng)

通過(guò)使用諸如激光測(cè)距儀和立體相機(jī)系統(tǒng)的深度傳感器可以獲得場(chǎng)景的深度圖。文獻(xiàn)[6]和[7]中使用激光ToF傳感器獲取深度圖，然后利用該圖實(shí)現(xiàn)安全系統(tǒng)的設(shè)計(jì)。近年來(lái)出現(xiàn)的新型相機(jī)如3D ToF相機(jī)、PMD相機(jī)，可以從其他信息中以3D點(diǎn)云的方式拍攝所需信息。這些相機(jī)已經(jīng)成功用于機(jī)器人工業(yè)環(huán)境的主動(dòng)安全系統(tǒng)中。

1.2.3視覺(jué)與測(cè)距聯(lián)合系統(tǒng)

視覺(jué)與測(cè)距聯(lián)合技術(shù)是基于測(cè)距相機(jī)的3D信息和標(biāo)準(zhǔn)CCD相機(jī)的2D信息的融合。雖然這項(xiàng)技術(shù)已廣泛應(yīng)用于多個(gè)領(lǐng)域，但在工業(yè)機(jī)器人環(huán)境中的主動(dòng)安全系統(tǒng)采用這項(xiàng)技術(shù)的研究還不多。

2 信息融合方法

文獻(xiàn)[8]中提到以ToF相機(jī)坐標(biāo)系作為參考坐標(biāo)系進(jìn)行空間變換。這樣，若要得到世界坐標(biāo)系中的物體位置，需要通過(guò)再標(biāo)定來(lái)建立連接兩個(gè)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。由此可知，需要為工業(yè)機(jī)器人、CCD相機(jī)和ToF相機(jī)定義一個(gè)公共坐標(biāo)系，以便同時(shí)得到機(jī)器人工作空間中的3D物體定位及其顏色特征。因此，本文提出一種工業(yè)機(jī)器人主動(dòng)安全系統(tǒng)中信息融合的方法，通過(guò)詳細(xì)的數(shù)學(xué)描述證明本文方法的可行性和有效性，供其他研究參考。

在數(shù)學(xué)描述前，首先作如下假設(shè)：

（1）ToF相機(jī)和CCD相機(jī)被固定放置在機(jī)器人工作空間中，并且兩個(gè)相機(jī)的視場(chǎng)重疊；

（2）工作環(huán)境溫度條件保持恒定，并且ToF相機(jī)的積分時(shí)間參數(shù)在每次數(shù)據(jù)采集時(shí)自動(dòng)更新；

2.1 ToF相機(jī)誤差的減小

ToF相機(jī)誤差的存在導(dǎo)致融合信息具有諸多問(wèn)題，如邊界不精確、飽和像素坐標(biāo)中的信息丟失等。因此，在信息融合之前，需要減小這些誤差。

2.1.1減小距離誤差

為了減小ToF相機(jī)的非線(xiàn)性距離誤差在距離測(cè)量中產(chǎn)生的影響，需要校正相機(jī)的距離值。首先，相機(jī)平行于地面，并且在機(jī)器人臂上安裝一個(gè)淺色、低反射率的平板（也需要平行于地面），允許機(jī)器人臂沿著距離范圍移動(dòng)平板，從而拍攝不同距離的ToF數(shù)據(jù)?；谶@些數(shù)據(jù)分析距離誤差的方式有兩種：（1）不考慮像素位置的所有像素的全局分析；（2）考慮每個(gè)像素位置的分析。前者容易實(shí)現(xiàn)，它只需要一個(gè)相對(duì)較小的平板，并假定像素位置不會(huì)引起誤差，但這種方式只分析了ToF數(shù)據(jù)的縮小區(qū)域。后者需要更大的面板，因?yàn)榇藭r(shí)相機(jī)拍攝的圖像必須基于不同距離的面板，該方法用于判斷前一種方法的適用性。兩種方法的實(shí)施步驟如下：

（1）獲取圖像：由于距離測(cè)量受相機(jī)內(nèi)部溫度影響，因此需要一個(gè)最小的時(shí)間周期來(lái)獲得穩(wěn)定的測(cè)量值。[9]相機(jī)升溫后，從距離范圍D劃分的N個(gè)不同的節(jié)點(diǎn)中拍攝ToF信息。每個(gè)拍攝的數(shù)據(jù)由維度為的矩陣A定義，3D信息由坐標(biāo)矩陣X、Y和Z組成，每個(gè)矩陣的維度為 px×py.為了生成距離誤差模型，通過(guò)在每個(gè)節(jié)點(diǎn) j( j =1,2,…,N)上拍攝F個(gè)圖像建立z軸上的距離信息集同理，分別定義x和y軸上的距離信息集為為了驗(yàn)證得到的模型，通過(guò)在每個(gè)節(jié)點(diǎn) j上拍攝M個(gè)附加圖像形成距離信息集

（2）角度校正：對(duì)x、y和z軸上的ToF信息集進(jìn)行角度校正的目的是補(bǔ)償ToF相機(jī)的（x,y）平面和以地面定義的平面之間的任意2D角偏差。其中，2D角偏差用角 θx和θy表示。給定x軸上維度為的圖像定義其子矩陣 x?的維度為其中，

同理，分別定義y軸和z軸上的子矩陣y?和 z?。定義 xˉ,yˉ,zˉ是維度為 p × 1 的 x?,y?和 z?的列向量，其中即p為所選區(qū)域的像素?cái)?shù)。該中心區(qū)域取自每個(gè)ToF距離圖像，用以估計(jì)和校正面板和ToF相機(jī)之間的2D角度傾斜。因此，對(duì)每個(gè)圖像區(qū)域使用旋轉(zhuǎn)矩陣 Rx和 Ry修正3D點(diǎn)：

則有：

其中G的維度為3×p，從G中獲得的z坐標(biāo)的變換圖像區(qū)域?yàn)椋?/p>

同理：

從H中獲得的y坐標(biāo)的變換圖像區(qū)域?yàn)椋?/p>

（1）不考慮像素位置時(shí)：定義角度校正后的節(jié)點(diǎn) j上的距離集則在所有ToF距離圖像的選定區(qū)域上的平均距離為：

為了獲取應(yīng)用于新ToF距離圖像的校正值，使用三次樣條來(lái)擬合每個(gè)距離的差異信息。由此產(chǎn)生的樣條曲線(xiàn)（即差異曲線(xiàn)）允許在給定ToF距離的情況下估計(jì)差異校正值。

為了減少?gòu)腡oF信息得到的距離估計(jì)中的誤差，采用ZV來(lái)驗(yàn)證差異曲線(xiàn)。為此，定義角度校正后的ToF距離圖像驗(yàn)證向量（維度為 p×1），并根據(jù)差異曲線(xiàn)求取校正值向量C（維度為p×1）。這樣，角度校正后的距離圖像的校正距離值為：

為了觀察這些校正對(duì)3D ToF點(diǎn)的影響，可以在差異校正前后計(jì)算MSE（mean squared error）。

（2）考慮像素位置時(shí)：采用由 zˉ''表示的F個(gè)角度校正的ToF距離圖像，針對(duì)每個(gè)距離節(jié)點(diǎn)處的每個(gè)像素計(jì)算差異曲線(xiàn)。每個(gè)像素k(k=1,2,…,p)的平均值為：

則對(duì)于每個(gè)像素k計(jì)算所有節(jié)點(diǎn)的差異距離矢量 δv的公式如下：

為了獲取應(yīng)用于任意新ToF距離圖像的p個(gè)校正值，計(jì)算三次樣條以沿著每個(gè)像素的距離范圍擬合該差異信息。

為了減少ToF距離圖像中的誤差，使用 ZV來(lái)驗(yàn)證每個(gè)像素處的差異曲線(xiàn)。為此，對(duì)角度校正后的驗(yàn)證向量（維度為 p×1）的每個(gè)像素k根據(jù)其差異曲線(xiàn)求值，得到校正值向量 Cv（維度為p×1）。這樣，角度校正后的距離向量 v?計(jì)算如下：

為了觀察這些校正對(duì)3D ToF點(diǎn)的影響，可以在差異校正前后計(jì)算MSE。

2.1.2飽和像素校正

由于物體上的光反射過(guò)度導(dǎo)致來(lái)自ToF相機(jī)的信息可能受到像素飽和度的影響。雖然可以通過(guò)自動(dòng)更新ToF相機(jī)的積分時(shí)間參數(shù)來(lái)降低影響，但這種方式在某些情況下難以適用，如金屬或反射涂料存在的場(chǎng)合。因此，本文提出降低像素飽和度影響的解決策略，該策略由兩部分組成。

（1）尋找飽和像素。當(dāng)幅值大于給定閾值（取決于所采用的相機(jī)）時(shí)發(fā)生像素飽和。因此，搜索幅值圖像以尋找大于或等于該閾值的值，以便在飽和像素位置處生成飽和二進(jìn)制掩碼M，而在其他地方生成零。為了能校正位于圖像邊緣的像素，通過(guò)復(fù)制位于矩陣邊緣的行和列來(lái)增廣幅值和3D信息矩陣。首先，定義q為要復(fù)制的A的行數(shù)和列數(shù),，A的q個(gè)上矩陣行為，則B的維數(shù)為q×py，其中.然后，定義A的q個(gè)下矩陣行為，則 B'的維數(shù)為 q×py，其中.再定義中間矩陣，

代表飽和像素位置的索引對(duì)集合Q定義為：

（2）校正飽和像素。為了用鄰域的平均值代替不正確的值，利用飽和二值掩碼求出幅值和3D矩陣中飽和值的坐標(biāo)，并計(jì)算周?chē)袼氐钠骄?。該?jì)算中未考慮飽和值。定義維數(shù)為 2q+1×2q+1的窗掩碼其中

2.1.3跳邊約簡(jiǎn)

另一個(gè)可能對(duì)測(cè)距相機(jī)3D數(shù)據(jù)產(chǎn)生影響的誤差為跳躍邊緣。該誤差會(huì)產(chǎn)生偽像素，造成對(duì)真實(shí)場(chǎng)景的不精確測(cè)量。因此，為了減少這種影響，本文提出僅使用3D數(shù)據(jù)中的距離值來(lái)生成距離圖像。利用（20）計(jì)算形態(tài)梯度來(lái)找到受跳邊影響的像素：

其中g(shù)的維數(shù)為 px×py，f是與g同維數(shù)的ToF距離矩陣，S是 3×3的廣義異或或同或掩碼，⊕和?分別是異或和同或運(yùn)算符。

然后搜索用于區(qū)分非期望像素與其余像素的閾值。通過(guò)以下變換將g變換為0到255的新的距離圖像G：

計(jì)算G的直方圖并通過(guò)Butterworth濾波器平滑。之后，沿著已平滑直方圖在第一最大值的右側(cè)搜索第一最小值來(lái)定義閾值 η。通過(guò)將找到的偽像素置零，并保持其余像素距離值不變來(lái)生成新的距離矩陣 f'：

當(dāng)ToF和顏色信息融合時(shí)，在放大ToF信息之后實(shí)施跳邊約簡(jiǎn)步驟。

2.2 顏色與3D信息融合

通過(guò)將3D ToF點(diǎn)重投影到彩色圖像中實(shí)現(xiàn)標(biāo)準(zhǔn)CCD相機(jī)和ToF相機(jī)的信息融合，即顏色與3D信息融合。在工業(yè)機(jī)器人主動(dòng)安全系統(tǒng)中，必須檢測(cè)移動(dòng)物體（如機(jī)器人和人），以防止他們之間可能發(fā)生的碰撞。為了獲取關(guān)于這些對(duì)象的信息并設(shè)計(jì)避碰算法，本文提出的前景檢測(cè)方式是以先前分類(lèi)為前景像素的像素來(lái)得到融合信息，即在3D ToF點(diǎn)上利用2D技術(shù)進(jìn)行場(chǎng)景中的前景對(duì)象檢測(cè)，隨后將前景對(duì)象的顏色和3D信息進(jìn)行融合。

2.2.1前景對(duì)象的3D信息分析

為了在3D點(diǎn)云中進(jìn)行動(dòng)態(tài)檢測(cè)，考慮到ToF相機(jī)是靜態(tài)的，但光照變化不影響所獲取的3D點(diǎn)，所以認(rèn)為背景消除技術(shù)適用于3D信息。因此，在距離和飽和像素校正的基礎(chǔ)上，在3D點(diǎn)云中采用基于參考圖像模型的背景消除法，以便區(qū)分3D場(chǎng)景中的靜態(tài)部分與移動(dòng)對(duì)象。定義一組在時(shí)間周期中獲取的偏差和像素飽和度校正后的t個(gè)ToF距離圖像，則有

背景參考圖像 BT為：

其中，p是每個(gè)ToF距離圖像中的像素?cái)?shù)。為了檢測(cè)體現(xiàn)運(yùn)動(dòng)的像素，通過(guò)（24）計(jì)算參考圖像與當(dāng)前圖像之間的差分圖像：

在得到的二值圖像中，使用形態(tài)學(xué)運(yùn)算去除孤立像素。該二值圖像用作 Z'的3D點(diǎn)上的掩碼，以將最大值設(shè)置為3D點(diǎn)的坐標(biāo)（這些坐標(biāo)在二進(jìn)制圖像中被視為背景（0值）），并將二值圖像中坐標(biāo)被視為前景的3D點(diǎn)留作實(shí)Z值（1值），這樣就得到了新的ToF距離矩陣 Z''.

2.2.2 3D ToF信息重投影到彩色圖像

為了給先前檢測(cè)到的3D前景點(diǎn)提供顏色信息，將這些點(diǎn)重新投影到彩色圖像中。采用顏色和幅值圖像對(duì)兩個(gè)相機(jī)相對(duì)于世界坐標(biāo)系進(jìn)行標(biāo)定。由于兩個(gè)相機(jī)都可以由針孔相機(jī)模型[10]表示，因此可以使用Matlab中的相機(jī)標(biāo)定工具箱（Camera Cal?ibration Toolbox）來(lái)提取相機(jī)的內(nèi)部和外部參數(shù)。外部參數(shù)用于將相機(jī)坐標(biāo)系中給出的3D ToF信息轉(zhuǎn)換到世界坐標(biāo)系，內(nèi)部參數(shù)用于將3D信息重投影到彩色圖像。因此，基于標(biāo)定相機(jī)理論，[11]并在測(cè)距相機(jī)誤差減小的基礎(chǔ)上，依據(jù)如下變換后，對(duì)已校正和變換的3D點(diǎn)進(jìn)行重投影。

其中，外部參數(shù)由3×3的旋轉(zhuǎn)矩陣R和 1×3的平移向量T表示。

通常，標(biāo)準(zhǔn)CCD相機(jī)比測(cè)距相機(jī)具有更高的分辨率，所以3D點(diǎn)的重投影不具有一對(duì)一的等價(jià)性。因此，采用雙線(xiàn)性插值來(lái)放大ToF信息。此外，由于只提取前景3D點(diǎn)的信息，所以對(duì) Pc采用自動(dòng)閾值處理技術(shù)除去被分類(lèi)為背景的點(diǎn)，從而生成新的3D點(diǎn)云

由于圖像坐標(biāo)受到切向和徑向畸變的影響，這就需要將系統(tǒng)畸變模型添加到針孔模型中。三維坐標(biāo)系與無(wú)畸變的圖像坐標(biāo)系之間的變換為：

其中固有參數(shù)f是以毫米為單位的焦距。

考慮徑向畸變 D(r)和切向畸變 D(t)，通過(guò)針孔模型定義畸變坐標(biāo)和無(wú)畸變坐標(biāo)之間的關(guān)系為：

畸變圖像坐標(biāo)到像素坐標(biāo)之間的轉(zhuǎn)換公式如下：

其中，固有參數(shù) ku和 kv是每毫米像素?cái)?shù)（分別為水平和垂直方向上），s是在大多數(shù)相機(jī)中通常為零的偏斜因子，表示投影中心的坐標(biāo)。

在得到3D前景點(diǎn)的像素坐標(biāo)（u,v）后，通過(guò)四舍五入將這些值調(diào)整為像素值。綜上所述，本文方法框架如圖1所示。

3 結(jié) 論

本文旨在為應(yīng)用ToF相機(jī)的工業(yè)機(jī)器人環(huán)境中的主動(dòng)安全系統(tǒng)的研究做出貢獻(xiàn)，該方法可以作為人機(jī)共享機(jī)器人工作空間的防撞系統(tǒng)設(shè)計(jì)的初始步驟。與其他方法的不同之處在于：定義了用于機(jī)器人臂、CCD相機(jī)和ToF相機(jī)的公共坐標(biāo)系。利用獲取的標(biāo)定參數(shù)將ToF相機(jī)坐標(biāo)系中的3D點(diǎn)轉(zhuǎn)換到公共坐標(biāo)系，并將其重投影到2D彩色圖像中。方法的創(chuàng)新之處在于：

（1）給出了由顏色和3D信息構(gòu)成的矩陣。因此，機(jī)器人工作空間內(nèi)的對(duì)象的3D坐標(biāo)與其顏色信息都是已知的。

（2）提出基于形態(tài)學(xué)梯度的跳邊誤差檢測(cè)方法有效檢測(cè)和減小跳邊誤差。

（3）為了獲取所需融合信息，提出了一種基于相鄰像素信息的飽和像素檢測(cè)和校正方法。

將本文方法應(yīng)用于工業(yè)機(jī)器人環(huán)境的主動(dòng)安全任務(wù)中，可有效防止人機(jī)之間可能發(fā)生的碰撞。

圖1 信息融合方法框架圖