梁爾祝，耿 威，田思雨，王 銳，于忠瀅

（1.鞍鋼礦業(yè)爆破有限公司，遼寧 鞍山 114046；2.北京科技大學(xué)，北京 100083）

0 引 言

工業(yè)生產(chǎn)中需要用到諸多化學(xué)用品，例如硝酸銨等。這些化學(xué)用品如若存儲(chǔ)不當(dāng)，極易發(fā)生危險(xiǎn)，危及人員安全，因此受到國(guó)家嚴(yán)格管制。對(duì)于工廠企業(yè)而言，由于國(guó)家管控和自我分配需要，能夠準(zhǔn)確獲得這些化學(xué)用品就變得尤為重要。現(xiàn)存的問題是目前工廠的倉(cāng)庫(kù)周圍無法存在太大功率的電氣設(shè)施，并且大多數(shù)化學(xué)物品不宜過多接觸，而現(xiàn)有的傳感器（易被腐蝕）解決方案并不能很好地滿足工廠需求。

隨著數(shù)字成像技術(shù)的發(fā)展，三維成像已被應(yīng)用在許多領(lǐng)域，考慮運(yùn)用TOF相機(jī)來完成目標(biāo)信息獲取任務(wù)。TOF相機(jī)可以獲得物體的距離信息，然后映射到一張16位的灰度圖中。TOF相機(jī)具有獲取目標(biāo)物體深度圖像的功能，可以通過對(duì)相機(jī)的建模和標(biāo)定迅速計(jì)算出該物體在指定坐標(biāo)系的坐標(biāo)，并根據(jù)坐標(biāo)完善普通相機(jī)不具備的功能。TOF相機(jī)既可以獲取物體的顏色信息，又可以獲取物體的位置和結(jié)構(gòu)信息。

TOF相機(jī)的優(yōu)點(diǎn)在于對(duì)光照不敏感，并且在有效距離內(nèi)可以保證在一定的系統(tǒng)誤差內(nèi)，甚至對(duì)于近距離物體的信息獲取可以達(dá)到極小的誤差。例如新一代Kinect，官方文檔的誤差為隨機(jī)誤差小于17 mm，系統(tǒng)誤差小于（11±1%）mm。TOF相機(jī)可以解決圖像處理中的識(shí)別問題，例如王等人使用TOF相機(jī)進(jìn)行車位檢測(cè)。TOF相機(jī)的這些特性對(duì)于解決上述物料計(jì)數(shù)問題起到了關(guān)鍵作用。

本文設(shè)計(jì)了一種基于TOF相機(jī)的方法進(jìn)行包裝袋計(jì)數(shù)。

（1）采用TOF相機(jī)獲取三維物體對(duì)應(yīng)的深度圖像，接著使用棋盤格標(biāo)定的方法對(duì)相機(jī)進(jìn)行標(biāo)定，得到相機(jī)內(nèi)參矩陣；

（2）將映射的灰度圖像計(jì)算為相應(yīng)的三維點(diǎn)云坐標(biāo)，進(jìn)而選取三維感興趣區(qū)域；

（3）系統(tǒng)將托盤分為4塊采樣區(qū)域，對(duì)采樣區(qū)域內(nèi)的三維坐標(biāo)進(jìn)行采樣并求取平均值，平均值用作程序的邏輯判斷依據(jù)；

（4）通過獲取的深度值變化情況對(duì)物料進(jìn)行實(shí)時(shí)計(jì)數(shù)。

最終實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以較好地完成對(duì)區(qū)域內(nèi)物料的計(jì)數(shù)功能。

1 系統(tǒng)設(shè)計(jì)方案

1.1 TOF相機(jī)原理

TOF是“Time-of-Flight”的簡(jiǎn)稱，也被稱為“飛行時(shí)間測(cè)距法”。工作原理：發(fā)射一束或多束紅外光，通過接收由物體反射的紅外光信號(hào)對(duì)物體進(jìn)行測(cè)距。TOF相機(jī)的原理如圖1所示。相機(jī)包含了一個(gè)能夠發(fā)射特定波長(zhǎng)的發(fā)射裝置和一個(gè)接收裝置。接收裝置是一種特殊的相機(jī)，同樣具備相機(jī)的基本模型，所以對(duì)于該裝置的建模也可以仿照普通相機(jī)。

圖1 TOF相機(jī)工作原理

TOF相機(jī)的功能實(shí)現(xiàn)基于調(diào)幅連續(xù)波時(shí)差測(cè)距原理。該相機(jī)將近紅外頻譜中的調(diào)制光投射到場(chǎng)景中，接著相機(jī)記錄光線從相機(jī)傳播到場(chǎng)景，再?gòu)膱?chǎng)景返回到相機(jī)所花費(fèi)的間接時(shí)間測(cè)量值。

式中：Δt表示發(fā)射和接收時(shí)間的差值；c表示光速；f表示調(diào)制光的頻率。

相機(jī)通過處理這些測(cè)量值可以生成深度圖。深度圖是一個(gè)16位的圖像，該圖像本質(zhì)是一個(gè)二維的單通道矩陣，圖像平面坐標(biāo)(x,y)代表該矩陣的第x行y列，坐標(biāo)(x,y)上的值是該坐標(biāo)點(diǎn)的實(shí)際深度值，單位為mm。

這類相機(jī)在功耗和體積等方面具有較大優(yōu)勢(shì)，可以適應(yīng)不同的工作環(huán)境，已被廣泛應(yīng)用于各類工業(yè)場(chǎng)景。

1.2 系統(tǒng)設(shè)計(jì)

包裝袋計(jì)數(shù)系統(tǒng)的主要功能是對(duì)人工搬運(yùn)的貨物袋子進(jìn)行計(jì)數(shù)并匯總，實(shí)現(xiàn)倉(cāng)庫(kù)物料數(shù)量的計(jì)數(shù)，為后續(xù)的物料資源調(diào)度提供支持，同時(shí)也為倉(cāng)庫(kù)的值守人員提供數(shù)據(jù)依據(jù)。系統(tǒng)主要包括深度相機(jī)和圖形處理工作站等部分，總體設(shè)計(jì)如圖2所示。

圖2 計(jì)數(shù)系統(tǒng)硬件組成

2 關(guān)鍵算法

2.1 像素坐標(biāo)系

像素坐標(biāo)是攝像機(jī)采集的數(shù)字圖像中像素所在位置。在計(jì)算機(jī)內(nèi)，可以將像素坐標(biāo)存儲(chǔ)為數(shù)組。如圖3所示，在圖像上定義直角坐標(biāo)系u-v，每一像素的坐標(biāo)(u,v)分別是該像素在數(shù)組中的列數(shù)和行數(shù)，故(u,v)是以像素為單位的圖像坐標(biāo)，數(shù)組中(u,v)位置的值就是該坐標(biāo)存放的像素值。

圖3 像素坐標(biāo)系示意圖

2.2 坐標(biāo)系變換

相機(jī)坐標(biāo)系是以相機(jī)光心為原點(diǎn)建立的三維坐標(biāo)系。它是現(xiàn)實(shí)中存在的坐標(biāo)系，單位為mm，代表物體相對(duì)于相機(jī)的實(shí)際距離。

假設(shè)現(xiàn)實(shí)中的點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)為P(x,y,z)，單位為mm；成像在相機(jī)的像素坐標(biāo)系上的點(diǎn)的坐標(biāo)為P(x,y)，單位為pixel，即像素，于是就形成了如圖4所示的模型。

圖4 相機(jī)坐標(biāo)系和像素坐標(biāo)系示意圖

根據(jù)圖4所示的相機(jī)模型，可以通過相似三角形計(jì)算相關(guān)數(shù)據(jù)：

式中：f和f分別代表在x和y方向上的焦距；c和c分別代表了在x和y方向上的光心偏移量。這4個(gè)參數(shù)被稱為相機(jī)的內(nèi)參，通過MATLAB工具箱標(biāo)定得到，可參考文獻(xiàn)[11]。

通過相機(jī)的內(nèi)參可以將相機(jī)坐標(biāo)系和像素坐標(biāo)系聯(lián)系起來，將圖像中的2D坐標(biāo)和3D坐標(biāo)建立轉(zhuǎn)化關(guān)系，從而解決實(shí)際問題。轉(zhuǎn)化時(shí)需要實(shí)際深度值，這也是系統(tǒng)使用TOF相機(jī)的原因。坐標(biāo)系變換常用于相機(jī)的位姿估計(jì)。

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)過程中首先需要將所有深度圖上的點(diǎn)轉(zhuǎn)化為三維坐標(biāo)點(diǎn)。圖5所示是可視化后三維點(diǎn)云的示意圖。

圖5 三維點(diǎn)云示意圖

對(duì)相機(jī)坐標(biāo)系下的感興趣點(diǎn)進(jìn)行篩選，提出三維感興趣區(qū)域。如圖6所示，圖中央黑色部分是實(shí)驗(yàn)提取的感興趣區(qū)域。圖中所示的三維感興趣區(qū)域在實(shí)際使用時(shí)保持原值，代表關(guān)心，其余部分為黑色，并將對(duì)應(yīng)位置的值設(shè)為0。為了展示方便，將感興趣區(qū)域用黑色標(biāo)注，但與實(shí)際不同。

在提取出三維感興趣區(qū)域后，求取紅色矩形框內(nèi)深度值的平均值作為采樣值，采樣值用作判斷依據(jù)。如圖6所示，紅色矩形代表采樣區(qū)域。

圖6 三維ROI示意圖

采樣矩形1深度值變化曲線如圖7所示，采樣矩形2深度值變化曲線如圖8所示。這里只顯示了2個(gè)矩形框的值，其他區(qū)域類似，不再贅述。通過曲線圖可以看到，袋子放入托盤前后，采樣值發(fā)生了明顯變化，可以證明該方法是有效的。因此計(jì)數(shù)系統(tǒng)中出現(xiàn)這種變化就可以判定有新的袋子放置在托盤上，從而實(shí)時(shí)統(tǒng)計(jì)袋子的數(shù)量。

圖7 采樣矩形1深度值變化曲線

圖8 采樣矩形2深度值變化曲線

4 分析討論

實(shí)驗(yàn)選取TOF相機(jī)的原因在于顏色在不同的光照條件下會(huì)呈現(xiàn)出不同的像素值，但是TOF相機(jī)的深度值對(duì)于光照的變化并不敏感，同時(shí)，普通相機(jī)無法判斷是否放置了新的物料。人類能夠獲取物體的遠(yuǎn)近依靠?jī)芍谎劬Φ呐浜?，但?duì)于單目攝像機(jī)，無法獲得距離信息，所以需要相機(jī)本身能夠獲得深度信息。使用TOF相機(jī)就可以將袋子的堆疊判斷問題轉(zhuǎn)變?yōu)榇訁^(qū)域的深度值變化問題，只需要關(guān)注深度值的變化趨勢(shì)，就可以斷定是否有新的袋子放置在該區(qū)域，從而間接實(shí)現(xiàn)對(duì)袋子的計(jì)數(shù)。

系統(tǒng)中使用三維感興趣區(qū)域而非普通的二維感興趣區(qū)域原因在于：由圖9和圖6的對(duì)比可以看出，二維感興趣區(qū)域在像素平面下選取，但是映射到實(shí)際中，并非規(guī)則的區(qū)域。并且該區(qū)域在選取方面也存在較大的困難。黃色框表示選取一個(gè)小的二維感興趣區(qū)域，紅色框表示選取一個(gè)大的感興趣區(qū)域?？梢钥吹?，無法選取一個(gè)適合的感興趣區(qū)域。但是如果使用三維感興趣區(qū)域，問題就會(huì)變得非常簡(jiǎn)單，可以看到圖6所示的黑色區(qū)域，盡管映射到二維圖像中圖形不規(guī)則，但卻符合實(shí)際情況。證明了三維感興趣區(qū)域的方法明顯優(yōu)于二維感興趣區(qū)域的方法。

圖9 二維ROI區(qū)域示意圖

5 結(jié) 語

根據(jù)實(shí)際工業(yè)現(xiàn)場(chǎng)的使用情況，文中提出的基于TOF相機(jī)的工業(yè)包裝袋計(jì)數(shù)方案和相關(guān)算法取得了很好的效果。在排除人工干擾的實(shí)際測(cè)試情況下，卸貨2次，每次放置6個(gè)托盤，每個(gè)托盤放置10袋，共120袋，可以檢測(cè)出118袋，準(zhǔn)確率達(dá)98.3%；在袋子擺放整齊的情況下，檢測(cè)準(zhǔn)確率達(dá)100%，能夠滿足企業(yè)使用需求。