劉千，許敏，徐首帥

工藝與裝備

類圓柱標(biāo)簽等效階梯柱面展開方法

劉千1,2,3,4，許敏1,2,4，徐首帥1,2,4

（1.中國科學(xué)院沈陽自動(dòng)化研究所，沈陽 110016；2.中國科學(xué)院機(jī)器人與智能制造創(chuàng)新研究院，沈陽 110169；3.中國科學(xué)院大學(xué)，北京 100049；4.遼寧省智能檢測與裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，沈陽 100179）

針對(duì)半徑不等的類圓柱標(biāo)簽的全表面展開問題，提出類圓柱標(biāo)簽等效階梯柱面展開方法。提取4個(gè)視角下圖像中的類圓柱標(biāo)簽最小外接矩形，根據(jù)提取結(jié)果建立位姿估計(jì)模型?；谖⒎e分的化曲為直的思想，結(jié)合標(biāo)簽的位姿和各視角的輪廓，建立等效階梯的類圓柱標(biāo)簽3D點(diǎn)云。利用雙線性插值法對(duì)點(diǎn)云進(jìn)行渲染，并通過NCC算法進(jìn)行圖像拼接，最終實(shí)現(xiàn)半徑不等的類圓柱標(biāo)簽全表面展開。類圓柱棋盤格標(biāo)簽仿真模型與某品牌口香糖標(biāo)簽全表面展開實(shí)驗(yàn)表明，文中提出的算法較傳統(tǒng)算法具有較高的精度，針對(duì)1號(hào)模型，在軸、軸方向上的方差分別為1.37像素和0.58像素。類圓柱標(biāo)簽等效階梯柱面展開方法可以有效地實(shí)現(xiàn)類圓柱標(biāo)簽全表面展開，為后續(xù)的標(biāo)簽檢測提供基礎(chǔ)。

標(biāo)簽檢測；類圓柱標(biāo)簽展開；等效階梯模型；圖像拼接

柱狀標(biāo)簽在商品識(shí)別和商品售賣環(huán)節(jié)起到了重要的作用，應(yīng)用機(jī)器視覺技術(shù)對(duì)瓶裝標(biāo)簽表面進(jìn)行檢測時(shí)，或?qū)?biāo)簽表面字符進(jìn)行識(shí)別時(shí)，通常需要首先恢復(fù)其360°全表面圖像，常用的方法有利用線陣相機(jī)加旋轉(zhuǎn)機(jī)構(gòu)、搭建折反射系統(tǒng)、使用特殊鏡頭和使用多面陣相機(jī)的方法。

應(yīng)用線陣相機(jī)一般需要設(shè)計(jì)相應(yīng)的旋轉(zhuǎn)機(jī)構(gòu)，使標(biāo)簽?zāi)芤詭缀屋S心為中心旋轉(zhuǎn)，再配合編碼器等設(shè)備控制線陣相機(jī)采集圖像，由此可恢復(fù)圓柱標(biāo)簽360°全表面圖像。Ali等[1]利用線掃描相機(jī)并使用步進(jìn)電機(jī)帶動(dòng)圓柱物體旋轉(zhuǎn)，實(shí)現(xiàn)了圓柱物體的全表面展開。由于線掃描相機(jī)的分辨率高，可以獲得高質(zhì)量圓柱物體的表面展開圖，但是旋轉(zhuǎn)掃描標(biāo)簽的速度不能滿足工業(yè)上標(biāo)簽檢測的要求。

應(yīng)用折反射系統(tǒng)一般需要設(shè)計(jì)圓錐面或球面反射鏡，并通過反射成像得到圓柱標(biāo)簽全景圖。吳玉 媚[2]設(shè)計(jì)了凹面反射鏡獲取環(huán)形全景圖像的柱形物體成像系統(tǒng)。折反射系統(tǒng)可以快速恢復(fù)圓柱標(biāo)簽的全表面圖像，但是該系統(tǒng)結(jié)構(gòu)過于復(fù)雜，反射鏡的質(zhì)量也會(huì)對(duì)成像產(chǎn)生影響，此外，該系統(tǒng)對(duì)標(biāo)簽的位置要求較為嚴(yán)格，因此不適用于容易發(fā)生震動(dòng)的生產(chǎn)線上。

單個(gè)特殊鏡頭可以放置在圓柱標(biāo)簽的上方獲取圓柱標(biāo)簽的全景圖，通過擬合圓柱標(biāo)簽的頂部的圓和底部的圓從而確定標(biāo)簽的位姿，最終實(shí)現(xiàn)圓柱標(biāo)簽的360°全表面展開[3]。特殊鏡頭可以不借助反射鏡等額外配件實(shí)現(xiàn)圓柱全表面的快速展開，但是該方法只適用于一定大小的物體，并且物體可移動(dòng)范圍較小，不適用于有震動(dòng)的工業(yè)生產(chǎn)線。

應(yīng)用多面陣相機(jī)方法一般需要同時(shí)獲取圓柱標(biāo)簽不同角度的圖像，從而獲得標(biāo)簽表面的全部信息。再對(duì)不同角度的標(biāo)簽圖像進(jìn)行柱面校正，常用的校正方法有2D柱面反投影[4]和3D點(diǎn)云插值的方法[5]。2D柱面反投影方法一般需要建立柱面和平面之間幾何映射模型。Zhang等[6]利用3個(gè)相機(jī)環(huán)繞鋼絲，并建立了柱面反投影模型，實(shí)現(xiàn)了鋼絲全表面展開。Lin等[7]利用4個(gè)相機(jī)對(duì)稱環(huán)繞飲料瓶標(biāo)簽，并建立柱面反投影模型，實(shí)現(xiàn)飲料瓶標(biāo)簽的全表面展開。許會(huì)等[8]通過建立柱面反投影模型，并對(duì)藥瓶標(biāo)簽進(jìn)行二次校正，實(shí)現(xiàn)了標(biāo)簽的全表面展開。2D柱面反投影模型簡單，可以快速實(shí)現(xiàn)圓柱標(biāo)簽展開。該模型通常需要物距和半徑等實(shí)際物理參數(shù)，一旦這些參數(shù)發(fā)生改變，展開結(jié)果也會(huì)受到影響。3D點(diǎn)云插值的方法一般需要建立圓柱標(biāo)簽的3D點(diǎn)云，通過相機(jī)的成像模型并結(jié)合圖像的像素信息對(duì)點(diǎn)云進(jìn)行渲染，最終實(shí)現(xiàn)圓柱標(biāo)簽全表面展開。Xu等[9]利用環(huán)繞圓柱標(biāo)簽的4個(gè)相機(jī)建立標(biāo)簽的3D點(diǎn)云，通過對(duì)點(diǎn)云的渲染實(shí)現(xiàn)圓柱標(biāo)簽的全表面展開。此方法的結(jié)果不受標(biāo)簽移動(dòng)影響，但是不能實(shí)現(xiàn)半徑不規(guī)則的類圓柱標(biāo)簽全表面展開。

針對(duì)半徑不規(guī)則變化的類圓柱標(biāo)簽校正問題，孫衛(wèi)紅等[10]通過對(duì)蠶繭輪廓進(jìn)行擬合，并以輪廓的寬度作為柱面反投影模型的參數(shù)，實(shí)現(xiàn)了蠶繭表面的展開。該方法可以解決類圓柱標(biāo)簽校正問題，但以成像后的標(biāo)簽輪廓作為柱面反投影的參數(shù)會(huì)引入誤差。

文中設(shè)計(jì)一種四相機(jī)圖像采集系統(tǒng)，通過獲取類圓柱標(biāo)簽不同角度的圖像并提取標(biāo)簽區(qū)域的最小外接矩形，構(gòu)建類圓柱標(biāo)簽位姿估計(jì)模型。再結(jié)合類圓柱標(biāo)簽中心軸和類圓柱標(biāo)簽輪廓點(diǎn)生成類圓柱標(biāo)簽的3D階梯點(diǎn)云模型。最后利用圖像坐標(biāo)和點(diǎn)云坐標(biāo)的映射關(guān)系，并用雙線性插值算法對(duì)點(diǎn)云進(jìn)行渲染，實(shí)現(xiàn)類圓柱標(biāo)簽的全表面展開。

1 標(biāo)簽圖像采集裝置設(shè)計(jì)

為了快速獲取類圓柱標(biāo)簽的全表面展開圖，設(shè)計(jì)類圓柱標(biāo)簽圖像采集裝置，見圖1。4個(gè)CCD工業(yè)相機(jī)以90°增量環(huán)繞被檢測物體，并同時(shí)采集圖像。

2 類圓柱標(biāo)簽圖像展開算法

2.1 位姿估計(jì)

2.1.1 多相機(jī)標(biāo)定

圖1 類圓柱標(biāo)簽圖像采集裝置

2.1.2 求解圓柱標(biāo)簽中心軸線

對(duì)于圓柱標(biāo)簽，可利用4個(gè)視角下標(biāo)簽輪廓建立幾何關(guān)系模型，求解其位姿。幾何模型見圖2。

2.1.3 求解類圓柱標(biāo)簽中心軸線

由于類圓柱標(biāo)簽半徑無規(guī)則變化，所以無法用2.1.2節(jié)方法求解標(biāo)簽的中心軸線。文中通過提取標(biāo)簽輪廓的最小外接矩形解決類圓柱標(biāo)簽問題。首先對(duì)圖像進(jìn)行預(yù)處理：灰度化、濾波、二值化、邊緣提 取[13]，并提取標(biāo)簽輪廓的最小外接矩形，見圖3，則該問題就轉(zhuǎn)化為求解圓柱標(biāo)簽中心軸線問題，故可用2.1.2節(jié)方法進(jìn)行求解。

2.2 生成類圓柱標(biāo)簽的3D點(diǎn)云模型

2.2.1 等效階梯類圓柱標(biāo)簽?zāi)Ｐ?/p>

2.2.2 生成類圓柱體的3D點(diǎn)云

圖2 圓柱標(biāo)簽位姿估計(jì)模型幾何示意

圖3 類圓柱標(biāo)簽最小外接矩形位姿估計(jì)

圖4 類圓柱標(biāo)簽切分示意

圖5 類圓柱標(biāo)簽階梯3D模型轉(zhuǎn)換示意

2.3 類圓柱標(biāo)簽表面展開

根據(jù)標(biāo)簽點(diǎn)云和相機(jī)成像模型，可以得到點(diǎn)云和像素之間的映射模型，從而利用雙線性插值算法對(duì)點(diǎn)云進(jìn)行渲染，最終實(shí)現(xiàn)類圓柱標(biāo)簽的全表面展開。其中，由于標(biāo)簽放置的位置不固定，所以每個(gè)相機(jī)觀察的3D點(diǎn)的范圍會(huì)發(fā)生變化。參考Xu等[9]確定每個(gè)標(biāo)簽點(diǎn)的歸屬問題。

3 結(jié)果與分析

3.1 實(shí)驗(yàn)材料

文中通過仿真模型對(duì)算法結(jié)果進(jìn)行量化，并實(shí)現(xiàn)某品牌口香糖標(biāo)簽全表面展開。實(shí)驗(yàn)采用的工業(yè)相機(jī)為映美精DFK23G455，工控機(jī)硬件為16 G內(nèi)存，Core i7-8700 3.2 GHz，圖像處理軟件包為OpenCV。

3.2 實(shí)驗(yàn)步驟

在仿真平臺(tái)中，利用文中算法（算法1）分別對(duì)2種不同的類圓柱標(biāo)簽?zāi)Ｐ瓦M(jìn)行全表面展開，模型見圖6a和圖7a，展開結(jié)果見圖6b和圖7b。參考曹濟(jì)英等[14]，將相鄰角點(diǎn)間距的方差作為算法評(píng)價(jià)標(biāo)準(zhǔn)，結(jié)果見表1。

3.3 對(duì)比實(shí)驗(yàn)

3.3.1 不同模型下3種展開算法結(jié)果對(duì)比

參考文獻(xiàn)[10]中的變徑柱面反投影展開算法（算法2）和等徑柱面反投影算法（算法3）對(duì)1號(hào)模型和2號(hào)模型進(jìn)行全表面展開，結(jié)果見圖8和圖9。這里將1號(hào)模型和2號(hào)模型的輪廓分別擬合成直線和二次曲線。

圖6 1號(hào)類圓柱棋盤格標(biāo)簽?zāi)Ｐ腿罢归_結(jié)果

表1 類圓柱棋盤格標(biāo)簽?zāi)Ｐ腿罢归_方差

圖8 1號(hào)類圓柱棋盤格標(biāo)簽?zāi)Ｐ驮?種算法下展開結(jié)果

圖9 2號(hào)類圓柱棋盤格標(biāo)簽?zāi)Ｐ驮?種算法下展開結(jié)果

為保證對(duì)比實(shí)驗(yàn)的可靠性，文中算法提取單 相機(jī)下的模型表面展開圖。對(duì)比結(jié)果見表2和 表3。

結(jié)合表2和表3可以發(fā)現(xiàn)，對(duì)于不同的模型，算法1在軸方向和軸方向上的展開結(jié)果都要優(yōu)于算法2和算法3。

3.3.2 不同物距下3個(gè)算法展開結(jié)果對(duì)比

在不同的物距下，采用1號(hào)模型，對(duì)比3個(gè)算法的展開結(jié)果，結(jié)果見圖10。結(jié)合圖10可以看到，不同物距對(duì)3個(gè)算法的展開效果并沒有太大的影響，但是在不同物距下，算法1的展開精度均高于算法2和算法3。

表2 1號(hào)類圓柱棋盤格標(biāo)簽在3種算法下的展開方差

表3 2號(hào)類圓柱棋盤格標(biāo)簽在3種算法下展開結(jié)果的方差

3.3.3 不同行和不同列在3個(gè)算法下展開結(jié)果對(duì)比

結(jié)合圖11可以得知，在算法2和算法3的展開結(jié)果中，行角點(diǎn)和列角點(diǎn)在軸方向和軸方向并不能完全筆直展開。對(duì)于算法1展開結(jié)果，棋盤格中角點(diǎn)距離的方差不會(huì)因位置變化而發(fā)生劇烈的變化。產(chǎn)生這種問題的原因在于算法2和算法3并沒有結(jié)合類圓柱標(biāo)簽的實(shí)際參數(shù)進(jìn)行建模，但是結(jié)合實(shí)際參數(shù)又會(huì)造成參數(shù)過多，限制了工業(yè)應(yīng)用。算法1有效地解決了此問題。

3.4 實(shí)物標(biāo)簽全表面展開

根據(jù)文中方法，對(duì)某品牌口香糖的全表面標(biāo)簽進(jìn)行展開，標(biāo)簽圖像見圖12a。為了防止光照影響，采用歸一化互相關(guān)算法(NCC)[15—16]對(duì)不同角度的標(biāo)簽展開圖進(jìn)行拼接。展開結(jié)果見圖12b。

圖10 1號(hào)類圓柱棋盤格標(biāo)簽?zāi)Ｐ驮?種算法下展開結(jié)果的方差變化曲線

圖11 1號(hào)類圓柱棋盤格標(biāo)簽?zāi)Ｐ驮?種算法下展開結(jié)果的行列方差變化曲線

圖12 口香糖標(biāo)簽全景展開

4 結(jié)語

文中在4個(gè)相機(jī)像素坐標(biāo)系下，通過提取類圓柱標(biāo)簽的最小外接矩形，建立了標(biāo)簽的位姿估計(jì)模型。再通過提取標(biāo)簽圖像的輪廓點(diǎn)集，在世界坐標(biāo)系下，生成類圓柱標(biāo)簽的3D點(diǎn)云。最后利用雙線性插值對(duì)點(diǎn)云進(jìn)行渲染，實(shí)現(xiàn)類圓柱標(biāo)簽的全表面展開。

通過類圓柱標(biāo)簽仿真模型和某品牌口香糖的包裝瓶對(duì)文中方法進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，文中提出的方法相對(duì)于傳統(tǒng)的柱面反投影和變徑柱面反投影算法具有更好的展開效果。

參考文獻(xiàn)：

[1] ALI M A H, MAILAH M, TANG H H, et al. Visual Inspection of Cylindrical Product's Lateral Surface Using Cameras and Image Processing[J]. International Journal of Mathematical Models and Methods in Applied Sciences, 2012, 6(2): 340-348.

[2] 吳玉媚. 柱形物體360°環(huán)視裝置設(shè)計(jì)方法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2016: 5-6.

WU Yu-mei. Study on Design Method of 360° Imaging Device for Cylindrical Object[D]. Harbin: Harbin Institute of Technology, 2016: 5-6.

[3] ULRICH M, STEGER C. A Camera Model for Cameras with Hypercentric Lenses and Some Example Applications[J]. Machine Vision and Applications, 2019, 30(6): 1013-1028.

[4] 彭紅星, 宋鴻陟, 鄒湘軍, 等. 柱面全景圖生成技術(shù)的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程, 2010, 36(09): 208-211.

PENG Xing-hong, SONG Hong-zhi, ZOU Xiang-jun, et al. Research and Implementation of Cylindrical Panorama Generation Technology[J]. Computer Engineering, 2010, 36(9): 208-211.

[5] 尤磊, 唐守正, 宋新宇. 基于圓柱面投影的樹干表面重建算法[J]. 林業(yè)科學(xué)研究, 2016, 29(6): 812-819.

YOU Lei, TANG Shou-zheng, SONG Xin-yu. An Algorithm of Stem Surface Reconstruction Based on Cylindrical Projection[J]. Forest Research, 2016, 29(6): 812-819.

[6] ZHANG J, WANG S. Obtaining Unfolded Image for Surface of Wire Rope Based on Image Processing and Splicing[J]. Journal of Failure Analysis and Prevention, 2020, 20(2): 425-431.

[7] LIN J, LIAO Q, HE B, et al. Label Inspection of Approximate Cylinder Based on Adverse Cylinder Panorama[C]// 2013 International Conference on Optical Instruments and Technology, Beijing, 2013.

[8] 許會(huì), 劉慧芳, 陸昊, 等. 一種曲面藥瓶標(biāo)簽校驗(yàn)方法關(guān)鍵技術(shù)[J]. 沈陽工業(yè)大學(xué)學(xué)報(bào), 2019, 41(3): 286-291.

XU Hui, LIU Hui-fang, LU Hao, et al. Key Technology of Checking Method for Curved Surface Label of Medicine Bottle[J]. Journal of Shenyang University of Technology, 2019, 41(3): 286-291.

[9] XU J, CHEN C, XIE H, et al. Cylindrical Product Label Image Stitching Method[C]// 2017 2nd IEEE International Conference on Computational Intelligence and Applications (ICCIA), Beijing, 2017: 331-335.

[10] 孫衛(wèi)紅, 廖藝真, 梁曼, 等. 蠶繭表面圖像等效階梯柱面展開[J]. 中國圖象圖形學(xué)報(bào), 2020, 25(3): 498-506.

SUN Wei-hong, LIAO Yi-zhen, LIANG Man, et al. Cocoon Surface Image Equivalent Ladder Cylinder Expansion[J]. Journal of Image and Graphics, 2020, 25(3): 498-506.

[11] ZHANG Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[12] 張澤魯, 許敏, 陳帥. 基于機(jī)器視覺的柱狀標(biāo)簽拼接算法研究[J]. 包裝工程, 2020, 41(17): 221-228.

ZHANG Ze-lu, XU Min, CHEN Shuai. Cylindrical Label Stitching Algorithm Based on Machine Vision[J]. Packaging Engineering, 2020, 41(17): 221-228.

[13] COPE R K, ROCKETT P I. Efficacy of Gaussian Smoothing in Canny Edge Detector[J]. Electronics Letters, 2000, 36(19): 1615-1617.

[14] 曹濟(jì)英, 陸高勇, 李勃, 等. 一種靈活的柱面反投影算法[J]. 哈爾濱工業(yè)大學(xué)學(xué)報(bào), 2016, 48(11): 75-82.

CAO Ji-ying, LU Gao-yong, LI Bo, et al. Flexible Cylindrical Back-Projection Algorithm[J]. Journal of Harbin Institute of Technology, 2016, 48(11): 75-82.

[15] 劉桂雄, 蔡柳依婷, 王博帝. 機(jī)器視覺檢測圖像拼接配準(zhǔn)技術(shù)研究進(jìn)展[J]. 激光雜志, 2019, 40(11): 1-6.

LIU Gui-xiong, CAI Liu-yi-ting, WANG Bo-di. Overview of Image Stitching Registration in Machine Vision Detection[J]. Laser Journal, 2019, 40(11): 1-6.

[16] 劉正瓊, 萬鵬, 凌琳, 等. 基于機(jī)器視覺的超視場工件識(shí)別抓取系統(tǒng)[J]. 機(jī)器人, 2018, 40(3): 294-300.

LIU Zheng-qiong, WAN Peng, LING Lin, et al. Recognition and Grabbing System for Workpieces Exceeding the Visual Field Based on Machine Vision[J]. Robot, 2018, 40(3): 294-300.

Equivalent Ladder Cylinder Unfolding Method of Quasi-Cylinder Label

LIU Qian1,2,3,4, XU Min1,2,4, XU Shou-shuai1,2,4

(1.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 2.Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China; 3.University of Chinese Academy of Sciences, Beijing 100049, China; 4.Key Laboratory on Intelligent Detection and Equipment Technology of Liaoning Province, Shenyang 100179, China)

The work aims to propose a method for equivalent ladder cylinder unfolding of quasi-cylinder label image to solve the problem on whole surface unfolding of quasi-cylinder labels with unequal radii. Firstly, the minimum bounding rectangles of quasi-cylinder label of images from four perspectives were extracted. A pose estimation model was established according to the result extracted. Based on the quasi-cyl' idea of turning curve into straight, the equivalent ladder quasi -cylinder label 3D point cloud was established in combination with the label pose and outline from different perspectives. Finally, the method of bilinear interpolation was used to render the point cloud to get quasi-cylinder label unfolding results of unequal radii through image stitching with NCC algorithm. The quasi-cylindrical checkerboard label simulation models and the whole surface unfolding experiment of the chewing gum label showed that the proposed algorithm had higher accuracy than the traditional algorithms. For model 1, the variance in the-axis and-axis directions was 1.37 pixels and 0.58 pixels respectively. In conclusion, the equivalent ladder cylinder unfolding of quasi-cylinder label can effectively achieve whole surface unfolding of quasi-cylinder label, providing a good experimental basis for the subsequent label detection.

label detection; quasi-cylinder label unfolding; equivalent ladder model; image stitching

TP391

A

1001-3563(2022)01-0210-09

10.19554/j.cnki.1001-3563.2022.01.027

2021-10-15

中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)（C類）（XDC04000000）；遼寧省重點(diǎn)研發(fā)計(jì)劃（2020JH2/10100023）；中國航發(fā)自主創(chuàng)新專項(xiàng)資金（ZZCX-2018-035）；王寬誠教育基金會(huì)、遼寧省“興遼英才計(jì)劃”（XLYC2002055）

劉千（1998—），男，中國科學(xué)院大學(xué)碩士生，主攻機(jī)器視覺。

許敏（1982—），男，博士，副研究員，主要研究方向?yàn)闄C(jī)器視覺和圖像處理技術(shù)。