齊美星，孫 偉

(中國(guó)礦業(yè)大學(xué) 信息與電氣工程學(xué)院，江蘇 徐州 221008)

基于金字塔圖像結(jié)構(gòu)與Hu高階矩的螺絲目標(biāo)匹配算法*

齊美星，孫 偉

(中國(guó)礦業(yè)大學(xué) 信息與電氣工程學(xué)院，江蘇 徐州 221008)

為了解決當(dāng)前目標(biāo)匹配算法存在計(jì)算耗時(shí)高，以及對(duì)旋轉(zhuǎn)縮放目標(biāo)定位不準(zhǔn)的問題，文章提出了基于金字塔圖像結(jié)構(gòu)與Hu矩的螺絲目標(biāo)匹配算法。首先，建立圖像金字塔模型，成比例降低測(cè)試圖像和模板圖像的分辨率，減小模板遍歷的計(jì)算量。然后，在測(cè)試圖像中逐像素移動(dòng)模板圖像，計(jì)算平方差歸一化匹配度函數(shù)，得到匹配坐標(biāo)。最后，基于Canny邊緣檢測(cè)得到模板目標(biāo)輪廓與測(cè)試圖像中疑似螺絲目標(biāo)邊緣輪廓，并計(jì)算兩個(gè)輪廓的Hu矩，利用Hu矩抗縮放旋轉(zhuǎn)干擾的特性，完成形狀度匹配。 實(shí)驗(yàn)測(cè)試結(jié)果顯示：與當(dāng)前匹配算法相比，文中算法對(duì)螺絲匹配定位擁有更高的實(shí)時(shí)性和精準(zhǔn)度。

螺絲目標(biāo)匹配；金字塔模型；Hu矩

0 引言

隨著“工業(yè)4.0”在實(shí)際工程中的應(yīng)用推進(jìn)，各大制造工廠在人力成本、品質(zhì)提高和快速定制制造方面有了明顯改善，認(rèn)識(shí)到把先進(jìn)智能處理技術(shù)應(yīng)用到制造是時(shí)代發(fā)展趨勢(shì)[1]。制造車間改善基石是智能設(shè)備代替人，細(xì)化為代替人眼、人手、甚至人腦，因此對(duì)制造零件，如螺絲，進(jìn)行目標(biāo)匹配定位，為品質(zhì)分類識(shí)別、機(jī)器人移載作業(yè)的完成做好基礎(chǔ)數(shù)據(jù)采集準(zhǔn)備[2]。但是隨著應(yīng)用的深入，也出現(xiàn)了問題，比如大多設(shè)備進(jìn)行目標(biāo)匹配時(shí)，存在計(jì)算耗時(shí)長(zhǎng)和對(duì)旋轉(zhuǎn)縮放干擾敏感的問題，導(dǎo)致目標(biāo)匹配定位能力不足。

在對(duì)工件目標(biāo)匹配方面，國(guó)內(nèi)研究人員已經(jīng)將計(jì)算機(jī)視覺技術(shù)引入到該領(lǐng)域中，對(duì)其展開研究，如胡明星[3]提出了基于Canny檢測(cè)與SIFT特征的旋轉(zhuǎn)工件目標(biāo)識(shí)別算法。首先,對(duì)采集工件圖像的RGB三通道完成權(quán)重分配,獲取灰度化圖像;并利用Canny邊緣檢測(cè)和霍夫直線檢測(cè)處理灰度圖像,計(jì)算出工件旋轉(zhuǎn)角度;并基于幾何變換,定義圖像校正模型,消除工件旋轉(zhuǎn)角度,對(duì)其完成復(fù)位處理,并采用模板匹配在圖像中定位工件,達(dá)到定位匹配目的。但是，此技術(shù)依靠復(fù)雜灰度距離計(jì)算，在圖像較大或數(shù)據(jù)較多時(shí)，往往影響了設(shè)備運(yùn)行效率。杜剛[4]提出了基于計(jì)算機(jī)在機(jī)器人單目視覺系統(tǒng)中的廣泛應(yīng)用,主要集中在對(duì)攝像機(jī)定位,拍攝圖像的分割計(jì)算,模式的坐標(biāo)識(shí)別,探測(cè)目標(biāo)距離,達(dá)到了視覺定位匹配目的。然而，這種技術(shù)對(duì)隨機(jī)旋轉(zhuǎn)情況考慮不足，在目標(biāo)存在隨機(jī)旋轉(zhuǎn)時(shí)，往往不能準(zhǔn)確匹配定位。

為了提高螺絲匹配算法的效率和抗旋轉(zhuǎn)干擾性，本文提出了基于金字塔圖像結(jié)構(gòu)與Hu矩的目標(biāo)匹配算法。該算法根據(jù)模板及其特征，在圖像中尋找最匹配的目標(biāo)，剔除周圍的干擾目標(biāo)。在灰度模板匹配前，引入金字塔結(jié)構(gòu)中分辨率低的螺絲圖像，提高算法效率和精度。利用Hu矩抗縮放旋轉(zhuǎn)特性，提出5級(jí)Hu矩定位旋轉(zhuǎn)縮放螺絲目標(biāo)，實(shí)現(xiàn)形狀匹配，解決縮放旋轉(zhuǎn)干擾問題。

1 本文目標(biāo)匹配算法

由于灰度匹配優(yōu)點(diǎn)是由于以像素為遍歷匹配單位，在復(fù)雜背景下，仍然匹配精準(zhǔn)，且對(duì)于復(fù)雜背景具有抗干擾性。但其匹配速度較慢。為了縮短算法匹配時(shí)間，本文首先對(duì)圖像進(jìn)行金字分辨率分層處理，在此基礎(chǔ)上進(jìn)行灰度匹配，以目標(biāo)圖像為模板，從另一張測(cè)試圖像左上角開始逐個(gè)像素遍歷，計(jì)算所在區(qū)域與模板的匹配度，得到精準(zhǔn)螺絲匹配區(qū)域。再對(duì)提取輪廓的Hu矩特征進(jìn)行描述，使得算法具有較強(qiáng)的旋轉(zhuǎn)縮放不變性，完成對(duì)旋轉(zhuǎn)目標(biāo)的形狀匹配定位。本文算法流程如圖1所示，待匹配的螺絲圖像如圖2a所示，有各種不同型號(hào)大小的螺絲，而匹配目標(biāo)如圖2b所示。

圖1 本文機(jī)制架構(gòu)

(a) 待定位圖像 (b) 目標(biāo)模板圖像圖2 測(cè)試圖像與模板圖像

1.1 基于金字塔結(jié)構(gòu)的快速灰度匹配

為了解決匹配算法運(yùn)行效率問題，首先采用金字塔結(jié)構(gòu)對(duì)圖像進(jìn)行降采樣處理，以分辨率為基準(zhǔn)，成比例的線性降低原圖分辨率[5-6]。金字塔的底層為原圖，倒數(shù)第二層為原分辨率1/4的圖像，倒數(shù)三層為原分辨率1/16的圖像，以此類推。在不影響成像標(biāo)識(shí)度的前提下，盡量降低分辨率，選擇較高層的金字塔子圖，作為匹配處理對(duì)象，達(dá)到加快處理速度的目的，其過(guò)程見圖3。

圖3 基于金字塔結(jié)構(gòu)的快速灰度匹配過(guò)程

本文金字塔結(jié)構(gòu)分層處理圖像2a，選擇分辨率為原圖分辨率1/16的子圖，見圖4a，同時(shí)對(duì)模板圖像也降采樣為原分辨率1/16的子圖，見圖4b，可見，雖然圖像模糊程度增加，但仍能分辨目標(biāo)輪廓。

在此基礎(chǔ)上，對(duì)經(jīng)過(guò)金字塔降采樣處理的圖像進(jìn)行滑動(dòng)分塊，與模板螺絲目標(biāo)圖像做對(duì)比計(jì)算，即逐像素計(jì)算平方差，判斷是否匹配：

(1)

式中，T(x′,y′)代表模板某像素點(diǎn)，I(x,y)代表測(cè)試圖像某灰度值，R(x,y)代表測(cè)試圖像與模板的匹配度。

為了進(jìn)一步提高匹配準(zhǔn)確度，本文對(duì)式(1)中的匹配度進(jìn)行歸一化處理：

(2)

其中，R′(x,y)是歸一化后的匹配度，根據(jù)工程評(píng)價(jià)給定匹配度，判斷是否匹配到目標(biāo)。

如圖4c所示，準(zhǔn)確定位匹配到目標(biāo)螺絲位置，并用綠色標(biāo)準(zhǔn)螺絲區(qū)域和中點(diǎn)坐標(biāo)。

(a) 測(cè)試圖像金字塔結(jié)構(gòu)處理 (b)目標(biāo)模板圖像金字塔結(jié)構(gòu)處理

(c) 匹配結(jié)果圖4 基于金字塔的灰度匹配結(jié)果

1.2 基于Hu矩的形狀匹配

為了去除旋轉(zhuǎn)縮放對(duì)目標(biāo)匹配的干擾，本文提出基于Hu矩的形狀匹配，分別計(jì)算目標(biāo)邊緣輪廓與測(cè)試圖像中疑似目標(biāo)物邊緣輪廓的Hu矩,再計(jì)算兩個(gè)矩的匹配度，完成對(duì)測(cè)試圖像目標(biāo)的形狀匹配，其過(guò)程見圖5。由于Hu矩[7]具有旋轉(zhuǎn)縮放不變性，對(duì)縮放旋轉(zhuǎn)具有抗干擾性。但是，匹配準(zhǔn)確的前提是邊緣提取完整，由于光源環(huán)境或工件表面亮度變化，邊緣往往存在不完整性。為達(dá)到邊緣準(zhǔn)確提取的目的，提出基于預(yù)處理的形狀匹配方法，對(duì)圖6中待匹配螺絲目標(biāo)圖像進(jìn)行閾值分割，將其轉(zhuǎn)換為二值圖像，然后進(jìn)行canny邊緣檢測(cè)[8]，提取邊緣分明輪廓，完成匹配前預(yù)處理，結(jié)果見圖7，可見得到包含目標(biāo)輪廓在內(nèi)的邊緣輪廓圖像。在此基礎(chǔ)上分析其中心矩特性，首先計(jì)算不變矩：

(3)

式中，m為p+q級(jí)不變矩，I(x,y)為圖像輪廓上的某一點(diǎn)。為達(dá)到抗縮放目的，進(jìn)一步計(jì)算其中心矩：

(2)

式中，M為p+q級(jí)中心距，m為p+q級(jí)不變矩。

再對(duì)中心矩做歸一化處理[9-10]：

(3)

將ηpq為歸一化p+q級(jí)中心距，從而計(jì)算5個(gè)Hu矩：

h1=η20+η02

(4)

h2=(η20+η02)2+4(η11)2

(5)

h3=(η30-3η12)2+(3η21-η03)2

(6)

h4=(η30-3η12)2+(3η21-η03)2

(7)

h5=(η30-3η12)(η30+η12)[(η30+η12)2-
3(η21-3η03)2]+(3η21-η03)2

(8)

其中，h1、h2、h3、h4、h5為五級(jí)Hu矩，用于計(jì)算待匹配圖像與模板圖像在Hu矩方面的匹配度：

(9)

式中,R″代表匹配度。

根據(jù)工程評(píng)價(jià)給定匹配度，判斷是否匹配到目標(biāo)。如圖8所示，準(zhǔn)確定位匹配到目標(biāo)螺絲位置，并用紅色標(biāo)準(zhǔn)螺絲輪廓。

圖5 基于Hu矩的形狀匹配過(guò)程

圖6 待匹配圖像

圖7 圖像形狀輪廓

圖8 匹配結(jié)果

2 實(shí)驗(yàn)與討論

為了體現(xiàn)本文算法的優(yōu)勢(shì)，將當(dāng)前匹配性能較好的技術(shù)-文獻(xiàn)[3]、文獻(xiàn)[4]設(shè)為對(duì)照組，基于VS2015平臺(tái)開發(fā)實(shí)現(xiàn)，算法實(shí)驗(yàn)參數(shù)如：金字塔降采樣為1/16, 灰度匹配度為0.9，形狀匹配度為0.85。

以圖9為目標(biāo)，圖中的螺絲目標(biāo)發(fā)生明顯縮放和旋轉(zhuǎn)。利用金字塔降采樣處理原圖，分辨率降為原分辨率1/16，在此基礎(chǔ)上，用歸一化灰度平法差定位目標(biāo)，在效率上提高匹配速度。然后推導(dǎo)分析Hu矩特征計(jì)算公式并實(shí)現(xiàn)，通過(guò)對(duì)比待測(cè)目標(biāo)與標(biāo)準(zhǔn)目標(biāo)的Hu矩匹配度，準(zhǔn)確實(shí)現(xiàn)對(duì)旋轉(zhuǎn)縮放目標(biāo)的形狀匹配定位，同時(shí)用紅色標(biāo)注出目標(biāo)輪廓，如圖11所示，且其耗時(shí)最短，約為87ms，見圖14a，可見本文匹配能夠有效抵抗縮放、旋轉(zhuǎn)、背景干擾，快速準(zhǔn)確定位匹配了螺絲目標(biāo)。

而利用對(duì)照組文獻(xiàn)[3]技術(shù)處理圖9時(shí)，由于此技術(shù)依靠復(fù)雜灰度距離計(jì)算且未考慮旋轉(zhuǎn)縮放干擾，往往不能準(zhǔn)確匹配旋轉(zhuǎn)縮放目標(biāo)，如圖12所示, 以紅色標(biāo)注，且其耗時(shí)較高，約為102ms，見圖14b, 可見，該技術(shù)存在明顯的定位偏差與較低的匹配效率。

利用對(duì)照組文獻(xiàn)[4]技術(shù)處理圖9時(shí)，由于依賴大量固定樣本和先驗(yàn)知識(shí)，在目標(biāo)旋轉(zhuǎn)縮放程度未知且多變時(shí)，往往不能精確完成匹配，同時(shí)缺乏匹配精度，如圖13所示, 紅色標(biāo)注，且其耗時(shí)為136ms，見圖14c，可見，這種算法存在明顯的定位偏差，降低了匹配功能精度。

圖9 待匹配原圖 圖10 輪廓形狀

圖11 本文匹配結(jié)果

圖12 文獻(xiàn)[3]匹配結(jié)果

圖13 文獻(xiàn)[4]匹配結(jié)果

(a)本文算法 (b)文獻(xiàn)[3] (c)文獻(xiàn)[4]圖14 三種算法的匹配耗時(shí)測(cè)試結(jié)果

3 結(jié)論

為了解決前目標(biāo)匹配計(jì)算量過(guò)大和螺絲縮放旋轉(zhuǎn)干擾嚴(yán)重的情況下，導(dǎo)致目標(biāo)難以準(zhǔn)確匹配的問題，本文提出了基于金字塔圖像結(jié)構(gòu)與Hu矩的目標(biāo)匹配算法。實(shí)現(xiàn)對(duì)圖像金字塔結(jié)構(gòu)建立、歸一化灰度平方差匹配、Hu矩計(jì)算、Hu矩匹配。最終編程實(shí)現(xiàn)，并采用實(shí)際現(xiàn)場(chǎng)螺絲圖像測(cè)試。實(shí)驗(yàn)結(jié)果表明：相較普通技術(shù)，本文的匹配方法對(duì)位置旋轉(zhuǎn)多變的螺絲目標(biāo)，具有更高定位精度和抗干擾性。

[1] Hee-Chan Song, Jae-Bok Song. Precision robotic deburring based on force control for arbitrarily shaped workpiece using CAD model matching[J]. International Journal of Precision Engineering and Manufacturing, 2013, 14 (1): 85-91.

[2] 王德會(huì), 王喜順, 方海濤. 自動(dòng)螺絲鎖付機(jī)器人控制系統(tǒng)研究及路徑優(yōu)化 [J]. 組合機(jī)床與自動(dòng)化加工技術(shù)，2016(3): 107-110.

[3] 胡明星,王小蘭. 模板匹配優(yōu)化耦合圖像校正的旋轉(zhuǎn)工件目標(biāo)定位算法[J]. 組合機(jī)床與自動(dòng)化加工技術(shù)，2016(6):35-38.

[4] 田明銳. 結(jié)合聚類參數(shù)的圓投影模板匹配改進(jìn)算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2015,16(4):181-185.

[5] Yannis Avrithis, Giorgos Tolias. Hough Pyramid Matching: Speeded-Up Geometry Re-ranking for Large Scale Image Retrieval[J]. International Journal of Computer Vision, 2014, 107 (1): 1-19.

[6] Hadi Shahriar Shahhoseini. Nonflat surface level pyramid: a high connectivity multidimensional interconnection network[J]. The Journal of Supercomputing, 2014, 67 (1): 31-46.

[7] 楊舒, 王玉德. 基于Contourlet變換和Hu不變矩的圖像檢索算法[J]. 紅外與激光工程, 2014, 43(1):306-310.

[8] Tingnian He, Xiaohong Li, Yun Jiang. Improved HT Object Detection Algorithm Based on Canny Edge Operator[J]. Journal of Multimedia, 2014, 9 (9): 1089-1096.

[9] 蔡軍, 李曉娟, 張毅. 結(jié)合歸一化中心矩與DAGSVM的機(jī)器人交互手勢(shì)識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2013,30(7): 132-135.

[10] 束鑫. 形狀分析新方法及其在圖像檢索中的應(yīng)用研究 [D]. 無(wú)錫:江南大學(xué), 2012.

(編輯李秀敏)

ScrewTargetMatchingAlgorithmBasedonImagePyramidStructureandHuMoment

QI Mei-xing， SUN Wei

(College of Information and Electrical Engineering, China University of Mining and Technology, Xuzhou Jiangsu 221008, China)

In order to solve the current target matching algorithm, computing time and the rotating zoom interfere with sensitive problem, is proposed in this paper, and based on pyramid structure and Hu moment of target image matching algorithm. First, image pyramid model, is proportional to the test image and the template image resolution, decrease the template traversal calculation. Then, in a test image pixels mobile template image, calculate the normalized matching degree function, matched coordinates. Finally, based on Canny edge detection template target outline of suspected targets in images with the test outline, and calculate the two contour Hu moment, using Hu moment zooming rotation interference characteristics, to complete the degree of shape matching. Test results show that compared with the traditional matching algorithms in terms of operational efficiency and the rotating zoom interference, this algorithm has a higher real-time and accuracy.

screw target matching; pyramid model; Hu moment

TH161;TG506

：A

1001-2265(2017)09-0019-04

10.13462/j.cnki.mmtamt.2017.09.006

2016-11-07；

：2016-12-05

國(guó)家自然科學(xué)基金項(xiàng)目(60974050)；江蘇高校品牌專業(yè)建設(shè)工程資助項(xiàng)目(PPZY2015A089)

齊美星(1976—)，男，安徽安慶人，中國(guó)礦業(yè)大學(xué)講師，碩士，研究方向?yàn)閳D像處理、工業(yè)自動(dòng)化與運(yùn)動(dòng)控制，(E-mail)QiMeixing1976min@126.com; 孫偉(1963—),男，江蘇徐州人，中國(guó)礦業(yè)大學(xué)教授，博士生導(dǎo)師，博士，研究方向?yàn)橛?jì)算機(jī)應(yīng)用、工業(yè)自動(dòng)化、復(fù)雜運(yùn)動(dòng)控制過(guò)程。