蘆 兵, 孫 俊, 許曉東

(1. 江蘇大學 信息化中心, 江蘇 鎮(zhèn)江 212013; 2. 江蘇大學 電氣信息工程學院, 江蘇 鎮(zhèn)江 212013)

中國是農(nóng)產(chǎn)品生產(chǎn)大國,在農(nóng)業(yè)種植基地每天都有成千上萬的農(nóng)產(chǎn)品需要按類分揀運輸,實現(xiàn)農(nóng)產(chǎn)品準確、高效的自動分揀,是農(nóng)產(chǎn)品供應鏈提升的重要一環(huán)[1].目前對農(nóng)產(chǎn)品自動分揀方法的研究主要分為兩個方向:一是預置識別分類方向[2-3],主要通過條碼技術(shù)或RFID技術(shù)將產(chǎn)品信息預先寫入產(chǎn)品包裝信息區(qū),供自動分揀設(shè)備讀取相關(guān)信息,實現(xiàn)自動分揀;二是圖像識別方向[4],主要通過圖像設(shè)備抓取并分析農(nóng)產(chǎn)品的圖像特征,進行特征提取,完成自動分揀.圖像識別技術(shù)的自動化程度更高,通用性更好,但是在提取目標特征時,其效率及精度還有待提高.尺度不變特征變換(SIFT)[5]和加速魯莽特征(SURF)算法[6]因其優(yōu)秀的特征表述能力和較強的魯莽性被廣泛應用于特征匹配領(lǐng)域,但此類算法更多關(guān)注于圖像的底層特征,而分揀環(huán)境中實際提取到的底層特征往往存在較多的噪聲干擾和冗余.對提取到的底層特征進行二次整合,使得整合過的圖像數(shù)字化表征能夠更好地反映圖像目標的語義內(nèi)容,采用基于語義的目標特征構(gòu)建技術(shù),可以提高匹配模板的生成效率.文獻[7]在圖像顏色、邊緣等底層局部特征的基礎(chǔ)上,提出了一種層次化的高級語義映射關(guān)系,利用Bayes分類方法建立特征模型.文獻[8]通過神經(jīng)網(wǎng)絡(luò)算法,以目錄分類的語義形式對圖像進行組織,然后通過非層次的分類方法進行圖像目標檢測.文獻[9]提出了一種基于屬性的圖像目標描述方法,通過圖像屬性語義進行圖像目標特征匹配.文獻[10]提出了一種增量構(gòu)建大規(guī)模圖像內(nèi)容檢索的方法,通過反饋學習機制提升圖像語義屬性.

上述幾種方法在構(gòu)建目標特征模型的時候,均需要圖像庫中具備所有特征屬性的完備信息,忽視了圖像庫中特征屬性元素之間的相互組合利用,當新增產(chǎn)品分揀線或者傳送線上農(nóng)產(chǎn)品物理特征發(fā)生變化的時候,需要重新訓練以完善圖像庫中的屬性特征信息,顯然,這將極大地影響自動分揀的效率.

為此,文中引入計算機文本檢測領(lǐng)域內(nèi)具有較高效率的正則表達式[11],對其在圖像目標特征模型構(gòu)建上的語義描述進行引申定義.由于正則表達式具有較強的靈活性和適配性,其語法規(guī)則可以融合多種屬性特征,當被識別農(nóng)產(chǎn)品發(fā)生變化時,利用正則表達式的語義規(guī)則能夠?qū)D像庫中相關(guān)特征屬性元素進行快速地重新組織,對于從圖像特征上難以區(qū)分的農(nóng)產(chǎn)品,可以在規(guī)則中融合振動等特征,從而實現(xiàn)對不同類別農(nóng)產(chǎn)品高效、正確地自動識別和分揀.

1 正則表達式的語義

1.1 正則表達式的通俗語義

正則表達式是計算機科學中用于檢索、替換某些符合描述規(guī)則的文本所使用的一個概念.正則表達式是對字符串進行描述和通配操作的一種邏輯公式,實現(xiàn)過程是賦予某些字符以及這些特定字符的組合某種特殊意義,通過事先定義好的語義規(guī)則組成一個“規(guī)則字符串”,這個“規(guī)則字符串”用來表達對字符串的一種過濾邏輯.如果給定一個定義好的正則表達式和另一個待識別字符串,可以達到如下目的: ① 判斷給定的字符串是否符合正則表達式的過濾邏輯(稱作“匹配”); ② 如果匹配,通過正則表達式從字符串中獲取想要的特定部分,如果不匹配則重新組織通配符.

1.2 正則表達式的特點

正則表達式的靈活性和邏輯性非常強,可以迅速使用極簡單的方式達到字符串的復雜控制.傳統(tǒng)正則表達式的描述因子均為文本模式的字符,包括a-z之間的字母等普通字符和一些特殊符號(稱為“元字符”).通過正則表達式定義出來的描述模式在搜索文本時會匹配一個或多個滿足正則語義的字符串.表1中包含了部分元字符以及它們在正則表達式上下文中的行為.

表1 正則表達式示例

表1中通過對傳統(tǒng)正則表達式字元符規(guī)則的應用,可以檢測和匹配到特定內(nèi)容的文本,極大地提高內(nèi)容檢索效率.

1.3 圖像中的引申語義

相對于文本對象,用于描述圖像特征的“字元素”可以用線條、顏色、形狀、位置等來定義.用于描述圖像特征的“字元素”可以稱之為基礎(chǔ)“像元素”, 部分像元素如表2所示.

表2 圖像特征的像元素

表中線條按線形可以分為水平直線、斜線、直角線、弧線、S形弧線等常規(guī)線條及其他自定義線形,形狀包含正方形、長方形、圓形、半圓形、菱形、心形等常規(guī)形狀及其他自定義非常規(guī)圖形.顏色通過字母加數(shù)字的方式表示,如W12,表示白色 12色號,其中第一位字母代表色系,后面數(shù)字代表亮度,取值范圍為0～255之間.振動特征為通過分析振動頻譜特征分布后得到的譜密度均值.位置由完全自定義的符號來描述圖像中的相對位置信息,如“|(x1)->(x2)|”代表從像元x1位置開始一直水平向右到像元x2結(jié)束,而“|(x1)-＾(K)(x2)||”則表示從像元x1開始到其垂直下方像元x2的K處,其中K為可變系數(shù),可取0～1數(shù)值,如0.25表示x1到x2之間距離的1/4處.此處只是給出了水平和垂直位置信息的基礎(chǔ)定義,位置信息的定義符號和定義規(guī)則可視實際情況自行添加.像元素庫是一個開放式的元素庫,用于描述物理特性的技術(shù)指標均可作為像元素庫的一個基礎(chǔ)指標,如角度、溫度,音量、振動等特征信息均可以擴展為元素庫的一個指標.將這些像元素按正則表達式的語法進行組織,能夠快速地定義出圖像的局部特征.比如:|O(B12)->O(B12)||該表達式可以表示圖像中匹配水平方向上兩個藍色圓形的部分.也可以像定義文本正則表達式一樣,用一些更加簡潔的字符代表圖像正則的像元素.

2 基于正則表達的特征提取

2.1 角點特征提取

Harris角點檢測是通過數(shù)學計算在圖像上發(fā)現(xiàn)角度特征的一種算法[12],且具有旋轉(zhuǎn)不變的特質(zhì).在建立特征模型正則表達式之前,先通過Harris角點[11]檢測出圖像特征的字元素,數(shù)學原理如下:

I(x,y)]2,

(1)

式中:w(x,y)用以表示移動窗口;I(x,y)表示圖像中像素灰度值強度,取值范圍為0～255.依據(jù)泰勒級數(shù)計算1到N階的偏導數(shù)[12],最后得到Harris矩陣公式:

(2)

按照上式Harris的矩陣計算矩陣特征值λ1,λ2,然后計算獲得Harris角度響應值:

(3)

式中變量因子K為系數(shù)值,通常取值范圍為0.04～0.06.

2.2 距離特征提取

為了提高對位置信息的描述效率,在計算特征向量位置信息時,采用D4模型[13]進行計算:

D4(P,Q)=|xp-xq|+|yp-yq|,

(4)

D4距離也稱街區(qū)距離,它只選擇橫豎兩個方向計算相對距離.

2.3 顏色特征提取

對每種顏色通道提取一階、二階和三階矩進行統(tǒng)計分析[14],設(shè)hij表示第i個顏色通道分量中灰度為j的像素出現(xiàn)的概率,n為總像素數(shù)目,則顏色矩的3個低階矩數(shù)學表達式為

(5)

(6)

(7)

這3個低階矩分別稱為均值、方差和偏斜度.

2.4 振動波頻譜特征提取

使用RS-3101壓電式振動傳感器采集農(nóng)產(chǎn)品在傳送帶上的振動信息,再通過SPEK軟件分析其頻域特征.此處采用歐拉伯努利梁模型[15]來分析其振動特征,單負載時的模型結(jié)構(gòu)如圖1所示.

圖中剛度Ks=(Ls/Kp+1/Kt)-1/Ls,Kp是傳送層剛度系數(shù),Kt是傳送層單位長度(m)的剛度系數(shù).該系統(tǒng)的運動方程為

(8)

式中:EI是傳送軌道的抗撓勁度;w(x,t)是軌道偏斜度;F是軌道上移動負載;δ為狄拉克函數(shù);x代表負載物重心位置到達傳送帶邊緣的距離;t是時間.

圖1 振動模型示意圖

傳送帶和傳送軸撓度之間可以通過變換下式表示:

ws(x,t)/w(x,t)=Ks/Kt,

(9)

從而可以得到振動特征方程:

(10)

式中β=(Ks/(4EI))1/4,表示成量綱一形式為

(11)

式11給出了單個負載的特征提取公式,多個同類負載的頻譜特征可以通過量綱一化處理得到,如下:

(12)

最終可以得到兩個不同類別農(nóng)產(chǎn)品的譜特征分布曲線,如圖2所示,從而計算出譜密度均值:

(13)

譜密度均值是頻譜特征分布的具體量化指標,不同分布的頻譜特征對應不同的譜密度均值,該均值作為基礎(chǔ)像元素庫中的成員,在正則表達式中描述被識別農(nóng)產(chǎn)品振動信息的頻譜特征.

圖2 振動頻譜特征分布圖

2.5 特征模型提取

首先檢測被識別物的邊緣連通情況,如圖3所示.

圖3 匹配目標原始圖

通過選擇最能夠描述圖像特征的特征點,參照像元素庫中的定義提取像元素.首先對目標外圍特征點進行連通性連接,然后在連通圖內(nèi)部按照最大相似性原則[16]進行像元素的切割,即切割后的局部特征能夠在像元素庫中找到最相似的像元素.從切割后的圖像中提取到形狀像元素:矩形、橢圓形，提取到顏色像元素:G12(綠12號),提取到位置像元素:“|-＾||”(從上邊位置到下邊位置)、“|-＾(0.25)||”(從上邊位置到下面位置的1/4處)、“|-＾|(0.75)|”(從上邊位置到下邊位置的3/4處).最終提取到的基礎(chǔ)像元素集如表3所示.

表3 基礎(chǔ)像元素集

基于表3中的像元素,可以構(gòu)建出基于像元素的目標匹配模型正則表達式:

Preg_match=|∏(G9)-＾||∩|?-＾(0.25)Ο||∩
|∏-＾|(0.75)Ο|∩[Fp(632)],

(14)

按照表達式(14)中表達的正則語義可以快速構(gòu)建出待匹配農(nóng)產(chǎn)品的特征模型,如圖4所示.

通過特征模型和待匹配目標最大相似性比較[17],可以確定出待匹配目標在圖中所在位置.通過選取中心列的特征分布,可以對特征模型和待匹配對象進行特征相似度比較,如圖5所示.

通過比較可以看出,在目標所在區(qū)域(121～426行)模型特征的分布和待識別目標特征分布較一致,說明利用像元素作為基元的正則表達式完全可以定義出待匹配目標的模型.

圖4 特征模型

圖5 匹配模型特征分布

3 結(jié)果與分析

為了分析基于正則表達式融合語義的農(nóng)產(chǎn)品自動識別方法的效果,使用固定視角下梨子和橙子圖像進行試驗.試驗中,選取能夠最大化反映目標物理特征的視角進行圖像采集,然后通過選取特征像元素庫中的基礎(chǔ)像元素,在正則表達式的語法組織下融合振動特征快速建立農(nóng)產(chǎn)品特征匹配模型,實現(xiàn)對不同農(nóng)產(chǎn)品的快速識別,如圖6所示.

圖6 部分訓練樣本示例

本試驗使用SIFT和SURF兩種識別方法作為對比,SPEK軟件環(huán)境中完成振動采集和分析,Matlab11中完成特征建模和目標匹配.

試驗結(jié)果如表4所示,由于正則表達式區(qū)域強制驗證的特性,在視角不變情況下,文中方法在識別率和識別時間上均優(yōu)于傳統(tǒng)的SURF和SIFT算法.

表4 識別率和效率對比

4 結(jié) 論

基于字符元的正則表達式因其匹配效率高,適配性好,已在文本字符檢索中得到了廣泛的應用,圖像匹配和字符匹配雖然在匹配內(nèi)容上存在較大差異,但在匹配方法上可以找到共同性,即都可以通過有規(guī)律的組織基礎(chǔ)元素構(gòu)建匹配模型的方法,對目標進行識別.基于此點共同性,文中將正則表達式的語義通過賦予圖形屬性特征進行了引申定義,引入了“像元素”的新概念和語義規(guī)則,并融入振動頻譜特征信息.基于正則語義的圖像目標識別體系是一個比較龐大的工程,還有很多后繼工作需要完成,比如健全特征元素庫、編寫正則語言規(guī)則類庫、建立分類訓練模型等,文中通過一個具體應用場景證實了此種方法的可行性.試驗表明,通過編寫合適的農(nóng)產(chǎn)品特征模型正則表達式,能夠快速、便捷的構(gòu)建特征匹配模型,實現(xiàn)對不同農(nóng)產(chǎn)品目標的快速自動識別.

參考文獻(References)

[ 1 ] LI Z J,SHAN S D.A research on logistics packaging culture and environmental packaging[C]∥15th IAPRI Word Conference on Packaging.Vancouver,Canada: IEEE,2006:225-230.

[ 2 ] DI Y J,SHI J P,MAO,G Y.A QR code identification technology in package auto-sorting system[J].Modern Physics Letters B, 2017,31:19-21.

[ 3 ] KOSIOR E,MITCHELL J,DAVIES K,et al.Intelligent labels as a basis for auto-sorting of plastic packaging[C]∥73rd Annual Technical Conference.Orlando,USA:IEEE, 2015:2112-2118.

[ 4 ] HUANG K Y,CHENG J F.A novel auto-sorting system for Chinese cabbage seeds[J].Sensors,2017,17(4):622-628.

[ 5 ] TEKIN N,NAZL I,PEKER K A,et al.Matching day and night location images using SIFT and logistic regression[C]∥23rd Signal Processing and Applications.TURKEY:IEEE,2015:1615-1618.

[ 6 ] 林曉帆,林立文,鄧濤.基于SURF描述子的遙感影像配準[J].計算機工程,2010,36(12):216-218.

LIN X F,LIN L W,DENG T.Remote sensing image re-gistration based on SURF descriptor[J].Computer Engineering,2010,36(12):216-218.(in Chinese)

[ 7 ] 宋芳琴.基于Union-Find的圖像聚類方法[J].計算機應用與軟件,2015,32(7):319-322.

SONG F Q.Image clustering method based on Union-Find[J].Computer Applications and Software,2015,32(7):319-322. (in Chinese)

[ 8 ] YU S Q,JIA S,XU C Y.Convolutional neural networks for Hyperspectral image classification[J].Neurcompu-ting,2017,219:88-98.

[ 9 ] JR E S, GU Q. Automatic content based image retrieval using semantic analysis[J]. Journal of Intelligent Information Systems, 2014, 43(2):247-269.

[10] FARHADI H,ENDRES I,HOIEM D,et al.Describing objects by their attributes[C]∥12th Conference on Computer Vision and Pattern recognition.Leeds Britain:IEEE,2009:1778-1785.

[11] LU P,BREMER J,CHEN H M.Deciding determinism of regular languages[J].Theory of Computering Systems,2015,57(1):97-139.

[12] RYU J B, LEE C G,PARK H H.Formula for Harris corner detector[J].Electronics Letters,2011,47(3):180-181.

[13] 陳世偉,楊小岡,張勝修,等.基于自適應上下文信息的目標相對定位方法[J]. 系統(tǒng)工程與電子技術(shù),2016,38(5):984-989.

CHEN S W,YANG X G,ZHANG S X,et al.Relative positioning method of target based on adaptive context information[J].Systems Engineering and Electronics,2016,38(5):984-989. (in Chinese)

[14] 王峰,陳敏,陳小平.面向機器人室內(nèi)建圖的RGB-D圖像對齊算法[J].機器人,2015,37(2):129-135.

WANG F,CHEN M,CHEN X P.An RGB-D image alignment algorithm for robotic mapping in indoor environments[J].Robot,2015,37(2):129-135. (in Chinese)

[15] FERNANDEZ S,ZAERA R.Vibrations of Bernoulli-Eu-ler beams using the two-phase nonlocal elasticity theory[J].International Journal of Engineering Science,2017，119:232-248.

[16] ZHAI Y H,NEUHOFF D L.Similarity of scenic bilevel image[J].IEEE Transactions on Image Processing,2016,25(11):5063-5076.