蘆 兵， 孫 俊， 許曉東

(1.江蘇大學(xué)電氣信息工程學(xué)院，江蘇鎮(zhèn)江 212013； 2.江蘇大學(xué)信息化中心，江蘇鎮(zhèn)江 212013)

畜牧業(yè)是我國國民經(jīng)濟(jì)的支柱性產(chǎn)業(yè)，其規(guī)?；蜆?biāo)準(zhǔn)化發(fā)展是當(dāng)前的發(fā)展趨勢(shì)。動(dòng)物養(yǎng)殖一般以群體圈養(yǎng)為主，動(dòng)物個(gè)體行為如生病、行為暴躁等對(duì)養(yǎng)殖群體的影響較大，但是由于養(yǎng)殖基數(shù)龐大，靠人工觀察費(fèi)時(shí)費(fèi)力，效果不佳，且具有很大的局限性[1]，因此發(fā)展基于圖像特征的動(dòng)物行為自動(dòng)識(shí)別技術(shù)顯得較為迫切。視頻識(shí)別技術(shù)自動(dòng)化程度高，能極大地提高養(yǎng)殖效率，促進(jìn)畜牧業(yè)的現(xiàn)代化發(fā)展。目前對(duì)動(dòng)物行為自動(dòng)識(shí)別方法的研究主要分成2個(gè)大的方向[2-3]，一個(gè)是接觸式感應(yīng)識(shí)別方法，主要通過在飼養(yǎng)動(dòng)物身上佩戴傳感器的方式，監(jiān)測(cè)動(dòng)物的溫度、聲音等信息，間接得到動(dòng)物的行為信息。如Minematsu等通過光電矩陣感應(yīng)線束記錄動(dòng)物的活動(dòng)軌跡[4]；May等在動(dòng)物四肢上安裝壓力傳感器，通過返回的壓力參數(shù)分析動(dòng)物的行為[5]；Schwarting通過在動(dòng)物身上安裝微型光電檢測(cè)系統(tǒng)來判斷動(dòng)物的非對(duì)稱性行為，如翻身、轉(zhuǎn)圈等[6]。另一個(gè)是圖像識(shí)別技術(shù)方法[7]，通過圖像設(shè)備抓取并分析畫面上動(dòng)物的圖像特征并進(jìn)行特征匹配，完成動(dòng)物行為自動(dòng)識(shí)別。與接觸式感應(yīng)識(shí)別方法相比，圖像識(shí)別技術(shù)的自動(dòng)化程度更高，通用性更強(qiáng)，但是在構(gòu)建匹配特征模板效率以及動(dòng)物行為識(shí)別正確率等方面還有待提高?；谛螤畹哪繕?biāo)檢測(cè)是目前通過圖像技術(shù)識(shí)別動(dòng)物行為的一個(gè)主要手段，包括基于邊界特征點(diǎn)、不變矩、傅里葉描述子以及小波變化等方法。由于大腦具有記憶能力，人們通過視覺可以很容易根據(jù)物體的邊界信息識(shí)別物體的形狀，但是對(duì)機(jī)器來說，自動(dòng)識(shí)別任意形狀相當(dāng)復(fù)雜，如何能夠快速描述出被識(shí)別目標(biāo)的圖像特征并能夠和典型行為特征模型進(jìn)行匹配是一個(gè)需要深入研究的問題。

基于語義特征的構(gòu)建方式可以對(duì)提取到的底層特征進(jìn)行二次整合，使得整合過的圖像數(shù)字化表征能夠更好地反映圖像目標(biāo)的語義內(nèi)容，采用基于語義的目標(biāo)特征構(gòu)建技術(shù)可以提高動(dòng)物行為圖像特征模板的生成效率。在基于語義特征模板構(gòu)建實(shí)現(xiàn)方面，錢蓉等基于圖像顏色、邊緣等低層局部特征，提出一種層次化的高級(jí)語義映射關(guān)系，再利用Bayes分類方法建立特征模型[7]。Yu等采用神經(jīng)網(wǎng)絡(luò)算法以目錄分類的語義形式對(duì)圖像進(jìn)行組織，然后通過非層次分類方法對(duì)圖像目標(biāo)進(jìn)行檢測(cè)[8]。Town等提出了一種基于屬性的圖像目標(biāo)描述方法，通過圖像屬性語義進(jìn)行圖像目標(biāo)特征匹配[9]。Farhadi等提出一種通過增量的方式構(gòu)建大規(guī)模圖像內(nèi)容檢索的方法，通過反饋學(xué)習(xí)機(jī)制來提升圖像語義屬性[10]。

上述方法在構(gòu)建目標(biāo)特征模型時(shí)，均須要圖像庫中具備所有目標(biāo)特征屬性的完備特征信息，而忽視了圖像庫中特征屬性元素之間的相互組合利用，當(dāng)被識(shí)別動(dòng)物對(duì)象的物理特征發(fā)生變化時(shí)，則須要重新訓(xùn)練，以完善圖像庫中的屬性特征信息，顯然，這將極大地影響動(dòng)物行為自動(dòng)識(shí)別效率。

為此，本研究引入計(jì)算機(jī)文本檢測(cè)領(lǐng)域內(nèi)具有較高效率的正則表達(dá)式[11]方法，并對(duì)其在圖像目標(biāo)識(shí)別特征模型構(gòu)建上的語義描述進(jìn)行引申定義，由于正則表達(dá)語義具有較強(qiáng)的靈活性和適配性，其語法規(guī)則可以融合多種屬性特征。當(dāng)被識(shí)別動(dòng)物目標(biāo)發(fā)生變化時(shí)，利用正則表達(dá)式的語義規(guī)則能夠快速地對(duì)圖像庫中的相關(guān)特征屬性元素進(jìn)行重新組織，從而大大提高動(dòng)物行為識(shí)別的效率和精度。

1 正則表達(dá)式的語義

1.1 正則表達(dá)式的通俗定義

正則表達(dá)式是計(jì)算機(jī)科學(xué)中用于檢索、替換某些符合某種描述規(guī)則的文本所使用的一個(gè)概念。正則表達(dá)式是對(duì)字符串進(jìn)行描述和通配操作的一種邏輯公式，其實(shí)現(xiàn)過程是賦予一些特定字符以及這些特定字符的組合已約定好的特殊意義，通過事先定義好的語義規(guī)則組成一個(gè)規(guī)則字符串，該規(guī)則字符串可用來表達(dá)對(duì)字符串的一種過濾邏輯。如果給定一個(gè)定義好的正則表達(dá)式和一個(gè)待識(shí)別字符串，則可以判斷給定的待識(shí)別字符串是否符合正則表達(dá)式的過濾邏輯(稱作匹配)，如果匹配，則可以通過正則表達(dá)式從字符串中獲取想要的特定部分，如果不匹配則重新組織通配符。

1.2 正則表達(dá)式的特點(diǎn)

正則表達(dá)式具有較強(qiáng)的靈活性、邏輯性和功能性，且可以迅速地用極簡單的方式達(dá)到對(duì)字符串的復(fù)雜控制。

正則表達(dá)式的描述因子均為文本模式的字符，包括a～z之間的字母等普通字符和一些特殊符號(hào)(稱為元字符)。通過正則表達(dá)式定義出來的描述模式在搜索文本時(shí)會(huì)匹配1個(gè)或多個(gè)滿足正則語義的字符串。表1為部分元字符以及它們?cè)谡齽t表達(dá)式上下文中的行為。

表1 正則表達(dá)式的部分語法

通過對(duì)正則表達(dá)式元字符規(guī)則的應(yīng)用，可以檢測(cè)和匹配到特定內(nèi)容的文本(表2)，進(jìn)而極大地提高內(nèi)容檢索效率。

表2 正則表達(dá)式示例

1.3 圖像中的引申語義

相對(duì)于文本對(duì)象，用于描述圖像特征的字元素可以用線條、顏色、形狀、位置等來定義，稱之為基礎(chǔ)像元素。

表3為引申定義用于描述圖像特征的部分像元素，其中線條按線形可以分為水平直線、斜線、直角線和弧線、S形弧線等常規(guī)線條以及其他自定義線形。形狀庫包括正方形、長方形、圓形、半圓形、菱形、心形等常規(guī)形狀以及其他自定義的非常規(guī)圖形。顏色庫通過字母加數(shù)字的方式表示，如：W12中的第1位字母代表色系，后面數(shù)字代表亮度，取值范圍為 0～255之間。振動(dòng)特征庫是通過分析振動(dòng)頻譜特征分布得到的譜密度均值。位置信息庫由完全自定義的符號(hào)來描述圖像中的相對(duì)位置信息，如|(x1)->(x2)|表示從像元x1位置開始一直水平向右到像元x2結(jié)束，而|(x1)-^(k)(x2)||則表示從像元x1開始到其垂直下方像元x2的k處，其中k為可變系數(shù)，可以取0～1之間數(shù)值，如取0.25則表示x1到x2之間距離的1/4處，在此只是給出水平和垂直位置信息的基礎(chǔ)定義，位置信息的定義符號(hào)和定義規(guī)則可視實(shí)際情況自行定義和添加。像元素庫是一個(gè)開放式的元素庫，用于描述物理特性的技術(shù)指標(biāo)均可以作為像元素庫的一個(gè)基礎(chǔ)指標(biāo)，如角度、溫度以及音量、振動(dòng)等特征信息均可以作為描述目標(biāo)的一個(gè)元素庫指標(biāo)項(xiàng)進(jìn)行擴(kuò)展。按照正則表達(dá)式語法組織這些像元素，能夠快速定義出圖像的局部特征。比如|O(B12)->O(B12)||，該表達(dá)式可以表示圖像中匹配水平方向上2個(gè)藍(lán)色圓形的部分。當(dāng)然也可以像定義文本正則表達(dá)式一樣，用一些更加簡潔的字符代表圖像正則的像元素。

表3 圖像特征的像元素

2 基于正則表達(dá)的特征提取

2.1 角點(diǎn)特征提取

Harris角點(diǎn)檢測(cè)是通過數(shù)學(xué)計(jì)算在圖像上發(fā)現(xiàn)角度特征的一種算法[12]，其具有旋轉(zhuǎn)不變性特點(diǎn)。在建立圖像匹配特征正則表達(dá)式之前，先通過Harris角點(diǎn)[11]檢測(cè)出圖像特征的字元素，其數(shù)學(xué)原理為

(1)

式中：w(x，y)表示移動(dòng)窗口；I(x，y)表示圖像中像素灰度值強(qiáng)度，取值范圍為0～255；[u，v]表示窗口的移動(dòng)偏移量。依據(jù)泰勒級(jí)數(shù)計(jì)算一階到N階的偏導(dǎo)數(shù)[12]，最后得到一個(gè)Harris矩陣公式：

(2)

按照式(2)計(jì)算矩陣特征值λ1、λ2，其中M為梯度的協(xié)方差矩陣，Ix、Iy分別代表橫坐標(biāo)x方向和縱坐標(biāo)y方向的灰度強(qiáng)度集。通過計(jì)算獲得Harris角度響應(yīng)值：

R=detM-K(traceM)2
detM=λ1λ2
traceM=λ1+λ2。

(3)

式中：變量因子K為系數(shù)值，通常取值范圍為0.04～0.06；R為角點(diǎn)響應(yīng)值。

2.2 距離特征提取

為提高對(duì)位置信息的描述效率，采用D4模型[13]對(duì)特征向量位置信息時(shí)進(jìn)行計(jì)算。

D4(P,Q)=|xp-xq|+|yp-yq|。

(4)

D4距離也稱街區(qū)距離，它只選擇橫豎2個(gè)方向計(jì)算相對(duì)距離。式中：P、Q2點(diǎn)的像素坐標(biāo)分別為(xp,yp)、(xq,yq)。

2.3 顏色特征提取

對(duì)每種顏色通道提取一階、二階和三階矩并進(jìn)行統(tǒng)計(jì)分析[14]，設(shè)hij表示第i個(gè)顏色通道分量中灰度為j的像素出現(xiàn)的概率，n為總像素?cái)?shù)目，則顏色矩的3個(gè)低階矩?cái)?shù)學(xué)表達(dá)式分別為

(5)

(6)

(7)

這3個(gè)低階矩分別被稱為均值(μi)、方差(σi)和偏斜度(Si)。

2.4 特征模型提取

圖1是被識(shí)別動(dòng)物的邊緣連通情況，通過Harris方法得到動(dòng)物輪廓的邊緣角點(diǎn)，白色塊標(biāo)注的角點(diǎn)是通過連通性選擇之后提取的輪廓特征點(diǎn)。通過選擇最能夠描述圖像特征的特征點(diǎn)，參照像元素庫中的定義提取像元素。首先對(duì)目標(biāo)外圍特征點(diǎn)進(jìn)行連通性連接，然后在連通圖塊內(nèi)部按照最大相似度原則[15]進(jìn)行像元素切割，即切割后的局部特征能夠在像元素庫中找到最相似的像元素。在切割后的圖像中可以提取到的形狀像元素包括梯形、倒梯形等，提取到的顏色像元素包括Y12(黃12號(hào))等，提取到的位置像元素信息為|-^||(從上邊位置到下邊位置)、|-^(0.25)||(從上邊位置到下邊位置的1/4處)、|-^|(0.75)|(從上邊位置到下邊位置的3/4處)等。最終提取到的基礎(chǔ)像元素集如表4所示。

表4 基礎(chǔ)像元素集

基于表4中的像元素，構(gòu)建出基于像元素的目標(biāo)匹配正則表達(dá)式：

Preg_match=|(Y12)-^∩|?-^(0.25)∩|Δ-^|(0.75)|。

(14)

按照式(14)中正則表達(dá)的語義可以快速定義出待匹配動(dòng)物的行為特征模型。

圖2為通過正則表達(dá)式(14)所描述出的待識(shí)別目標(biāo)最大相似性特征模型。通過比較特征模型和待匹配目標(biāo)所在圖的最大相似性[16]，可以確定出待匹配目標(biāo)在圖中的位置。通過選取中心列的特征分布，對(duì)特征模型和待匹配對(duì)象進(jìn)行特征相似度比較(圖3、圖4)。

由圖3、圖4可以看出，模型特征的分布基本和待識(shí)別目標(biāo)特征分布情況一致，說明利用像元素作為基元的正則表達(dá)式完全可以定義出待匹配目標(biāo)的模型。

3 試驗(yàn)與分析

為了在圖像特征庫基礎(chǔ)上分析正則表達(dá)式對(duì)動(dòng)物行為特征的描述效果，對(duì)固定視角下動(dòng)物各種行為圖像進(jìn)行試驗(yàn)。試驗(yàn)過程中，選取能夠最大化反映目標(biāo)物物理特征的視角進(jìn)行圖像采集，然后選取特征像元素庫中的基礎(chǔ)像元素，在正則表達(dá)式的語法組織下快速建立動(dòng)物行為特征匹配模型，實(shí)現(xiàn)對(duì)不同動(dòng)物行為的快速識(shí)別(圖5)。通過與背景差分法和光流法這2種目標(biāo)特征提取方法進(jìn)行對(duì)比試驗(yàn)，分析本方法的識(shí)別率和識(shí)別效率。在Matlab11中完成特征建模和目標(biāo)匹配。由表5可知，在視角不變的情況下，本方法在識(shí)別率和識(shí)別時(shí)間上均略優(yōu)于傳統(tǒng)的背景差分法和光流法。

表5 識(shí)別率和效率對(duì)比

4 結(jié)論

基于字符元的正則表達(dá)式因其匹配效率高以及適配性好的特點(diǎn)，已在文本字符檢索中得到了廣泛應(yīng)用，圖像匹配和字符匹配雖然在匹配內(nèi)容上存在較大差異，但在匹配方法上可以找到共同性[17]，即都可以通過有規(guī)律地組織基礎(chǔ)元素構(gòu)建匹配模型的方法，對(duì)目標(biāo)進(jìn)行識(shí)別。基于該共同性，本研究通過對(duì)正則表達(dá)式的語義賦予圖形屬性特征進(jìn)行引申定義，引入像元素新概念和語義規(guī)則，結(jié)果表明，通過編寫合適的動(dòng)物行為特征匹配正則表達(dá)式，完全能夠快速、便捷地建立動(dòng)物行為特征匹配模型，實(shí)現(xiàn)對(duì)不同類動(dòng)物行為的自動(dòng)識(shí)別