蔡 騁，宋肖肖，何進(jìn)榮

（西北農(nóng)林科技大學(xué)信息工程學(xué)院，楊凌 712100）

基于計(jì)算機(jī)視覺的牛臉輪廓提取算法及實(shí)現(xiàn)

蔡 騁，宋肖肖，何進(jìn)榮

（西北農(nóng)林科技大學(xué)信息工程學(xué)院，楊凌 712100）

計(jì)算機(jī)視覺技術(shù)已越來(lái)越多地應(yīng)用于檢測(cè)牛個(gè)體行為以給出養(yǎng)殖管理決策，牛臉輪廓的提取及形狀分析能夠進(jìn)一步提高牛身份鑒別，咀嚼分析及健康狀況評(píng)估的自動(dòng)化程度。為實(shí)現(xiàn)基于計(jì)算機(jī)視覺的無(wú)接觸、高精度、適用性強(qiáng)的肉牛養(yǎng)殖場(chǎng)環(huán)境下的牛臉輪廓提取，提出用自適應(yīng)級(jí)聯(lián)檢測(cè)器定位牛臉位置，用統(tǒng)計(jì)迭代模型提取牛臉輪廓的方法。該方法采集牛臉正面圖像，用級(jí)聯(lián)式檢測(cè)器定位出牛臉的位置，并分別采用監(jiān)督式梯度下降算法（supervised descent method, SDM），局部二值算法（local binary features, LBF）和主動(dòng)外觀模型算法（fast active appearance model, FAAM）3種算法被用于提取牛臉輪廓。對(duì)20頭肉牛共拍攝800幅牛臉正面圖，隨機(jī)選取訓(xùn)練數(shù)據(jù)720幅和測(cè)試數(shù)據(jù)80幅。結(jié)果表明，主動(dòng)外觀模型算法準(zhǔn)確率最高，其輪廓提取誤差為0.0184 像素，適于應(yīng)用在輪廓提取精度要求較高的場(chǎng)合，而局部二值算法的運(yùn)行效率最高，在分辨率為744 像素（水平）×852像素（垂直）的牛臉圖像中輪廓提取時(shí)間為0.35 s，更適于應(yīng)用在實(shí)時(shí)性要求較高的場(chǎng)合。該方法可實(shí)現(xiàn)養(yǎng)殖場(chǎng)中肉牛的無(wú)接觸精確的面部輪廓提取，具有適用性強(qiáng)、成本低的特點(diǎn)。

計(jì)算機(jī)視覺；算法；模型；牛臉；輪廓提取；特征點(diǎn)標(biāo)定；圖像特征

0 引 言

計(jì)算機(jī)視覺及智能監(jiān)控已逐步深入到畜禽養(yǎng)殖的許多領(lǐng)域[1-4]，其中智能感知和識(shí)別肉牛的行為并給出養(yǎng)殖管理決策支持成為當(dāng)今研究的熱點(diǎn)[5-9]。個(gè)體身份鑒別及分析方法是肉牛精細(xì)化管理的技術(shù)前提和應(yīng)用基礎(chǔ)[10]。目前對(duì)肉牛的飼養(yǎng)仍以傳統(tǒng)的肉眼觀察為主，該方法耗時(shí)費(fèi)力。另外，人的活動(dòng)容易給牛造成應(yīng)激反應(yīng)，不適宜在現(xiàn)代化規(guī)模肉牛養(yǎng)殖中繼續(xù)采用。因此，迫切需要一種基于計(jì)算機(jī)視覺的肉牛的個(gè)體識(shí)別方法，以提高肉牛行為檢測(cè)的自動(dòng)化程度并降低成本，進(jìn)一步提高計(jì)算機(jī)視覺算法在肉牛行為分析領(lǐng)域的的實(shí)用性。

用計(jì)算機(jī)視覺的方法實(shí)現(xiàn)肉牛的個(gè)體身份識(shí)別已引起學(xué)者的關(guān)注。Xia等[11]提出一種基于局部二值模式（local binary patterns, LBP）紋理特征的臉部描述模型，并使用主成分分析（principal component analysis, PCA）結(jié)合稀疏編碼分類（sparse representation-based classifier, SRC）對(duì)肉牛臉部圖像進(jìn)行識(shí)別。但識(shí)別系統(tǒng)對(duì)肉牛臉部圖像的拍攝位置和角度敏感，難以實(shí)現(xiàn)自動(dòng)化識(shí)別。Cai等[12]在人臉識(shí)別方法的基礎(chǔ)上對(duì)LBP進(jìn)行改進(jìn)，提出了基于LBP改進(jìn)后的牛臉模型，并使用稀疏和低秩分解對(duì)牛臉測(cè)試圖像進(jìn)行校準(zhǔn)，克服了光照變化、圖像尺寸偏差以及局部遮擋的影響。但該模型處理的是灰度牛臉圖像，無(wú)法應(yīng)用在真實(shí)的肉牛養(yǎng)殖環(huán)境中。

上述方法僅對(duì)牛臉進(jìn)行識(shí)別，未對(duì)牛的面部輪廓進(jìn)行提取，但是，牛的面部輪廓包含了牛的咀嚼情況、健康狀態(tài)以及身份信息，通過(guò)牛的面部輪廓可以分析牛的病理情況。人臉輪廓提取算法已經(jīng)解決了在室外環(huán)境下，多角度、非均勻光照以及局部遮擋情況下的輪廓提取問(wèn)題[13-18]，為了實(shí)現(xiàn)在肉牛真實(shí)養(yǎng)殖環(huán)境下，基于計(jì)算機(jī)視覺算法非接觸、低成本的肉牛個(gè)體識(shí)別方法，本研究在人臉輪廓算法的基礎(chǔ)上，根據(jù)牛臉圖像的特征，定義牛臉輪廓模型，用牛臉圖像訓(xùn)練并測(cè)試輪廓提取算法的精度和效率，最終實(shí)現(xiàn)肉牛實(shí)際養(yǎng)殖環(huán)境下面部輪廓的自動(dòng)提取。

1 材料與方法

1.1 圖像采集

試驗(yàn)圖像拍攝于自陜西楊凌區(qū)西北農(nóng)林科技大學(xué)秦川肉牛養(yǎng)殖試驗(yàn)站，采集于2015年11月8日，拍攝對(duì)象為健康的秦川肉牛。牛在進(jìn)食過(guò)程中，牛臉會(huì)頻繁地伸出柵欄，產(chǎn)生臉部俯仰，使用數(shù)碼相機(jī)拍攝多角度下的牛臉數(shù)據(jù)集。

拍攝時(shí)段為16:00－18:00時(shí)段獲取20頭肉牛的進(jìn)食圖像。為每頭肉牛拍攝40幅正面圖，共計(jì)800幅圖像，每幅圖像分辨率為4 272像素（水平）×2 848像素（垂直）。

后續(xù)圖像處理平臺(tái)處理器為Inter Core i3-6100，主頻為3.70 GHz，48 GB內(nèi)存，4 TB硬盤，算法開發(fā)平臺(tái)為MATLAB 2015a。

1.2 供試數(shù)據(jù)

將采集的800幅牛臉圖像隨機(jī)分為10組，其中9組作為訓(xùn)練集，1組作為測(cè)試集，共得到720幅訓(xùn)練用牛臉圖像集，及80幅測(cè)試用牛臉圖像集。由于試驗(yàn)圖像是在真實(shí)場(chǎng)景中拍攝，牛臉存在局部遮擋現(xiàn)象，例如，在進(jìn)食過(guò)程中草對(duì)牛面部的遮擋（如圖1a所示），牛同伴之間的相互遮擋，牛舌頭的局部遮擋（如圖1b所示）。另外，牛的不同毛發(fā)差別將會(huì)影響局部特征的提取。圖1c是非均勻光照下的牛臉圖像，不同光照強(qiáng)度下提取的牛臉局部特征差異較大，因此在自然環(huán)境下要考慮到光照的影響。圖1d是大角度偏移下的牛臉，大角度的變化會(huì)對(duì)最后的檢測(cè)結(jié)果產(chǎn)生影響。

圖1 復(fù)雜場(chǎng)景下的牛臉Fig.1 Face cattle in complex scene

1.3 牛臉輪廓模型定義

牛臉特征不僅包括眼睛、鼻子、嘴巴以及臉頰外輪廓，與人臉相比牛臉還有其獨(dú)有的特征，例如，牛臉表面有許多絨毛，牛臉的五官較為分散，牛臉的背景較為復(fù)雜等。

結(jié)合牛臉的特征，為了建立牛臉的全局形狀模型，需要獲取牛臉圖像特征的數(shù)學(xué)表示。在牛臉模型訓(xùn)練階段，手工選擇牛臉中關(guān)鍵的面部特征點(diǎn)，這些特征點(diǎn)的選擇一般在高曲率的交界點(diǎn)，以及描述外界輪廓的中間點(diǎn)[19]，利用標(biāo)記后的特征點(diǎn)坐標(biāo)來(lái)建立牛臉形狀的數(shù)學(xué)模型。根據(jù)上述規(guī)則，本研究選擇能夠表現(xiàn)牛臉輪廓的特征點(diǎn)，例如眼睛，鼻子以及臉頰外輪廓。圖2b為牛臉特征點(diǎn)橫縱坐標(biāo)去歸一化后的特征點(diǎn)標(biāo)定圖，從圖中可以看出歸一化后牛臉特征點(diǎn)的中心點(diǎn)置于原點(diǎn)。從圖2b，可以看出左右眼睛分別標(biāo)記3個(gè)特征點(diǎn)，左右鼻孔分別標(biāo)記2個(gè)特征點(diǎn)，牛的臉頰輪廓標(biāo)記19個(gè)特征點(diǎn)，共29個(gè)特征點(diǎn)。本研究通過(guò)這29個(gè)特征點(diǎn)來(lái)建立牛臉輪廓模型。牛臉與人臉相比頰側(cè)較長(zhǎng)，拍攝時(shí)易受到不同角度的影響，本研究將牛臉分為上下2部分進(jìn)行輪廓模型定義，如圖2b所示，其中黑色坐標(biāo)表示牛臉輪廓的上半部分，紅色坐標(biāo)表示牛臉輪廓的下半部分。

圖2 牛臉輪廓模型定義Fig.2 Definition of cattle face contour model

在牛臉特征點(diǎn)標(biāo)記時(shí)，特征點(diǎn)位置偏差的原因不僅有人為標(biāo)記的因素，還包括拍攝時(shí)光照以及拍攝角度等因素的影響。這些外界因素使得牛臉的尺寸和位置存在差異，直接對(duì)牛臉特征點(diǎn)進(jìn)行統(tǒng)計(jì)建模是不合理的，不能反映樣本的形變規(guī)律。為了解決這個(gè)問(wèn)題，需要將這些特征點(diǎn)進(jìn)行對(duì)齊操作，對(duì)齊之后的數(shù)據(jù)可以反映其變化規(guī)律的統(tǒng)計(jì)形狀模型。對(duì)齊操作就是以一個(gè)形狀為標(biāo)準(zhǔn)模型，所有形狀通過(guò)旋轉(zhuǎn)、縮放、平移與其對(duì)齊。

對(duì)齊之前，首先需要計(jì)算每個(gè)特征點(diǎn)的加權(quán)值。加權(quán)值表示特征點(diǎn)的穩(wěn)定程度，即不同形狀中該特征點(diǎn)與其它特征點(diǎn)距離變化的大小。式（1）表示了特征點(diǎn)k的穩(wěn)定程度。

式中wk表示特征點(diǎn)k的權(quán)重，Rkl表示在一個(gè)形狀中特征點(diǎn)k和特征點(diǎn)l的距離，klRV表示所有形狀向量中特征點(diǎn)k和特征點(diǎn)l距離的方差。

本研究中使用Procrustes算法[20]對(duì)牛臉訓(xùn)練集進(jìn)行對(duì)齊處理，對(duì)齊流程如圖3所示。

圖3 牛臉的對(duì)齊流程Fig.3 Alignment process of cattle face

對(duì)齊操作后的牛臉訓(xùn)練集坐標(biāo)表示如圖4所示。經(jīng)過(guò)對(duì)齊處理后，最終所有的牛臉形狀處于統(tǒng)一的尺度下，特征點(diǎn)之間的位置差異較小。

圖4 對(duì)齊后的牛臉Fig.4 Cattle face after aligned

1.4 牛臉檢測(cè)器訓(xùn)練

在牛臉輪廓提取之前，首先要定位圖中牛臉的位置，基于自適應(yīng)級(jí)聯(lián)（adaptive boost，AdaBoost）檢測(cè)器檢測(cè)速度快、檢測(cè)準(zhǔn)確率高等優(yōu)點(diǎn)，本文結(jié)合牛臉特征訓(xùn)練牛臉檢測(cè)器[21-22]。

AdaBoost檢測(cè)器是基于積分圖像、級(jí)聯(lián)檢測(cè)器和AdaBoost算法進(jìn)行模型訓(xùn)練的。其中，AdaBoost算法的基本思想是將大量的分類能力一般的弱分類器通過(guò)一定方法疊加起來(lái)，構(gòu)成一個(gè)分類能力較強(qiáng)的強(qiáng)分類器[23]。本研究中牛臉檢測(cè)器的訓(xùn)練參數(shù)如表1所示。

表1 牛臉檢測(cè)器訓(xùn)練參數(shù)Table 1 Training parameters of cattle face detector

牛臉檢測(cè)器加載表1中的訓(xùn)練參數(shù)之后，將進(jìn)入每一層的訓(xùn)練階段。在訓(xùn)練過(guò)程中，檢測(cè)器的檢測(cè)精確度越高，檢測(cè)器的層數(shù)越多。在實(shí)際的牛臉檢測(cè)中非牛臉圖像會(huì)在前端被排除掉，只有牛臉圖像才能通過(guò)各級(jí)強(qiáng)分類器的檢測(cè)。此外，由于非牛臉圖像會(huì)被級(jí)聯(lián)分類器的前幾層迅速排除掉，從而加快了AdaBoost算法的檢測(cè)速度。

為了測(cè)試牛臉檢測(cè)器的有效性，本研究使用800幅肉牛圖像進(jìn)行測(cè)試。本文針對(duì)牛臉的檢測(cè)采用檢測(cè)率（detection rate, DR）和誤檢率（false positive rate, FPR）作為評(píng)價(jià)準(zhǔn)則[24]，其中DR和FPR分別定義為

式（2）中M表示手工標(biāo)定的牛臉區(qū)域數(shù)，式（2）和式（3）中N+表示檢測(cè)算法正確檢測(cè)的牛臉區(qū)域數(shù)，錯(cuò)誤檢測(cè)的區(qū)域數(shù)為N?。相應(yīng)的可以得到檢測(cè)算法漏檢的牛臉數(shù)量為（M?N+）。圖5顯示了牛臉檢測(cè)器的檢測(cè)結(jié)果。牛臉檢測(cè)的性能測(cè)試中，手工標(biāo)定的牛臉個(gè)數(shù)為800個(gè)，其中，正確檢測(cè)牛臉數(shù)量為768個(gè)，錯(cuò)誤檢測(cè)的牛臉數(shù)量為25個(gè)，漏檢的牛臉個(gè)數(shù)為32個(gè)。因此，牛臉檢測(cè)的檢測(cè)率為96%，誤檢率為3.2%。從牛臉檢測(cè)器的檢測(cè)率可知，該牛臉檢測(cè)器滿足了復(fù)雜環(huán)境下牛臉位置檢測(cè)的需求。通過(guò)對(duì)牛臉檢測(cè)器準(zhǔn)確性的測(cè)試，可以將訓(xùn)練出的牛臉檢測(cè)器應(yīng)用到牛臉輪廓提取中。

圖5 牛臉檢測(cè)結(jié)果Fig.5 Result of cattle face detection

為了測(cè)試牛臉檢測(cè)器的準(zhǔn)確性，本研究使用800幅肉牛圖像進(jìn)行測(cè)試，單幅牛臉圖像的檢測(cè)率達(dá)96%，滿足了復(fù)雜環(huán)境下牛臉位置檢測(cè)的需求。通過(guò)對(duì)牛臉檢測(cè)器準(zhǔn)確性的測(cè)試，可以將訓(xùn)練出的牛臉檢測(cè)器應(yīng)用到牛臉輪廓提取中。

1.5 牛臉輪廓提取算法

借鑒人臉輪廓提取算法，本研究對(duì)比分析了3種常用人臉輪廓提取算法，即監(jiān)督式梯度下降算法、局部二值算法和主動(dòng)外觀模型算法，并分別介紹這3種算法在牛臉輪廓提取中的應(yīng)用。

1.5.1 監(jiān)督式梯度下降算法

監(jiān)督式梯度下降算法（supervised descent method, SDM）是一種有監(jiān)督的迭代算法，該算法在人臉輪廓提取中應(yīng)用廣泛[25]。SDM算法的主要思想是在訓(xùn)練期間不斷學(xué)習(xí)一系列梯度下降方向和偏移量。訓(xùn)練過(guò)程中，假定初始化的牛臉特征點(diǎn)是已知的，記作x?。SDM算法通過(guò)學(xué)習(xí)一系列梯度下降的方向和縮放的比例，生成迭代更新序列，即xk+1=xk+Δxk，xk為第k次迭代的特征向量，Δxk為第k次迭代形狀變化量。當(dāng)牛臉訓(xùn)練集的特征向量從xk收斂到x?時(shí)，該算法訓(xùn)練結(jié)束。

SDM算法在測(cè)試過(guò)程中使用訓(xùn)練出的梯度下降方法和偏移量進(jìn)行迭代學(xué)習(xí)，具體過(guò)程如圖6所示。

圖6 監(jiān)督式梯度下降算法的測(cè)試流程Fig.6 Testing process of supervised descent method algorithm

SDM算法在特征提取過(guò)程中采用了尺度不變的特征（scale invariant feature transform, SIFT）[26-27]，因此該算法對(duì)光照變化具有較強(qiáng)的魯棒性。由于牛臉圖像是在復(fù)雜場(chǎng)景下拍攝的，存在大量的局部遮擋和大角度變化問(wèn)題，使用SDM算法對(duì)牛臉輪廓進(jìn)行提取可能會(huì)出現(xiàn)在局部遮擋情況下檢測(cè)率較差的情況，為此引入高效率的局部二值算法。

1.5.2 局部二值算法

局部二值算法（local binary features, LBF）是基于局部二值特征進(jìn)行描述的，該算法的運(yùn)行效率高，能夠?qū)崿F(xiàn)臉部輪廓的實(shí)時(shí)提取[28]。LBF算法采用特征點(diǎn)周圍的局部二值特征，建立如下形式的迭代格式

式中St表示關(guān)鍵點(diǎn)相對(duì)于整張牛臉圖像的位置，Rt表示一個(gè)回歸器，I表示輸入牛臉圖像，t表示級(jí)聯(lián)的層數(shù)。式（4）中Rt根據(jù)輸入圖像和形狀的位置信息，預(yù)測(cè)一個(gè)形變量ΔSt，并將它加到當(dāng)前形狀上組成一個(gè)新的形狀。

LBF算法將隨機(jī)樹的輸出表示成一個(gè)二值特征，將所有隨機(jī)樹的二值特征按照先后順序連接起來(lái)組成一個(gè)高維特征向量，并將形變作為預(yù)測(cè)目標(biāo)，對(duì)特征向量進(jìn)行線性回歸，訓(xùn)練得到一個(gè)線性回歸器迭代過(guò)程，即

式中ΔS?t表示第i次迭代時(shí)第t層的形變目標(biāo)變量，Φt表

i示第t層的二值特征，Wt是第t層的線性回歸參數(shù)，λ是防止模型過(guò)擬合的抑制參數(shù)。

LBF算法采用多級(jí)級(jí)聯(lián)回歸方法，每一層上首先用隨機(jī)森林提取局部二值特征，然后利用局部二值特征做全局線性回歸，來(lái)預(yù)測(cè)形狀增量ΔS?it，最后根據(jù)預(yù)測(cè)結(jié)果，訓(xùn)練全局性回歸模型。由于LBF特征高度稀疏，因此使用雙坐標(biāo)下降方法來(lái)訓(xùn)練線性回歸模型。當(dāng)牛臉輪廓提取時(shí)，先用隨機(jī)森林求出它的LBF特征，然后使用線性回歸參數(shù)進(jìn)行回歸得出下一層的形狀，這樣不斷迭代，可得到最終的牛臉輪廓。

LBF算法的優(yōu)勢(shì)在于算法的實(shí)現(xiàn)速度較快，但是在牛臉檢測(cè)時(shí)收斂位置精度欠佳，為此下面引入高精度的主動(dòng)外觀模型算法。

1.5.3 主動(dòng)外觀模型算法

主動(dòng)外觀模型算法（fast active appearance model, FAAM）是基于形狀模型和紋理模型進(jìn)行建模的。該算法采用多分辨率進(jìn)行搜索，將形狀參數(shù)和紋理參數(shù)的信息建立關(guān)系，使算法具有較高的檢測(cè)精確度[29-30]。在牛臉輪廓的擬合階段，為了同時(shí)考慮形狀參數(shù)p和紋理擬合參數(shù)c，建立如下的擬合模型

式中W(x;p)是分段仿射變化函數(shù)，x是牛臉特征點(diǎn)向量，p為形狀參數(shù)，A0是平均外觀向量，I是牛臉檢測(cè)圖像，A為m個(gè)特征值組成的外觀向量，用于描述牛臉輪廓的主要形狀，m是采用主成分分析算法獲取的表示牛臉主要形狀的特征值個(gè)數(shù)，c為紋理參數(shù)。根據(jù)交替優(yōu)化思想，可將式（6）改寫為

式（7）是FAAM算法的優(yōu)化模型，分別采用同時(shí)反向合成算法（simultaneous inverse compositional，SIC）算法和快速前向算法進(jìn)行求解[31]。其中，SIC優(yōu)化算法的核心思想是對(duì)A0+A? c進(jìn)行泰勒展開，在算法迭代過(guò)程中同時(shí)考慮形狀參數(shù)p和紋理擬合參數(shù)c的影響，并將形狀參數(shù)p初始化為0，形狀參數(shù)變化量Δc和紋理參數(shù)變化量Δp求偏導(dǎo)數(shù)，并令偏導(dǎo)數(shù)為0，可獲得迭代計(jì)算公式。

快速前向算法則是使用標(biāo)準(zhǔn)的Lukas-Kanade算法線性化輸入牛臉圖像[32]，其迭代公式為

式中JI是牛臉檢測(cè)圖像I的雅克比矩陣，c為紋理參數(shù)，Δp為形狀參數(shù)變化量。式（8）在每次迭代計(jì)算形狀參數(shù)變化量Δp 時(shí)不需要優(yōu)化紋理參數(shù)c，因此極大的降低了算法的計(jì)算復(fù)雜度，此時(shí)FAAM算法的時(shí)間復(fù)雜度由原來(lái)的O((n+m)2?N) 降低為O(m?N)，其中，m和n在FAAM模型中分別表示紋理參數(shù)的數(shù)量和形狀參數(shù)的數(shù)量，m>>n，N表示牛臉圖像中像素?cái)?shù)量。

2 試驗(yàn)結(jié)果與分析

2.1 牛臉輪廓檢測(cè)效率分析

試驗(yàn)數(shù)據(jù)集為人工標(biāo)記的800幅牛臉數(shù)據(jù)集，每幅牛臉標(biāo)記29個(gè)特征點(diǎn)。為驗(yàn)證輪廓提取算法的時(shí)間效率，本研究采用十折交叉驗(yàn)證的方法對(duì)算法進(jìn)行測(cè)試[33]。

為了對(duì)輪廓提取算法的時(shí)間效率進(jìn)行定量分析，本文使用牛臉輪廓提取的時(shí)間均值和標(biāo)準(zhǔn)差比較3種輪廓提取算法的時(shí)間性能。訓(xùn)練階段的時(shí)間效率比較，SDM、LBF和FAAM 3種算法的訓(xùn)練時(shí)間分別為(789.23±116.46)、(694.30±83.57)和(1 104.22±53.25) s。測(cè)試階段的時(shí)間效率對(duì)比，SDM、LBF和FAAM3種算法對(duì)每幅牛臉的檢測(cè)時(shí)間分別為(1.75±0.65)、(0.35±0.17)和(60.62±21.47) s。這是由于LBF使用隨機(jī)森林提取局部二值特征，采用多級(jí)聯(lián)回歸的方法，極大的減少了算法的復(fù)雜度，因此算法的時(shí)間效率較好。由于本研究中訓(xùn)練的牛臉圖像分辨率較大，而FAAM使用多分辨率搜索，因此在特征點(diǎn)搜索階段的耗時(shí)較長(zhǎng)，導(dǎo)致算法的時(shí)間效率較差。

2.2 牛臉輪廓檢測(cè)精度分析

為了進(jìn)一步驗(yàn)證輪廓提取算法的準(zhǔn)確性，本文采用左右眼角坐標(biāo)歸一化后點(diǎn)對(duì)點(diǎn)的歐式距離度量誤差[34]，對(duì)3種輪廓提取算法進(jìn)行評(píng)估。

本研究對(duì)80幅牛臉正面圖像進(jìn)行測(cè)試，計(jì)算出每幅牛臉圖像檢測(cè)得到的牛臉特征點(diǎn)與手工標(biāo)記的特征點(diǎn)之間的誤差。SDM、LBF和FAAM的左右眼角歸一化后點(diǎn)對(duì)點(diǎn)的歐式距離度量平均誤差分別為0.018 8，0.024 5，0.018 4像素。

為了直觀的對(duì)比3種輪廓提取算法的準(zhǔn)確性，本文采用盒圖進(jìn)行試驗(yàn)誤差的繪制。圖7顯示了左右眼角坐標(biāo)歸一化后點(diǎn)對(duì)點(diǎn)的歐式距離度量誤差評(píng)估方法計(jì)算得到的均值、最大值、最小值誤差。

圖7 3種輪廓提取算法的誤差對(duì)比Fig.7 Error comparison of three contour extraction algorithms

從圖7的檢測(cè)精度對(duì)比圖中可以看出，SDM的誤差值較集中，LBF和FAAM的誤差值較分散，表明了SDM算法的穩(wěn)定性較高，而FAAM算法的誤差最大值和最小值較其他2種算法小，表明了FAAM的算法準(zhǔn)確率最高。

為了對(duì)牛臉輪廓提取效果進(jìn)行直觀的分析，圖8顯示了3種輪廓算法在牛臉大角度變化及舌頭局部遮擋的情況下輪廓提取效果圖，圖9顯示了非均勻光照下的牛臉輪廓提取結(jié)果。從圖8中可以看出在牛臉大角度變化及局部遮擋的情況下，LBF算法在嘴巴和眼睛輪廓的特征點(diǎn)檢測(cè)效果欠佳，SDM算法在舌頭遮擋附近的特征點(diǎn)的檢測(cè)效果較差，而FAAM算法的檢測(cè)效果較其他2種算法好。從圖9中的檢測(cè)結(jié)果中可以看出，SDM和LBF算法在眼睛位置的特征點(diǎn)檢測(cè)效果欠佳，F(xiàn)AAM算法的檢測(cè)效果較好。

FAAM算法采用多分辨率搜索，提高了算法的準(zhǔn)確性。LBF算法使用特征點(diǎn)的局部二值特征進(jìn)行特征提取，該算法對(duì)處理圖像的背景較為敏感，由于牛臉的背景較為復(fù)雜，因此該算法的準(zhǔn)確率較低。綜上所述，F(xiàn)AAM算法在肉牛的真實(shí)養(yǎng)殖環(huán)境下牛臉輪廓提取中魯棒性較高，特別是在牛臉局部有遮擋的情況下算法的準(zhǔn)確率較高，LBF算法的輪廓提取準(zhǔn)確率最低，SDM算法準(zhǔn)確率介于2者之間。

圖8 局部遮擋的牛臉輪廓提取結(jié)果Fig.8 Results of cattle face contour extraction under partial occlusion

圖9 非均勻光照下牛臉輪廓提取結(jié)果Fig.9 Results of cattle face contour extraction under non-uniform illumination

由于本文的牛臉試驗(yàn)集是在復(fù)雜的場(chǎng)景下拍攝的，牛臉圖像可能受到局部遮擋、非均勻光照以及大角度偏移等噪聲干擾。圖10a是大角度變化和舌頭遮擋影響下的牛臉圖像，從檢測(cè)結(jié)果中可以看出眼睛輪廓和臉頰輪廓的檢測(cè)結(jié)果欠佳。圖10b是牛臉左側(cè)大角度偏移圖，從檢測(cè)的結(jié)果中可以看出臉頰輪廓和嘴巴輪廓檢測(cè)效果欠佳。圖10c是牛臉大角度偏移俯視圖，最終的檢測(cè)結(jié)果顯示臉頰輪廓的欠佳。因此在以后的研究中為了提高復(fù)雜環(huán)境下牛臉輪廓提取準(zhǔn)確率，可引入形變參數(shù)對(duì)此進(jìn)行改善。

圖10 輪廓提取精度欠佳的牛臉Fig.10 Cattle face with poor precision of contour extraction

3 結(jié) 論

1）定義了分離式牛臉輪廓模型，牛臉與人臉相比頰側(cè)較長(zhǎng)，拍攝時(shí)易受到不同角度的影響，因此將牛臉分為上下2部分進(jìn)行輪廓模型定義，有效抑制了角度變化造成的誤差。

2）基于AdaBoost檢測(cè)器訓(xùn)練出的牛臉檢測(cè)器在800幅牛臉圖像中準(zhǔn)確率達(dá)96%，滿足了復(fù)雜環(huán)境下牛臉位置檢測(cè)的需求。

3）對(duì)20頭肉牛共800幅牛臉正面圖的輪廓提取結(jié)果表明，F(xiàn)AAM輪廓提取的精度最高，其輪廓提取誤差為0.018 8像素，適于應(yīng)用在輪廓提取精度要求較高的場(chǎng)合，而局部二值算法的運(yùn)行效率最高，在分辨率為744像素（水平）×852像素（垂直）的牛臉圖像中輪廓提取時(shí)間為0.35 s，從而驗(yàn)證了牛臉輪廓提取算法的有效性和可行性。

基于計(jì)算機(jī)視覺的牛臉輪廓提取方法具有耗時(shí)短，魯棒性高的優(yōu)點(diǎn)。當(dāng)前主要存在問(wèn)題是實(shí)時(shí)性欠佳，今后的研究中可以使用GPU，F(xiàn)PGA等硬件加速平臺(tái)來(lái)提高算法的實(shí)時(shí)性，進(jìn)一步提高牛臉輪廓提取的實(shí)用性。

[1] 陳長(zhǎng)喜，張宏福，王兆毅，等. 畜禽健康養(yǎng)殖預(yù)警體系研究與應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(11)：215－220. Chen Changxi, Zhang Hongfu, Wang Zhaoyi, et al. Study and application of early warning architecture of animal health culture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 215－220. (in Chinese with English abstract)

[2] 趙凱旋，何東健，王恩澤. 基于視頻分析的奶牛呼吸頻率與異常檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(10)：258－263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 258－263. (in Chinese with English abstract)

[3] 何東健，劉冬，趙凱旋. 精準(zhǔn)畜牧業(yè)中動(dòng)物信息智能感知與行為檢測(cè)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(5)：231－244. He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231－244. (in Chinese with English abstract)

[4] 何東健，張海亮，寧紀(jì)鋒，等. 農(nóng)業(yè)自動(dòng)化領(lǐng)域中計(jì)算機(jī)視覺技術(shù)的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2002，18(2)：171－175. He Dongjian, Zhang Hailiang, Ning Jifeng, et al. Application of computer vision technique to automatic production in agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(2):171－175. (in Chinese with English abstract)

[5] 李志剛，賈策，王曉聞，等. 牛肉質(zhì)構(gòu)特性的近紅外光譜無(wú)損檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(16)：286－292. Li Zhigang, Jia Ce, Wang Xiaowen, et al. Nondestructive determination of beef textural properties by near infrared spectroscopy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(16): 286－292. (in Chinese with English abstract)

[6] 趙凱旋，何東健. 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：181－187. Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract)

[7] 何東健，孟凡昌，趙凱旋，等. 基于視頻分析的犢?；拘袨樽R(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(9)：294－300. He Dongjian, Meng Fanchang, Zhao Kaixaun, et al. Recongnition of calf basic behaviors based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 294－300. (in Chinese with English abstract)

[8] 劉冬，趙凱旋，何東健，等. 基于混合高斯模型的移動(dòng)奶牛目標(biāo)實(shí)時(shí)檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(5)：288－294. Liu Dong, Zhao Kaixuan, He Dongjian, et al. Real-time target detection for moving cows based on gaussian mixture model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 288－294. (in Chinese with English abstract)

[9] 趙凱旋，李國(guó)強(qiáng)，何東健. 基于機(jī)器學(xué)習(xí)的奶牛深度圖像身體區(qū)域精細(xì)分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(4)：173－179. Zhao Kaixuan, Li Guoqiang, He Dongjian. Fine segment method of cows’body parts in depth images based on Machine learning[J].Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 173－179. (in Chinese with English abstract)

[10] Yajuvendra S, Lathwal S S, Rajput N, et al. Effective and accurate discrimination of individual dairy cattle through acoustic sensing[J]. Applied Animal Behaviour Science, 2013, 146(1/2/34): 11－18.

[11] Xia M, Cai C. Cattle face recognition using sparse representation classifier[J]. ICIC Express Letters, Part B: Applications, 2012, 3(6): 1499－1505.

[12] Cai C, Li J. Cattle face recognition using local binary pattern descriptor[C]//Signal and Information Processing Association Summit and Conference, Taiwan, 2013: 1－4.

[13] 山世光，高文，陳熙霖. 基于紋理分布和變形模板的面部特征提取[J]. 軟件學(xué)報(bào)，2001，4(4)：570－577. Shan Shiguang, Gao Wen, Chen Xilin. Facial feature extraction based on facial texture distrbution and deformabale template[J]. Journal of Software, 2001, 4(4): 570－577. (in Chinese with English abstract)

[14] Cao X, Wei Y, Wen F, et al, Face alignment by explicit shape regression[J]. International Journal of Computer Vision, 2012, 107(2): 2887－2894.

[15] Yan S, Liu C, Li S Z, et al. Face alignment using texture-constrained active shape models[J]. Image and Vision Computing, 2003, 21(1): 69－75.

[16] Wu S, Kan M, He Z, et al. Funnel-structured cascade for multi-view face detection with alignment-awareness[J]. Neurocomputing, 2016, 221: 138－145.

[17] 黃福珍，蘇劍波. 基于Level Set方法的人臉輪廓提取與跟蹤[J]. 計(jì)算機(jī)學(xué)報(bào)，2003，26(4)：491－496. Huang Fuzhen, Su Jianbo. Face contour extraction and tracking using level sets[J]. Computer Journal of Computers, 2003, 26(4): 491－496. (in Chinese with English abstract)

[18] 侯云舒，付中華，張艷寧，等. 基于改進(jìn)ASM的人臉特征點(diǎn)提取[J]. 計(jì)算機(jī)應(yīng)用研究，2006，23(11)：255－257. Hou Yunshu, Fu Zhonghua, Zhang Yanning, et al. Face feature points extraction based on refined ASM[J]. Application Research of Computers, 2006, 23(11): 255－257. (in Chinese with English abstract)

[19] 張志剛，周明全，耿國(guó)華. 人臉關(guān)鍵特征點(diǎn)自動(dòng)標(biāo)定研究[J].計(jì)算機(jī)工程與應(yīng)用，2007，43(21)：197－198. Zhang Zhigang, Zhou Mingquan, Geng Guohua．Research on automatic localization of facial key features[J]. Computer Engineering and Applications, 2007, 43(21): 197－198. (in Chinese with English abstract)

[20] Slice D E. Landmark coordinates aligned by procrustes analysis do not lie in kendall's shape space[J]. Systematic Biology, 2001, 50(1): 141－149.

[21] 熊盛武，宗欣露，朱國(guó)鋒. 改進(jìn)的基于AdaBoost算法的人臉檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用研究，2007，24(11)：298－300. Xiong Shenwu, Zong Xinlu, Zhu Guofeng. Improved face detection method based on adaboost algorithm[J]. Application Research of Computers, 2007, 24(11): 298－300. (in Chinese with English abstract)

[22] Jones M, Viola P. Fast multi-view face detection[C]//Proc of Computer Vision and Pattern Recognition, Madison, 2003: 276－286.

[23] 魏冬生，李林青. Adaboost人臉檢測(cè)方法的改進(jìn)[J]. 計(jì)算機(jī)應(yīng)用，2006，26(3)：619－621. Wei Dongsheng, Li Linqing. Improvement of adaboost face detection[J]. Computer Applications, 2006, 26(3): 619－621. (in Chinese with English abstract)

[24] Hosang J, Benenson R, Dollar P, et al. What makes for effective detection proposals[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(4): 814－830.

[25] Xiong X, Fernando D L T. Supervised descent method and its applications to face alignment[C]//IEEE Conference on Computer Vision and Pattern Recognition, Portland, 2013: 532－539.

[26] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington, 2004: 506－513.

[27] Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: A new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131－138.

[28] Ren S, Cao X, Wei Y, et al. Face alignment at 3000 FPS via regressing local binary features[J]. IEEE Transactions on Image Processing, 2014, 25(3): 1685－1692.

[29] 時(shí)華良，李維國(guó). 基于局部與全局?jǐn)M合的活動(dòng)輪廓模型[J].計(jì)算機(jī)工程，2012，38(18)：203－206. Shi Hualiang, Li Weiguo. Active contour model based on local and global fitting[J]. Computer Engineering, 2012, 38(18): 203－206. (in Chinese with English abstract)

[30] Cootes T F, Edwards G J, Taylor C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 681－685.

[31] Tzimiropoulos G, Pantic M. Optimization problems for fast AAM ftting in-the-wild[C]//IEEE International Conference on Computer Vision, Sydney, 2013: 593－600.

[32] Hoog A C B, Singh T, Singla P, et al. Evaluation of advanced lukas-kanade optical flow on thoracic 4D-CT[J]. Journal of Clinical Monitoring and Computing, 2013, 27(4): 433－441.

[33] 郭立力，趙春江. 十折交叉檢驗(yàn)的支持向量機(jī)參數(shù)優(yōu)化算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2009，48(8)：55－57. Guo Lili, Zhao Chunjiang. Optimizing parameters of support vector machine’s model based on genetic algorithm[J]. Computer Engineering and Application, 2009, 48(8): 55－57. (in Chinese with English abstract)

[34] Ramanan D, Zhu X. Face detection, pose estimation, and landmark localization in the wild[C]//IEEE Conference on Computer Vision and Pattern Recognition, Providence, 2012: 2879－2886.

Algorithm and realization for cattle face contour extraction based on computer vision

Cai Cheng, Song Xiaoxiao, He Jinrong
(College of Engineering Information Engineering, Northwest A&F University, Yangling 712100, China)

Since cattle facial information is very rich, ranging from skin color, chewing conditions to health status, it is of great importance for cattle disease monitoring. This paper proposed a scheme on cattle facial automatic extraction to cope with the problems caused by different camera angles, varied illumination and partial occlusion. Three classical human facial contour extraction algorithms were employed in the study: Supervised descent method (SDM), local binary features (LBF) and fast active appearance model (FAAM). For contour extraction performance evaluation, 800 cattle facial images were collected from a cattle farm at Northwest A&F University. For each cattle face, 29 facial feature points were manually labeled. In order to cope with cattle face scale and rotation, all the labeled facial feature points were aligned to a normalized model. Compared with human face, cattle face height-width ratio was much larger. Based on the characteristics of cattle face, this study used the AdaBoost detector to train cattle face detector. Because cattle face was rather long, we cut the image to the size of 15×25 pixels. And the background was a negative sample with the same size. The detection rate of the cattle face detector for 800 cattle face images was 96%. Considering the characteristics of cattle face, we improved the algorithms and optimized our parameters. Also because of the long face, a split model was used to initialize the cattle face model. The first part included an eye contour with cheeks on both sides, and the second part included the nose and mouth contour. The results showed that the accuracy of the contour extraction was improved significantly. We then analyzed and compared the time efficiency and the accuracy of the 3 algorithms. Finally, the performance of each method was evaluated by the Euclidean errors normalized by the left and right corners of the eyes and their corresponding computational time costs. The average computational costs of the 3 contour information extraction methods were 1.75, 0.35, and 60.62 s respectively. The average pairwise Euclidean errors normalized by the left and right corners of the eyes were 0.018 8, 0.024 5, and 0.018 4 pixel. The experiment verified the feasibility and practicability of the facial contour extraction methods. Results showed that the FAAM algorithm achieved the highest accuracy with the minimal alignment errors while the LBF algorithm was the most efficient. Therefore, in the process of facial contour extraction, we can choose proper algorithm in varied situation which requires different accuracy and efficiency. The contour extraction algorithm can effectively extract cattle facial contour information, which provides a theoretical basis for the further analysis of cattle facial expressions. As this is the first time that the contour extraction algorithm is applied to cattle face analysis, the present study serves as a good guide for other researches, which provides feasible data for computer vision based cattle disease analysis and a comprehensive guideline on cattle facial analysis under different circumstances in intelligent farm.

computer vision; algorithms; models; cattle face; contour extraction; feature point calibration; image feature

10.11975/j.issn.1002-6819.2017.11.022

TP391.41

A

1002-6819(2017)-11-0171-07

蔡 騁，宋肖肖，何進(jìn)榮. 基于計(jì)算機(jī)視覺的牛臉輪廓提取算法及實(shí)現(xiàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(11)：171－177.

10.11975/j.issn.1002-6819.2017.11.022 http://www.tcsae.org

Cai Cheng, Song Xiaoxiao, He Jinrong. Algorithm and realization for cattle face contour extraction based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 171－177. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.11.022 http://www.tcsae.org

2017-01-07

2017-05-10

國(guó)家自然科學(xué)基金（61473235）?大型動(dòng)物行為模型與高級(jí)行為智能視頻感知新方法研究

蔡 騁，男，山東濰坊人，教授，博士，研究方向?yàn)闄C(jī)器學(xué)習(xí)與模式識(shí)別。楊凌 西北農(nóng)林科技大學(xué)信息工程學(xué)院，712100。

Email：chengcai@nwsuaf.edu.cn