達(dá)措 趙啟軍 高定國 索南尖措 尼瑪扎西
摘要:為推動(dòng)精準(zhǔn)畜牧業(yè)的發(fā)展及探討長時(shí)間跨度下的動(dòng)物個(gè)體識(shí)別,構(gòu)建間隔6個(gè)月和12個(gè)月的同一批牦牛個(gè)體圖像數(shù)據(jù)集。試驗(yàn)采用引入注意力機(jī)制的PCB+SE-ResNet50識(shí)別模型,實(shí)現(xiàn)短時(shí)和長時(shí)牦牛個(gè)體識(shí)別,從而分析影響長時(shí)牦牛個(gè)體識(shí)別的因素,并在該長時(shí)數(shù)據(jù)集上與ViT和PGCFL模型識(shí)別結(jié)果進(jìn)行比較。結(jié)果表明:該模型在間隔6個(gè)月和12個(gè)月的數(shù)據(jù)集上識(shí)別平均精度均值達(dá)到60.37%、41.56%。相較于ViT,分別提高1.64%、5.82%;相較于PGCFL,分別提高12.40%、11.22%。該研究可為長時(shí)牦牛個(gè)體識(shí)別、養(yǎng)殖信息化及牲畜精準(zhǔn)管理等提供理論依據(jù)和方法指導(dǎo)。
關(guān)鍵詞:精準(zhǔn)畜牧業(yè);牦牛;個(gè)體識(shí)別;注意力機(jī)制;動(dòng)物生物特征
中圖分類號(hào): TP391.4
文獻(xiàn)標(biāo)識(shí)碼:A
Research on long-term yak individual recognition based on attention networks
Abstract:
In order to promote the development of precision animal husbandry and discuss the long-term span of animal individual recognition, in this paper, the same batch of yak individual image datasets with an interval of 6 months and 12 months are constructed. In the experiment, the PCB+SE-ResNet50 recognition model with attention mechanism was used to realize short-term and long-term yak individual recognition, so as to analyze the factors affecting long-term yak individual recognition. The recognition results of this long-term dataset were compared with those of ViT and PGCFL models. The results showed that the mean average precision of the model reached 60.37% and 41.56% on the data set with an interval of 6 months and 12 months. Compared with ViT, it was 1.64% and 5.82% higher, respectively, and compared with PGCFL, it was 12.40% and 11.22% higher, respectively. This study can provide theoretical basis and method guidance for long-term yak individual identification, breeding information and precision management of livestock.
Keywords:
precision animal husbandry; yak; individual identification; attention mechanism; animal biometrics
0 引言
牦牛作為高原地區(qū)的重要牲畜,在鞏固牧民脫貧致富成果和推動(dòng)鄉(xiāng)村振興中發(fā)揮著不可或缺的作用。然而傳統(tǒng)的牦牛養(yǎng)殖模式存在一些問題,如養(yǎng)殖效率低下和管理不精確等。為了解決這些問題,借助深度學(xué)習(xí)技術(shù)對(duì)同一頭牦牛進(jìn)行個(gè)體識(shí)別,通過分析其行為、疾病和運(yùn)動(dòng)軌跡,可以有效提高養(yǎng)殖效率,這是一項(xiàng)具有重要意義的科研工作。隨著牦牛年齡的增長,其自身特征也會(huì)發(fā)生變化,如長角、毛發(fā)變化等,這使得長時(shí)間內(nèi)的牦牛個(gè)體識(shí)別變得極具挑戰(zhàn)性。
傳統(tǒng)的牲畜個(gè)體識(shí)別方法主要有基于人為標(biāo)記或附著人工標(biāo)記物區(qū)分不同個(gè)體,如環(huán)標(biāo)法、刺紋法、烙印法、染料標(biāo)記法、微電子芯片掩埋法[1]和射頻識(shí)別(Radio Frequency Identification,RFID)[2]標(biāo)簽等。其中,基于微電子芯片或射頻標(biāo)簽的方法識(shí)別準(zhǔn)確率高,但這種侵入式的識(shí)別方案需要在動(dòng)物的耳朵上穿孔來佩戴無線射頻識(shí)別標(biāo)簽或者在動(dòng)物體內(nèi)植入芯片,容易引起動(dòng)物的不適,造成咬標(biāo)、掉標(biāo)的情況發(fā)生。為了解決這種問題,一些研究人員試圖用基于圖像的生物特征識(shí)別方法實(shí)現(xiàn)動(dòng)物個(gè)體識(shí)別,例如根據(jù)奶牛的尾椎部圖像識(shí)別奶牛個(gè)體[3]、使用豬的俯拍圖像對(duì)豬進(jìn)行個(gè)體識(shí)別[4]、根據(jù)東北虎身體上的花紋圖像識(shí)別其個(gè)體[5]、構(gòu)建母豬和仔豬個(gè)體圖像數(shù)據(jù)集并使用YOLOv3方法實(shí)現(xiàn)高效的豬只個(gè)體識(shí)別[6]以及根據(jù)動(dòng)物的臉部[78]、行為[9]等特征進(jìn)行動(dòng)物個(gè)體識(shí)別。還有一些研究人員嘗試將基于圖像的重識(shí)別(re-ID)方法應(yīng)用于動(dòng)物飼養(yǎng)[1011]和野生動(dòng)物保護(hù)[1214]。隨著科學(xué)技術(shù)的發(fā)展,計(jì)算機(jī)視覺技術(shù)應(yīng)用到諸多行業(yè)中[1516],盡管以上研究證明了基于圖像的生物特征識(shí)別方法在智慧畜牧養(yǎng)殖領(lǐng)域的巨大前景,但是現(xiàn)有的研究尚未深入分析隨著時(shí)間變化,動(dòng)物個(gè)體識(shí)別模型的準(zhǔn)確率變化情況。本文以同一頭牦牛個(gè)體識(shí)別為研究對(duì)象,首次分析時(shí)間跨度對(duì)動(dòng)物個(gè)體識(shí)別的影響。
本文構(gòu)建間隔6個(gè)月和間隔12個(gè)月的同一批牦牛個(gè)體圖像數(shù)據(jù)集,并且使用最新的識(shí)別方法在該數(shù)據(jù)集上進(jìn)行同時(shí)間段和不同時(shí)間段的牦牛個(gè)體識(shí)別對(duì)比試驗(yàn),據(jù)此分析時(shí)間跨度對(duì)牦牛個(gè)體識(shí)別效果的影響,為長時(shí)牦牛個(gè)體識(shí)別(即跨越較長時(shí)間間隔的牦牛個(gè)體識(shí)別)研究及其在實(shí)際場(chǎng)景中的應(yīng)用提供有益參考。
1 數(shù)據(jù)集
本文的數(shù)據(jù)集包含兩部分。第一部分是間隔12個(gè)月的數(shù)據(jù)集,分別是2019年(其中所有的牦牛個(gè)體在同一個(gè)月內(nèi)采集)和2020年(經(jīng)過一年后進(jìn)行采集,在時(shí)間跨度下牦牛的體形和花紋以及牦牛的角等發(fā)生變化)采集的牦牛圖像數(shù)據(jù)。2019年數(shù)據(jù)集中有55頭牦牛個(gè)體共1282張圖像,2020年數(shù)據(jù)集中有同樣的55頭牦牛個(gè)體共1533張圖像。這部分?jǐn)?shù)據(jù)來源于前期工作[17]中采集的牦牛圖像數(shù)據(jù)集如圖1所示,2019年的數(shù)據(jù)相比2020年的數(shù)據(jù),圖像背景更加復(fù)雜,清晰度也較低。第二部分是間隔6個(gè)月的牦牛圖像數(shù)據(jù)集,采集于2021年夏季和冬季(經(jīng)過6個(gè)月后進(jìn)行采集,在時(shí)間跨度為6個(gè)月后,牦牛的體形和皮毛會(huì)發(fā)生一定的變化)。夏季數(shù)據(jù)集中有33頭牦牛個(gè)體共1155張圖像,冬季數(shù)據(jù)集中有同樣的33頭牦牛個(gè)體的848張圖像。
1.1 數(shù)據(jù)預(yù)處理
原始圖像中的牦牛先經(jīng)過自動(dòng)檢測(cè)和定位,然后其中的牦牛區(qū)域被裁剪出來。如果一幅圖像中有多只牦牛,則僅取其中面積最大的那一只,如圖2所示。為了使模型更好地符合實(shí)際養(yǎng)殖環(huán)境的要求,本文使用水平翻轉(zhuǎn)、隨機(jī)遮擋和添加高斯噪聲等數(shù)據(jù)增強(qiáng)方法。
1.2 數(shù)據(jù)集劃分
兩部分?jǐn)?shù)據(jù)集分別劃分為訓(xùn)練集(train)、注冊(cè)集(gallery)和探測(cè)集(query)。在間隔12個(gè)月數(shù)據(jù)集上的具體劃分情況如表1所示。其中注冊(cè)集和探測(cè)集中的是同一批牦牛個(gè)體,且不同于訓(xùn)練集中的個(gè)體。間隔6個(gè)月的牦牛圖像數(shù)據(jù)集為冬季和夏季。此數(shù)據(jù)集的具體劃分情況如表2所示。同樣地,注冊(cè)集和探測(cè)集中的是同一批牦牛個(gè)體,且不同于訓(xùn)練集中的個(gè)體。
2 PCB+SE-ResNet50方法
為了更有效地驗(yàn)證和分析出長時(shí)間跨度對(duì)牦牛個(gè)體識(shí)別的影響,使用了在短時(shí)牦牛個(gè)體識(shí)別上能夠達(dá)到較高水平的PCB+ResNet50作為基線方法。
在重識(shí)別任務(wù)中局部特征具有更好的搜索效果和關(guān)注圖像中細(xì)粒度特征的能力, 基于部分的卷積基線(Part-based Convolutional Baseline,PCB[18]),提出了簡單的圖片水平均等切片方法,利用分區(qū)策略學(xué)習(xí)區(qū)域級(jí)別的特征,提取圖像中的細(xì)粒度特征來實(shí)現(xiàn)行人重識(shí)別。本文結(jié)合牦牛的特點(diǎn)對(duì)此方法進(jìn)行改進(jìn),實(shí)現(xiàn)長時(shí)牦牛個(gè)體識(shí)別的目的。
PCB+ResNet50[19]方法中使用ResNet50作為骨架網(wǎng)絡(luò)提取牦牛特征,然后計(jì)算特征相似度從而得到識(shí)別結(jié)果,如圖3所示。受近年來注意力機(jī)制在視覺識(shí)別任務(wù)中的優(yōu)異表現(xiàn)的啟發(fā),將具備注意力機(jī)制的SE-ResNet50[20]作為骨架網(wǎng)絡(luò)。
詳細(xì)過程如下:首先,將牦牛圖像輸入SE-ResNet50中提取特征圖(用張量T表示);然后,根據(jù)牦牛身體呈水平方向的特點(diǎn),模型將張量T劃分為p個(gè)垂直條(區(qū)別于行人重識(shí)別中的水平條),并將每個(gè)垂直條紋平均池化為單個(gè)區(qū)域級(jí)列向量gi(i=1,2,…,p),空間大小1×1×2 048。隨后,該列向量g通過1×1卷積層,批量歸一化(BN)層和ReLU激活層得到降維后的特征向量,成為256維度的列向量h;最后,每個(gè)降維后的列向量h單獨(dú)經(jīng)過一個(gè)全連接層后,都會(huì)分別輸入到分類器中,即用p個(gè)n(訓(xùn)練集ID數(shù)目)分類的SoftMax作為分類器進(jìn)行訓(xùn)練;在網(wǎng)絡(luò)訓(xùn)練階段時(shí),通過最小化交叉熵?fù)p失函數(shù)的和來進(jìn)行優(yōu)化網(wǎng)絡(luò)的訓(xùn)練;在測(cè)試階段時(shí),分別串聯(lián)向量g和h作為牦牛圖像的特征表示。使用訓(xùn)練得到的模型對(duì)gallery和query中牦牛圖像提取特征,根據(jù)余弦相似度計(jì)算兩者之間的相似度,并將gallery中所有圖像按照與query圖像的相似度從大到小排序,排序結(jié)果即為牦牛個(gè)體識(shí)別結(jié)果,而query圖像中的牦牛被識(shí)別為與其相似度最高的gallery圖像中的那只牦牛個(gè)體。
3 試驗(yàn)結(jié)果
本文使用PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)PCB+ResNet50和PCB+SE-ResNet50模型,在配備了NVIDIA GTX-1080Ti GPU的計(jì)算機(jī)上分別訓(xùn)練這兩個(gè)模型。優(yōu)化器采用隨機(jī)梯度下降(Stochastic Gradient Descent,SGD) 優(yōu)化器,動(dòng)量系數(shù)設(shè)置為0.9,學(xué)習(xí)率設(shè)置為0.005,dropout設(shè)置為0.5,使用交叉熵?fù)p失函數(shù)(Cross Entropy)進(jìn)行30輪迭代(epochs)訓(xùn)練。
3.1 間隔12個(gè)月數(shù)據(jù)集上的試驗(yàn)結(jié)果
在間隔12個(gè)月的數(shù)據(jù)集上進(jìn)行兩種試驗(yàn),對(duì)比分析模型在同時(shí)間段和不同時(shí)間段上的識(shí)別效果。
3.1.1 不同訓(xùn)練集的結(jié)果
將兩個(gè)不同年份的訓(xùn)練集分為單年份訓(xùn)練集(2019train、2020train)和多年份訓(xùn)練集(2019train+2020train),并使用PCB+ResNet50進(jìn)行了同時(shí)間段和跨時(shí)間段的識(shí)別效果對(duì)比試驗(yàn)。
試驗(yàn)中使用了兩種評(píng)價(jià)指標(biāo):mAP和Rank-k。其中mAP是平均精度均值(mean Average Precision)的縮寫,它是將多分類任務(wù)中的平均精度求和再取平均,反映了檢索的牦牛對(duì)象在注冊(cè)集中所有正確的圖片排在排列表前面的程度,能夠更加全面地衡量牦牛個(gè)體識(shí)別模型的性能。Rank-k是算法返回的排序列表中,前k位為存在檢索目標(biāo)則稱為Rank-k命中,本文試驗(yàn)中只列出其中的Rank-1和Rank-5的指標(biāo)。在該數(shù)據(jù)集上試驗(yàn)評(píng)價(jià)指標(biāo)如表3所示。
由此試驗(yàn)可以看出,當(dāng)只用單年份訓(xùn)練集時(shí),由于模型學(xué)習(xí)的只有同時(shí)間段的牦牛圖像數(shù)據(jù),因此模型在時(shí)間跨度大的牦牛數(shù)據(jù)集上識(shí)別準(zhǔn)確率很低。為了促進(jìn)模型學(xué)習(xí)更加魯棒的牦牛特征,本文豐富了訓(xùn)練數(shù)據(jù)集,進(jìn)一步驗(yàn)證模型在時(shí)間跨度下對(duì)牦牛特征的學(xué)習(xí)能力。
使用合并了兩個(gè)年份數(shù)據(jù)的訓(xùn)練集即多年份訓(xùn)練集(2019train+2020train)進(jìn)行長時(shí)牦牛個(gè)體識(shí)別的對(duì)比試驗(yàn)。在2019年gallery數(shù)據(jù)集上,同時(shí)間段的query數(shù)據(jù)的mAP為54.85%,間隔12個(gè)月的query數(shù)據(jù)上的mAP提高了6.40%。在2020年gallery數(shù)據(jù)集上,同時(shí)間段的query數(shù)據(jù)上的mAP提高了17.84%,間隔12個(gè)月的query數(shù)據(jù)上的mAP提高了18.04%。詳細(xì)指標(biāo)如表4所示。
以上試驗(yàn)結(jié)果表明,模型具有較好的提取和學(xué)習(xí)到牦牛的特征能力,因而當(dāng)使用混合數(shù)據(jù)進(jìn)行訓(xùn)練時(shí),在長時(shí)牦牛圖像數(shù)據(jù)集上的識(shí)別準(zhǔn)確率均有提升。但是,相比較而言,短時(shí)牦牛圖像的識(shí)別準(zhǔn)確率仍顯著高于長時(shí)牦牛圖像的識(shí)別準(zhǔn)確率,這說明長時(shí)牦牛個(gè)體識(shí)別還需要從模型設(shè)計(jì)角度做更深入研究。此外,對(duì)比表3和表4中的試驗(yàn)結(jié)果,還可以看出數(shù)據(jù)質(zhì)量對(duì)模型識(shí)別效果的影響:當(dāng)訓(xùn)練數(shù)據(jù)中包含不同質(zhì)量的訓(xùn)練數(shù)據(jù)時(shí),使用較高質(zhì)量的數(shù)據(jù)作為注冊(cè)數(shù)據(jù)(gallery)能得到更高的識(shí)別準(zhǔn)確率。這一現(xiàn)象對(duì)于在實(shí)際應(yīng)用中如何更有效地訓(xùn)練和部署牦牛個(gè)體識(shí)別系統(tǒng)具有很好的指導(dǎo)意義。
3.1.2 不同模型的試驗(yàn)結(jié)果
為了對(duì)比不同模型的識(shí)別效果,將模型中的主干網(wǎng)絡(luò)從普通的ResNet50替換為具有注意力機(jī)制的SE-ResNet50,并使用相同的多年份訓(xùn)練集(2019train+2020train)進(jìn)行對(duì)比試驗(yàn)。在2019年的gallery數(shù)據(jù)上,訓(xùn)練好的模型在同時(shí)間段的query數(shù)據(jù)上的mAP提高了6.20%,而在間隔12個(gè)月的query數(shù)據(jù)上的mAP提高了1.30%。在2020年的gallery數(shù)據(jù)上,同時(shí)間段的query數(shù)據(jù)上的mAP提高了1.38%,間隔12個(gè)月的query數(shù)據(jù)上的mAP則提高了6.17%。詳細(xì)評(píng)估指標(biāo)如表5所示。
以上試驗(yàn)結(jié)果表明,引入注意力機(jī)制能夠有效提升模型學(xué)習(xí)更加魯棒和具有判別性的牦牛軟特征,在短時(shí)牦牛個(gè)體識(shí)別和長時(shí)牦牛個(gè)體識(shí)別上均獲得了更高的準(zhǔn)確率。圖4可視化了兩種模型在牦牛圖像上的關(guān)注區(qū)域,可以看出SE-ResNet50使模型關(guān)注到了圖像上的更多判別區(qū)域。因此,進(jìn)一步優(yōu)化牦牛個(gè)體識(shí)別模型的網(wǎng)絡(luò)設(shè)計(jì)是值得重點(diǎn)關(guān)注的方向。
3.2 間隔6個(gè)月數(shù)據(jù)集上的試驗(yàn)結(jié)果
考慮到不同季節(jié)的環(huán)境變化較大以及牦牛剪毛等的影響(圖5),本文專門評(píng)估不同季節(jié)采集的牦牛圖像數(shù)據(jù)的識(shí)別效果,分析季節(jié)變化對(duì)識(shí)別結(jié)果的影響。
3.2.1 不同訓(xùn)練集的試驗(yàn)結(jié)果
把間隔6個(gè)月的訓(xùn)練集分為單季節(jié)訓(xùn)練集(w_train、s_train)和多季節(jié)訓(xùn)練集(w_train+s_train),并使用PCB+Resnet50模型進(jìn)行牦牛個(gè)體識(shí)別效果對(duì)比試驗(yàn)。這里,‘w和‘s分別表示冬季和夏季。單季節(jié)訓(xùn)練集詳細(xì)評(píng)估指標(biāo)如表6所示。
用合并了兩個(gè)季節(jié)的數(shù)據(jù)的多季節(jié)訓(xùn)練集(w_train+s_train)訓(xùn)練牦牛個(gè)體識(shí)別模型,并在不同的gallery和query數(shù)據(jù)集上進(jìn)行測(cè)試。相比于單季節(jié)訓(xùn)練數(shù)據(jù),當(dāng)gallery與query同為冬季數(shù)據(jù)時(shí),mAP提高了10.15%,當(dāng)query換成間隔6個(gè)月的夏季數(shù)據(jù)時(shí),mAP提高了14.98%。同樣地,當(dāng)gallery和query均為夏季數(shù)據(jù)時(shí),mAP提高了0.36%,當(dāng)使用冬季數(shù)據(jù)作為query時(shí),mAP下降了3.99%。從此試驗(yàn)可以看出,夏季作為注冊(cè)集時(shí)識(shí)別效果提升不大,甚至略有下降,導(dǎo)致這種現(xiàn)象的可能原因是牦牛一般在夏季剪毛,降低了牦牛體表紋理特征的豐富程度。多季節(jié)訓(xùn)練集詳細(xì)評(píng)估指標(biāo)如表7所示。
對(duì)比表6和表7,同樣可以發(fā)現(xiàn)在訓(xùn)練數(shù)據(jù)集中包含不同季節(jié)的圖像有助于促進(jìn)模型學(xué)習(xí)到牦牛的軟特征,但是仍不足以完全克服跨季節(jié)的長時(shí)牦牛個(gè)體識(shí)別面臨的挑戰(zhàn),如環(huán)境背景的變化和牦牛剪毛導(dǎo)致的體表特征的變化等。
3.2.2 不同模型的試驗(yàn)結(jié)果
使用SE-ResNet50主干網(wǎng)在多季節(jié)訓(xùn)練集上的試驗(yàn)結(jié)果如表8所示。
當(dāng)使用SE-ResNet50作為骨架網(wǎng)絡(luò)時(shí),相比于ResNet50,在多季節(jié)數(shù)據(jù)上訓(xùn)練好的模型,在冬季gallery數(shù)據(jù)上,識(shí)別冬季query數(shù)據(jù)的mAP從87.81%提升到了90.15%,識(shí)別夏季query數(shù)據(jù)的mAP則從46.66%提升到了60.37%。同樣地,在夏季數(shù)據(jù)上訓(xùn)練好的模型,在夏季gallery數(shù)據(jù)上,識(shí)別夏季query數(shù)據(jù)的mAP從87.07%提升到了88.65%,而識(shí)別冬季query數(shù)據(jù)的mAP從35.39%提升到了53.34%。
4 試驗(yàn)結(jié)果與分析
4.1 長時(shí)牦牛個(gè)體識(shí)別
不同時(shí)間間隔的牦牛個(gè)體識(shí)別結(jié)果如圖6所示,其中上面兩行是使用PCB+ResNet50在時(shí)間跨度為12個(gè)月和6個(gè)月的牦牛圖像上的個(gè)體識(shí)別效果,下面兩行是使用PCB+SE-ResNet50在時(shí)間跨度為12個(gè)月和6個(gè)月的牦牛圖像上的個(gè)體識(shí)別效果,圖中的數(shù)字1~10表示Rank1~Rank10,紅框表示識(shí)別錯(cuò)誤的牦牛,綠框表示識(shí)別正確的。從圖6中可以看出,影響模型識(shí)別效果的因素包括外部因素和內(nèi)部因素,而這些因素會(huì)導(dǎo)致牦牛個(gè)體類內(nèi)相似度的降低或者類間相似度的增加,從而造成識(shí)別錯(cuò)誤。
外部因素:由于外部環(huán)境或人為因素導(dǎo)致的影響。
1) 拍攝角度變化。由于不同視角觀察到的牦牛身體部位不同,導(dǎo)致缺少有效特征以識(shí)別牦牛身份,進(jìn)而誤識(shí)成其它個(gè)體(圖7)。
2) 毛發(fā)變化。牦牛的毛發(fā)隨著時(shí)間推移會(huì)自然生長,而牧民們會(huì)定期對(duì)牦牛剪毛,這會(huì)改變牦牛的表觀特征。此外,傷病或其他事故等也會(huì)導(dǎo)致牦牛體表特征的改變,例如身上傷疤導(dǎo)致花紋變化或折斷牛角等(圖8)。
內(nèi)部因素:在長時(shí)牦牛個(gè)體識(shí)別中內(nèi)部因素是指牦牛生長過程中導(dǎo)致牦牛特征發(fā)生改變的因素,主要包含以下幾種。
1) 牦牛生長。牦牛個(gè)體隨著年齡增長,其體表特征會(huì)發(fā)生比較明顯的改變,如毛發(fā)和牛角的生長,導(dǎo)致類內(nèi)的相似度降低,增加了識(shí)別難度(圖9)。
2) 紋理信息少,個(gè)體差異小。由于牦牛群多是近親繁殖,因此牦牛的毛色、花紋、牛角形狀和顏色等具有很高的相似性和遺傳性,特別是純色牦牛(如全身都是黑色毛發(fā)),缺乏紋理特征,導(dǎo)致牦牛個(gè)體識(shí)別極具挑戰(zhàn)性(圖10)。
由于以上因素的影響,長時(shí)牦牛個(gè)體識(shí)別極具挑戰(zhàn)性。為了能夠更好地滿足牦牛養(yǎng)殖場(chǎng)的實(shí)際應(yīng)用需求,降低時(shí)間跨度對(duì)牦牛個(gè)體識(shí)別效果的影響,研究人員還需要在數(shù)據(jù)集構(gòu)建、模型優(yōu)化等方面開展更深入更全面的研究工作。
4.2 不同算法模型比較
為了驗(yàn)證本模型的可靠性,將在長時(shí)牦牛個(gè)體識(shí)別數(shù)據(jù)集上與PGCFL和ViT算法模型進(jìn)行對(duì)比。試驗(yàn)結(jié)果得出在三種模型中PCB+SE-ResNet50在該數(shù)據(jù)集上的識(shí)別效果達(dá)到最佳。詳細(xì)評(píng)估指標(biāo)如表9所示。
5 結(jié)論
1) 本文建立了間隔6個(gè)月和間隔12個(gè)月的長時(shí)牦牛個(gè)體識(shí)別圖像數(shù)據(jù)集,以同一頭牦牛個(gè)體為識(shí)別對(duì)象,首次探討了動(dòng)物生物特征識(shí)別方法受時(shí)間變化的影響情況,并在所構(gòu)建的數(shù)據(jù)集上使用PCB+ResNet50和PCB+SE-ResNet50進(jìn)行同時(shí)間段和不同時(shí)間段的牦牛個(gè)體識(shí)別效果對(duì)比試驗(yàn)。該試驗(yàn)結(jié)果表明引入注意力機(jī)制可以促進(jìn)模型自主地學(xué)習(xí)牦牛的關(guān)鍵特征,并提取更加魯棒、更具有判別性的軟特征,從而提高長時(shí)牦牛個(gè)體識(shí)別的平均精度均值。
2) 本試驗(yàn)?zāi)P蚉CB+SE-ResNet50在間隔6個(gè)月和間隔12個(gè)月的長時(shí)牦牛個(gè)體識(shí)別數(shù)據(jù)集上與ViT和PGCFL模型識(shí)別結(jié)果進(jìn)行比較。相較于ViT,mAP分別提升了1.64%、5.82%;相較于PGCFL,mAP分別提升了12.40%、11.22%。說明該方法在長時(shí)數(shù)據(jù)集上的有效性。
3) 本文詳細(xì)探究了時(shí)間跨度對(duì)牦牛個(gè)體識(shí)別效果的影響,從內(nèi)部因素和外部因素兩個(gè)角度分析了影響長時(shí)牦牛個(gè)體識(shí)別的主要原因,為解決長時(shí)牦牛個(gè)體識(shí)別提供了良好的理論依據(jù)。
4) 構(gòu)建更大規(guī)模的數(shù)據(jù)集和如何進(jìn)一步優(yōu)化適用于長時(shí)牦牛個(gè)體識(shí)別模型是未來的研究重點(diǎn)。
參 考 文 獻(xiàn)
[1] 張麗霞, 衛(wèi)澤珍, 李金邦, 等. 動(dòng)物個(gè)體識(shí)別方法種種[J]. 野生動(dòng)物學(xué)報(bào), 2015, 36(4): 475-478.
Zhang Lixia, Wei Zezhen, Li Jinbang, et al. Differential method for animal individual identification [J]. Chinese Journal of Wildlife, 2015, 36(4): 475-478.
[2] Azmi N, Kamarudin L M, Zakaria A, et al. Radio frequency identification (RFID) range test for animal activity monitoring [C]. 2019 IEEE International Conference on Sensors and Nanotechnology. IEEE, 2019: 1-4.
[3] Li W, Ji Z, Wang L, et al. Automatic individual identification of Holstein dairy cows using tailhead images [J]. Computers and Electronics in Agriculture, 2017, 142: 622-631.
[4] 郭依正, 朱偉興, 馬長華, 等. 基于Isomap和支持向量機(jī)算法的俯視群養(yǎng)豬個(gè)體識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2016, 32(3): 182-187.
Guo Yizheng, Zhu Weixing, Ma Changhua, et al. Top-view recognition of individual group-housed pig based on Isomap and SVM [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(3): 182-187.
[5] 顧佳音, 劉輝, 姜廣順. 東北虎(Panthera tigris altaica)個(gè)體識(shí)別技術(shù)研究進(jìn)展[J]. 野生動(dòng)物, 2013, 34(4): 229-237.
Gu Jiayin, Liu Hui, Jiang Guangshun. A review of potential techniques for identifying individual Amur tigers (Panthera tigris altaica) [J]. Chinese Journal of Wildlife, 2013, 34(4): 229-237.
[6] 金耀, 何秀文, 萬世主, 等. 基于YOLO v3的生豬個(gè)體識(shí)別方法[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2021, 42(2): 178-183.
Jin Yao, He Xiuwen, Wan Shizhu, et al. Individual pig identification method based on YOLO v3 [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(2): 178-183.
[7] 溫長吉, 張笑然, 吳建雙, 等. 基于多注意力機(jī)制級(jí)聯(lián)LSTM模型的豬臉表情識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2021, 37(12): 181-190.
Wen Changji, Zhang Xiaoran, Wu Jianshuang, et al. Pig facial expression recognition using multi-attention cascaded LSTM model [J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(12): 181-190.
[8] 謝秋菊, 吳夢(mèng)茹, 包軍, 等. 融合注意力機(jī)制的個(gè)體豬臉識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(7): 180-188.
Xie Qiuju, Wu Mengru, Bao Jun, et al. Individual pig face recognition combined with attention mechanism [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(7): 180-188.
[9] 董力中, 孟祥寶, 潘明, 等. 基于姿態(tài)與時(shí)序特征的豬只行為識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(5): 148-157.
Dong Lizhong, Meng Xiangbao, Pan Ming, et al. Recognizing pig behavior on posture and temporal features using computer vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(5): 148-157.
[10] Kumar S, Singh S K. Monitoring of pet animal in smart cities using animal biometrics [J]. Future Generation Computer Systems, 2018, 83: 553-563.
[11] Li Z, Ge C, Shen S, et al. Cow individual identification based on convolutional neural network [C]. Proceedings of the 2018 International Conference on Algorithms, Computing and Artificial Intelligence, 2018: 1-5.
[12] Bruslund Haurum J, Karpova A, Pedersen M, et al. Re-identification of zebrafish using metric learning [C]. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Workshops, 2020: 1-11.
[13] Cheng X, Zhu J, Zhang N, et al. Detection features as attention (defat): A keypoint-free approach to Amur tiger re-identification [C]. 2020 IEEE International Conference on Image Processing (ICIP). IEEE, 2020: 2231-2235.
[14] Wang L, Ding R, Zhai Y, et al. Giant panda identification [J]. IEEE Transactions on Image Processing, 2021, 30: 2837-2849.
[15] 于雪瑩, 高繼勇, 王首程, 等. 基于生成對(duì)抗網(wǎng)絡(luò)和混合注意力機(jī)制殘差網(wǎng)絡(luò)的蘋果病害識(shí)別[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(6): 166-174.
Yu Xueying, Gao Jiyong, Wang Shoucheng, et al. Apple disease recognition based on Wasserstein generative adversarial networks and hybrid attention mechanism residual network [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(6): 166-174.
[16] 張繼成, 李德順. 基于深度殘差學(xué)習(xí)的成熟草莓識(shí)別方法[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2022, 43(2): 136-142.
Zhang Jicheng, Li Deshun. Ripe strawberry recognition method based on deep residual learning [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(2): 136-142.
[17] Zhang T, Zhao Q, Da C, et al. Yak ReID-103: A benchmark for yak re-identification [C]. 2021 IEEE International Joint Conference on Biometrics (IJCB). IEEE, 2021: 1-8.
[18] Sun Y, Zheng L, Yang Y, et al. Beyond part models: Person retrieval with refined part pooling (and a strong convolutional baseline) [C]. Proceedings of the European Conference on Computer Vision (ECCV), 2018: 480-496.
[19] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.
[20] Li L, Zhang T, Cuo D, et al. Automatic identification of individual yaks in in-the-wild images using part-based convolutional networks with self-supervised learning [J]. Expert Systems with Applications, 2023, 216: 119431.