肖夏偉，陳蘇怡，朱偉興

(江蘇大學(xué)電氣信息工程學(xué)院，江蘇 鎮(zhèn)江 212013)

0 引言

機(jī)器視覺技術(shù)是一種無接觸、無污染和高效的監(jiān)控方式，將其應(yīng)用于豬養(yǎng)殖業(yè)，對采集的豬圖像利用分割技術(shù)分割出豬個體，進(jìn)而對其后續(xù)行為和身份的識別有重要意義。

基于機(jī)器視覺的豬個體前景圖分割的主要研究成果有：ZHANG 等利用Sobel 檢測濾波器在分割豬個體過程中預(yù)測目標(biāo)邊緣提升分割的精度。HU 等將低層邊緣位置特征與高層特征融合，提高對目標(biāo)邊緣輪廓的識別能力，提高分割精度。GAO 等提出基于雙金字塔網(wǎng)絡(luò)的RGB-D 群豬圖像分割方法，利用多個維度輸入增強(qiáng)分割效果。LI 等利用對Otsu 分割方法設(shè)置多個閾值對采食區(qū)域的生豬進(jìn)行分割。上述分割方法對只有單個豬的情況分割效果比較明顯，對于嚴(yán)重粘連的豬個體分割效果有待提高。

針對多只豬粘連而難以分割的問題，提出了基于RGB-雙邊濾波的增強(qiáng)二維Otsu 閾值分割算法。首先，利用改進(jìn)的YOLOV4 網(wǎng)絡(luò)對采集的群養(yǎng)豬圖像進(jìn)行豬個體的目標(biāo)檢測。之后，對目標(biāo)檢測后的圖像利用RGB-雙邊濾波算法銳化豬個體的輪廓邊緣，并將銳化后的邊緣添加至原圖中。最后，利用增強(qiáng)二維Otsu閾值分割算法對添加后的圖像進(jìn)行分割。

1 信息采集的方法

群養(yǎng)豬實(shí)驗(yàn)視頻集是通過在豬舍中心的正上方3米的位置架設(shè)攝像設(shè)備所采集的俯視視頻，出自鎮(zhèn)江?，斈翗I(yè)有限公司的養(yǎng)豬場，該場豬舍的長和寬都是2米，每個豬舍中均為7頭豬。獲取的視頻為AVI格式的RGB彩色視頻，分辨率為1760*1840像素，幀率為20幀/秒。

對群養(yǎng)豬中豬個體進(jìn)行分割，首先要對豬個體進(jìn)行目標(biāo)檢測，改進(jìn)YOLOv4 網(wǎng)絡(luò)適用于本文豬個體的目標(biāo)檢測要求。YOLOV4 主體框架主要由特征提取主網(wǎng)絡(luò)CSPDarknet-53、最大池化降維網(wǎng)絡(luò)SPP_Block、特征融合網(wǎng)絡(luò)PANet 和預(yù)測輸出網(wǎng)絡(luò)YOLO Head 組成。為適應(yīng)豬個體目標(biāo)檢測作一下改進(jìn)：利用Swish激活函數(shù)替代Leaky ReLU，增強(qiáng)的正則化效果。利用3×1 和1×3 的卷積核替代原組CSPRes_block 中的3×3 卷積核，減少參數(shù)數(shù)量，并去除部分模塊，降低復(fù)雜度。在SPP_Block 中引入兩種池化融合的方式替代原單一的最大池化方式，增強(qiáng)特征的細(xì)節(jié)性。改進(jìn)模塊如圖1所示。

圖1 YOLOV4改進(jìn)模塊

2 分割算法

2.1 RGB-雙邊濾波算法

如圖2所示，豬之間會發(fā)生粘連現(xiàn)象，由于粘連處邊緣在分割時起不到明顯的作用，導(dǎo)致此時分割效果不佳。原雙邊濾波算子是對單灰度通道進(jìn)行操作，引入的RGB-雙邊濾波算子同時對三個通道上的圖像進(jìn)行操作再融合，對邊緣的銳化更有效，使銳化后的邊緣信息在分割時具有引導(dǎo)作用。

圖2 粘連豬示意圖

假設(shè)在像素點(diǎn)()x,y處的R、G、B 分量和融合量分別為I(x,y)、I(x,y)、I(x,y)和(x,y),記 為I 、I 、I 和I。像素點(diǎn)(x,y)記為w,為第幾個像素點(diǎn)，其值由1 至M*N,M 和N 為圖像的像素長和寬。利用RGB-雙邊濾波算法計算當(dāng)前像素點(diǎn)與其中心像素點(diǎn)的空間鄰近系數(shù)，并計算對應(yīng)RGB 通道的當(dāng)前像素點(diǎn)值與其中心像素點(diǎn)值的值鄰近系數(shù)，具體計算如下：

計算對應(yīng)RGB 通道的融合鄰近系數(shù)以及輸出的R、G和B三通道對應(yīng)的值：

其中W 、W 和W 分別表示RGB 三通道下的融合鄰近系數(shù)，表示以中心像素點(diǎn)(x,y)為中心的鄰域內(nèi)像素點(diǎn)的集合,O 、O 和O 分別表示R、G 和B三通道的對應(yīng)輸出值。

2.2 增強(qiáng)的二維Otsu閾值分割算法

假設(shè)一幅待分割的豬圖像的像素為M*N，像素點(diǎn)坐標(biāo)為(,)。以像素點(diǎn)(,)為中心，距離為的鄰域內(nèi)，計算該像素點(diǎn)的平均灰度值。

其中(,)表示像素點(diǎn)(,)的鄰域平均灰度值，(,)表示像素點(diǎn)(,)的灰度值，x與y分別表示像素點(diǎn)(,)在鄰域內(nèi)兩個方向的移動距離。

四次憲法修改始終與改革開放同步，及時確認(rèn)了黨領(lǐng)導(dǎo)人民進(jìn)行改革開放和社會主義現(xiàn)代化建設(shè)取得的偉大成就，充分體現(xiàn)了黨在領(lǐng)導(dǎo)人民進(jìn)行憲法修訂中取得的成功經(jīng)驗(yàn)，進(jìn)一步規(guī)范了黨與憲法的關(guān)系。以維護(hù)社會秩序穩(wěn)定為基礎(chǔ)、以保障人權(quán)為目的，以民主化為路徑，不斷適應(yīng)發(fā)展變化的社會關(guān)系和改革開放的新要求，展示出中國特色社會主義道路、理論、制度、文化的發(fā)展成果。

計算像素點(diǎn)(,)處灰度值和鄰域平均灰度值組成的二維矢量(,)在整圖中出現(xiàn)次數(shù)的頻率值，設(shè)立分割初始閾值對(,)，按閾值求對應(yīng)的豬目標(biāo)前景和背景中所有二維矢量出現(xiàn)次數(shù)的頻率值之和。

其中表示二維矢量(,)在整圖中出現(xiàn)次數(shù)的頻率值，表示二維矢量(,)在整圖中的出現(xiàn)次數(shù)，I和J分別表示灰度值和鄰域平均灰度值的最大值，P和P分別表示在背景和前景中所有二維矢量在整圖中出現(xiàn)次數(shù)的頻率值之和。

分別計算豬個體前景和背景中所有二維矢量的均值矢量和計算整張圖的二維融合均值矢量。

其中τ、τ和τ分別表示背景均值矢量、豬目標(biāo)前景均值矢量和二維融合均值矢量。

利用三種均值矢量構(gòu)造分割度量函數(shù)：

其中S表示前景和背景之間的類間度量函數(shù)，S 和S 分別表示背和前景的類內(nèi)度量函數(shù)，τ()和τ()分別表示背景和前景均值矢量的分量，τ()和τ()分別表示背和前景均值矢量的分量，S表示分割度量函數(shù)，表示融合因子，其取值范圍為0至1。最后給出需優(yōu)化的函數(shù)表達(dá)式：

其中C表示的取值范圍為1至I和取值范圍為1至J的集合。

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺

采用的硬件平臺內(nèi)存為64GB、CPU 類型為英特爾E5 2620V4×2，主頻為2.1Ghz，操作系統(tǒng)為Win10；編程軟件為Pycharm；編程語言為Python；圖像處理軟件為matlab 2019a；計算機(jī)視覺庫為OpenCV視覺庫。

3.2 銳化邊緣實(shí)驗(yàn)分析

如圖3所示，在單個豬、多只豬不粘連和多只豬粘連的三種情況下，對比原圖與RGB-雙邊濾波后的圖像邊緣。原圖邊緣在單個豬和多只豬不粘連的情況下，豬個體邊緣有部分?jǐn)鄶嗬m(xù)續(xù)，邊緣不夠清晰。原圖邊緣在多只豬粘連的情況下，粘連處豬頭處分割效果較差。銳化后的邊緣圖在以上三種情況下，邊緣清晰且連續(xù)，表明銳化邊緣提高了多只豬粘連情況下的分割精度。

圖3 銳化邊緣對比圖

3.3 分割實(shí)驗(yàn)分析

在多只豬粘連的200張圖片數(shù)據(jù)集下進(jìn)行有銳化邊緣和沒有銳化邊緣的對比實(shí)驗(yàn)。利用分割準(zhǔn)確率作為評價指標(biāo)，其指在預(yù)測輪廓內(nèi)像素點(diǎn)與標(biāo)注輪廓像素點(diǎn)相交部分占標(biāo)注總像素點(diǎn)的比例。實(shí)驗(yàn)結(jié)果如表1 和表2 所示，本文方法在沒有銳化邊緣的情況下實(shí)驗(yàn)結(jié)果與LI方法幾乎一致，但是在有銳化邊緣的情況下，本文比LI等方法準(zhǔn)確率至少高3.29%，表明本文方法對于多只豬粘連的情況分割效果優(yōu)于其他方法。

表1 沒銳化邊緣的情況

表2 有銳化邊緣的情況

在單個豬、多只豬不粘連和多只豬粘連三種數(shù)據(jù)集下利用本方法進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示，實(shí)驗(yàn)結(jié)果表明本方法對多只豬粘連的情況分割平均準(zhǔn)確率也能保持在較高水平，并且其最大與最小準(zhǔn)確率的跨度不大，表明該方法的穩(wěn)定性。

表3 三種數(shù)據(jù)集下的分割準(zhǔn)確率

4 結(jié)束語

提出RGB-雙邊濾波增強(qiáng)的二維Otsu閾值分割算法解決豬個體分割時的粘連問題。首先，利用改進(jìn)的YOLOV4 網(wǎng)絡(luò)對采集的群養(yǎng)豬圖像進(jìn)行豬個體的目標(biāo)檢測。之后，對目標(biāo)檢測后的圖像利用RGB-雙邊濾波算法銳化豬個體的輪廓邊緣，并將銳化后的邊緣添加至原圖中。最后，利用增強(qiáng)二維Otsu 閾值分割算法對添加后的圖進(jìn)行分割。實(shí)驗(yàn)選取有銳化邊緣和沒有銳化邊緣的圖片進(jìn)行對比，結(jié)果表明添加銳化邊緣后對粘連豬的分割更有效。單個豬、多只豬不粘連和多只豬粘連的三種數(shù)據(jù)集的對比實(shí)驗(yàn)表明本方法在多只豬粘連的情況下分割效果較好且穩(wěn)定性較高。后期研究可針對邊緣作進(jìn)一步的增強(qiáng)提升分割效果。