池 濤,龐云劍,沈曉晶

1.上海海洋大學(xué)信息學(xué)院,上海201306

2.農(nóng)業(yè)部漁業(yè)信息重點(diǎn)實(shí)驗(yàn)室,上海201306

在水產(chǎn)養(yǎng)殖中，淡水魚類產(chǎn)量占我國所有魚類產(chǎn)量的69.1%，在世界淡水魚產(chǎn)量中超過60%[1]，而大約三分之二的水產(chǎn)養(yǎng)殖動(dòng)物需要生產(chǎn)飼料[2]。使用水產(chǎn)養(yǎng)殖飼料養(yǎng)殖更多的水產(chǎn)動(dòng)物，水產(chǎn)養(yǎng)殖飼料的全球產(chǎn)量從2000 年到2008 年增加了106%，預(yù)計(jì)在2008 年至2020 年間增加124%[3]。隨著水產(chǎn)養(yǎng)殖飼料使用量的增加和勞動(dòng)力成本的不斷提高，如何提高工廠化水產(chǎn)養(yǎng)殖的效率和養(yǎng)殖質(zhì)量是工廠化養(yǎng)殖的重要問題[4]。

為了提高水產(chǎn)養(yǎng)殖的投喂效率，如何使養(yǎng)殖過程變得自動(dòng)化、智能化、精準(zhǔn)化成為水產(chǎn)養(yǎng)殖行業(yè)發(fā)展的關(guān)鍵。因此，許多國內(nèi)外學(xué)者對(duì)水產(chǎn)養(yǎng)殖的智能投喂技術(shù)開展了相關(guān)研究，Alzubi 等提出了基于魚類行為的自適應(yīng)智能魚飼料飼喂器的研究[5]。Daniel V 等進(jìn)行了基于聲音的虎蝦投喂研究，提出了兩種聲音分類器的分類方法，該方法用于估算池塘渾濁水域中蝦的飼料消耗量[6]。Kristoffer等利用無人駕駛飛行器對(duì)空中飼料播撒機(jī)進(jìn)行了空中飼料顆粒的運(yùn)動(dòng)特征和分布模式的測(cè)量，結(jié)果可作為量化和驗(yàn)證飼料播撒機(jī)模型的有效輸入[7]。國內(nèi)學(xué)者的相關(guān)研究有，李大偉等開發(fā)了一種自適應(yīng)閾值方法，用水下圖像中掩模中心像素與閾值的對(duì)比來檢測(cè)水下圖像中魚未吃完的魚食[8]；周超等提出了一種基于近紅外計(jì)算機(jī)視覺和神經(jīng)模糊模型的魚類進(jìn)食高效控制方法[9]；景新等利用軌道傳動(dòng)、傳感器和PLC 技術(shù)，設(shè)計(jì)了新型的室內(nèi)工廠化水產(chǎn)養(yǎng)殖自動(dòng)投飼系統(tǒng)[10]。由于對(duì)水產(chǎn)養(yǎng)殖研究所處的地域和環(huán)境的不同，智能投喂選擇的方式和方法也存在著差異。因此，本文針對(duì)東部沿海地區(qū)工廠化水產(chǎn)養(yǎng)殖的需要，利用計(jì)算機(jī)視覺具有定位精度高，不受工廠化水產(chǎn)養(yǎng)殖外界環(huán)境影響等優(yōu)勢(shì)[11]，提出了基于單目視覺的水產(chǎn)養(yǎng)殖食場(chǎng)智能投喂系統(tǒng)的研究，實(shí)現(xiàn)符合我國東部沿海地區(qū)工廠化水產(chǎn)養(yǎng)殖的精準(zhǔn)化控制。

本文搭建了基于ARM9 嵌入式開發(fā)平臺(tái)的智能投喂系統(tǒng)，該系統(tǒng)通過CMOS 攝像頭來采集目標(biāo)圖像，利用基于零階圖像矩的深度測(cè)距算法來驅(qū)動(dòng)直流電機(jī)到達(dá)指定目標(biāo)食場(chǎng)，重點(diǎn)研究分析了單目視覺測(cè)距算法在智能投喂系統(tǒng)中到達(dá)目的食場(chǎng)的精準(zhǔn)度和實(shí)用性。

1 系統(tǒng)結(jié)構(gòu)

本文的系統(tǒng)結(jié)構(gòu)如圖1 所示。首先需要由CMOS 攝像頭采集池塘食場(chǎng)的理想目標(biāo)圖像，采集的目標(biāo)如圖4 所示。然后由攝像頭實(shí)時(shí)采集當(dāng)前目標(biāo)圖像，兩者作為深度測(cè)距算法的輸入端進(jìn)行目標(biāo)深度測(cè)距，將得到的距離信息傳送給控制器，由控制器操控執(zhí)行機(jī)構(gòu)驅(qū)使設(shè)備移動(dòng)到目標(biāo)位置。

圖1 系統(tǒng)結(jié)構(gòu)圖Fig.1 System structure diagram

2 硬件結(jié)構(gòu)

本智能投喂系統(tǒng)，選用一個(gè)模型船作為投喂設(shè)備的主體，一個(gè)CMOS(OV9650)攝像頭作為投喂設(shè)備的圖像采集模塊，兩個(gè)直流電機(jī)作為動(dòng)力執(zhí)行模塊。其中，本系統(tǒng)使用的是基于ARM9 的S3C2440 嵌入式處理器，由它來運(yùn)行本系統(tǒng)的深度測(cè)距算法。硬件結(jié)構(gòu)包括基于ARM9 的S3C2440嵌入式處理器模塊、數(shù)據(jù)存儲(chǔ)模塊、LCD 顯示模塊、攝像頭模塊、動(dòng)力執(zhí)行模塊，具體結(jié)構(gòu)組成如下所示：

1）處理器模塊采用基于ARM9 的微處理器S3C2440，該處理器可以使系統(tǒng)穩(wěn)定地運(yùn)行在主頻405 MHz，其中，主頻最高可達(dá)到530 MHz。

2）數(shù)據(jù)存儲(chǔ)模塊：256 M 字節(jié)的NAND Flash，采用的是K9F2G08。64 M 字節(jié)的SDRAM，由兩片K4S561632 組成，工作在32 位模式下。

3）LCD 顯示模塊：4.3 寸TFT 液晶顯示屏。

4）攝像頭模塊：CMOS 攝像頭，內(nèi)置芯片為OV9650，30 萬像素。

5）動(dòng)力執(zhí)行模塊：兩個(gè)5 V 的直流電機(jī)。

其結(jié)構(gòu)框圖，如圖2 所示。硬件結(jié)構(gòu)中，攝像頭模塊使用9 針的接口連接到智能投喂系統(tǒng)的電路主板，通過處理器模塊控制攝像頭來采集圖像，可以將采集到的圖像實(shí)時(shí)顯示在LCD 顯示模塊上。采集到的8 位RGB 圖像信息會(huì)被傳送到數(shù)據(jù)存儲(chǔ)模塊，數(shù)據(jù)存儲(chǔ)模塊將數(shù)據(jù)傳送到處理器來進(jìn)行圖像預(yù)處理和算法處理，通過單目測(cè)距算法的運(yùn)行結(jié)果控制動(dòng)力執(zhí)行模塊來移動(dòng)設(shè)備。

圖2 硬件結(jié)構(gòu)框圖Fig.2 Hardware block diagram

3 單目視覺測(cè)量算法

針對(duì)在池塘?xí)霈F(xiàn)波浪等障礙物的復(fù)雜外界環(huán)境下，對(duì)投喂設(shè)備的投喂追蹤精度、實(shí)時(shí)性以及自主精準(zhǔn)作業(yè)的需求，構(gòu)建穩(wěn)定清晰的視覺投喂平臺(tái)可以提高投喂設(shè)備對(duì)復(fù)雜作業(yè)環(huán)境下對(duì)目標(biāo)的感知能力，實(shí)現(xiàn)投喂設(shè)備靜態(tài)及移動(dòng)過程中有效的避免波浪等障礙物對(duì)投喂精度的影響[11,12]。在視覺深度測(cè)量中，有單目視覺測(cè)量、雙目視覺測(cè)量[13]。其中，雙目視覺測(cè)量需要攝像機(jī)的標(biāo)定處理，需要對(duì)立體圖像進(jìn)行校正和立體匹配[14]，測(cè)量方法繁瑣，計(jì)算量大，測(cè)量精度還受攝像頭標(biāo)定參數(shù)、鏡頭參數(shù)、系統(tǒng)結(jié)構(gòu)參數(shù)[15,16]、圖像匹配精確度等[17]的影響。單目視覺測(cè)量，可以有效的避免圖像匹配的問題,提高測(cè)量的有效性[18]，不需要對(duì)相機(jī)標(biāo)定處理，大大減少了測(cè)量的客觀誤差[19]。因此，對(duì)于本智能投喂系統(tǒng)，提出了一種基于單目視覺零階圖像矩進(jìn)行深度測(cè)量的算法，該算法利用攝像頭在目標(biāo)物處于不同距離時(shí)，目標(biāo)二值圖的圖像零階矩與目標(biāo)距離之間存在的關(guān)系來測(cè)量目標(biāo)深度。系統(tǒng)依靠單目攝像頭圖像采集模塊通過單目深度測(cè)距算法來追蹤目標(biāo)物，到達(dá)指定目標(biāo)地點(diǎn)。

3.1 算法理論關(guān)系推導(dǎo)證明

為研究問題方法，首先作如下假設(shè)和定義。設(shè)：攝像頭的三維空間坐標(biāo)系為{C}，投影圖像坐標(biāo)系為{I}，目標(biāo)為一始終垂直于攝像頭光軸的平面剛體，且目標(biāo)理想深度為Zd；目標(biāo)當(dāng)前深度為Zt。設(shè)目標(biāo)的投影區(qū)域?yàn)殚]合區(qū)域A，目標(biāo)二值圖像為b(x,y)，b(x,y)可定義如下：

設(shè)距離為Zd時(shí)區(qū)域A上的任意一點(diǎn)i在{I}中的坐標(biāo)為[k,I]，在坐標(biāo){C}中的坐標(biāo)為[X,Y,Z]，點(diǎn)i在距離為Zt的區(qū)域A′中的對(duì)應(yīng)點(diǎn)為i′，i′在坐標(biāo)系{I}中的坐標(biāo)為[k′,I′]，在坐標(biāo){C}中的坐標(biāo)為[X′,Y′,Z′]，由于攝像機(jī)模型采用針孔模型，可以得到以下透視投影變換公式：

其中，f為攝像機(jī)焦距，kx和ky分別為攝像機(jī)的水平比例因子和垂直比例因子。所以由公式（2）可以將i和i′在坐標(biāo)系{I}中的坐標(biāo)[k,I]和[k′,I′]之間的關(guān)系由以下仿射變換公式描述：

由公式（3）推導(dǎo)出下面等式成立：

定義1：所謂的理想目標(biāo)圖像是指這樣一副目標(biāo)圖像：目標(biāo)圖像位于目標(biāo)的理想深度Zd時(shí)所成的圖像；

定義2：設(shè)圖像以函數(shù)f(x,y)表達(dá)，則圖像f(x,y)的(p+q)階圖像矩為[20]：

則圖像目標(biāo)的二值圖零階圖像矩為：

即m00實(shí)際上是深度一定時(shí)，目標(biāo)的投影面積。

有定義1 推知，要使目標(biāo)成像為理想目標(biāo)圖像，必須滿足要求：在坐標(biāo)系{C}中，目標(biāo)深度必須等于Zd。若將目標(biāo)分別置于不同深度Zd、Zt上成像時(shí)，圖像進(jìn)行二值化灰度處理后，得到零階矩分別為(m00)d、(m00)t，將公式（4）代入公式（6）可以推導(dǎo)出等式(7)成立。

3.2 單目深度測(cè)量算法

本文提出的單目視覺測(cè)量方法，主要包括以下4 步：

1）首先垂直于攝像頭光軸采集理想目標(biāo)圖像，測(cè)量出目標(biāo)的理想距離Zd，對(duì)理想目標(biāo)圖像進(jìn)行圖像預(yù)處理并進(jìn)行二值化，提取二值化的理想目標(biāo)圖像的零階矩(m00)d；

2）垂直于攝像頭光軸采集不同距離的當(dāng)前目標(biāo)圖像；

3）對(duì)當(dāng)前目標(biāo)圖像進(jìn)行圖像預(yù)處理并進(jìn)行二值化，提取二值化的當(dāng)前目標(biāo)圖像的零階矩(m00)t；

4）利用公式求得攝像頭與目標(biāo)之間的當(dāng)前距離Zt，即。（其中，Zd為攝像頭與目標(biāo)之間的理想距離）。

單目深度視覺測(cè)量算法的流程框圖如圖3 所示：

圖3 單目深度視覺測(cè)量算法的流程圖Fig.3 Flow chart of measurement algorithm in monocular depth vision

4 實(shí)驗(yàn)驗(yàn)證與數(shù)據(jù)分析

本系統(tǒng)的實(shí)驗(yàn)驗(yàn)證主要從單目深度測(cè)距算法測(cè)量目標(biāo)距離的精確度進(jìn)行，通過多次測(cè)量投喂設(shè)備到達(dá)養(yǎng)殖食場(chǎng)目標(biāo)地點(diǎn)的距離與實(shí)際距離的誤差來進(jìn)行對(duì)比分析單目測(cè)距算法的精確度，并做了實(shí)際場(chǎng)景的控制仿真，驗(yàn)證了精確控制的可行性。

4.1 圖像預(yù)處理

采集的圖像采用基本全局閾值算法[21]獲取圖像的分割閾值。由圖4 知，目標(biāo)背景多是綠色植物、藍(lán)色天空、水，因此紅色使得目標(biāo)提取更為方便。本實(shí)驗(yàn)將紅色圓作為目標(biāo)（如圖4），分別提取原始圖像中的紅色通道和綠色通道的兩幅圖像，然后將這兩幅圖像做圖像減操作，從而濾除大部分背景（如圖5 所示），再利用基本全局閾值算法獲取圖像二值化所需的分割閾值。二值化圖像如圖6 所示。對(duì)于圖5 所示的圖像，取門限值為0.01，分割閾值為89。

圖4 實(shí)驗(yàn)水池中的紅色目標(biāo)Fig.4 Red targets in the experimental pool

圖5 顏色分割圖Fig.5 Color segmentation image

圖6 基本全局閾值算法分割后二值圖Fig.6 Binary graph split by basic global threshold algorithm

4.2 算法實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)驗(yàn)證首先把采集的目標(biāo)理想距離Zd=1 m 的目標(biāo)圖像作為實(shí)驗(yàn)驗(yàn)證的理想目標(biāo)圖像M0。采集投喂設(shè)備當(dāng)前目標(biāo)圖像M1，M2，M3，M4，M5，M6，M7，M8，M9，M10，M11，M12，M13，它們的實(shí)際距離分別為：2 m,3 m,4 m,5 m,6 m,7 m,8 m,9 m,10 m,11 m,12 m,13 m,14 m。其中理想目標(biāo)圖像M0 的二值圖處理如圖7（圖片非實(shí)際大?。┧?。

圖7 理想目標(biāo)圖像M0 二值圖Fig.7 Binary map of ideal target image M0

對(duì)當(dāng)前目標(biāo)圖像M1、M2、M3、M4 灰度二值化處理的二值圖如下圖（圖片非實(shí)際大?。┧?，M5 等當(dāng)前目標(biāo)圖像的二值圖不再一一列舉。

圖8 目標(biāo)圖像M1的二值圖Fig.8 Binary map of the target M1

圖9 目標(biāo)圖像M2的二值圖Fig.9 Binary map of the target M2

圖10 目標(biāo)圖像M3的二值圖Fig.10 Binary map of the target M3

圖11 目標(biāo)圖像M4的二值圖Fig.11 Binary map of the target M4

將當(dāng)前目標(biāo)圖像的二值圖進(jìn)行深度測(cè)距算法公式處理得到如下數(shù)據(jù)，數(shù)據(jù)如表1 所示，其中理想目標(biāo)圖像M0 的目標(biāo)像素點(diǎn)的數(shù)量和為842559。

表1 單目深度測(cè)距算法測(cè)量數(shù)據(jù)表Table 1 Monocular depth ranging algorithm measurement data table

4.3 算法數(shù)據(jù)分析

由以上實(shí)驗(yàn)數(shù)據(jù)，繪制出圖像目標(biāo)實(shí)際距離與測(cè)量距離的對(duì)比圖（如圖12 所示）和測(cè)量精度誤差百分比圖（如圖13 所示）。通過數(shù)據(jù)對(duì)比分析我們可以看出：

圖12 圖像目標(biāo)實(shí)際距離與測(cè)量距離對(duì)比圖Fig.12 Comparison between actual distance and measured distance

圖13 圖像目標(biāo)測(cè)量精度誤差百分比圖Fig.13 Accuracy error percentages of images

1）單目深度測(cè)距算法測(cè)量精確度較高，誤差值在4.345%以下；

2）單目深度測(cè)距算法隨著圖像目標(biāo)距離的增大，測(cè)距精度整體呈現(xiàn)逐漸降低的趨勢(shì)；

3）單目深度測(cè)距算法的誤差隨著圖像目標(biāo)距離的增大呈波動(dòng)性增加，增加趨勢(shì)整體呈線性，線性趨勢(shì)如圖13 中紅線所示。

針對(duì)在實(shí)驗(yàn)中單目深度測(cè)距算法精度存在的誤差作分析，導(dǎo)致的誤差有以下因素：

1）目標(biāo)距離的增加，灰度閾值的選取導(dǎo)致當(dāng)前目標(biāo)圖像的目標(biāo)在二值化灰度處理時(shí)，使目標(biāo)面積偏小而增大誤差，這也是測(cè)試距離整體偏大的原因；

2）圖像目標(biāo)的拍攝采樣需要垂直于攝像頭的光軸，實(shí)際采樣時(shí)無法做到絕對(duì)地垂直于攝像頭的光軸，這是誤差以及誤差波動(dòng)存在的客觀因素；

3）圖像在二值化前，目標(biāo)背景濾除的不徹底是誤差存在的因素之一。

從圖13 知，由以上因素造成的誤差在0.251%～4.345%的誤差范圍內(nèi)波動(dòng)，而由文獻(xiàn)[22]知，水產(chǎn)養(yǎng)殖池塘中食場(chǎng)的面積為2 m2左右,投喂的誤差范圍在0.798 m 以內(nèi),所以本系統(tǒng)的投喂距離適用范圍為距離半徑在18.366 m 以內(nèi)的池塘。其中，針對(duì)導(dǎo)致誤差的因素2，如何保證投喂設(shè)備在運(yùn)行過程中，攝像頭光軸與目標(biāo)平面的法線絕對(duì)平行，會(huì)是我們下一階段研究的難點(diǎn)之一。

4.4 仿真結(jié)果

通過以上實(shí)驗(yàn)數(shù)據(jù)的分析，做實(shí)際情景仿真驗(yàn)證。取理想深度Zd=2 m，攝像頭與目標(biāo)的初始深度為4 m，攝像頭最高運(yùn)動(dòng)速度限定為100 mm/s，攝像頭的控制速度取為Vc=Kp*(Zd-Zt)，Kp＞0。

當(dāng)Kp取值30 時(shí)，攝像頭速度與目標(biāo)深度的仿真結(jié)果如圖14 和圖15 所示。仿真結(jié)果表明：當(dāng)Kp取值30 時(shí)，在比例控制器的作用下，攝像頭與目標(biāo)之間的距離逐漸縮小，約180 s 時(shí)攝像頭到達(dá)指定位置。如果提高比例控制系數(shù)Kp，則攝像頭到達(dá)理想位置的時(shí)間可進(jìn)一步縮小。仿真結(jié)果驗(yàn)證了設(shè)備精準(zhǔn)到達(dá)指定位置的可行性。

圖14 攝像頭運(yùn)動(dòng)速度與時(shí)間圖Fig.14 Chart of camera movement speed with time

圖15 目標(biāo)距離與時(shí)間圖Fig.15 Chart of target distance with time

5 結(jié)論

本文使用了ARM9 的S3C2440 微處理器作為嵌入式系統(tǒng)處理器，利用CMOS 攝像頭圖像采集模塊設(shè)計(jì)了一個(gè)單目視覺水產(chǎn)養(yǎng)殖食場(chǎng)智能投喂系統(tǒng)。通過以上的實(shí)驗(yàn)可知，在單目深度測(cè)距算法的調(diào)控下，智能投喂設(shè)備可以精準(zhǔn)地到達(dá)池塘的目標(biāo)食場(chǎng)，系統(tǒng)的投喂精度高，魯棒性強(qiáng)。因此，本系統(tǒng)對(duì)水產(chǎn)品的精準(zhǔn)投喂具有很高的應(yīng)用價(jià)值，可以滿足水產(chǎn)養(yǎng)殖精準(zhǔn)投喂的精度和穩(wěn)定性要求。