錢(qián)明艷 柳軍 周錫軍

摘要 針對(duì)我國(guó)葉菜類(lèi)蔬菜大規(guī)模設(shè)施種植、人工收獲效率低、成本高且對(duì)葉菜損傷較大的實(shí)際問(wèn)題，研究開(kāi)發(fā)一種基于嵌入式視覺(jué)平臺(tái)的葉菜切割控制系統(tǒng)。根據(jù)葉菜槽栽培場(chǎng)景的收獲需求，切割系統(tǒng)需要控制完成葉菜夾持、自動(dòng)定位切割位置、調(diào)節(jié)切割執(zhí)行高度等作業(yè)要求。首先總體設(shè)計(jì)了切割系統(tǒng)結(jié)構(gòu)，然后從主控制器模塊、視覺(jué)感知模塊兩方面進(jìn)行了系統(tǒng)硬件的設(shè)計(jì)，并設(shè)計(jì)了主程序控制流程，研制出葉菜切割系統(tǒng)。測(cè)試結(jié)果表明，該葉菜切割系統(tǒng)結(jié)構(gòu)合理，為滿足槽式設(shè)施種植的葉菜收割高效率、低成本、低損傷要求提供了解決方案。

關(guān)鍵詞 葉菜切割;視覺(jué);OV7725

Abstract Based on the problems of largescale equipment planting of leaf vegetables， low efficiency of artificial harvest， high cost and great damage to leaf vegetables in China， a leaf vegetable cutting control system based on embedded visual platform was developmtd. According to the harvest demand of the leaf vegetable slot cultivation scene， the cutting system needs to control the clamping of leaves and vegetables， automatically locate the cutting position and adjust the cutting execution height. In this paper， the cutting system structure is designed as a whole， and then the hardware of the system is designed from the aspects of main controller module and visual perception module， and the main program control flow is designed to realize the leaf vegetable cutting system. The results show that the structure of the leaf vegetable cutting system is reasonable， which provides a solution for the application of high efficiency， low cost and low damage requirements for leaf vegetable harvesting in slot facilities.

Key words Leaf vegetable cutting;Visual;OV7725

據(jù)農(nóng)業(yè)部門(mén)公布的數(shù)據(jù)顯示，我國(guó)設(shè)施蔬菜產(chǎn)業(yè)的發(fā)展趨勢(shì)較好，種植面積在逐年增加，預(yù)計(jì)到2020年種植面積將達(dá)到 410.53萬(wàn)hm2左右 [1]。我國(guó)栽培的綠葉菜種類(lèi)繁多，不同種類(lèi)的葉菜類(lèi)蔬菜形態(tài)各異，且栽培模式、種植密度等集合形態(tài)和物理性存在較大的差異，收獲基本依靠人工完成[2]。但是隨著農(nóng)業(yè)勞動(dòng)力短缺、人工成本的逐步提高，目前全自動(dòng)化葉菜生產(chǎn)、收獲設(shè)備研究逐步成為熱點(diǎn)。近年來(lái)，我國(guó)機(jī)械化葉菜收割機(jī)研究較多[34]，高龍等[5]研發(fā)了智能調(diào)節(jié)割幅、割茬高度的小型智能葉菜類(lèi)蔬菜收獲機(jī);丁馨明等[6]研究設(shè)計(jì)了適用于溫室蔬菜的（金花菜、豆苗、小菜秧等）收獲機(jī);章永年等[7]開(kāi)發(fā)了柔性有序夾持收集蔬菜收獲機(jī)，其中葉菜收割是實(shí)現(xiàn)全自動(dòng)化蔬菜通用收割的重要一環(huán)。

采用有機(jī)基質(zhì)再利用栽培蔬菜，是目前高科技應(yīng)用于蔬菜生產(chǎn)的重要標(biāo)志，有效解決了農(nóng)林副產(chǎn)物的處置利用和環(huán)境污染問(wèn)題，目前已經(jīng)在種植技術(shù)中得到了廣泛的應(yīng)用。筆者研究的切割系統(tǒng)是應(yīng)用于槽式設(shè)施種植的葉菜場(chǎng)景下，基于嵌入式視覺(jué)平臺(tái)的葉菜切割控制系統(tǒng)。

1 葉菜切割系統(tǒng)總體結(jié)構(gòu)

基于嵌入式視覺(jué)平臺(tái)的葉菜切割系統(tǒng)架構(gòu)主要由紅外定位機(jī)構(gòu)、滑塊機(jī)構(gòu)、CMOS視覺(jué)識(shí)別組件、切刀模組、調(diào)整模組、橫向模組等組成。切割系統(tǒng)架構(gòu)如圖1所示。

切割系統(tǒng)采用定點(diǎn)識(shí)別切割的模式，首先定位機(jī)構(gòu)定點(diǎn)確定輸送帶上的葉菜盒的位置，滑塊機(jī)構(gòu)從斜下方向上頂出夾住葉菜兩側(cè)，使兩側(cè)蔬菜葉片向中間聚集;CMOS視覺(jué)識(shí)別組件根據(jù)定位機(jī)構(gòu)定位的葉菜盒位置，依次識(shí)別葉菜盒里葉菜根莖位置;調(diào)整模組根據(jù)識(shí)別到的根莖位置調(diào)整切刀的高度;橫向模組控制收獲機(jī)器移動(dòng)到下一顆葉菜位置，移動(dòng)7次收割完基質(zhì)槽8顆葉菜;橫向模組初始化，機(jī)構(gòu)復(fù)位，蔬菜盒流至下工位進(jìn)行蔬菜收集，單盒葉菜收割完成。

2 葉菜切割系統(tǒng)硬件設(shè)計(jì)

2.1 葉菜切割控制系統(tǒng)硬件模塊

系統(tǒng)對(duì)葉菜的切割首先應(yīng)識(shí)別葉菜根莖的位置，根據(jù)根莖位置設(shè)計(jì)控制系統(tǒng)來(lái)控制切割機(jī)構(gòu)進(jìn)行葉菜根莖切割。葉菜切割系統(tǒng)硬件模塊主要由供電電路、控制單元、數(shù)據(jù)采集電路、控制切割電路構(gòu)成（圖2）。控制單元為切割控制系統(tǒng)的核心部分，對(duì)外圍電路發(fā)出的指令進(jìn)行響應(yīng)、中斷控制[8]，并對(duì)外圍電路有效的電流、電壓、功率等進(jìn)行計(jì)算;數(shù)據(jù)采集電路采用CMOS攝像頭進(jìn)行圖像的采集，將采集的有效圖像反饋給控制單元進(jìn)行圖像處理;控制切割電路接受到控制單元傳送來(lái)的切割信號(hào)，切刀模組進(jìn)行相應(yīng)的調(diào)整切割。

2.2 主控制器模塊

選用ST公司生產(chǎn)的STM32H743為核心控制單元，其內(nèi)核采用32位ARM Cortex-M7（帶雙精度浮點(diǎn)單元），最高性能工作頻率可達(dá)400 MHz，支持雙精度浮點(diǎn)運(yùn)算和16位的A/D[9]、1MB RAM、Art加速器、L1緩存、外設(shè)存儲(chǔ)器接口以及各種外設(shè)，內(nèi)置集成了加密/哈希處理器，用于實(shí)現(xiàn)器件的安全特性，整體性能可滿足作為該項(xiàng)目采集控制需求。

2.3 OV7725傳感器模塊

OV7725是一種低壓的CMOS圖像傳感器設(shè)備，內(nèi)部集成有圖像采集、DSP數(shù)據(jù)處理、模數(shù)轉(zhuǎn)換電路，高度集成化，選擇的攝像頭模組引出19個(gè)I/O接口，它以一個(gè)小尺寸封裝提供了單一芯片VGA相機(jī)和圖像處理的全部功能[10]。感光陣列大小為640×480，能實(shí)現(xiàn)最快60 fpsVGA/s分辨率的視頻，并且可配置分辨率、圖片數(shù)據(jù)格式等參數(shù)[11]。

主要的工作流程如下：在輸入時(shí)鐘XCLK的驅(qū)動(dòng)下，圖像感光陣列接收光子后經(jīng)過(guò)一系列轉(zhuǎn)換輸出指定格式模擬圖像數(shù)據(jù)，模擬圖像數(shù)據(jù)通過(guò)12位的模數(shù)轉(zhuǎn)換器轉(zhuǎn)成數(shù)字信號(hào)，再經(jīng)過(guò)片上DSP處理后最終輸出所配置格式的10位數(shù)字式圖像數(shù)據(jù)[12]。指定格式的圖像數(shù)據(jù)是通過(guò)SCCB總線配置OV7725相關(guān)寄存器得到。

OV7725實(shí)現(xiàn)的整體框架如圖3所示。首先處理單元FPGA對(duì) SCCB時(shí)序描述，進(jìn)行OV7725的單元配置;配置完成之后，OV7725 sensor將PCLK、href、vsync以及cmos_data信號(hào)輸出;輸出的信號(hào)經(jīng)過(guò)格式轉(zhuǎn)換單元進(jìn)行格式轉(zhuǎn)化，再將轉(zhuǎn)換后的數(shù)據(jù)送給SDRAM單元，最終將數(shù)據(jù)傳送給上位機(jī)進(jìn)行相應(yīng)的處理操作[13]。

3 葉菜切割系統(tǒng)軟件設(shè)計(jì)

3.1 葉菜切割系統(tǒng)主控流程

葉菜切割系統(tǒng)采用模塊化設(shè)計(jì)，其主控流程如圖4所示。首先，對(duì)系統(tǒng)初始化，實(shí)現(xiàn)各個(gè)模塊復(fù)位;流水線準(zhǔn)備收獲的葉菜盒傳送至指定位置，通過(guò)滑塊機(jī)構(gòu)從斜下方頂出夾住葉菜兩側(cè)，使葉菜的葉片向中間聚集露出葉菜根莖;隨后CMOS視覺(jué)模塊進(jìn)行葉菜根莖位置算法識(shí)別，根據(jù)識(shí)別的位置進(jìn)行割刀高度調(diào)整，分別對(duì)葉菜盒中8顆葉菜進(jìn)行切割;結(jié)束整盤(pán)葉菜切割后機(jī)構(gòu)復(fù)位，蔬菜盒流至下工位，下一盒蔬菜盒準(zhǔn)備。

3.2 葉菜切割系統(tǒng)視覺(jué)流程

在提取葉菜切割根莖圖像前，需要考慮葉菜生長(zhǎng)環(huán)境以及根莖顏色的影響。葉菜根部種植基質(zhì)顏色（主要是棕褐色基質(zhì)）以及部分老葉是主要影響視覺(jué)識(shí)別的因素。針對(duì)上述影響因素，軟件平臺(tái)使用了opencv機(jī)器視覺(jué)庫(kù)進(jìn)行系統(tǒng)的圖像處理，Python語(yǔ)言編寫(xiě)下位機(jī)圖像處理部分，C語(yǔ)言編寫(xiě)了下位機(jī)控制部分[14]，采用了RGB顏色空間的淺綠色葉菜根莖的色差分量合成的單通道圖像進(jìn)行Otsu自適應(yīng)閾值分割，能夠有效提取出切割圖像[15]。

切割系統(tǒng)視覺(jué)主控流程如圖5所示。首先啟動(dòng)攝像頭，對(duì)攝像頭進(jìn)行標(biāo)定，為了得到準(zhǔn)確的圖像色彩還原，關(guān)閉相機(jī)白平衡;設(shè)定葉菜閾值，再基于設(shè)定閾值檢測(cè)葉菜根莖所在區(qū)域，并將識(shí)別到的區(qū)域在ROI域內(nèi)框出;再進(jìn)一步對(duì)框定的ROI圖像二值化，通過(guò)Otsu算法二值化處理方法將在閾值函數(shù)內(nèi)的閾值圖像全部像素變?yōu)榘咨?，閾值外的全部像素變?yōu)楹谏?二值化后的圖像再通過(guò)腐蝕函數(shù)erode（size，threshold）、膨脹函數(shù)dilate（size，threshold）進(jìn)行腐蝕、膨脹確定割刀目標(biāo)區(qū)域;其中size是去除邊緣相鄰處多余的點(diǎn)，閾值函數(shù)threshold是用來(lái)設(shè)置去除相鄰點(diǎn)的個(gè)數(shù)，圖像邊緣附近的白色雜點(diǎn)、邊緣膨脹大小隨閾值函數(shù)的大小改變。通過(guò)測(cè)距算法計(jì)算出割刀的圖像距離與實(shí)際距離的比值，切割位置通過(guò)串口傳給下位機(jī)，割刀調(diào)整位置進(jìn)行切割。

4 系統(tǒng)測(cè)試分析

4.1 試驗(yàn)概況

在江蘇省農(nóng)業(yè)科學(xué)院六合實(shí)驗(yàn)基地取成熟期的葉菜，該基地采用基質(zhì)化再利用技術(shù)種植葉菜，種植基質(zhì)槽寬15 cm、長(zhǎng)32 cm，葉菜種植距離為4 cm，1條基質(zhì)槽種植8顆葉菜，收獲的蔬菜種類(lèi)主要為青菜、苦苣、生菜等。試驗(yàn)于2019年8月25日在江蘇省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)設(shè)施與裝備研究所進(jìn)行，主要測(cè)試葉菜類(lèi)蔬菜切割控制系統(tǒng)的性能。此次試驗(yàn)的葉菜主要是青菜，成熟青菜高約3.5 cm，1棵植株平均5片葉向四周散開(kāi)。

4.2 試驗(yàn)過(guò)程

由于圖像在采集或傳輸中會(huì)產(chǎn)生大量的噪聲，因此在對(duì)圖像采集和收集時(shí)要進(jìn)行圖像的預(yù)處理操作。

首先對(duì)相機(jī)進(jìn)行標(biāo)定，關(guān)閉白平衡;設(shè)定青菜的根莖閾值，對(duì)青菜所在區(qū)域進(jìn)行檢測(cè)，初步將識(shí)別到的青菜框定在ROI區(qū)域內(nèi)框處，如圖6所示。

其次通過(guò)Otsu算法進(jìn)行二值化圖像處理，該方法又稱(chēng)最大類(lèi)間方差法或大津法，最大限度將圖像背景和識(shí)別目標(biāo)的類(lèi)間方差進(jìn)行自動(dòng)閾值分割[16];圖像背景識(shí)別目標(biāo)之間的類(lèi)間方差越大，說(shuō)明兩者之間的差別就越大，當(dāng)部分圖像背景或部分識(shí)別目標(biāo)錯(cuò)分為背景都會(huì)導(dǎo)致2部分的差別變小[17]。使用Otsu算法進(jìn)行二值化處理錯(cuò)分的概率最小，能夠準(zhǔn)確識(shí)別到目標(biāo)。

將基于設(shè)定閾值識(shí)別的葉菜進(jìn)行二值化處理（圖7a），再進(jìn)一步進(jìn)行閾值調(diào)整，分割出青菜根莖的位置（7b）。

進(jìn)一步對(duì)圖像進(jìn)行腐蝕膨脹，圖像先膨脹再腐蝕，能有效地區(qū)分出目標(biāo)圖像的邊界。針對(duì)二值化的圖像進(jìn)行腐蝕，可以消除噪點(diǎn)，有效地分割出獨(dú)立的圖形元素，識(shí)別出圖像中青菜根莖極限區(qū)域。青菜根莖膨脹腐蝕運(yùn)算如圖8所示。

最后進(jìn)行割刀的切割距離計(jì)算。由于該研究是根據(jù)割刀與青菜根莖的相對(duì)位置計(jì)算割刀切割的執(zhí)行高度，因此需要計(jì)算出割刀的實(shí)際執(zhí)行高度與圖像上割刀應(yīng)調(diào)節(jié)高度的關(guān)系。此次試驗(yàn)識(shí)別青菜根莖的距離以及種植的青菜在葉菜盒中的固定位置，因此可采用參照物的形式來(lái)測(cè)量距離，根據(jù)參照物的大小比例關(guān)系來(lái)測(cè)量割刀的實(shí)際距離。

根據(jù)青菜在葉菜盒中的位置進(jìn)行同位置投放參照物，由攝像頭中參照物的幾何關(guān)系可得出攝像頭到參照物固定距離與圖像中實(shí)際距離的比值，如公式（1）所示。由真實(shí)環(huán)境里參照物的幾何關(guān)系可得出參照物的實(shí)際大小與長(zhǎng)度的比值，如公式（2）所示。將公式（2）帶入公式（1）可得出實(shí)際長(zhǎng)度與攝像頭的像素成反比，利用公式（3）計(jì)算出實(shí)際距離與圖上距離的比值關(guān)系，推導(dǎo)出實(shí)際距離和攝像頭中產(chǎn)生的像素成反比，得出割刀的實(shí)際距離（cm）。

公式中，Lm是參照物與攝像頭的距離;Bpix是攝像頭中參照物所占的直徑像素;Rm是球真實(shí)的長(zhǎng)度;Apix是求出的固定像素;a是機(jī)器視覺(jué)的1/2;b是視覺(jué)的1/4。設(shè)置一個(gè)圓形紅色參照物，參照物如圖9所示。

5 結(jié)論

該研究針對(duì)葉菜切割圖像難以利用灰度特征值進(jìn)行處理的實(shí)際情況，采用RGB顏色空間的色差分量合成的單通道圖像進(jìn)行Otsu自適應(yīng)閾值分割，能夠快速有效地對(duì)切割圖像進(jìn)行分割，實(shí)現(xiàn)了對(duì)葉菜全自動(dòng)化有效收割。結(jié)果表明，該算法能夠?qū)δ繕?biāo)進(jìn)行精準(zhǔn)的檢測(cè)和定位，整個(gè)切割系統(tǒng)性能良好，收獲過(guò)程中對(duì)蔬菜切割莖的長(zhǎng)度保留適中，切割整齊且能輔助葉菜的有序存放。

參考文獻(xiàn)

[1] 左緒金.我國(guó)設(shè)施蔬菜產(chǎn)業(yè)發(fā)展現(xiàn)狀及其未來(lái)發(fā)展路徑探析[J].現(xiàn)代農(nóng)業(yè)研究，2019（5）：47-48.

[2] 卞麗娜，李繼偉，丁馨明.葉菜類(lèi)蔬菜機(jī)械化收獲技術(shù)及研究[J].農(nóng)業(yè)裝備技術(shù)，2015，41（2）：22-24.

[3] 陸海濤，呂建強(qiáng)，金偉，等.我國(guó)葉類(lèi)蔬菜機(jī)械化收獲技術(shù)的發(fā)展現(xiàn)狀[J].農(nóng)機(jī)化研究，2018，40（6）：261-268.

[4] 韋勇，秦廣明，金月，等.葉菜收獲機(jī)械的研究現(xiàn)狀及發(fā)展趨勢(shì)[J].農(nóng)業(yè)開(kāi)發(fā)與裝備，2016（8）：98-100.

[5] 高龍，弋景剛，孔德剛，等.小型智能葉菜類(lèi)蔬菜收割機(jī)設(shè)計(jì)[J].農(nóng)機(jī)化研究，2016，38（9）：147-150.

[6] 丁馨明，何白春，薛臻.小型葉菜收割機(jī)研發(fā)與市場(chǎng)初探[J].江蘇農(nóng)機(jī)化，2014（2）：40-42.

[7] 章永年，施印炎，汪小旵，等.莖葉類(lèi)蔬菜有序收獲機(jī)柔性?shī)A持輸送機(jī)構(gòu)設(shè)計(jì)[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2016，37（9）：48-51.

[8] 楊文榮，吳晟，商建鋒.基于STM32的同步發(fā)電機(jī)勵(lì)磁調(diào)節(jié)器設(shè)計(jì)與試驗(yàn)[J].實(shí)驗(yàn)技術(shù)與管理，2019，36（6）：79-84.

[9] 曾浩.基于STM32F407的嵌入式機(jī)器視覺(jué)裝置研發(fā)[D].廣州：廣東工業(yè)大學(xué)，2015.

[10] 吳振昊，張平，張為.基于OV7725和串口的圖像采集驗(yàn)證系統(tǒng)[J].信息技術(shù)，2015（10）：90-92，96.

[11] 謝懿.基于stm32與ov7725的嵌入式工件尺寸檢測(cè)系統(tǒng)的設(shè)計(jì)[J].電子世界，2017（24）：110-111.

[12] 曹山.基于FPGA的實(shí)時(shí)圖像采集和處理系統(tǒng)設(shè)計(jì)[D].西安：西安工業(yè)大學(xué)，2015.

[13] 楊陶，田懷文，劉曉敏，等.基于邊緣檢測(cè)與Otsu的圖像分割算法研究[J].計(jì)算機(jī)工程，2016，42（11）：255-260，266.

[14] 鄒浩，郭雨婷，李佳盈，等.基于OPENMV的色彩引導(dǎo)機(jī)器人系統(tǒng)研究[J].科技資訊，2018（25）：85-86.

[15] 燕紅文，鄧雪峰.OTSU算法在圖像分割中的應(yīng)用研究[J].農(nóng)業(yè)開(kāi)發(fā)與裝備，2018（11）：103，108.

[16] 黃亦其，黃體森，楊睿，等.基于機(jī)器視覺(jué)的甘蔗切割高度檢測(cè)與試驗(yàn)[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2017，38（9）：81-87.

[17] 曹爽.基于OTSU算法的圖像閾值分割技術(shù)[D].太原：太原理工大學(xué)，2018.