宋晨旭，于翀宇，邢永超,3，李素梅，賀 紅，于 慧，馮獻(xiàn)忠

基于OpenCV的大豆籽粒多表型參數(shù)獲取算法

宋晨旭1，于翀宇1，邢永超1,3，李素梅1，賀 紅1※，于 慧2，馮獻(xiàn)忠2

（1. 山東大學(xué)機(jī)電與信息工程學(xué)院，威海 264209；2. 中國(guó)科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所，長(zhǎng)春 130102；3. 哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部，哈爾濱 150001）

大豆籽粒的表型參數(shù)獲取對(duì)大豆育種具有重要的作用。現(xiàn)有的深度學(xué)習(xí)算法獲取的大豆籽粒表型性狀較少，且識(shí)別表型的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練成本高。該研究基于OpenCV圖像處理庫(kù)，提出了一種提取大豆籽粒多表型參數(shù)的算法，從大豆圖像中一次性獲取籽粒的多種表型性狀參數(shù)，同時(shí)能識(shí)別大豆的優(yōu)劣品質(zhì)。將每個(gè)待測(cè)大豆單株的所有籽粒拍成一張圖像，首先對(duì)大豆籽粒圖像進(jìn)行二值化、去噪等預(yù)處理，然后采用分水嶺算法和改進(jìn)的目標(biāo)分割算法提取圖像中的大豆籽粒輪廓。根據(jù)大豆籽粒的輪廓信息，調(diào)用OpenCV圖像處理函數(shù)計(jì)算大豆籽粒的個(gè)數(shù)、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度、面積、周長(zhǎng)等多個(gè)表型性狀參數(shù)。引入圓形度識(shí)別殘缺大豆籽粒，使用RGB閾值判斷識(shí)別病變大豆籽粒。測(cè)試結(jié)果表明，采用該文算法計(jì)算的顆?？倲?shù)識(shí)別率為98.4%，大豆籽粒正確識(shí)別率為95.2%，破損大豆和病變大豆的識(shí)別率分別為91.25%和88.94%，籽粒的長(zhǎng)軸長(zhǎng)度與短軸長(zhǎng)度的測(cè)量精度分別為96.8%、95.8%；引入多進(jìn)程并行計(jì)算，該算法處理215張圖片時(shí)間為248.9 s，相對(duì)于單進(jìn)程計(jì)算縮短了約2/3，實(shí)現(xiàn)了低成本高通量的高精度大豆籽粒多表型性狀參數(shù)的自動(dòng)獲取，為大豆籽粒自動(dòng)化考種提供有效的處理方法。

大豆；圖像處理；算法；籽?？挤N；多表型參數(shù)；OpenCV；并行計(jì)算

0 引 言

大豆是中國(guó)重要的糧食和油料作物，大豆嚴(yán)重依賴(lài)進(jìn)口的現(xiàn)狀嚴(yán)重威脅國(guó)家糧油安全[1-3]。近年來(lái)，中國(guó)大豆育種專(zhuān)家一直致力于培育高產(chǎn)優(yōu)質(zhì)大豆新品種[4-6]。在育種過(guò)程中，需要對(duì)培育出的大豆群體進(jìn)行表型測(cè)量與分析，評(píng)估不同種質(zhì)資源的表型性狀差異[7-8]，而其中大豆籽粒的表型性狀關(guān)乎下一代大豆的產(chǎn)量以及品質(zhì)，所以大豆籽粒的表型性狀數(shù)據(jù)獲取與分析是大豆精準(zhǔn)育種的必要條件。

傳統(tǒng)的大豆籽粒的表型性狀檢測(cè)主要依靠人工觀察、挑揀、稱(chēng)量與測(cè)量，成本高，效率低下。與費(fèi)用低廉且已經(jīng)實(shí)現(xiàn)了標(biāo)準(zhǔn)化和工業(yè)化的基因型數(shù)據(jù)獲取相比，大豆籽粒的表型數(shù)據(jù)獲取與識(shí)別已經(jīng)成為精準(zhǔn)育種技術(shù)的瓶頸，亟待創(chuàng)新性的方法和策略[9-11]。

近年來(lái)，計(jì)算機(jī)視覺(jué)處理技術(shù)和人工智能技術(shù)在農(nóng)作物表型識(shí)別領(lǐng)域的應(yīng)用研究發(fā)展迅速，其在作物葉片識(shí)別、籽粒識(shí)別等領(lǐng)域的研究取得了顯著成果[12-13]。在作物籽粒表型識(shí)別方面，張玉榮等[14]提出了一種小麥不完善籽粒識(shí)別方法，對(duì)采集到的小麥原始圖像使用Python-OpenCV函數(shù)庫(kù)的圖像處理功能進(jìn)行圖像預(yù)處理，基于Keras 框架的VGG16神經(jīng)網(wǎng)絡(luò)模型對(duì)小麥進(jìn)行不完整籽粒識(shí)別，達(dá)到了85.4%的準(zhǔn)確率。朱榮勝等[15]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的大豆優(yōu)良籽粒圖像篩選分類(lèi)識(shí)別方法，選擇含有4個(gè)卷積層、4個(gè)池化層、2個(gè)全連接層的6層卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行優(yōu)化后對(duì)大豆籽粒品質(zhì)分類(lèi)可達(dá)到98.8%的準(zhǔn)確率。

目前作物籽粒表型識(shí)別的研究絕大部分都是用于品質(zhì)分類(lèi)，而對(duì)同時(shí)獲取籽粒的種皮色、長(zhǎng)短軸長(zhǎng)度、圓形度等多種表型性狀參數(shù)方面的研究很少。

神經(jīng)網(wǎng)絡(luò)模型在籽粒篩選分類(lèi)中應(yīng)用效果很好，可以采用神經(jīng)網(wǎng)絡(luò)模型從籽粒圖像中提取表型參數(shù)。但如果要提取新的表型參數(shù)，就必須再次標(biāo)注圖像中的新表型，重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，算法對(duì)新增表型參數(shù)的識(shí)別不夠靈活。神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測(cè)試對(duì)籽粒圖像質(zhì)量要求高，拍攝圖像時(shí)需要人工調(diào)整大豆籽粒的位置，難以滿(mǎn)足批量處理籽粒表型鑒定的高通量要求。

基于以上問(wèn)題，本文提出一種基于OpenCV[16]的大豆籽粒多表型參數(shù)獲取策略，在獲取大豆籽粒的多種表型參數(shù)的同時(shí)，完成正常和非正常品質(zhì)大豆籽粒的識(shí)別篩選，實(shí)現(xiàn)大豆單株全部籽粒的一次性考種，為大豆籽粒自動(dòng)化考種提供有效的處理方法，為選種育種提供可靠的數(shù)據(jù)支撐。

1 材料與圖像采集

1.1 樣本材料

本研究選用的大豆材料為中國(guó)科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所提供的2020年收獲的3.2萬(wàn)株大豆的籽粒。

1.2 圖像采集裝置

圖像采集裝置如圖1所示，由接料盤(pán)、手機(jī)、手機(jī)支架和電腦組成。采用500萬(wàn)以上像素的手機(jī)對(duì)大豆籽粒進(jìn)行拍攝來(lái)實(shí)現(xiàn)大豆籽粒圖像采集。一株大豆植株的所有籽粒拍為一張照片。

圖1 圖像采集裝置簡(jiǎn)圖

將一株大豆植株的所有籽粒鋪放在鋪有黑色吸光絨布的接料盤(pán)上。黑色吸光絨布不反光，質(zhì)地軟，摩擦力大，可以很大程度地避免大豆籽粒聚集的現(xiàn)象，使大豆籽粒均勻、隨機(jī)地散落在盤(pán)上。用手機(jī)支架將手機(jī)放置于接料盤(pán)的正上方，使用電腦操控手機(jī)進(jìn)行拍攝，并對(duì)拍攝的圖像進(jìn)行命名。

圖像采集在光線充足且無(wú)明顯其余光噪音的環(huán)境下進(jìn)行。拍攝前先放一張白紙?jiān)诮恿媳P(pán)上，記錄環(huán)境光在各坐標(biāo)上的初始值，以方便對(duì)種皮色進(jìn)行準(zhǔn)確的歸一化處理。在接料盤(pán)上放置一個(gè)3 cm×2 cm的白色比例尺，用于大豆實(shí)際尺寸的計(jì)算。在接料盤(pán)上放置黃色系比色卡，便于采集種皮色等表型參數(shù)。

2 大豆籽粒輪廓提取

2.1 輪廓提取流程

在大豆籽粒的考種過(guò)程中，大豆籽粒圖像按照一幅圖像對(duì)應(yīng)一株大豆的方式進(jìn)行采集，采集的原始圖像以大豆株系命名。為了準(zhǔn)確地提取大豆籽粒的表型參數(shù)，采集的原始圖像需要進(jìn)行預(yù)處理，使圖像中每粒大豆都具有清晰的邊界輪廓。圖像處理流程如圖2所示。

2.2 圖像預(yù)處理

2.2.1 圖像二值化

使用Python-OpenCV庫(kù)函數(shù)中的cv2.imread()函數(shù)讀取圖像文件。為增強(qiáng)圖像特征，對(duì)讀入的原始圖像進(jìn)行灰度化和二值化[17-18]處理。采用cv2.cvtColor()函數(shù)對(duì)圖像灰度化，cv2.threshold()函數(shù)對(duì)灰度圖進(jìn)行二值化操作。圖像的二值化可使數(shù)據(jù)量大為減少，更能凸顯目標(biāo)輪廓，使圖像呈現(xiàn)明顯的黑白效果。由于各設(shè)備拍攝過(guò)程中光照、拍攝角度、設(shè)備的不同，算法采用了自動(dòng)計(jì)算最佳二值化閾值。通過(guò)cv2.calcHist()函數(shù)計(jì)算通道灰度直方圖得到背景的灰度值范圍，如圖3所示。橫坐標(biāo)0～50部分表示圖像背景為黑色，也是灰度值最多的點(diǎn)，橫坐標(biāo)150～250部分所示表示大豆籽粒呈黃色。兩者顏色差異較大，以此為二值化閾值，可以實(shí)現(xiàn)圖像二值化。

圖2 圖像處理流程

圖3 灰度直方圖

2.2.2 比例尺定位與識(shí)別

接料盤(pán)上有3 cm×2 cm的白色卡片作為比例尺，根據(jù)比例尺可以計(jì)算每粒大豆的實(shí)際尺寸。根據(jù)圓形度和RGB定位比例尺，通過(guò)計(jì)算比例尺的像素面積與像素周長(zhǎng)，進(jìn)一步可得到圖像-實(shí)際比例。白色的比例尺顏色與大豆籽粒顏色比較接近，在進(jìn)行籽粒識(shí)別時(shí)，計(jì)算機(jī)有可能把圖像中的比例尺識(shí)別成一堆大豆籽粒。為了不影響后續(xù)的圖像處理，將圖像中的比例尺進(jìn)行了描黑處理。

2.2.3 圖像去噪

大豆籽粒的原始圖像在經(jīng)過(guò)灰度化和二值化處理后，圖像細(xì)節(jié)得到了增強(qiáng)，對(duì)比度增加。但是，因?yàn)榻恿媳P(pán)上的碎渣、光照不均勻等問(wèn)題，部分圖像經(jīng)過(guò)二值化處理后仍然存在噪聲。本研究運(yùn)用圖像形態(tài)學(xué)運(yùn)算進(jìn)行圖像去噪，對(duì)圖像進(jìn)行進(jìn)一步優(yōu)化，增強(qiáng)圖像細(xì)節(jié)。

形態(tài)學(xué)運(yùn)算是針對(duì)二值圖像依據(jù)數(shù)學(xué)形態(tài)學(xué)的集合論方法發(fā)展起來(lái)的圖像處理方法。最基本的形態(tài)學(xué)操作有腐蝕和膨脹[19-20]。在二值圖像中，目標(biāo)像素點(diǎn)的值為255，背景像素點(diǎn)的值為0。腐蝕操作是在二值圖像中刪除目標(biāo)邊界的某些像素為255的值，膨脹操作是在二值圖像中為目標(biāo)圖像的邊界添加像素為255的值。

對(duì)二值圖像先腐蝕再膨脹稱(chēng)為開(kāi)運(yùn)算。開(kāi)運(yùn)算可以去除目標(biāo)外的孤立點(diǎn)。使用腐蝕，背景擴(kuò)展，該孤立點(diǎn)會(huì)被腐蝕掉，但是腐蝕會(huì)導(dǎo)致目標(biāo)縮小，再進(jìn)行膨脹操作，將目標(biāo)區(qū)域擴(kuò)展回原來(lái)大小。對(duì)二值圖像先膨脹再腐蝕為閉運(yùn)算。閉運(yùn)算可以去除目標(biāo)內(nèi)部的小孔或小黑點(diǎn)。由于目標(biāo)區(qū)域內(nèi)存在像素點(diǎn)為0的值，首先進(jìn)行膨脹操作，目標(biāo)區(qū)域擴(kuò)張一圈，將目標(biāo)區(qū)域的0值去除，再進(jìn)行腐蝕操作，使目標(biāo)恢復(fù)之前的大小。圖 4a為原始的大豆籽粒二值圖像，存在部分目標(biāo)外的孤立點(diǎn)，對(duì)其使用開(kāi)運(yùn)算后，孤立點(diǎn)得以去除，如圖 4b所示。

圖4 形態(tài)學(xué)運(yùn)算去噪前后的圖像對(duì)比

2.3 目標(biāo)輪廓分割

分水嶺算法是一種基于拓?fù)淅碚摰男螒B(tài)學(xué)分割方法，對(duì)圖片灰度的梯度估計(jì)非常直接，便于尋找圖像的梯度波峰，目標(biāo)分割實(shí)現(xiàn)方便[21-23]。本研究運(yùn)用改進(jìn)的分水嶺算法來(lái)實(shí)現(xiàn)大豆籽粒目標(biāo)輪廓分割。

2.3.1 基于標(biāo)記的分水嶺目標(biāo)分割

圖4中的大豆目標(biāo)區(qū)域?yàn)槟繕?biāo)分割塊，由于原圖像中灰度變化不明顯，導(dǎo)致使用傳統(tǒng)的腐蝕操作區(qū)分目標(biāo)界限會(huì)出現(xiàn)分割不全現(xiàn)象，如圖5a所示。

采用距離變換[24]替換腐蝕操作，根據(jù)目標(biāo)區(qū)域與最近的背景區(qū)域的距離來(lái)區(qū)分目標(biāo)界限，得到目標(biāo)的前景區(qū)域，如圖5b所示，分割不全的現(xiàn)象得到明顯改善。

將膨脹后的二值圖與距離變換二值圖取差值，得到圖5c所示的非確定區(qū)域，籽粒的輪廓邊界就存在于該區(qū)域中。將非確定區(qū)域與確定的前景區(qū)域分別標(biāo)記為0和1，采用分水嶺算法，從一個(gè)初始的高閾值逐漸降低，在非確定區(qū)域中尋找邊緣輪廓，將目標(biāo)圖像分割為單個(gè)大豆籽粒[25]，如圖5d所示。

圖5 邊緣輪廓分割過(guò)程

2.3.2 粘連目標(biāo)分割算法改進(jìn)

對(duì)于高產(chǎn)大豆植株，單株籽粒數(shù)目多，密集鋪放的大豆籽粒圖像經(jīng)傳統(tǒng)的分水嶺算法分割輪廓后，仍然會(huì)出現(xiàn)粘連情況，如圖6a所示。為處理這種粘連情況，本研究對(duì)分水嶺算法進(jìn)行了改進(jìn)，對(duì)目標(biāo)籽粒進(jìn)行二次判斷和輪廓分割。

引入圓形度[26]來(lái)進(jìn)行輪廓判斷，圓形度計(jì)算公式為式（1）。

式中為圓形度；表示面積，mm2；表示周長(zhǎng)，mm。若等于1，輪廓為圓形，越小，輪廓越不規(guī)律，與圓形的差距越大。如果將多個(gè)粘連著的籽粒識(shí)別成一個(gè)，其輪廓必定與圓形差別很大。當(dāng)輪廓圓形度小于設(shè)定閾值時(shí)，需對(duì)其進(jìn)行二次判斷。

二次判斷過(guò)程由高閾值進(jìn)行降噪、分水嶺算法和二值化組成，降噪使用開(kāi)運(yùn)算、腐蝕、膨脹操作，過(guò)程與初次判斷類(lèi)似，但參數(shù)不同。對(duì)于需要二次判斷的區(qū)域，由于背景為黑色，所以灰度值越高，二值化效果越明顯。為使邊緣輪廓切割更加明顯，需要提高二值化閾值，重新計(jì)算大豆籽粒輪廓。

采用OpenCV庫(kù)函數(shù)中的boundingRect()函數(shù)，計(jì)算目標(biāo)輪廓的垂直邊界最小矩形，矩形與圖像上下邊界平行，由該矩形坐標(biāo)求得矩形中心點(diǎn)坐標(biāo)。由于大豆籽粒形狀較為規(guī)則，在圖像中呈橢圓狀或圓狀，如果矩形中心點(diǎn)坐標(biāo)在籽粒輪廓內(nèi)，則可以認(rèn)為該輪廓是一個(gè)大豆籽粒，粘連目標(biāo)分割成功。如果矩形中心點(diǎn)不在籽粒輪廓內(nèi)，該輪廓就不是1個(gè)大豆籽粒，需在輪廓之間增加一條黑色邊界線進(jìn)行分割，再進(jìn)行二次判斷，直至目標(biāo)分割成功。

經(jīng)過(guò)改進(jìn)分水嶺算法的大豆籽粒目標(biāo)分割結(jié)果如圖 6b所示，實(shí)現(xiàn)了對(duì)粘連籽粒目標(biāo)的分割。

圖6 粘連目標(biāo)的分割處理

大豆單株的籽粒圖像經(jīng)過(guò)圖像處理和輪廓參數(shù)提取后的結(jié)果如圖7所示。

圖7 大豆籽粒輪廓提取結(jié)果

3 大豆籽粒品質(zhì)識(shí)別與表型參數(shù)提取

3.1 大豆籽粒品質(zhì)識(shí)別

在種植大豆時(shí)，需要篩選出籽粒飽滿(mǎn)、無(wú)破損和病蟲(chóng)害等問(wèn)題的優(yōu)質(zhì)大豆籽粒作為種子。不良品質(zhì)的大豆主要有破損籽粒、未成熟籽粒以及各種病變籽粒，破損的大豆形狀不規(guī)則，如圖8a所示；病變大豆籽粒顏色與優(yōu)良大豆籽粒差異較大，如圖8b所示；未成熟大豆的形狀和顏色都與正常大豆有差異。因此根據(jù)大豆籽粒的形狀和顏色可以識(shí)別篩選出優(yōu)良品質(zhì)大豆和不良品質(zhì)大豆。

3.1.1 破損籽粒判斷識(shí)別

形狀不規(guī)則的破損大豆、蟲(chóng)蝕大豆和未熟大豆都可以歸類(lèi)為破損籽粒。根據(jù)籽粒的圓形度可以判斷籽粒是否破損。正常大豆籽粒的形狀接近于圓形或橢圓形，圓形度較高，形狀越不規(guī)則，圓形度越低。按照式（1）計(jì)算大豆籽粒的圓形度，根據(jù)正常大豆的圓形度設(shè)定一個(gè)閾值，若籽粒的圓形度小于閾值時(shí)就判定為破損籽粒，圖8a中的大豆籽粒即判斷識(shí)別為破損籽粒。

圖8 不良品質(zhì)大豆

3.1.2病變籽粒判斷識(shí)別

產(chǎn)生病變的大豆籽粒顏色與正常大豆的顏色存在差異，一般病變大豆表皮呈深色或有深色斑塊，如圖 8b中的大豆籽粒。深色的RGB色值較低，計(jì)算一幅圖像中所有大豆籽粒的平均RGB，根據(jù)此平均RGB值設(shè)置一個(gè)合適的顏色閾值，當(dāng)大豆籽粒有較大部分的區(qū)域RGB值低于設(shè)置的顏色閾值時(shí)，則判斷大豆籽粒產(chǎn)生病變。

需要根據(jù)大豆批次的籽粒表皮顏色實(shí)際情況選取合適的RGB顏色閾值以及深色區(qū)域占一個(gè)籽粒目標(biāo)區(qū)域的百分比。對(duì)于本研究的大豆樣本材料，經(jīng)多次試驗(yàn)，當(dāng)設(shè)置顏色閾值為平均RGB的0.6倍，大豆籽粒有80%的區(qū)域RGB值低于設(shè)置的顏色閾值時(shí)，判斷大豆籽粒產(chǎn)生病變的準(zhǔn)確度最高。

3.2 大豆籽粒表型參數(shù)獲取

3.2.1 面積與周長(zhǎng)計(jì)算

圖像經(jīng)過(guò)處理后，得到所有大豆籽粒輪廓。采用OpenCV相關(guān)函數(shù)計(jì)算提取每個(gè)大豆籽粒的輪廓數(shù)據(jù)信息。分別采用cv2.contourArea()、cv2.arcLength(contours)函數(shù)計(jì)算大豆籽粒的面積和周長(zhǎng)，根據(jù)面積和周長(zhǎng)計(jì)算對(duì)應(yīng)的方差、平均籽粒面積和周長(zhǎng)。

3.2.2 長(zhǎng)軸短軸長(zhǎng)度與長(zhǎng)短軸比計(jì)算

為了準(zhǔn)確描述籽粒接近圓形的程度，本研究對(duì)大豆籽粒的長(zhǎng)、短軸進(jìn)行了計(jì)算。由于大豆籽粒的形狀接近橢圓，可以利用cv2.fitEllipse()函數(shù)對(duì)其進(jìn)行擬合橢圓操作，返回值如式（2）所示。

式中(,)代表橢圓中心點(diǎn)位置，(,)代表長(zhǎng)短軸的長(zhǎng)度，mm，angle代表中心旋轉(zhuǎn)角度（°），橢圓擬合結(jié)果如圖9所示。

根據(jù)比例尺能夠計(jì)算出大豆籽粒長(zhǎng)軸和短軸的實(shí)際長(zhǎng)度值，進(jìn)而可以算出大豆的長(zhǎng)短軸比。對(duì)于判定為不良品質(zhì)的大豆籽粒，不計(jì)算其長(zhǎng)、短軸長(zhǎng)度。

注：a, b分別為大豆長(zhǎng)短軸的長(zhǎng)度，mm。

3.3 表型數(shù)據(jù)保存

本研究處理了3.2萬(wàn)幅大豆植株的籽粒圖像，共有大豆種子280萬(wàn)余粒。使用了2個(gè)csv表格文件存儲(chǔ)獲取的大豆籽粒多表型參數(shù)數(shù)據(jù)。一個(gè)表格文件存儲(chǔ)每粒大豆籽粒的多表型參數(shù)，包括株系號(hào)、株號(hào)、大豆編號(hào)、面積、周長(zhǎng)、長(zhǎng)軸長(zhǎng)度、短軸長(zhǎng)度、長(zhǎng)短軸比例、圓形度、RGB值、是否殘缺、是否患病等。另一個(gè)文件按植株存儲(chǔ)，存儲(chǔ)每個(gè)大豆植株的所有籽粒個(gè)數(shù)、優(yōu)質(zhì)籽粒個(gè)數(shù)、殘缺籽粒個(gè)數(shù)、病變籽粒個(gè)數(shù)、以及面積、周長(zhǎng)等表型參數(shù)的平均值?？梢园床煌谋硇蛯?duì)大豆植株進(jìn)行排序，便于尋找關(guān)鍵的某個(gè)或某幾個(gè)表型最優(yōu)異的大豆植株。

4 結(jié)果與分析

4.1 籽粒數(shù)量識(shí)別結(jié)果

為驗(yàn)證本文算法的準(zhǔn)確性，分別采用傳統(tǒng)分水嶺算法和改進(jìn)的目標(biāo)分割算法對(duì)每幅大豆籽粒圖像進(jìn)行目標(biāo)輪廓分割和籽粒個(gè)數(shù)統(tǒng)計(jì)，與人工統(tǒng)計(jì)的各幅圖像中大豆籽粒個(gè)數(shù)進(jìn)行對(duì)比。表1為其中的一幅大豆圖像的大豆籽粒數(shù)量識(shí)別結(jié)果，人工統(tǒng)計(jì)的該幅圖像有194粒大豆籽粒。從表1可以得出，采用改進(jìn)后的目標(biāo)分割算法識(shí)別大豆籽粒數(shù)量，顆?？倲?shù)的識(shí)別率和大豆籽粒的正確識(shí)別率比采用傳統(tǒng)算法分別提高了39.4個(gè)百分點(diǎn)和58.1個(gè)百分點(diǎn)。

隨機(jī)抽取100幅大豆籽粒圖像的改進(jìn)算法識(shí)別結(jié)果進(jìn)行識(shí)別率統(tǒng)計(jì)，顆?？倲?shù)的識(shí)別率為98.4%，大豆籽粒的正確識(shí)別率為95.2%。

4.2 籽粒品質(zhì)識(shí)別結(jié)果

同樣選擇上述100幅大豆籽粒圖像，用人工方式統(tǒng)計(jì)破損籽粒數(shù)量以及病變籽粒數(shù)量，與采用本文算法計(jì)算識(shí)別的不良大豆籽粒作比較，結(jié)果如表2所示，本文方法對(duì)破損大豆籽粒的識(shí)別率為91.25%，對(duì)病變大豆籽粒的識(shí)別率為88.94%。

表1 大豆籽粒數(shù)量識(shí)別率統(tǒng)計(jì)

表2 大豆籽粒品質(zhì)識(shí)別率統(tǒng)計(jì)

由于選用的圖像為不同批次大豆的籽粒圖像，而且拍攝時(shí)間也不盡相同，所以不同圖片中的正常大豆顏色不一致，影響了病變大豆的識(shí)別率。

4.3 籽粒長(zhǎng)短軸長(zhǎng)度計(jì)算精度

隨機(jī)選擇了107粒待考種大豆作為樣本，使用游標(biāo)卡尺（量程150 mm，精度0.02 mm）人工測(cè)量樣本籽粒的最大直徑和最小直徑，分別作為人工測(cè)得的籽粒長(zhǎng)軸、短軸長(zhǎng)度，與采用本文算法計(jì)算出的籽粒長(zhǎng)、短軸長(zhǎng)度進(jìn)行比較，結(jié)果如圖10所示。以人工測(cè)量結(jié)果為標(biāo)準(zhǔn)，本文方法計(jì)算得出的籽粒長(zhǎng)軸長(zhǎng)度的平均精確度為96.8%，短軸長(zhǎng)度的平均精確度為95.8%。

圖10 長(zhǎng)短軸長(zhǎng)度計(jì)算值與人工測(cè)量值比較

4.4 圖像處理速度

創(chuàng)建多個(gè)進(jìn)程[27]，可以提高CPU利用率，能顯著加快計(jì)算密集型任務(wù)的數(shù)據(jù)處理速度。為了對(duì)算法的可并行化程度進(jìn)行測(cè)試，本研究的計(jì)算設(shè)備是8核處理器，由此創(chuàng)建了8個(gè)進(jìn)程。輸入包含大豆植株圖片的文件夾路徑后，程序自動(dòng)進(jìn)行并行處理，處理完成后返回程序運(yùn)行時(shí)間。

經(jīng)測(cè)試，單進(jìn)程計(jì)算的情況下，處理215張圖片總用時(shí)722.8 s；創(chuàng)建8個(gè)進(jìn)程并行執(zhí)行之后，處理相同215張圖片總用時(shí)間為248.9 s，較單進(jìn)程計(jì)算情況，時(shí)間縮短了約2/3。由此可見(jiàn)，本算法容易被并行化并且能顯著縮短圖片處理時(shí)間。

5 結(jié) 論

本研究基于OpenCV和計(jì)算機(jī)視覺(jué)處理技術(shù)提出了1種大豆籽粒多表型參數(shù)獲取算法，對(duì)傳統(tǒng)算法進(jìn)行改進(jìn)，實(shí)現(xiàn)了對(duì)大豆單株籽粒圖像的快速處理。算法能從圖像中一次性獲取大豆籽粒的多種表型性狀參數(shù)，包括籽粒個(gè)數(shù)、籽粒周長(zhǎng)和面積、RGB、長(zhǎng)短軸比和圓形度等，同時(shí)能識(shí)別大豆的優(yōu)劣品質(zhì)。

本文算法對(duì)單幅大豆籽粒圖像的顆?？倲?shù)的識(shí)別率可達(dá)到98.4%，大豆正確識(shí)別率可達(dá)到95.2%，短軸長(zhǎng)度的精確度能達(dá)到95.8%，長(zhǎng)軸長(zhǎng)度的精確度能達(dá)到96.8%，對(duì)破損大豆籽粒的識(shí)別率可達(dá)到91.25%，對(duì)病變大豆籽粒的識(shí)別率可達(dá)到88.94%。相對(duì)于單進(jìn)程計(jì)算，通過(guò)CPU處理器的多核多進(jìn)程并行計(jì)算可使算法運(yùn)行時(shí)間縮短約2/3，滿(mǎn)足大豆籽粒高通量自動(dòng)考種，為大豆表型參數(shù)提取和選種提供了新思路。

[1] 陳男，李靜，沈祥娟，等. 大豆GmCBL7基因的克隆及生理功能分析[J]. 農(nóng)業(yè)生物技術(shù)學(xué)報(bào)，2021，29(10)：1904-1913.

Chen Nan, Li Jing, Shen Xiangjuan, et al. Cloning and physiological function analysis of GmCBL7 gene in soybean (glycine max)[J]. Journal of Agricultural Biotechnology, 2021, 29(10): 1904-1913. (in Chinese with English abstract)

[2] 高雪冬，顧鑫，楊曉賀，等. 大豆優(yōu)質(zhì)高產(chǎn)栽培技術(shù)[J]. 現(xiàn)代農(nóng)業(yè)科技，2021(11)：14-15,17.

Gao Xuedong, Gu Xin, Yang Xiaohe, et al. High quality and high yield cultivation technology of soybean[J]. Modern Agricultural Science and Technology, 2021(11): 14-15,17. (in Chinese with English abstract)

[3] 王榮森，吳蓉，陳陽(yáng). 中國(guó)糧食進(jìn)口安全與地區(qū)結(jié)構(gòu)研究[J]. 當(dāng)代經(jīng)濟(jì)，2020(5)：4-10.

Wang Rongsen, Wu Rong, Chen Yang. Research on China's grain import security and regional structure[J]. Contemporary Economics, 2020(5): 4-10. (in Chinese with English abstract)

[4] 馮獻(xiàn)忠，劉寶輝，楊素欣. 大豆分子設(shè)計(jì)育種研究進(jìn)展與展望[J]．土壤與作物，2014，3(4)：123-131.

Feng Xianzhong, Liu Baohui, Yang Suxin. Progress and perspective of soybean molecular design breeding research[J]. Soil and Crop, 2014, 3(4): 123-131. (in Chinese with English abstract)

[5] 徐杰飛，郭泰，王志新，等. 大豆常規(guī)育種和分子育種相結(jié)合的研究進(jìn)展[J]. 現(xiàn)代化農(nóng)業(yè)，2021(6)：2-4.

Xu Jiefei, Guo Tai, Wang Zhixin, et al. Research progress of combination of conventional breeding and molecular breeding of soybean[J]. Agricultural Modernization, 2021(6): 2-4. (in Chinese with English abstract)

[6] 吳國(guó)棟，修宇，王華芳. 優(yōu)化子葉節(jié)轉(zhuǎn)化法培育大豆MtDREB2A轉(zhuǎn)基因植株[J]．植物學(xué)報(bào)，2018，53(1)：59-71.

Wu Guodong, Xiu Yu, Wang Huafang. Breeding of MtDREB2A transgenic soybean by an optimized cotyledonary-node method[J]. Chinese Bulletin of Botany, 2018, 53(1): 59-71. (in Chinese with English abstract)

[7] Ghanem M E, Marrou H, Sinclair T R. Physiological phenotyping of plants for crop improvement[J]. Trends in Plant Science, 2015, 20(3): 139-144.

[8] 馬鴻潤(rùn). 面向人工智能育種的大豆種子表型特征數(shù)據(jù)采集與分析[D]. 威海：山東大學(xué)，2020.

Ma Hongrun. The Collection and Analysis of Soybean Seed Phenotypic Characteristic Data for Artificial Intelligence Breeding[D]. WeiHai: Shangdong University, 2020. (in Chinese with English abstract)

[9] Li S, Yan Z Z, Guo Y X, et al. SPM-IS: An auto-algorithm to acquire a mature soybean phenotype based on instance segmentation[J]. The Crop Journal, 2022, 10(5): 1412-1423.

[10] Johanna Roussel, Felix Geiger, Andreas Fischbach, et al. 3D surface reconstruction of plant seeds by volume carving: Performance and ccuracies[J]. Frontiers in Plant Science, 2016, 7: 745.

[11] Uzal L C, Grinblat G L, Namías R, et al. Seed-per-pod estimation for plant breeding using deep learning[J]. Computers and Electronics in Agriculture, 2018, 150: 196-204

[12] 國(guó)家市場(chǎng)監(jiān)督管理總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì). 植物品種特異性、一致性和穩(wěn)定性測(cè)試指南大豆[S]. 北京：中國(guó)標(biāo)準(zhǔn)出版社，2018.

[13] Liu N, Kan J M. Improved deep belief networks and multi-feature fusion for leaf identification[J]. Neurocomputing, 2016, 216: 460-467.

[14] 張玉榮，王強(qiáng)強(qiáng)，吳瓊，等. 基于Python-OpenCV圖像處理技術(shù)的小麥不完整粒識(shí)別研究[J]. 河南工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，42(6)：105-112.

Zhang Yurong, Wang Qiangqiang, Wu Qiong, et al. Research on imperfect wheat grain recognition based on Python-OpenCV image processing technology[J]. Journal of Henan University of Technology(Natural Science Edition). 2021, 42(6): 105-112. (in Chinese with English abstract)

[15] 朱榮勝，閆學(xué)慧，陳慶山. 基于圖像識(shí)別和卷積神經(jīng)網(wǎng)絡(luò)的大豆優(yōu)良籽粒篩選研究[J]. 大豆科學(xué)，2020，39(2)：189-197.

Zhu Rongsheng, Yan Xuehui, Chen Qingshan. Study on the optimization of soybean seed selection based on image recognition and convolution neural network[J]. Soybean Science, 2020: 39(2): 189-197. (in Chinese with English abstract)

[16] 張軍，孫梓豪，衛(wèi)藝冉. 基于OpenCV3的自主巡檢遠(yuǎn)程應(yīng)急機(jī)器人系統(tǒng)設(shè)計(jì)[J]. 無(wú)線互聯(lián)科技，2021，18(19)：39-41.

Zhang Jun, Sun Zihao, Wei Yiran. Design of autonomous patrol remote emergency robot system based on OpenCV3[J]. Wireless Internet Technology, 2021, 18(19): 39-41. (in Chinese with English abstract)

[17] Lins R D, Bernardino R, Barboza R S, et al. Using paper texture for choosing a suitable algorithm for scanned document image binarization[J]. Journal of Imaging, 2022, 8(10): 272.

[18] 姚俊光，余冰純，林景峰，等. 基于OpenCV的龍眼圖像合理通道選擇研究[J]. 現(xiàn)代計(jì)算機(jī)，2019(26)：31-35.

Yao Junguang, Yu Bingchun, Lin Jingfeng, et al. Research on reasonable channel selection of longan images based on OpenCV[J]. Modern Computer, 2019(26): 31-55. (in Chinese with English abstract)

[19] 張勤，陳建敏，李彬，等. 基于RGB-D信息融合和目標(biāo)檢測(cè)的番茄串采摘點(diǎn)識(shí)別定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：143-152.

Zhang Qin, Chen Jianmin, Li Bin, et al. Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 143-152. (in Chinese with English abstract)

[20] Codaro E N, Nakazato R Z, Horovistiz A L, et al. An image processing method for morphology characterization and pitting corrosion evaluation[J]. Materials Science and Engineering, 2002, 334: 298-306.

[21] 徐偉萌，楊浩，李振洪，等. 利用無(wú)人機(jī)數(shù)碼影像進(jìn)行密植型果園單木分割[J]. 武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2022，47(11)：1906-1916.

Xu Weimeng, Yang Hao, Li Zhenhong, et al. Single tree segmentation in close-planting orchard using UAV digital image[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11): 1906-1916. (in Chinese with English abstract)

[22] Kornilov A S, Safonov I V. An overview of watershed algorithm implementations in open source libraries[J]. Journal of Imaging, 2018, 4(10): 123.

[23] Roudier P, Tisseyre B, Poilvé H, et al. Management zone delineation using a modified watershed algorithm[J]. Precision Agriculture, 2008, 9(5): 233-250.

[24] 蔣正帥. 番茄采摘機(jī)器人視覺(jué)系統(tǒng)的研究[D]. 杭州：中國(guó)計(jì)量學(xué)院，2014.

Jiang Zhengshuai. Research on the Vision System of Tomato Harvest Robot[D]. Hangzhou: China Jiliang University, 2014. (in Chinese with English abstract)

[25] 張亦舒，王曉娜，侯德鑫，等. 基于分水嶺算法的電感激光熱成像圖像分割[J]. 紅外技術(shù)，2021，43(4)：367-371.

Zhang Yishu, Wang Xiaona, Hou Dexin, et al. Image segmentation of inductors laser thermal imaging based on watershed algorithm[J]. Infrared Technology, 2021, 43(4): 367-371. (in Chinese with English abstract)

[26] 牛立聰，孫香花，左曉寶. 基于Matlab圖像處理的砂石顆粒圓形度計(jì)算方法[J]. 混凝土，2012(1)：10-12.

Niu Licong, Sun Xianghua, Zuo Xiaobao. Circularity calculation of sand and stone particles based on Matlab image processing[J]. Concrete, 2012(1): 10-12. (in Chinese with English abstract)

[27] 陳彬. 通用非對(duì)稱(chēng)多核方案設(shè)計(jì)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2021，30(7)：277-282.

Chen Bin. Design of general asymmetric multiprocessing program[J]. Computer Systems, 2021, 30(7): 277-282. (in Chinese with English abstract)

Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV

Song Chenxu1, Yu Chongyu1, Xing Yongchao1,3, Li Sumei1, He Hong1※, Yu Hui2, Feng Xianzhong2

(1.,,,264209,; 2.,,130102,;3.,,150001,)

Phenotypic trait parameters of soybean seeds were greatly contributed to the soybean breeding. Deep Learning, particularly Convolutional Neural Networks (CNN), has been introduced into the acquisition and analysis of plant phenotypes in recent years. However, the existing deep learning algorithms cannot fully meet the high requirement of large-scale production, due to the less phenotypic traits and a high-cost CNN training. A convenient high-throughput approach is required to accurately obtain the phenotypic trait parameter of soybean seeds. In this research, an acquisition algorithm was proposed to extract the multiple-phenotypic trait parameters of soybean seeds using the OpenCV image processing library and computer vision. The image collection of soybean seeds was easily and rapidly completed using the mobile phone photography during the soybean seed test. All seeds of each soybean plant to be detected were also photographed as an image. Furthermore, the grayscale histogram of the original image was firstly established to automatically generate a binary graph. The morphological processing was then used to enhance the image details and remove the image noise. The improved watershed algorithm was used to extract the contours of soybean seeds in the image. The circularity was introduced to evaluate the seed contour. The secondary contour segmentation with a higher grayscale threshold was performed for the special seed adhesion in the small areas. The seed circularity was also introduced to identify the incomplete soybean seeds, according to the contour information. The proportion of abnormal RGB areas was calculated to determine the sick soybean seeds with the epidermis discoloration. The lengths of long and short axis, cross-section area, and circumference of soybean seed were calculated using the ellipse fitting and scale bar conversion. The CSV table files were used to store for all the phenotypic trait data of each soybean seed and the average phenotypic trait data of all soybean seeds in each image. The soybean plants were also sorted to optimize the soybean plant seeds with the excellent phenotype for the breeding experiment design. The acquisition algorithm was utilized to identify the soybean seeds, and then to extract the phenotype parameters of soybean seeds. The results show that the recognition rate of the total soybean seeds in each image reached 98.4%, the correct recognition rate of the damaged and diseased soybean seeds was 95.2%, as well as the calculation accuracies of the long and short axis length of soybean seed reached 96.8%, and 95.8%, respectively. The parallel computation of the algorithm was implemented to create the multiple processes. By introducing 8-process parallel calculation, the image processing time was reduced by two-thirds compared to single-process calculation. Thus, the proposed algorithm was easily parallelized to quickly realize the accurate acquisition of multiple phenotypic trait parameters of soybean seeds, including the circumference, area, long/short axis length, roundness, and RGB value. At the same time, an accurate identification was achieved in the good and damage soybean seeds, including the incomplete and the sick seeds.

soybean; image processing; algorithm; seed test; multiple phenotypic parameters; OpenCV; parallel computing

10.11975/j.issn.1002-6819.2022.20.018

TP391.4；S126

A

1002-6819(2022)-20-0156-08

宋晨旭，于翀宇，邢永超，等. 基于OpenCV的大豆籽粒多表型參數(shù)獲取算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(20)：×156-163. doi：10.11975/j.issn.1002-6819.2022.20.018 http://www.tcsae.org

Song Chenxu, Yu Chongyu, Xing Yongchao, et al. Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 156-163. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.018 http://www.tcsae.org

2021-09-22

2022-09-21

海南省崖州灣種子實(shí)驗(yàn)室“揭榜掛帥”項(xiàng)目（B21HJ0101）“作物人工智能設(shè)計(jì)與精準(zhǔn)育種技術(shù)”

宋晨旭，研究方向?yàn)樯疃葘W(xué)習(xí)與機(jī)器視覺(jué)。Email：202037515@mail.sdu.edu.cn

賀紅，博士，副教授，研究方向?yàn)檐浖こ膛c數(shù)據(jù)工程，算法分析與設(shè)計(jì)，分布式高性能計(jì)算。Email：hehong@sdu.edu.cn