劉馨陽(yáng)

（寧夏大學(xué)新華學(xué)院信息與計(jì)算機(jī)科學(xué)系,寧夏 銀川 750001）

1 研究背景

機(jī)器視覺(jué)就是利用機(jī)器代替人眼實(shí)現(xiàn)各種測(cè)量和判斷，將其應(yīng)用到馬鈴薯重量檢測(cè)中，通過(guò)多角度的拍攝，能采集到馬鈴薯的完整表面信息，進(jìn)而檢測(cè)到馬鈴薯的基本幾何信息。目前，國(guó)內(nèi)外利用機(jī)器視覺(jué)技術(shù)對(duì)馬鈴薯進(jìn)行重量檢測(cè)研究已取得了一定成果。

1.1 重量檢測(cè)

Wang等[1]（2016）研究發(fā)現(xiàn)馬鈴薯的實(shí)際重量與其外部尺寸呈線性關(guān)系，通過(guò)“V”形面鏡獲得馬鈴薯兩個(gè)視角的圖像，最終試驗(yàn)結(jié)果顯示，相關(guān)系數(shù)為0.991，馬鈴薯樣品試驗(yàn)組的大、中、小尺寸的鑒別精度分別為90%、100%、90%。高新浩等[2]（2016）利用立體視覺(jué)技術(shù)對(duì)玉米重量進(jìn)行檢測(cè)分級(jí)，實(shí)現(xiàn)分級(jí)準(zhǔn)確率99%以上。

1.2 幾何形狀檢測(cè)

Junrong等[3]（2014）設(shè)計(jì)制造板坯尺寸檢測(cè)分選系統(tǒng)，包括機(jī)器視覺(jué)長(zhǎng)度和寬度測(cè)量，檢測(cè)系統(tǒng)可滿足非接觸、高效率、高準(zhǔn)確度等需求，并且測(cè)量精度小于1 mm。袁亮等[4]（2017）利用單目視覺(jué)進(jìn)行番茄分級(jí)檢測(cè)，通過(guò)邊界追蹤算法、傅里葉變換處理等手段，檢測(cè)番茄的畸形度，建立了穩(wěn)定的分級(jí)系統(tǒng)，系統(tǒng)識(shí)別率達(dá)到92%。

1.3 表面檢測(cè)

Xu等[5]（2017）提出了一種基于高通濾波器的機(jī)器視覺(jué)檢測(cè)新方法。構(gòu)建高斯高通濾波器，通過(guò)利用馬鈴薯灰度圖像的快速傅里葉變換進(jìn)行卷積，獲得高頻區(qū)域，最后使用Blob分析獲得目標(biāo)區(qū)域。該方法可以有效地檢測(cè)由于機(jī)械加工對(duì)馬鈴薯造成的損傷，識(shí)別準(zhǔn)確率達(dá)到95%以上。楊倩等[6]（2013）研究了一種基于采集圖像的顏色一階與二階矩和紋理LBP算子改進(jìn)模式綜合特征參數(shù)的大麥病害識(shí)別方法，并且利用SVM分類模型對(duì)采集到的樣本進(jìn)行分析研究，設(shè)計(jì)了一種大麥病害識(shí)別系統(tǒng)，系統(tǒng)總體識(shí)別率達(dá)到84.745 8%。

通過(guò)上述分析可知，利用多目視覺(jué)技術(shù)檢測(cè)馬鈴薯的研究尚處在試驗(yàn)起步階段，馬鈴薯檢測(cè)多集中于單目視覺(jué)和雙目視覺(jué)檢測(cè)，拍攝角度相對(duì)固定，僅從一兩個(gè)角度是不可能獲取物體完整的表面信息[7]，存在測(cè)量范圍有限的問(wèn)題。而多目視覺(jué)技術(shù)是通過(guò)多個(gè)相機(jī)從不同的角度拍攝同一物體得到物體表面信息，可以獲得物體的完整表面信息，降低誤判的概率。此外，基于機(jī)器視覺(jué)的馬鈴薯分級(jí)檢測(cè)研究，大部分僅僅是在理論層面通過(guò)改進(jìn)算法或增加約束從而提高檢測(cè)的準(zhǔn)確率，多是停留在提高百分點(diǎn)的理論研究[8]，并沒(méi)有考慮到檢測(cè)速度的提高，而若想應(yīng)用于實(shí)際生產(chǎn)加工過(guò)程中，提高檢測(cè)準(zhǔn)確度的前提是保證時(shí)間最短，只有提高檢測(cè)速度，人工智能取代人工檢測(cè)才會(huì)變得有意義[9]。

2 材料與方法

2.1 樣本材料選擇

試驗(yàn)樣品采集于寧夏回族自治區(qū)銀川市同心路農(nóng)貿(mào)市場(chǎng)，馬鈴薯品種為棵新10號(hào)，共采集100個(gè)樣本。采集后運(yùn)往寧夏大學(xué)物電學(xué)院電工實(shí)驗(yàn)室進(jìn)行試驗(yàn)。

2.2 圖像采集方法

基于多目視覺(jué)的動(dòng)態(tài)馬鈴薯重量檢測(cè)采集系統(tǒng)：（1）為了拍到馬鈴薯完整的表面信息，四目相機(jī)在空間中立體分部；（2）考慮到鏈條傳輸會(huì)遮擋掉馬鈴薯的部分表面信息，所以利用2個(gè)具有高度差的傳送帶傳遞馬鈴薯，從上一傳送帶以一定速度拋出后，經(jīng)過(guò)類平拋運(yùn)動(dòng)落到下一級(jí)傳送帶上；（3）在上一級(jí)傳送帶出口安裝有光電傳感器，當(dāng)馬鈴薯從上一級(jí)傳送帶拋出時(shí)，觸發(fā)光電傳感器給相機(jī)發(fā)送信號(hào)，之后當(dāng)馬鈴薯進(jìn)入相機(jī)拍攝視角，四目相機(jī)進(jìn)行同時(shí)拍照，同步獲得馬鈴薯4個(gè)角度的圖像信息。圖像采集系統(tǒng)如圖1所示。

圖1 圖像采集系統(tǒng)

2.3 并行處理方法

2.3.1 讀取圖像

馬鈴薯無(wú)損檢測(cè)分級(jí)系統(tǒng)在實(shí)際應(yīng)用過(guò)程中，關(guān)于圖像的存取需要滿足以下要求：

（1）在實(shí)際應(yīng)用過(guò)程中，所處理的圖像數(shù)量龐大，且相機(jī)的拍照速度快，存儲(chǔ)時(shí)采用編號(hào)（1,2,3,…,n）的形式進(jìn)行圖像的命名處理，這樣避免了圖像的重名現(xiàn)象。

（2）考慮到存儲(chǔ)空間的占用，圖像數(shù)量達(dá)到3 000個(gè)進(jìn)行清除（按照平均每個(gè)馬鈴薯350 g計(jì)算，相當(dāng)于處理了1 t的馬鈴薯），從1開(kāi)始重新編號(hào)存儲(chǔ)。

（3）由于是四目相機(jī)同時(shí)拍照，并且采用parfor并行處理圖像，所以4個(gè)相機(jī)所拍攝的照片分為4個(gè)文件夾進(jìn)行存儲(chǔ)。

（4）提取圖像過(guò)程中，采用遍歷的形式讀取圖像，每個(gè)文件夾中相對(duì)應(yīng)編號(hào)相同的圖像就是同一個(gè)馬鈴薯的圖像。

按照?qǐng)D像編號(hào)讀取圖像，MATLAB程序代碼為：

其中，strcat(num2str(x),'.bmp')實(shí)現(xiàn)了按照?qǐng)D像編號(hào)進(jìn)行遍歷提取圖像，每30幅圖像分為一組進(jìn)行批量處理，這樣減少了打開(kāi)關(guān)閉并行池的次數(shù)[10]，節(jié)約了處理的時(shí)間。

2.3.2 并行處理編程方法

馬鈴薯無(wú)損檢測(cè)分級(jí)系統(tǒng)中，四目相機(jī)同步采集馬鈴薯不同角度的圖像進(jìn)行處理，每個(gè)馬鈴薯的檢測(cè)都要結(jié)合4個(gè)不同角度拍攝的圖像進(jìn)行綜合分析，這種多視角的檢測(cè)可以獲取每個(gè)樣本的完整表面信息，提高馬鈴薯檢測(cè)的精確度。

考慮到4幅圖像雖然是從不同角度拍攝的，但是處理的過(guò)程是相同的，而串行運(yùn)算會(huì)占用很多時(shí)間，所以研究并行處理方法，每個(gè)樣本的分級(jí)結(jié)果將匯總4幅圖像的結(jié)果進(jìn)行綜合分析。馬鈴薯無(wú)損檢測(cè)分級(jí)系統(tǒng)的并行處理流程如圖2所示，其中，4幅圖像都要進(jìn)行圖像預(yù)處理操作，即對(duì)圖像進(jìn)行基本的圖像處理，包括去背景、二值化等操作，并提取出后續(xù)步驟所需的參數(shù)，主要有圖像的不變矩參數(shù)、圖像面積參數(shù)[11]，具體預(yù)處理過(guò)程如圖3所示。

圖2 并行處理流程圖

圖3 圖像預(yù)處理過(guò)程圖

3 模塊并行程序檢測(cè)

3.1 馬鈴薯缺陷程序檢測(cè)

馬鈴薯缺陷程序檢測(cè)，選取4個(gè)角度拍攝馬鈴薯，從4個(gè)角度觀察同一個(gè)馬鈴薯，得到馬鈴薯各個(gè)角度的圖像信息，從而減少馬鈴薯分類的誤判。在檢測(cè)過(guò)程中，每一個(gè)馬鈴薯的4幅圖像都要經(jīng)過(guò)相同的程序進(jìn)行處理，如果有缺陷，則輸出“1”，無(wú)缺陷則輸出“0”，最后每個(gè)馬鈴薯的4幅圖像進(jìn)行“與”運(yùn)算，只要有一張圖像檢測(cè)為“1”，即有缺陷，那么判定該馬鈴薯為有缺陷的馬鈴薯。

每一張圖像的處理過(guò)程：通過(guò)灰度閾值提取，先預(yù)估出缺陷部分，并且提取缺陷部分，為了進(jìn)一步區(qū)分蟲(chóng)眼馬鈴薯與斑點(diǎn)馬鈴薯，引入面積閾值[12]，即通過(guò)設(shè)置面積閾值，閾值為200，去除面積小于200的小面積缺陷，再通過(guò)bwlabel函數(shù)，如果還留有缺陷，則該馬鈴薯被判定為缺陷馬鈴薯，若沒(méi)有缺陷保留，則判定為無(wú)缺陷馬鈴薯。

在實(shí)際操作過(guò)程中，選取了10個(gè)馬鈴薯的圖像，也就是40幅馬鈴薯圖像進(jìn)行缺陷判定。在提取圖像時(shí)，就涉及for循環(huán)的使用，每次提取一張照片，進(jìn)行相同的判定程序運(yùn)算。for循環(huán)是最消耗計(jì)算量的代碼，且圖像在循環(huán)過(guò)程中都是相互獨(dú)立的，不存在數(shù)據(jù)傳輸，所以考慮使用并行運(yùn)算parfor代替串行運(yùn)算for循環(huán)。并對(duì)比了串行運(yùn)算for循環(huán)、并行運(yùn)算parfor（三核）、并行運(yùn)算parfor（四核）3種形式所使用的時(shí)間和相對(duì)應(yīng)的加速比，以及并行運(yùn)算的效率，其中每次測(cè)試使用時(shí)間均不相同，所以所取數(shù)據(jù)為10次試驗(yàn)的平均數(shù)，具體試驗(yàn)結(jié)果如表1所示。

由表1可知，從運(yùn)行時(shí)間來(lái)看，parfor比f(wàn)or循環(huán)短，且加速比為1.671，以及運(yùn)算效率為0.478，可以看出parfor將任務(wù)分配到多個(gè)MATLAB worker上并行執(zhí)行程序的方法，可以提高程序的整體運(yùn)行速度。

表1 串行、并行程序測(cè)試

3.2 馬鈴薯薯形判定程序檢測(cè)

馬鈴薯薯形檢測(cè)，試驗(yàn)選取的是每個(gè)馬鈴薯一個(gè)角度的圖像。馬鈴薯薯形檢測(cè)是通過(guò)提取馬鈴薯圖像的7個(gè)不變矩參數(shù)，把這7個(gè)不變矩參數(shù)作為BP神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)，最終得到輸出的結(jié)果，即“0.01”或“0.99”，分別表示薯形優(yōu)良和畸形[13]。

對(duì)每一幅馬鈴薯圖像所進(jìn)行的圖像處理操作是相同的，通常使用for循環(huán)提取每一張圖像，然后每幅圖像在循環(huán)體內(nèi)都會(huì)進(jìn)行相同的操作，而這種串行的for循環(huán)運(yùn)算，是最消耗時(shí)間的運(yùn)算，會(huì)大大降低整個(gè)薯形檢測(cè)的檢測(cè)效率，考慮使用MATLAB中的parfor循環(huán)代替for循環(huán)，可以得到相同的檢測(cè)結(jié)果，由于parfor循環(huán)是并行運(yùn)算的方式，會(huì)減少時(shí)間的消耗，充分利用現(xiàn)有的資源，達(dá)到更理想的檢測(cè)效率。

在實(shí)際操作過(guò)程中，選取了100個(gè)馬鈴薯的圖像，即100幅馬鈴薯圖像進(jìn)行檢測(cè)，并對(duì)比了串行運(yùn)算for循環(huán)、并行運(yùn)算parfor（三核）、并行運(yùn)算parfor（四核）3種形式所使用的時(shí)間以及相對(duì)應(yīng)的加速比，以及并行運(yùn)算的效率，其中每次測(cè)試使用時(shí)間均不相同，所以所取數(shù)據(jù)為10次試驗(yàn)的平均數(shù)，具體試驗(yàn)結(jié)果如表2所示。

表2 串行、并行程序測(cè)試

由表2可知，從運(yùn)行時(shí)間來(lái)看，parfor比f(wàn)or循環(huán)短，且加速比為1.682，以及運(yùn)算效率為0.421，可以看出parfor將任務(wù)分配到多個(gè)MATLAB worker上并行執(zhí)行程序的方法，可以提高程序的整體運(yùn)行速度。

3.3 馬鈴薯重量選取程序檢測(cè)

馬鈴薯大小選取程序檢測(cè)，試驗(yàn)選取的是每個(gè)馬鈴薯3個(gè)角度的圖像，并通過(guò)使用canny算子提取邊緣，填充目標(biāo)物（馬鈴薯），計(jì)算圖像中馬鈴薯的面積（像素和），提取3個(gè)面積數(shù)據(jù)得到馬鈴薯預(yù)測(cè)重量[14]。

其中，在提取圖像時(shí)，就涉及for循環(huán)的使用，每次提取一張照片，進(jìn)行面積運(yùn)算，然后再提取一張進(jìn)行同樣的操作，如此反復(fù)。但是，在程序設(shè)計(jì)中，最消耗計(jì)算量的代碼就是循環(huán)，在MATLAB程序中提高循環(huán)的計(jì)算效率是提高程序設(shè)計(jì)效率的關(guān)鍵，每張圖像的馬鈴薯面積計(jì)算都是獨(dú)立的，也就是for循環(huán)的每次迭代都是獨(dú)立的，利用parfor可以實(shí)現(xiàn)迭代的并行執(zhí)行，因?yàn)閣orkers可以同時(shí)執(zhí)行迭代。

在實(shí)際操作過(guò)程中，選取了10個(gè)馬鈴薯的圖像，也就是30幅馬鈴薯圖像進(jìn)行面積計(jì)算，并對(duì)比了串行運(yùn)算for循環(huán)、并行運(yùn)算parfor（三核）、并行運(yùn)算parfor（四核）3種形式所使用的時(shí)間以及相對(duì)應(yīng)的加速比，以及并行運(yùn)算的效率，其中每次測(cè)試使用時(shí)間均不相同，所以所取數(shù)據(jù)為10次試驗(yàn)的平均數(shù)，具體試驗(yàn)結(jié)果如表3所示。

表3 串行、并行程序測(cè)試

由表3可知，從運(yùn)行時(shí)間來(lái)看，僅僅10個(gè)馬鈴薯的程序運(yùn)行時(shí)間，parfor比f(wàn)or循環(huán)短很多，少用了0.39 s和0.5 s，可以看出parfor將任務(wù)分配到多個(gè)MATLAB worker上并行執(zhí)行程序，可以提高程序運(yùn)行速度。在并行運(yùn)算中，三核與四核進(jìn)行比較，從加速比以及效率兩個(gè)性能指標(biāo)的試驗(yàn)參數(shù)可以看出，四核更能提高整體程序的運(yùn)行速度[15]。

4 討論與總結(jié)

本文基于國(guó)內(nèi)外馬鈴薯分級(jí)機(jī)系統(tǒng)的研究現(xiàn)狀，為了提高馬鈴薯分級(jí)檢測(cè)速度，使其真正應(yīng)用于實(shí)際生產(chǎn)加工過(guò)程中，提出了馬鈴薯分選機(jī)的并行處理方法。結(jié)果表明：（1）前人基于機(jī)器視覺(jué)的馬鈴薯分級(jí)系統(tǒng)研究，多是基于單目視覺(jué)或雙目視覺(jué)，而僅僅一兩個(gè)角度無(wú)法獲得馬鈴薯的完整表面信息[16]，所以提出了基于四目視覺(jué)的馬鈴薯分級(jí)系統(tǒng)，通過(guò)增加相機(jī)數(shù)目，增加了觀測(cè)角度，4個(gè)相機(jī)從不同角度保證得到馬鈴薯完整表面信息，從而提高馬鈴薯的分選精度；（2）增加相機(jī)的數(shù)目意味著要處理更多的圖像，為滿足實(shí)際生產(chǎn)加工中對(duì)檢測(cè)速度的要求，使用對(duì)循環(huán)進(jìn)行同步運(yùn)算，解決程序運(yùn)行速度會(huì)因循環(huán)的使用而大大下降的問(wèn)題。使用函數(shù)實(shí)現(xiàn)并行提取預(yù)處理馬鈴薯圖像，試驗(yàn)結(jié)果顯示：馬鈴薯缺陷檢測(cè)模塊加速比為1.671，每個(gè)馬鈴薯平均用時(shí)0.038 6 s；薯形檢測(cè)模塊加速比為1.682，每個(gè)馬鈴薯平均用時(shí)0.081 2 s；馬鈴薯重量檢測(cè)模塊加速比為1.558，每個(gè)馬鈴薯平均用時(shí)0.089 8 s。并行處理有效地提高了馬鈴薯的檢測(cè)速度，滿足實(shí)際生產(chǎn)加工要求。