王云鵬 司海平 宋佳珍 萬(wàn) 里

(河南農(nóng)業(yè)大學(xué)信息與管理科學(xué)學(xué)院，河南 鄭州 450046)

蘋果是在全球范圍內(nèi)，種植面積與產(chǎn)量?jī)H次于香蕉和柑桔的第三大水果。與發(fā)達(dá)國(guó)家相比，中國(guó)的蘋果產(chǎn)業(yè)存在品質(zhì)較差、整體價(jià)格較低、出口量較小以及產(chǎn)品的附加值較低等問(wèn)題。其原因主要是蘋果的采后分類環(huán)節(jié)不夠完善，產(chǎn)品采摘收集完成后，立即投放市場(chǎng)，導(dǎo)致蘋果市場(chǎng)中產(chǎn)品質(zhì)量不一，市場(chǎng)競(jìng)爭(zhēng)力不足。因此蘋果采摘后進(jìn)行實(shí)時(shí)分類成為了一個(gè)急需解決的問(wèn)題。與此同時(shí)，國(guó)內(nèi)外采用計(jì)算機(jī)視覺(jué)對(duì)蘋果的尺寸、形狀、顏色等特征的自動(dòng)檢測(cè)技術(shù)已較為成熟，但由于果梗、花萼與蘋果表面缺陷具有較為相似的灰度特征，因此容易導(dǎo)致誤判[1]。目前，傳統(tǒng)的蘋果分類方法主要是人工檢測(cè)。隨著圖像技術(shù)的快速發(fā)展，基于紅外熱成像、機(jī)器視覺(jué)、光譜檢測(cè)等技術(shù)開發(fā)了許多水果類無(wú)損的檢測(cè)方法[2]。如邱光應(yīng)等[3]提出了一種基于決策樹支持向量機(jī)的蘋果表面缺陷檢測(cè)方法，該方法的平均準(zhǔn)確率能達(dá)到97.7%。孟慶龍等[4]提出了一種基于高光譜成像技術(shù)結(jié)合圖像分割技術(shù)的蘋果表面缺陷識(shí)別算法，該方法對(duì)于完好無(wú)損蘋果和表面有缺陷蘋果的正確識(shí)別率分別達(dá)到了97.5%和95%。高輝等[5]提出了一種基于機(jī)器視覺(jué)的蘋果表面缺陷檢測(cè)方法，該檢測(cè)方法的識(shí)別準(zhǔn)確率為99.1%，對(duì)于蘋果表面缺陷的識(shí)別精度較高。

基于多尺度變換的圖像融合在圖像融合領(lǐng)域中，一直備受關(guān)注，多尺度變換的基本思想是先將源圖像變換到多個(gè)尺度上，再按照一種或多種融合規(guī)則，分別對(duì)不同尺度上的分量圖像進(jìn)行特征融合，最后把所得到的融合分量利用逆變換的方法用以得到融合結(jié)果。為解決目前檢測(cè)蘋果表面缺陷方法對(duì)于以劃傷為代表的機(jī)械損傷的檢測(cè)準(zhǔn)確率較低的現(xiàn)狀，可將紅外圖像和可見光圖像進(jìn)行融合，充分利用兩種圖像數(shù)據(jù)的互補(bǔ)優(yōu)勢(shì)來(lái)獲取蘋果表面更加明顯的缺陷特征[6]。研究擬采用基于多尺度變化的紅外與可見光圖像融合算法對(duì)蘋果表面缺陷進(jìn)行研究，以期實(shí)現(xiàn)蘋果的在線檢測(cè)與分級(jí)。

1 基于多尺度變換的圖像融合算法

采用基于多尺度變換的圖像融合算法[7]進(jìn)行紅外與可見光圖像的融合工作，其算法步驟：

(1)將紅外圖像與可見光圖像的原圖像設(shè)為In，n=2，對(duì)于n>2的源圖像，其融合方法相同，文中以n={1，2}為例。

(1)

(2)

式中：

gx——水平梯度算子；

gy——垂直梯度算子；

λ——用以控制兩個(gè)項(xiàng)之間權(quán)衡的正參數(shù)。

1.1 基本部分

從源圖像中提取的基本部分包含了紅外圖像與可見光圖像的共同特征和冗余信息。為最大程度保留源圖像基本部分的共同特征，采用加權(quán)平均的融合策略對(duì)基本部分進(jìn)行融合，由式(3)可得基本部分的融合結(jié)果Fb(x,y)。

(3)

式中：

1.2 細(xì)節(jié)部分

對(duì)于細(xì)節(jié)內(nèi)容的處理，采用預(yù)訓(xùn)練的VGG-19卷積神經(jīng)網(wǎng)絡(luò)模型[9]來(lái)提取特征信息，采用多層融合策略來(lái)獲得權(quán)重圖。

(4)

式中：

Φ(·)——VGG-19神經(jīng)網(wǎng)絡(luò)中的特征層(4層特征)；

(5)

式中：

(6)

式中：

r——自定義的區(qū)域大小。

(7)

由于初始權(quán)重圖對(duì)應(yīng)不同的尺度，因此需要進(jìn)行上采樣至相同尺度得到相同大小的最終權(quán)重圖，采用左上角元素填充的方式進(jìn)行上采樣，上采樣率與特征深度呈指數(shù)關(guān)系。由式(8)可得到最終權(quán)重圖。

(8)

式中：

p——橫坐標(biāo)上的變量；

q——豎坐標(biāo)上的變量；

i——4層特征的層數(shù)。

通過(guò)將現(xiàn)有的4對(duì)最終權(quán)重圖與融合圖像的細(xì)節(jié)部分進(jìn)行加權(quán)計(jì)算，得到對(duì)于初始的細(xì)節(jié)部分融合結(jié)果：

(9)

式中：

K——紅外與可見光源圖像的數(shù)量。

對(duì)于所得到的初始細(xì)節(jié)部分的融合結(jié)果，采用最大值策略，對(duì)圖像逐像素選最大值，得到最終的細(xì)節(jié)部分融合效果。

(10)

1.3 最終融合部分

當(dāng)分別得到紅外與可見光圖像的基本部分和細(xì)節(jié)部分后，由式(11)可得到最終融合結(jié)果。

F(x,y)=Fb(x,y)+Fd(x,y)，

(11)

式中：

Fb(x,y)——基本部分的融合結(jié)果；

Fd(x,y)——細(xì)節(jié)部分的融合結(jié)果。

2 仿真試驗(yàn)

2.1 試驗(yàn)環(huán)境

CPU:Core(TM)i7-10750H，英特爾；GPU：GeForce RTX 2060，英偉達(dá)；操作系統(tǒng)：Windows 10,微軟；工作軟件：MATLAB R2021A，美國(guó)MathWorks公司；試驗(yàn)中網(wǎng)絡(luò)的模型訓(xùn)練、測(cè)試全部在NVIDIA GeForce RTX 2060中進(jìn)行。

2.2 圖像獲取和預(yù)處理

由于所采集圖像的質(zhì)量對(duì)其后續(xù)的處理會(huì)產(chǎn)生較大影響，考慮到在自然條件下，不同時(shí)間和不同天氣的環(huán)境、光照度和溫度的變化比較大，因此搭建了紅外與可見光圖像采集實(shí)驗(yàn)箱，如圖1所示。

采用由深圳市大疆創(chuàng)新科技有限公司自主開發(fā)生產(chǎn)的御2行業(yè)進(jìn)階版無(wú)人機(jī)所攜帶的雙光相機(jī)。該相機(jī)性能參數(shù)如表1和表2所示。

采用50 W的小燈泡對(duì)蘋果進(jìn)行加熱40 s，使得蘋果表面溫度達(dá)到32.8 ℃左右與25.8 ℃的環(huán)境溫度產(chǎn)生明顯差距，使得紅外相機(jī)采集到明顯的蘋果輪廓。李星恕等[10]研究發(fā)現(xiàn)，在溫度低于60 ℃時(shí)溫度對(duì)蘋果組織細(xì)胞結(jié)構(gòu)的影響很小。因此，試驗(yàn)條件下溫度對(duì)正常蘋果的影響可以忽略。由于蘋果的表面缺陷部位的溫度與完好部位的溫度有所差別，因此在紅外圖像中的缺陷部位與完好部分特征較為明顯，如圖2所示。

首先對(duì)圖像進(jìn)行灰度化操作，圖3(a)為對(duì)圖2進(jìn)行灰度化操作，圖3(b)是對(duì)圖3(a)采用BM3D去噪算法[11]進(jìn)行降噪處理后的圖像，圖3(c)是對(duì)圖3(b)進(jìn)行增強(qiáng)處理后的圖像效果，由增強(qiáng)算法處理過(guò)后的紅外圖像與可見光圖像與源圖像相比，其視覺(jué)效果有了明顯的提高，圖像中的細(xì)節(jié)部分得到增強(qiáng)，噪聲被平滑，圖像質(zhì)量有了較大的提高，蘋果表面的機(jī)械損傷部分更加明顯。圖3(d)是對(duì)圖3(c)進(jìn)行圖像融合后的結(jié)果，經(jīng)處理過(guò)后的融合圖像中的缺陷細(xì)節(jié)得到了增強(qiáng)，其他不相關(guān)特征被消除，融合圖像保留了紅外圖像的機(jī)械損傷細(xì)節(jié)和可見光圖像的花萼和花梗部分。圖3(e)是對(duì)圖3(d)進(jìn)行閾值分割后，所得到的二值圖。

圖1 紅外與可見光的圖像采集平臺(tái)Figure 1 Infrared and visible light image acquisition platform

表1 紅外相機(jī)Table 1 Infrared camera

表2 可見光相機(jī)Table 2 Visible light camera

圖2 可見光蘋果圖像和紅外蘋果圖像Figure 2 Visible light apple image and infrared apple image

2.3 檢測(cè)方法

從某農(nóng)貿(mào)市場(chǎng)采購(gòu)480個(gè)蘋果，缺陷蘋果分類可以分為完好果、花萼、果梗、缺陷果，但由于花萼和果梗外形近似，因此將花萼和果梗分成一類，此外，由于花萼和果梗可能與缺陷部位出現(xiàn)在同一視角，因此分成一類為花萼和果梗+缺陷，最后對(duì)所采集的蘋果表面缺陷共分為4類，即完好果、缺陷果、花萼和果梗、花萼和果梗+缺陷，如圖4所示。根據(jù)上述基于多尺度變換紅外與可見光圖像融合的蘋果缺陷檢測(cè)方法，將選用的480個(gè)蘋果進(jìn)行圖像處理，分成4類各120個(gè)制作成為蘋果表面缺陷的數(shù)據(jù)集。

圖3 融合圖像的處理過(guò)程Figure 3 Process of fusion image

在前期所制作的數(shù)據(jù)集上，采用卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet[12]進(jìn)行蘋果表面缺陷的檢測(cè)。由于數(shù)據(jù)量過(guò)少，網(wǎng)絡(luò)泛化能力較差，對(duì)圖像進(jìn)行水平方向隨機(jī)翻轉(zhuǎn)、水平和垂直方向隨機(jī)縮放及水平和垂直方向隨機(jī)平移等操作得到2 880張圖像數(shù)據(jù)，網(wǎng)絡(luò)訓(xùn)練300 epoch，學(xué)習(xí)率最初熱身值為0.000 1，動(dòng)量為0.9，將數(shù)據(jù)集按8∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

圖4 蘋果分類結(jié)果Figure 4 Apple classification results

2.4 結(jié)果與分析

網(wǎng)絡(luò)訓(xùn)練大約耗時(shí)24 min，在驗(yàn)證集上得到97.5%的結(jié)果，測(cè)試集上得到99.0%的結(jié)果，而且單果的檢測(cè)時(shí)間不超過(guò)0.3 s。對(duì)蘋果表面缺陷的評(píng)估進(jìn)行檢驗(yàn)，融合圖像有著更明顯的特征，經(jīng)圖像處理后的經(jīng)由AlexNet模型進(jìn)行分類識(shí)別，由于蘋果的機(jī)械損傷部分在紅外圖像中較為明顯，經(jīng)過(guò)圖像融合和圖像處理后可得到特征明顯的二值圖，經(jīng)由測(cè)試集測(cè)試后對(duì)完好果、缺陷果、花萼/果梗加缺陷進(jìn)行識(shí)別的準(zhǔn)確度可達(dá)100%。同時(shí)，對(duì)于蘋果的花萼和花萼部分在紅外圖像中并不明顯，但在可見光圖像中較為清晰，因此在經(jīng)過(guò)融合后所得到的融合圖像可以明顯地顯示花萼和花梗部分，經(jīng)由圖像處理所得的二值圖在CNN中檢測(cè)準(zhǔn)確度也可以達(dá)到95.8% 的準(zhǔn)確度。蘋果表面的各圖像類型識(shí)別精度見表3 所示。

3 結(jié)論

研究提出以基于多尺度變換的紅外與可見光圖像融合蘋果表面缺陷檢測(cè)方法，該方法分為圖像融合、圖像處理、圖像分類3個(gè)部分，基于多尺度變換的紅外與可見光圖像融合算法將可見光和紅外圖像分別分解為基本部分和細(xì)節(jié)部分，對(duì)于基本部分采用加權(quán)平均值融合規(guī)則，細(xì)節(jié)部分采用預(yù)訓(xùn)練的VGG-19模型來(lái)提取特征，最終融合得到蘋果表面缺陷特征更加直觀的紅外與可見光融合圖像。之后對(duì)融合圖像進(jìn)行圖像處理得到二值圖，最后采用AlexNet模型對(duì)所制作的蘋果表面缺陷數(shù)據(jù)集進(jìn)行檢測(cè)。由仿真試驗(yàn)表示，該方法對(duì)于蘋果缺陷檢測(cè)的效果較好，對(duì)于缺陷檢測(cè)的準(zhǔn)確率相較于傳統(tǒng)的缺陷檢測(cè)方法較高，但由于所采集的紅外圖像和可見光圖像尺寸不同，因此無(wú)法直接進(jìn)行融合，需要預(yù)先進(jìn)行圖像配準(zhǔn)，之后的研究將采用合適的圖像配準(zhǔn)算法獲取可以直接融合的圖像，以提高該檢測(cè)方法的融合效果。

表3 蘋果缺陷識(shí)別精度Table 3 Apple defect recognition accuracy