馬兆敏 吳健玥 胡波 黃玲

摘 要：為研究圖像拼接時(shí)兩幅圖像中重復(fù)部分大小對(duì)拼接效果及擴(kuò)展的視角范圍的影響，對(duì)影響拼接的重復(fù)信息量進(jìn)行量化，并提出通過(guò)對(duì)拼接圖進(jìn)行分割后的結(jié)果來(lái)評(píng)價(jià)拼接是否理想.實(shí)驗(yàn)結(jié)果表明，圖像重復(fù)信息量占原圖比例約為1/4以上時(shí)圖像組能獲得理想的田間拼接圖像，為農(nóng)藥噴灑自動(dòng)化中針對(duì)整個(gè)地塊作出合理噴灑決策提供研究基礎(chǔ).

關(guān)鍵詞：圖像拼接；SIFT算法；圖像分割；重復(fù)信息量

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A

0 引言

農(nóng)藥自動(dòng)化噴灑中引入機(jī)器視覺(jué)技術(shù)獲取田間信息，并進(jìn)一步對(duì)這些信息進(jìn)行利用已成為精準(zhǔn)農(nóng)業(yè)的研究熱點(diǎn).而攝像機(jī)拍攝到的單幅圖像區(qū)域是有限的，這需要將多幅圖像拼接起來(lái).圖像拼接即是指將兩張或兩張以上具有部分重復(fù)信息的圖像經(jīng)過(guò)一定的運(yùn)算后疊加生成一張視角范圍更大的合成圖像，在農(nóng)業(yè)中的應(yīng)用已越來(lái)越廣[1-3].

圖像拼接時(shí)要利用兩張圖像中的重復(fù)信息進(jìn)行運(yùn)算，而兩張圖像中重復(fù)信息區(qū)域大，可能提取到的匹配特征點(diǎn)會(huì)多，拼接成功的概率就高些，但這會(huì)使拼接后擴(kuò)大的視角有限，兩者存在矛盾.本文通過(guò)實(shí)驗(yàn)研究，量化兩攝像機(jī)獲得圖像的重復(fù)部分的大小，并以拼接圖像分割后是否有利于識(shí)別為標(biāo)準(zhǔn)評(píng)價(jià)拼接效果.

研究中基于尺度不變特征變換（Scale-invariant feature transform，SIFT）算法是比較常用的拼接算法，許多研究者通過(guò)改進(jìn)特征點(diǎn)的提取或匹配獲得拼接效果更佳的圖像[4-5].本文的實(shí)驗(yàn)研究將基于SIFT算法對(duì)田間圖像進(jìn)行拼接.由此得到影響田間拼接時(shí)圖像重復(fù)信息大小對(duì)拼接效果的影響參數(shù)，為之后的識(shí)別和定位圖像中的目標(biāo)做準(zhǔn)備.

1 田間圖像拼接中影響參數(shù)的研究方法

1.1 田間圖像采集系統(tǒng)

田間拼接圖像采集系統(tǒng)主要由計(jì)算機(jī)和雙目攝像機(jī)及輔助支架件等構(gòu)成.拼接的圖像來(lái)自于兩個(gè)攝像機(jī)，其中兩個(gè)攝像機(jī)的目距為x；攝像機(jī)相對(duì)地面的距離為h.采集系統(tǒng)在安裝時(shí)應(yīng)盡量使兩攝像機(jī)的光軸平行.

1.2 圖像重復(fù)信息量的定義

進(jìn)行圖像拼接時(shí)需要兩圖中存在部分重復(fù)信息.本文通過(guò)保持雙目攝像機(jī)在同一水平高度，調(diào)整目距x，從而獲得不同重復(fù)信息量的圖像組.當(dāng)x變小時(shí)，即兩攝像機(jī)靠近，獲取到的圖像組的重復(fù)信息增大；當(dāng)x變大時(shí)，即兩攝像機(jī)遠(yuǎn)離，采集到的圖像組的重復(fù)信息減小.本文將兩圖像組中的重復(fù)信息量化，采用目測(cè)的方式觀察圖像中重復(fù)信息的區(qū)域面積，即重復(fù)信息量，以重復(fù)信息量占整幅圖的比例t表示.如圖2為重復(fù)信息量比例較大的兩幅原圖，目測(cè)其重復(fù)信息量比例約占整幅圖的1/3.如圖3為重復(fù)信息量比例較小的兩幅原圖，目測(cè)重復(fù)信息量比例約為1/5.

1.3 田間圖像拼接方法

在研究田間圖像拼接中重復(fù)信息量對(duì)拼接效果影響時(shí)采用基于尺度特征點(diǎn)的圖像拼接技術(shù).該技術(shù)包括4個(gè)部分：

1）田間圖像獲取.文中被拼接圖像來(lái)自于兩枚攝像機(jī)，在種植的蔬菜田間進(jìn)行圖像獲取.拍攝系統(tǒng)如圖1所示.

2）田間圖像特征點(diǎn)的提取. 采用2004年Low提出的改進(jìn)的SIFT算法提取特征點(diǎn). 主要包括4個(gè)步驟[6]：Step 1尺度空間極值點(diǎn)檢測(cè)，獲得尺度不變性.由相鄰尺度高斯差分核與輸入圖像卷積而生成.

D（x，y，？滓）=I（x，y）（G（x，y，k？滓）-G（x，y，？滓））=L（x，y，k？滓）-L（x，y，？滓） （1）

式中：D——高斯差分核，（x，y）——圖像空間坐標(biāo)，？滓——尺度空間因子，G——尺度可變高斯函數(shù)，k——相鄰尺度比率，I——輸入圖像，L——I與高斯核的卷積.

Step 2 對(duì)粗特征點(diǎn)過(guò)濾和精確定位以去除低對(duì)比度點(diǎn)和邊緣響應(yīng)點(diǎn).去除邊緣響應(yīng)的方法為：

式中：H——2×2的Hessian矩陣，Trace（H）——H的跡，Det（H）——H行列式的值，r——x和y方向梯度比值.

若滿足式（2），則為非邊緣點(diǎn).

Step 3 計(jì)算特征點(diǎn)的描述信息.（x，y）處梯度的模值和公式分別為：

m（x，y）=（L（x+1，y）-L（x-1，y））2+（L（x，y+1）-L（x，y-1））21/2（3）

？茲（x，y）=arctan （4）

L的尺度為每個(gè)關(guān)鍵點(diǎn)各自所在的尺度.

Step 4 生成描述特征點(diǎn)的特征向量.

SIFT算法能夠在大量的信息中快速準(zhǔn)確的找到特征點(diǎn)，而且即使圖像的內(nèi)容較少也能找到大量的SIFT特征，以提高圖像特征點(diǎn)匹配的準(zhǔn)確性.

3）田間圖像特征點(diǎn)匹配.采用引導(dǎo)互匹配及投票過(guò)濾兩種技術(shù)提高匹配精度.

4）田間圖像的配準(zhǔn).為了提高田間圖像配準(zhǔn)的精度，選用RANSAC算法對(duì)提取到的特征點(diǎn)進(jìn)行篩選和匹配以及建立擬合模型.RANSAC算法能夠?qū)χ疤崛〕鰜?lái)的大量特征點(diǎn)實(shí)現(xiàn)篩選與匹配的操作，是一種在海量的數(shù)據(jù)信息中隨機(jī)抽取樣本，選擇有效樣本，去掉無(wú)用樣本，并根據(jù)有效樣本建立模型，生成相關(guān)的關(guān)系變換矩陣H的算法.要提高該算法的概率就必須增加迭代的次數(shù)，為了在較少步驟內(nèi)迭代收斂到較為精確真實(shí)的圖像間變換矩陣H，本文使用了Leven-berg-Marquardt非線性最小化迭代算法.算法中只要能夠產(chǎn)生變換矩陣H就視為田間圖像拼接成功.

1.4 拼接后田間圖像的評(píng)價(jià)

農(nóng)藥噴灑區(qū)域的確定是在田間對(duì)象識(shí)別的基礎(chǔ)上完成的，即田間對(duì)象識(shí)別的好壞決定著噴灑參數(shù)的確定，而對(duì)象的識(shí)別是以圖像分割結(jié)果為基礎(chǔ).這里用拼接圖分割后的結(jié)果進(jìn)行識(shí)別來(lái)評(píng)價(jià)圖像拼接是否理想.

目前，圖像分割方法在各領(lǐng)域中得到了很多應(yīng)用[7-9]，特別是在農(nóng)業(yè)領(lǐng)域的應(yīng)用中得到不斷的總結(jié)[10].選用超綠特征的閾值分割方法對(duì)田間綠色目標(biāo)進(jìn)行分割是較常見(jiàn)的方法[11-14].

本文采用超綠特征下的閾值分割方法對(duì)拼接成功的圖像進(jìn)行處理，由目測(cè)分割結(jié)果判斷拼接圖像是否具有能夠識(shí)別的效果，從而給出拼接結(jié)果是否理想的評(píng)價(jià).

1.5 重復(fù)信息量對(duì)田間圖像拼接影響的處理流程

本文的田間圖像拼接中影響參數(shù)的評(píng)價(jià)算法流程主要包括6個(gè)步驟，如圖4所示.

2 田間實(shí)驗(yàn)及結(jié)果分析

2.1 田間圖像獲取

選用大恒DH-HV3151UC（分辨率：2 048×1 536）攝像機(jī)兩枚；主頻為2.53 GHz內(nèi)存為2 GB的計(jì)算機(jī)采集圖像.在實(shí)驗(yàn)室調(diào)試鏡頭離地距離h為60 cm.在廣西某高校教職工家屬區(qū)菜地內(nèi)進(jìn)行圖像采集.根據(jù)目測(cè)量化重復(fù)信息量比例t，將t大概量化為5個(gè)等級(jí)，由1/2到1/6變化，共采集6組田間圖像組，其中1/6有兩組.

2.2 田間圖像拼接結(jié)果圖

按照1.3的田間拼接方法對(duì)田間圖組進(jìn)行拼接，圖5、圖6所示分別為圖2（t約為1/3）、圖3（t約為1/5）的拼接結(jié)果圖，由圖可以看出兩圖組都可以完成拼接，形成拼接圖.這兩組田間原始圖像在一定程度上都產(chǎn)生了相對(duì)角度的旋轉(zhuǎn)并完成拼接，對(duì)此也體現(xiàn)了改進(jìn)SIFT算法較其他算法的優(yōu)勢(shì)，即該算法能夠在保證圖像中點(diǎn)的特征不變的情況下對(duì)圖像進(jìn)行旋轉(zhuǎn)、縮放等變換，從而更好地實(shí)現(xiàn)田間圖像的拼接和加大田間圖像拼接成功的可能性.對(duì)比圖5、圖6發(fā)現(xiàn)，重復(fù)信息量比例高的圖進(jìn)行拼接時(shí)旋轉(zhuǎn)較小.原圖為2 048×1 536像素，拼接圖5的像素為2 977×1 820，而拼接圖6的像素為6 272×1 937.

2.3 拼接后的分割結(jié)果

采用基于超綠特征的閾值分割算法對(duì)田間圖像的拼接圖進(jìn)行分割，其中閾值通過(guò)最大類間方差法求得.圖7、圖8分別為圖5、圖6的分割結(jié)果.

從圖7、圖8可知，較為集中的黑色區(qū)域?yàn)樽魑?，圖7中能較好的看出植株輪廓，兩個(gè)植株的外輪廓均變形很小，和分割圖上的噪聲有明顯的差別；而圖8拼接接縫處的一株植株的輪廓中有拉伸、旋轉(zhuǎn)現(xiàn)象，葉片比未拼接前區(qū)域變大，而原圖中的一株植株，變形非常厲害，已無(wú)法識(shí)別出原植株外形特征，且分割噪聲差別較小.這是由于圖8的原圖在拼接過(guò)程中產(chǎn)生較大的旋轉(zhuǎn)，其得到的分割圖像雖然能夠?qū)ψ魑锵袼卮笾碌膱D像位置進(jìn)行判斷，但植株的外形特征變化很大，對(duì)之后作物的識(shí)別工作會(huì)產(chǎn)生誤差或錯(cuò)誤.所以，這種效果的分割圖像不具備識(shí)別價(jià)值，此拼接圖的拼接效果不理想.

2.4 實(shí)驗(yàn)結(jié)果

對(duì)實(shí)驗(yàn)中的6組提取特征點(diǎn)數(shù)、特征匹配對(duì)和拼接結(jié)果進(jìn)行統(tǒng)計(jì)，如表1所示.其中，能夠生成變換矩陣H的即為拼接成功，能從分割圖中識(shí)別出目標(biāo)對(duì)象的即評(píng)價(jià)為拼接效果理想.

表1中，通過(guò)數(shù)據(jù)統(tǒng)計(jì)和拼接效果的記錄比較可知：當(dāng)t減少到1/4時(shí)，圖像可以拼接并能夠得到理想有效的圖像；當(dāng)t為1/5時(shí)，圖像雖然能夠進(jìn)行拼接，但是其效果不理想，沒(méi)有使用的價(jià)值；當(dāng)t減少到1/6時(shí)，圖像拼接失敗.圖像拼接過(guò)程中拼接時(shí)間也不同，圖像重復(fù)信息量比例高，特征點(diǎn)的提取和匹配所耗費(fèi)的時(shí)間會(huì)相對(duì)縮短，如處理4的運(yùn)行時(shí)間相對(duì)處理1的運(yùn)行時(shí)間要長(zhǎng)得多.而文獻(xiàn)[1]中針對(duì)大約2 m長(zhǎng)的玉米行向拆分圖像序列，共使用24幅圖片，利用相鄰兩幅圖像出現(xiàn)的重復(fù)區(qū)域，將序列圖像中的這些圖像合成一幅植株行向頂視圖.

3 結(jié)束語(yǔ)

本文采用雙目系統(tǒng)采集田間圖像，并基于尺度特征點(diǎn)的圖像拼接技術(shù)實(shí)現(xiàn)對(duì)其進(jìn)行拼接；實(shí)驗(yàn)中量化了兩幅圖像中的重復(fù)信息量比例，并通過(guò)對(duì)拼接后的圖像進(jìn)行分割來(lái)判斷其拼接效果.總結(jié)如下：

1）實(shí)驗(yàn)表明拼接圖組需要有重復(fù)信息量比例不少于1/4時(shí)才能獲得較為理想且有效的拼接圖像；

2）被拼接圖像來(lái)自于兩個(gè)攝像機(jī)，裝配田間圖像采集系統(tǒng)時(shí)，很難保證兩攝像機(jī)的光軸完全平行，存在一定安裝誤差，此安裝誤差對(duì)于實(shí)驗(yàn)中的重復(fù)信息量比例的量化影響很大；

3）實(shí)驗(yàn)只對(duì)采集到的6組圖像進(jìn)行拼接分析，實(shí)驗(yàn)樣本較少，且對(duì)于參數(shù)的量化描述還不夠準(zhǔn)確，會(huì)造成實(shí)驗(yàn)結(jié)果誤差；

4）實(shí)驗(yàn)中還存在許多不定因素沒(méi)有量化，故還需要大量的圖像以及具體的參數(shù)來(lái)進(jìn)一步完善拼接影響因素的研究.

參考文獻(xiàn)

[1] 王傳宇，郭新宇，肖伯祥，等.基于圖像拼接的苗期玉米植株缺失數(shù)量自動(dòng)測(cè)量方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30（12）：148-153.

[2] 賈慶宇，劉晶淼，謝艷兵.基于Matlab的玉米根系圖像拼接、根系提取分析系統(tǒng)[J].中國(guó)農(nóng)學(xué)通報(bào)，2014，30（3）：98-102.

[3] 李盛輝，田光兆，姬長(zhǎng)英，等.自主導(dǎo)航農(nóng)業(yè)車輛的全景視覺(jué)多運(yùn)動(dòng)目標(biāo)識(shí)別跟蹤[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46（1）：1-7.

[4] 翟優(yōu)，曾巒，王少軒.自適應(yīng)對(duì)比度閾值SIFT算法研究[J].計(jì)算機(jī)測(cè)量與控制，2011，19（11）： 2798-2800，2806.

[5] 蓋進(jìn)偉，韓燮.一種基于特征點(diǎn)匹配的圖像拼接方法研究[J].計(jì)算機(jī)測(cè)量與控制，2012，20（3）： 836-837，851.

[6] 張凱，耿長(zhǎng)興，張二鵬，等.溫室環(huán)境下紅掌圖像拼接算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013， 44（4）：223-227.

[7] 閆夏，譚光興，林川.基于免疫聚類算法的MRI膝關(guān)節(jié)圖像分割[J].廣西科技大學(xué)學(xué)報(bào)，2015， 26（1）：70-74.

[8] 曹月花，羅文廣.基于DSP的直線特征提取算法[J].廣西科技大學(xué)學(xué)報(bào)，2016，27（1）：14-18，25.

[9] 薛圣利，蔡啟仲，楊海林，等.基于OpenCV的火車票識(shí)別算法[J].廣西科技大學(xué)學(xué)報(bào)，2016，27（2）： 46-51.

[10] 刁智華，王會(huì)丹，魏偉.機(jī)器視覺(jué)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J].農(nóng)機(jī)化研究， 2014（3）：206 -211.

[11] 劉瑞琪，曹乃文.雜草圖像分割中分割特征的研究[J].安徽農(nóng)業(yè)科學(xué)，2011，39（30）：18978，18992.

[12] 刁智華，王歡，宋寅卯，等.復(fù)雜背景下棉花病葉害螨圖像分割方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2013，29 （5）：147-152.

[13] 袁媛，李淼，陳晟，等.復(fù)雜背景黃瓜葉部病害圖像分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44 （10）：233-237.

[14] L？譫PEZ-GRANADOS F，TORRES-S？魣NCHEZ J，SERRANO-P？魪REZ A，et al.Early season weed mapping in sunflower using UAV technology： variability of herbicide treatment maps against weed thresholds[J].Precision Agriculture，2016，17（2）：183-199.

Effects of the repeat value in the field image on image mosaic

MA Zhao-min， WU Jian-yue， HU Bo， HUANG Ling*

（School of Electric and Information Engineering， Guangxi University of Science and Technology，

Liuzhou 545006， China）

Abstract： Image stitching is necessary due to the limited coverage area of single field image. And the size of repeated part of two images will affect mosaic result. In this paper， the repeat area is quantified. The evaluation method of mosaic result is put forward. We judge whether the object is beneficial recognition after segmentation of mosaic image. The experimental results show that ideal mosaic image can be obtained when the ratio of repeat area accounts for more than a quarter of the original image. This will provide research foundation for making reasonable decision of the automation pesticide spraying for the whole plot.

Key words： image mosaic； SIFT algorithm； image segmentation； repeat area

（學(xué)科編輯：黎 婭）