羅輝蘭，朱蘭艷

(昆明理工大學(xué)國(guó)土資源工程學(xué)院，云南昆明 650000)

?

圖像拼接技術(shù)在茶樹病蟲害防治研究中的應(yīng)用

羅輝蘭，朱蘭艷

(昆明理工大學(xué)國(guó)土資源工程學(xué)院，云南昆明 650000)

摘要為較好地實(shí)現(xiàn)茶樹全景圖像的拼接，針對(duì)圖像拼接過程中存在同名點(diǎn)檢測(cè)時(shí)間長(zhǎng)、非同名點(diǎn)基數(shù)大的問題，提出一種顧及排列順序的圖像拼接算法。該算法以基準(zhǔn)圖像為起始，采用相關(guān)性原理，以矩形塊為計(jì)算單位，提取圖像間相關(guān)區(qū)域；后序圖像區(qū)域提取基于前序圖像區(qū)域位置計(jì)算；最后在目標(biāo)區(qū)域中完成同名點(diǎn)檢測(cè)，并實(shí)現(xiàn)特征匹配、圖像配準(zhǔn)與融合。試驗(yàn)結(jié)果表明，顧及排列順序的圖像拼接算法基于目標(biāo)區(qū)域提取同名點(diǎn)能有效地減少非同名點(diǎn)數(shù)量，縮短同名點(diǎn)查找以及特征匹配時(shí)間，能夠有效提高圖像配準(zhǔn)速度并實(shí)現(xiàn)茶樹全景圖像的無縫拼接。

關(guān)鍵詞圖像拼接；圖像排列順序；相關(guān)性；矩形塊；目標(biāo)區(qū)域

Application of Image Mosaic Technology in the Study of Tea Plant Diseases and Insect Pests Control

LUO Hui-lan, ZHU Lan-yan(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kunming, Yunnan 650093)

AbstractTo achieve a better panoramic image stitching of tea plant, in view of the fact that the process of image mosaic exists the problem of having long time of corresponging image points detection and little corresponging image points, an image mosaic algorithm considering the sequence was proposed. This algorithm was starting with the reference image and correlation theory was used to extract correlation areas with rectangular-block as unit; the extracting of post sequence image correlation area was based on the location of pre sequence image correlation area; finally, corresponging image point in target region was detected, and then features matching, image registration and fusion were implemented. The experiments illustrated that only detecting corresponging image point in target region can effectively reduce the number of non-corresponging image points, the time of corresponging image points detection and features matching, it also can effectively improve the speed of image registration, and finally complete image mosaic of tea plant.

Key wordsImage mosaic; Image sequence; Correlation; Rectangular-block; Target region

茶在我國(guó)有著悠久的歷史，現(xiàn)如今茶樹的種植廣泛分布于我國(guó)大部分地區(qū)，形成4個(gè)主要的產(chǎn)茶區(qū)域：西南茶區(qū)、華南茶區(qū)、江南茶區(qū)和江北茶區(qū)。在茶樹病蟲害防治過程中，由于傳感器裝置不能采集大視角的場(chǎng)景，不能直接將茶樹群完整地拍攝下來，而站在遠(yuǎn)處拍攝雖能得到寬范圍的圖像，但是得到的單個(gè)茶樹圖像可能會(huì)因?yàn)樘《磺逦D像拼接技術(shù)是依賴采集的重疊圖像集合，利用計(jì)算機(jī)視覺進(jìn)行圖像間的相互匹配，并將其拼接成無縫高分辨率圖像的過程[1]。圖像拼接過程主要包括圖像配準(zhǔn)和圖像融合2個(gè)主要步驟，但是拼接過程較為耗時(shí)[2-3]，大量改進(jìn)算法主要從特征點(diǎn)檢測(cè)、圖像配準(zhǔn)等過程著手。特征點(diǎn)檢測(cè)方面，周遠(yuǎn)等[4]在SIFT算法基礎(chǔ)上，顧及特征點(diǎn)分布情況，提出離散尺度不變特征提取算法(discrete SIFT，DSIFT)，引入特征點(diǎn)檢測(cè)滑動(dòng)窗口，對(duì)窗口內(nèi)極值點(diǎn)進(jìn)行非極大值抑制，使特征點(diǎn)分布均勻，并在特征點(diǎn)匹配過程中引入K-D樹進(jìn)行配準(zhǔn)，但隨著圖像分辨率增加，拼接速度變慢。陳麗莉等[5]利用相位相關(guān)法將序列圖像自動(dòng)排序后計(jì)算圖像間平移參數(shù)，結(jié)合該平移參數(shù)粗估測(cè)出興趣區(qū)域(region of interest，ROI)，在ROI中結(jié)合SURF算法提取特征點(diǎn)，最后用SVD(singular value decomposition)求得變換矩陣參數(shù)，粗估測(cè)出的興趣區(qū)域精度較低，并未能有效的減少特征點(diǎn)檢測(cè)區(qū)域。在圖像配準(zhǔn)方面，鮑文霞等[6]針對(duì)特征點(diǎn)匹配和變換參數(shù)問題，利用最小生成樹的Laplace矩陣獲取特征點(diǎn)匹配關(guān)系，估計(jì)TPS(thin plate spline)變換參數(shù)，利用這些參數(shù)完成特征點(diǎn)逼近實(shí)現(xiàn)圖像拼接，該算法在構(gòu)造Laplace矩陣時(shí)需消耗大量時(shí)間。王成儒等[7]提出一種基于三角形幾何相似性的圖像配準(zhǔn)算法，將重疊區(qū)域內(nèi)特征點(diǎn)任意組合為三角形，構(gòu)成三角形集合，在兩組三角形集合內(nèi)篩選最終獲得相似三角形對(duì)，即可獲得匹配點(diǎn)對(duì)，最后計(jì)算圖像間變換矩陣。該算法有效地提高了配準(zhǔn)精度，但在相似三角形提取中耗費(fèi)大量時(shí)間。為了快速獲得較高分辨率的寬視場(chǎng)茶樹全景圖，筆者提出一種快速圖像拼接算法，并在此基礎(chǔ)上針對(duì)茶樹群全景圖像拼接技術(shù)應(yīng)用進(jìn)行研究。

1顧及排列順序的圖像拼接算法

在實(shí)際應(yīng)用中，待拼接圖像間存在部分重疊區(qū)域，傳統(tǒng)算法針對(duì)整幅圖像提取特征點(diǎn)較為耗時(shí)。針對(duì)圖像拼接中特征點(diǎn)提取，該研究以圖像間相關(guān)性為判斷依據(jù)，選定基準(zhǔn)圖像，逐步縮小圖像間相關(guān)性計(jì)算范圍，兩兩判斷，最終縮小特征點(diǎn)檢測(cè)區(qū)域，即達(dá)到減少特征點(diǎn)數(shù)量的目的，從而縮短圖像拼接所耗時(shí)間。

1.1首次目標(biāo)區(qū)域選取已知待拼接圖像排列順序，通過空間位置關(guān)系縮小特征點(diǎn)查找范圍。設(shè)輸入圖像序列I(I0，I1，…，In)，且圖像排列順序已知，即I0與I1存在重疊區(qū)域，I1與I2存在重疊區(qū)域，In-1與In存在重疊區(qū)域。選定I0為基準(zhǔn)圖像，即處于該圖像序列中的第一張圖像，確定其與I1的重疊區(qū)域。

圖像分辨率為w×h，將圖像從水平方向劃分為m個(gè)大小相同的矩形塊，如圖1所示。

圖1　圖像分塊Fig.1　Image block

設(shè)矩形塊Iti(t=0，1，…，n，i=1，2，…，m)表示對(duì)應(yīng)圖像It中第i個(gè)矩形塊，其中m表示矩形塊總數(shù)。由基準(zhǔn)圖像I0與I1計(jì)算目標(biāo)區(qū)域，由于圖像序列已知，首先判斷I0m與I11的相關(guān)性，計(jì)算公式如下：

(1)

其中：

它們分別表示I0m與I11的協(xié)方差(covariance)、I0m與I11各自的方差(variance)。由式(1)計(jì)算得C(I0m，I11)后需與閾值ε進(jìn)行比較，即：

(2)

若C(I0m，I11)小于閾值ε，則表明I0m與I11不相關(guān)；反之，若C(I0m，I11)大于等于閾值ε，則表明I0m與I11相關(guān)，即I0m與I11存在可匹配區(qū)域，可用于提取同名點(diǎn)。當(dāng)m值較大時(shí)，矩形區(qū)域較小，同時(shí)包含的重疊部分少，為保證準(zhǔn)確配準(zhǔn)，需擴(kuò)大相關(guān)性匹配區(qū)域，即將所選區(qū)域順次后移一個(gè)矩形塊，即利用式(1)計(jì)算C[I0(m，m-1)，I1(1，2)]，將結(jié)果與設(shè)定閾值ε進(jìn)行比較確定是否相關(guān)。比較多個(gè)矩形塊相關(guān)系數(shù)選取最大值對(duì)應(yīng)的區(qū)域?yàn)樽罴哑ヅ鋮^(qū)域，即目標(biāo)區(qū)域。面積變化如下式：

(3)

式中，p表示在I1中順次后移的矩形塊個(gè)數(shù)，且p≤m。將計(jì)算得到的Cp與閾值ε比較，若Cp<ε則不再計(jì)算后續(xù)矩形塊。將p個(gè)相關(guān)系數(shù)進(jìn)行比較，公式為：

(4)

按式(4)選取最大值對(duì)應(yīng)區(qū)域?yàn)槟繕?biāo)區(qū)域，最終得目標(biāo)區(qū)域?yàn)閃0(m，…，m-pos)=(w-pos×|w/m|，0，w，h)，W1(1，…，pos)=(0，0，pos×|w/m|，h)。

1.2后續(xù)目標(biāo)區(qū)域選取顧及圖像排列順序，圖像It與It+1查找目標(biāo)區(qū)域，查找方法與首次區(qū)域查找方法相同，即計(jì)算矩形塊間相關(guān)系數(shù)，公式為：

(5)

(6)

式中，t=1，2，…，n。由于在首次目標(biāo)區(qū)域選取中，I1中W1(1，…，pos)窗口與I0中W0(m，…，m-pos)窗口進(jìn)行特幀點(diǎn)匹配計(jì)算，因此后續(xù)目標(biāo)區(qū)域選取中，將基于前一圖像目標(biāo)區(qū)域外區(qū)域進(jìn)行檢測(cè)，即：

(7)

式中，p表示在I(t+1)中順次后移的矩形塊個(gè)數(shù)，且p≤(m-pos)。式(7)代入式(6)后，將式(6)代入式(5)中可得相關(guān)系數(shù)Cp，將Cp與閾值ε比較，即：

(8)

若Cp<ε則停止計(jì)算。將p個(gè)相關(guān)系數(shù)代入式(6)中可得pos值，最終得It與It+1目標(biāo)區(qū)域?yàn)閃t=(w-pos×|w/m|，0，w，h)，Wt +1=(0，0，pos×|w/m|，h)。

1.3算法過程上述過程歸納為如下步驟：

輸入：已知排列順序圖像序列I(I0，I1，…，In)，?It∈I，WIt(0，0，w，h)。

輸出：拼接圖像SI。

③根據(jù)式(5)、(6)和式(7)順次計(jì)算Cp。

④根據(jù)式(8)判斷相關(guān)性，若?Cp<ε，則停止Cp值計(jì)算。

⑤根據(jù)式(4)比較Cp值，確定pos′。

⑥依據(jù)pos′值，更新Wt和Wt+1。

⑦依據(jù)pos′值與縮放值，計(jì)算圖像目標(biāo)區(qū)域：Wt(2×(wt-pos′×|w′/m|)，0，2×w′，2×h′)，Wt+1(0，0，2×pos′×|w′/m|，2×h′ )。

(4)對(duì)于任意It，It+1，在Wt與Wt+1中查找同名點(diǎn)，完成特征點(diǎn)匹配。

(5)利用仿射變換模型，計(jì)算特征點(diǎn)間變換矩陣。

(6)重復(fù)上述步驟，完成圖像序列I中圖像配準(zhǔn)。

(7) 圖像融合，消除圖像間拼接縫。

(8)返回拼接圖像SI。

(9)結(jié)束。

利用積分圖像可有效地加快式(1)中均值與方差計(jì)算速度，將圖像插值縮放為原始尺寸的1/2可有效地減少目標(biāo)區(qū)域查找計(jì)算時(shí)間，最后將其還原到原始尺寸進(jìn)行特征點(diǎn)匹配可提高匹配精度。其中，當(dāng)t=0時(shí)，pos′=0，即首次目標(biāo)區(qū)域選取，對(duì)整幅圖像分割計(jì)算。目標(biāo)區(qū)域查找過程見圖2。

圖2　目標(biāo)區(qū)域查找過程Fig.2　Searching process in target area

2全景圖像拼接實(shí)現(xiàn)與分析

為了提高茶樹病蟲害防治研究的工作效率，盡可能快地實(shí)現(xiàn)全景圖像拼接，該研究對(duì)拼接過程進(jìn)行了改進(jìn)，通過縮短配準(zhǔn)過程耗時(shí)來提高拼接效率。全景圖像拼接試驗(yàn)中通過求取矩形塊的相關(guān)系數(shù)確定圖像重疊區(qū)域，然后在重疊區(qū)域內(nèi)提取特征點(diǎn)取代全副圖像查找特征點(diǎn)，最終實(shí)現(xiàn)圖像拼接。試驗(yàn)環(huán)境如下：CPU為Pentium(R)，Dual-Core CPU T4200 2.10 GHz，2GB運(yùn)行內(nèi)存，試驗(yàn)在vs2010和XP系統(tǒng)下實(shí)現(xiàn)。

2.1全景圖像拼接實(shí)驗(yàn)結(jié)果 試驗(yàn)數(shù)據(jù)以及試驗(yàn)結(jié)果見圖3，其中圖3a為目標(biāo)區(qū)域內(nèi)特征點(diǎn)提取，圖3b、c為特征點(diǎn)匹配結(jié)果，圖3d為拼接結(jié)果。分析試驗(yàn)結(jié)果，如圖3a中矩形區(qū)域?yàn)橄噜張D像間的相似區(qū)域即目標(biāo)區(qū)域；圖3b為所對(duì)應(yīng)目標(biāo)區(qū)域中采用最近鄰法得到的同名點(diǎn)配對(duì)；圖3c中為RANSAC方法剔除誤匹配后的配對(duì)點(diǎn)匹配；圖3d為該研究算法得到的拼接圖像，即最終拼接效果。

圖3　試驗(yàn)數(shù)據(jù)及結(jié)果Fig.3　Tast data and result

2.2效率分析該研究不僅實(shí)現(xiàn)了茶樹全景圖像拼接，而且拼接過程中有效縮短了耗時(shí)，各步驟耗時(shí)情況見表1。

表1圖像拼接算法和全圖檢測(cè)法效率對(duì)比

Table 1Comparison of efficiency between image mosaic and complete detection method

s

由表1可知，圖像拼接算法在特征點(diǎn)檢測(cè)、粗匹配、ransac、圖像配準(zhǔn)4個(gè)方面的耗時(shí)都小于全圖檢測(cè)法，總耗時(shí)節(jié)省了17.899 s，圖像拼接算法效率高，能快速得到結(jié)果。

3結(jié)論

針對(duì)茶樹病蟲害防治研究過程中從宏觀上進(jìn)行監(jiān)測(cè)時(shí)遇到的如何獲取寬視角高分辨率圖像的問題，利用圖形圖像處理技術(shù)，實(shí)現(xiàn)將多組單個(gè)圖像拼接成一幅全景圖像。從特征點(diǎn)提取出發(fā)，已知圖像排列順序情況下，利用圖片間相關(guān)性快速定位了目標(biāo)區(qū)域，縮小了特征點(diǎn)提取范圍，縮短了特征點(diǎn)提取時(shí)間。試驗(yàn)結(jié)果表明，將全景拼接技術(shù)應(yīng)用于茶樹病蟲害防治研究中是可行的。接下來的研究將進(jìn)一步優(yōu)化目標(biāo)區(qū)域、改進(jìn)圖像配準(zhǔn)算法[9]，并對(duì)全景圖拼接結(jié)果精度進(jìn)行優(yōu)化。

參考文獻(xiàn)

[1] 杜培明，刑碩.基于魯棒迭代優(yōu)化的圖像拼接算法[J].計(jì)算機(jī)工程與科學(xué)，2014，36(4)：741-745.

[2] 崔明明，閆鑌，曹鴻濤，等.基于全局二值特征描述子的三維CBCT圖像快速匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形圖像學(xué)報(bào)，2015，27(4)：666-673.

[3] 王燦進(jìn)，孫濤，陳娟.一種新的快速局部不變特征算法[J].紅外與激光工程，2014，43(6)：2013-2020.

[4] 周遠(yuǎn)，周玉生，劉權(quán)，等.一種適用于圖像拼接的DSIFT算法研究[J].西安交通大學(xué)學(xué)報(bào)，2015，49(9)：84-90.

[5] 陳麗莉，劉貴喜.一種有效的序列圖像自動(dòng)拼接方法[J].光電子·激光，2011，22(7)：1112-1118.

[6] 鮑文霞，梁棟，王年，等.基于最小生成樹和 TPS 變換模型的圖像拼接[J].儀器儀表學(xué)報(bào)，2010(5)：1070-1075.

[7] 王成儒，趙娜，張麗麗.基于三角形幾何相似性的圖像配準(zhǔn)與拼接[J].光電工程，2007，34(8)：87-92.

[8] 程相正，曾朝陽，陳航，等.基于雙線性插值算法的低分辨率傳感器標(biāo)定方法[J].激光與光電子學(xué)進(jìn)展，2013(7)：68-74.

[9] 梁艷菊，李慶，林蓁蓁，等.一種基于SURF的全景圖像配準(zhǔn)算法[J].傳感器與微系統(tǒng)，2012，31(5)：132-135.

收稿日期2015-12-24

作者簡(jiǎn)介羅輝蘭(1989-)，女，云南昭通人，碩士研究生，研究方向：圖形圖像處理。

中圖分類號(hào)S 5-39;TP 399

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)0517-6611(2016)03-288-03