繆永偉, 劉麗麗, 張旭東, 劉 震

(1. 浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 浙江 杭州 310023； 2. 浙江工業(yè)大學(xué) 理學(xué)院， 浙江 杭州 310023)

?

基于對(duì)稱(chēng)性的單幅圖像花朵建模

繆永偉1, 劉麗麗1, 張旭東1, 劉 震2

(1. 浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 浙江 杭州 310023； 2. 浙江工業(yè)大學(xué) 理學(xué)院， 浙江 杭州 310023)

基于自然界各類(lèi)花朵普遍具有的對(duì)稱(chēng)特性,提出了一種利用單幅圖像的三維花朵建模方法.根據(jù)輸入的單幅花朵圖像,用戶(hù)通過(guò)交互方式描繪花朵每個(gè)花瓣的2條邊緣曲線,對(duì)花朵邊緣曲線的頂部頂點(diǎn)和底部頂點(diǎn)進(jìn)行最小二乘圓錐擬合,利用擬合得到的圓錐計(jì)算花朵各花瓣的對(duì)稱(chēng)面;根據(jù)不同種類(lèi)花朵所固有的對(duì)稱(chēng)特性和各個(gè)花瓣的對(duì)稱(chēng)面信息,計(jì)算花瓣2條邊緣曲線上所有采樣點(diǎn)的深度,得到其三維構(gòu)造曲線;利用恢復(fù)了深度信息的三維構(gòu)造曲線作離散化網(wǎng)格處理，構(gòu)建各個(gè)花瓣的三維模型,進(jìn)而重建整個(gè)花朵的三維模型;最后根據(jù)輸入的單幅圖像紋理信息合成花朵的表面紋理,得到了真實(shí)感較強(qiáng)的花朵模型.實(shí)驗(yàn)結(jié)果表明：該建模方法充分利用了花朵的對(duì)稱(chēng)特性,用戶(hù)交互少、建模效率高,能夠準(zhǔn)確地從單幅花朵圖像中恢復(fù)其深度信息和整體結(jié)構(gòu),方便快捷地實(shí)現(xiàn)花朵的三維重建.

三維重建;對(duì)稱(chēng)特性;花朵模型;手繪線條;深度計(jì)算

植物的三維建模是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)等領(lǐng)域的研究熱點(diǎn)[1-5].隨著圖形學(xué)算法、虛擬現(xiàn)實(shí)及可視化技術(shù)等的發(fā)展,三維建模技術(shù)也更多地應(yīng)用于花朵建模.三維花朵模型在室內(nèi)外場(chǎng)景重建、植物學(xué)和生物學(xué)研究、園林藝術(shù)發(fā)展以及真實(shí)感游戲等方面均發(fā)揮著重要作用.然而,花朵幾何結(jié)構(gòu)和種類(lèi)的多樣性，使得其建模過(guò)程較復(fù)雜和困難.具體地說(shuō),花朵三維幾何結(jié)構(gòu)的多樣性主要表現(xiàn)在任何種類(lèi)的花朵都包含花瓣、雄蕊、雌蕊和花萼等結(jié)構(gòu),且各種結(jié)構(gòu)之間相互約束;花朵的種類(lèi)復(fù)雜性主要體現(xiàn)在花朵種類(lèi)繁多且不同種類(lèi)花朵結(jié)構(gòu)差異較大.目前，已有的花朵建模方法主要為基于手繪曲線的交互式建模,PRUSINKIEWICZ等[6]將花瓣看作廣義的柱體,通過(guò)用戶(hù)定義的手繪曲線表示花瓣的軸來(lái)進(jìn)行花朵建模,IJIRI等[7]提出了花卉表和花序的概念.這種建模方法雖然能夠創(chuàng)建完整的花朵模型,但需要較多的用戶(hù)交互，建模時(shí)間長(zhǎng)、過(guò)程復(fù)雜,且基于手繪的建模對(duì)自然界真實(shí)花朵的形態(tài)及種類(lèi)的表示缺乏真實(shí)性.因此，需要尋求快速創(chuàng)建花朵三維模型的統(tǒng)一方法.

一般來(lái)說(shuō),人們可以根據(jù)花朵的花瓣來(lái)表征自然界各類(lèi)花朵的形狀結(jié)構(gòu)[8],IJIRI等[9]、LI等[10]、LIANG等[11]在研究過(guò)程中僅使用花瓣的形狀變化來(lái)模擬花朵的生長(zhǎng)過(guò)程.因而，要解決花朵建模中的結(jié)構(gòu)復(fù)雜性問(wèn)題,可主要考慮花朵的花瓣結(jié)構(gòu)而忽略雄蕊、雌蕊和花萼等其他附屬結(jié)構(gòu).

同時(shí),研究發(fā)現(xiàn)，絕大多數(shù)花朵在生長(zhǎng)乃至進(jìn)化的過(guò)程中,結(jié)構(gòu)上表現(xiàn)出一定的對(duì)稱(chēng)性[12]，有兩側(cè)對(duì)稱(chēng)和輻射對(duì)稱(chēng)2種形式[13].兩側(cè)對(duì)稱(chēng)是指通過(guò)花中心軸有且只有一個(gè)對(duì)稱(chēng)軸能將花朵分為對(duì)等的兩半,而輻射對(duì)稱(chēng)是指花中所有同類(lèi)型的器官(如花瓣等)都完全相同且均勻排列在花托周?chē)?形成2個(gè)或者2個(gè)以上對(duì)稱(chēng)面.HONG等[14]利用對(duì)稱(chēng)性以及多視角幾何解決了單幅圖像的結(jié)構(gòu)以及標(biāo)定問(wèn)題.CORDIER等[15-16]提出了一種鏡像對(duì)稱(chēng)的物體表面重建算法,使得生成的三維模型側(cè)影輪廓可以垂直投影為輸入的二維曲線.根據(jù)臨摹描繪得到對(duì)稱(chēng)物體的二維手繪線畫(huà)圖,?ZTIRELI等[17]提出了一種可以從一系列平面曲線重建三維對(duì)稱(chēng)物體的方法.TEVS等[18]提出了一種利用幾何體的對(duì)稱(chēng)關(guān)系實(shí)現(xiàn)復(fù)雜幾何匹配的算法.MIAO等[19]提出了一種利用對(duì)稱(chēng)性計(jì)算手繪線條深度信息的方法,從而重建生成三維對(duì)稱(chēng)自由形體.將建筑物的對(duì)稱(chēng)特性引入相機(jī)校準(zhǔn)中,JIANG等[20]提出了一種基于單幅圖像輸入的三維建筑物重建方法.

與以往的花朵建模方法相比,本文使用的建模方法旨在利用花朵對(duì)稱(chēng)性及其結(jié)構(gòu)的特殊性,通過(guò)對(duì)輸入的單幅圖像進(jìn)行少量的交互處理，結(jié)合一定的深度計(jì)算重建花朵模型.主要貢獻(xiàn)有:1)提出了一種新穎的花朵建模方法,即使用對(duì)稱(chēng)性解決花朵的三維重建問(wèn)題;2)通過(guò)對(duì)輸入圖片簡(jiǎn)單的交互處理,實(shí)現(xiàn)了對(duì)多層花朵結(jié)構(gòu)的三維建模,減少了對(duì)輸入圖像的預(yù)處理工作;3)設(shè)計(jì)了一個(gè)簡(jiǎn)單的花朵建模平臺(tái),在建模的過(guò)程中將圖片交互窗口和三維渲染窗口分開(kāi),使得三維建模過(guò)程更加方便、高效.

1 相關(guān)工作

花朵的三維建模方法主要包括:過(guò)程式的全交互花朵建模方法[7]、基于花瓣數(shù)據(jù)庫(kù)的形狀匹配與變形擬合的花朵建模方法[21]、基于單幅圖像的花朵建模方法[22].

在過(guò)程式的交互建模方面,IJIRI等[7]提出了一種基于花卉表和花朵花序的交互式快速建模系統(tǒng),該系統(tǒng)將結(jié)構(gòu)編輯與幾何編輯分開(kāi),并采用自下而上的建模方式生成結(jié)構(gòu)復(fù)雜的花朵模型.結(jié)合交互式手繪建模方式[23-24],IJIRI等[25]提出了一種由圖像引導(dǎo)的手繪式花朵建模系統(tǒng),該系統(tǒng)采用從上到下的建模過(guò)程,即在概念設(shè)計(jì)過(guò)程中就完成整體的花朵結(jié)構(gòu)設(shè)計(jì),在建模過(guò)程中根據(jù)最初設(shè)計(jì)的花朵結(jié)構(gòu)引導(dǎo)各部分的建模.基于花朵的生物學(xué)機(jī)理,宋成芳等[26]采用交互式方法實(shí)現(xiàn)了花朵的三維建模并模擬了花開(kāi)的過(guò)程.過(guò)程式的交互花朵建模方法雖然能夠創(chuàng)建出復(fù)雜的花朵模型,但需要大量的人工交互,耗時(shí)長(zhǎng)且過(guò)程復(fù)雜.

為了減少用戶(hù)交互，實(shí)現(xiàn)高效建模,研究者們提出采用模板數(shù)據(jù)庫(kù)的方法進(jìn)行花朵建模.ZHANG等[21]針對(duì)需要重建的不同種類(lèi)花朵,如百合花、三色堇等,構(gòu)建了其對(duì)應(yīng)的花瓣數(shù)據(jù)庫(kù),實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)的花朵建模.葛娟等[27]使用三維掃描點(diǎn)云并結(jié)合不同葉片法，對(duì)差距較大的葉片進(jìn)行聚類(lèi),用一個(gè)葉子模型將每個(gè)類(lèi)擬合成三維模型.數(shù)據(jù)驅(qū)動(dòng)的建模方法能夠構(gòu)造圖像中的花朵模型,但該類(lèi)方法需要進(jìn)行較多預(yù)處理,包括預(yù)先進(jìn)行圖像分割和花瓣數(shù)據(jù)庫(kù)構(gòu)建等,其建模的精準(zhǔn)性往往和提供的模型庫(kù)有關(guān).

基于單幅圖像的建模方式，得到了計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)等領(lǐng)域研究者的普遍關(guān)注[22,28-30].為了減少用戶(hù)交互,YAN等[22]利用單幅圖像實(shí)現(xiàn)了花朵的半自動(dòng)建模,該方法通過(guò)擬合花朵生成一個(gè)花瓣模板模型,并對(duì)照其他花瓣利用該模板模型進(jìn)行相應(yīng)變形，實(shí)現(xiàn)花朵的三維建模.TAN等[28-29]根據(jù)輸入的單幅圖像,通過(guò)定義植物生長(zhǎng)規(guī)則創(chuàng)建的三維分支庫(kù)實(shí)現(xiàn)花朵樹(shù)木的建模.為了重建單幅輸入圖像中的物體,繆永偉等[30]提出了一種利用二維手繪線畫(huà)圖重建生成三維自由形體的方法.

基于花朵普遍具有的對(duì)稱(chēng)特性,本文提出了一種基于單幅圖像的三維花朵建模方法.根據(jù)輸入的單幅花朵圖像,首先通過(guò)交互描繪圖像中花朵各個(gè)花瓣的2條邊緣曲線,根據(jù)這些邊緣曲線的頂點(diǎn)信息，將花朵擬合到一個(gè)圓錐面上,并利用花朵特有的結(jié)構(gòu)和對(duì)稱(chēng)性，計(jì)算每個(gè)花瓣的對(duì)稱(chēng)面,然后根據(jù)求得的對(duì)稱(chēng)面計(jì)算每個(gè)花瓣的2條構(gòu)造曲線的深度信息,最終構(gòu)建整個(gè)花朵的三維模型.不同花瓣的邊緣曲線深度的計(jì)算方法完全統(tǒng)一,因此該方法適用于處理不同花瓣數(shù)目和不同對(duì)稱(chēng)面數(shù)目的花朵建模;同時(shí)該方法能夠簡(jiǎn)單快速地創(chuàng)建真實(shí)感較強(qiáng)的三維花朵模型.與已有的花朵建模方法相比,本文提出的建模方法充分利用了花朵的對(duì)稱(chēng)特性并輔以少量的用戶(hù)交互,從而可高效恢復(fù)輸入圖像中花朵花瓣的精確深度信息,快捷生成三維花朵模型.

2 方法概述

自然界中花朵對(duì)稱(chēng)均衡的結(jié)構(gòu)美成為很多藝術(shù)家及學(xué)者研究的重點(diǎn).根據(jù)對(duì)稱(chēng)類(lèi)型可以將花朵分為兩側(cè)對(duì)稱(chēng)花(如圖1(a)中僅有一個(gè)對(duì)稱(chēng)面的花)和輻射對(duì)稱(chēng)花(如圖1(b)中有多個(gè)對(duì)稱(chēng)面的花)[13].然而,利用單幅輸入圖像時(shí),由于兩側(cè)對(duì)稱(chēng)花所包含的結(jié)構(gòu)信息較少，難以利用花朵的對(duì)稱(chēng)性很好地恢復(fù)其深度信息.

圖1 花朵的對(duì)稱(chēng)性Fig.1 Symmetries of flowers

本文主要考慮輻射對(duì)稱(chēng)的單視圖花朵建模，旨在利用對(duì)稱(chēng)性及其結(jié)構(gòu)的特殊性,通過(guò)對(duì)單幅輸入圖像進(jìn)行少量的交互,計(jì)算花瓣深度信息以重建花朵模型.建模流程如圖2所示.

(1)基于單幅圖像的花瓣線畫(huà)圖生成.根據(jù)輸入的單幅二維圖像(見(jiàn)圖2(a)),用戶(hù)在圖像畫(huà)板上交互地手動(dòng)描繪花朵上每個(gè)花瓣的2條邊緣曲線(見(jiàn)圖2(b)),系統(tǒng)即時(shí)捕捉手繪邊緣曲線上的點(diǎn),并插值生成相應(yīng)的二次B樣條曲線,然后根據(jù)用戶(hù)自定義的每條邊緣曲線應(yīng)包含的采樣點(diǎn)數(shù)，對(duì)得到的二次B樣條曲線進(jìn)行均勻采樣.

(2)利用對(duì)稱(chēng)性計(jì)算花瓣邊緣曲線的深度信息.在確定每個(gè)花瓣的2條邊緣手繪曲線后,利用對(duì)稱(chēng)性計(jì)算這2條手繪曲線上每對(duì)采樣點(diǎn)的深度信息.基于花朵特殊的對(duì)稱(chēng)結(jié)構(gòu)和生物結(jié)構(gòu),在把花瓣的2條手繪邊緣輪廓線看作其三維構(gòu)造曲線投影線的前提下,先將整個(gè)花朵擬合到一個(gè)圓錐上(見(jiàn)圖2(c)),通過(guò)擬合圓錐確定花朵上每個(gè)花瓣的對(duì)稱(chēng)面.通過(guò)遍歷每個(gè)花瓣上的2條邊緣手繪曲線,結(jié)合求得的該花瓣對(duì)稱(chēng)面信息,計(jì)算該花瓣2條構(gòu)造曲線的深度信息.

(3)多層花瓣對(duì)稱(chēng)性的處理.對(duì)于層次結(jié)構(gòu)較清晰的花朵,在擬合圓錐時(shí)可以使用多層花瓣的特殊處理方式解決.根據(jù)輸入的花朵圖像,對(duì)位于不同層上的花瓣進(jìn)行相應(yīng)的圓錐擬合,求得不同層上花瓣的對(duì)稱(chēng)面,并通過(guò)遍歷每層花瓣的2條邊緣手繪曲線,結(jié)合分層處理時(shí)得到的相應(yīng)花瓣的對(duì)稱(chēng)面信息,計(jì)算每個(gè)花瓣2條曲線的深度信息.

(4)花朵模型的生成和紋理合成.在計(jì)算得到每個(gè)花瓣的2條邊緣曲線的深度信息后,為了達(dá)到更好的三維建模效果,算法規(guī)定花朵三維模型上每個(gè)頂點(diǎn)處的深度值均大于零.在完成每個(gè)花瓣的處理后,通過(guò)離散化網(wǎng)格構(gòu)建每個(gè)花瓣的三維模型,進(jìn)而得到整個(gè)花朵的三維模型(見(jiàn)圖2(d)).進(jìn)一步,根據(jù)輸入圖像的紋理信息為生成的花朵模型進(jìn)行紋理合成,最終生成真實(shí)感很強(qiáng)的三維花朵模型(圖2(e)為模型的正視圖,圖2(f)～(h)分別為模型左、右和側(cè)視圖).

3 單幅圖像花朵建模

3.1 基于單幅圖像的花瓣線畫(huà)圖生成

在花朵的三維建模中,根據(jù)輸入的單幅圖像,用戶(hù)交互，描繪圖像中每個(gè)花瓣的2條邊緣曲線,并對(duì)邊緣曲線進(jìn)行采樣處理.花瓣線畫(huà)圖生成，包括用戶(hù)交互和花瓣邊緣曲線采樣預(yù)處理,具體如下.

圖2 基于對(duì)稱(chēng)性的花朵建模流程Fig.2 Diagram of symmetry based 3D flower modeling

3.1.1 用戶(hù)交互

在單視圖建模中,直接利用圖像的幾何投影信息得到其三維深度信息比較困難,這是由于輸入的單幅圖像往往信息不全,比如圖像中存在物體遮擋現(xiàn)象,導(dǎo)致建立的三維模型精度不高.為了有效克服該缺陷,采用少量人工交互的方式對(duì)遮擋的花瓣曲線進(jìn)行補(bǔ)全.根據(jù)單幅花朵圖像,用戶(hù)以交互方式描繪每個(gè)花瓣的2條邊緣曲線,對(duì)于被遮擋的花瓣，用戶(hù)可根據(jù)花瓣邊緣曲線走向?qū)⑵溲a(bǔ)全.需要注意的是,本文方法需要利用花瓣邊緣曲線的起點(diǎn)和終點(diǎn)擬合表示花朵整體結(jié)構(gòu)的橢圓,如圖3所示的花朵,花瓣的起點(diǎn)通常取為P1、P2、P3、P4和P5,每個(gè)頂點(diǎn)Pi為每個(gè)花瓣2條邊緣曲線的共同起點(diǎn);終點(diǎn)通常取花朵花蕊的中心即圓錐頂點(diǎn)O.

圖3 用戶(hù)交互Fig.3 User interactions

3.1.2 花瓣邊緣曲線的采樣預(yù)處理

根據(jù)用戶(hù)在描繪的花朵圖像中每個(gè)花瓣的2條邊緣曲線,系統(tǒng)自動(dòng)捕獲花瓣邊緣手繪線的離散采樣點(diǎn)并將其保存.隨后在利用花朵的對(duì)稱(chēng)特性計(jì)算每個(gè)花瓣的對(duì)稱(chēng)面時(shí),不再對(duì)各個(gè)花瓣手繪的先后順序作任何要求,但每個(gè)花瓣的2條邊緣曲線作為三維空間中對(duì)稱(chēng)曲線的投影線需成對(duì)保存.

利用系統(tǒng)自動(dòng)捕獲每個(gè)花瓣一對(duì)對(duì)稱(chēng)曲線采樣點(diǎn),通過(guò)等間距插值生成二次B樣條曲線,并對(duì)每條二次B樣條曲線進(jìn)行均勻離散采樣,采樣時(shí)通常要求每條二次B樣條曲線被重采樣為用戶(hù)指定數(shù)目的采樣頂點(diǎn)集合.需要注意的是,采樣點(diǎn)數(shù)目過(guò)少會(huì)影響花瓣模型的建模效果,過(guò)多會(huì)增加計(jì)算量,本文采樣頂點(diǎn)數(shù)目取150.在花朵的三維重建中,需要恢復(fù)每個(gè)花瓣重采樣后的2條邊緣曲線的三維信息,下節(jié)將詳細(xì)介紹利用花朵結(jié)構(gòu)的對(duì)稱(chēng)性，結(jié)合曲線采樣點(diǎn)的對(duì)稱(chēng)關(guān)系，計(jì)算每個(gè)花瓣上采樣點(diǎn)的深度信息.

3.2 利用對(duì)稱(chēng)性計(jì)算花瓣邊緣曲線深度信息

對(duì)于預(yù)處理階段生成的花朵每個(gè)花瓣一對(duì)離散化邊緣曲線,結(jié)合花朵結(jié)構(gòu)的對(duì)稱(chēng)性,計(jì)算手繪線條上對(duì)稱(chēng)采樣點(diǎn)的深度坐標(biāo)信息,并利用求得的坐標(biāo)深度信息生成各花瓣邊緣的三維構(gòu)造曲線.研究發(fā)現(xiàn)[12-13],自然界中大量花朵的整體結(jié)構(gòu)都可以用一個(gè)倒圓錐表示.利用圓錐擬合以簡(jiǎn)化花朵建模的相關(guān)計(jì)算,同時(shí)可用擬合的圓錐快速計(jì)算花朵各個(gè)花瓣的對(duì)稱(chēng)面法向量，最后利用各個(gè)花瓣對(duì)稱(chēng)面計(jì)算花瓣邊緣曲線的深度.

3.2.1 花朵整體結(jié)構(gòu)的圓錐擬合

根據(jù)預(yù)處理過(guò)程中對(duì)花朵每個(gè)花瓣的2條邊緣曲線產(chǎn)生的對(duì)稱(chēng)點(diǎn)集合,采用最小二乘法對(duì)花朵整體結(jié)構(gòu)進(jìn)行圓錐擬合,具體如下:

1)首先，利用最小二乘法對(duì)各個(gè)花瓣的邊緣曲線起點(diǎn)集合(如圖4中的P1、P2、P3、P4和P5)進(jìn)行橢圓擬合,得到的橢圓實(shí)際上是三維圓錐底面在投影下的二維成像,從而可以得到橢圓圓心(圖4(a)中的O′點(diǎn))及其長(zhǎng)短軸的長(zhǎng)度.

2)然后，利用各個(gè)花瓣邊緣曲線的底端終點(diǎn)集合，取其平均值點(diǎn)作為圓錐頂點(diǎn)(圖4(a)中的O點(diǎn)).

3)為了得到花朵整體結(jié)構(gòu)的三維擬合圓錐,需要計(jì)算圓錐高即圖4(a)中的OO″長(zhǎng)度R.如圖4(a)所示,設(shè)平面∏1為二維投影面即XOY平面,三維空間中的圓錐經(jīng)過(guò)正投影變換后,圓錐的底面圓投影成為二維橢圓,即在步驟1)中由花瓣起點(diǎn)集合擬合的橢圓.利用步驟2)中得到的圓錐頂點(diǎn)O計(jì)算其與投影橢圓的圓心O′之間的距離r.設(shè)平面∏2是過(guò)OO′且垂直于投影平面∏1截三維圓錐得到的平面,由正投影性質(zhì)易知,平面∏2上圓錐底面直徑AB的長(zhǎng)度為擬合橢圓的長(zhǎng)軸,AB的投影BC的長(zhǎng)度為擬合橢圓的短軸.花朵三維圓錐結(jié)構(gòu)的底面中心O″的投影點(diǎn)為O′,且設(shè)垂直投影高度為h,如圖4(a)所示,由于OO″⊥AB,OO′⊥O′O″,AC⊥BC,在平面∏2中由△ABC～△OO″O′可得:

(1)

根據(jù)式(1)可以求得R的值,同時(shí)橢圓的傾斜角θ和h值分別計(jì)算如下:

(2)

(3)

在求出R和θ后,便得到了花朵整體結(jié)構(gòu)的三維擬合圓錐.圖4(b)展示了在圓錐擬合后的花朵結(jié)構(gòu)中,各個(gè)花瓣的對(duì)稱(chēng)面分別為OO″Pi(i=1,2,…,5).

圖4 花朵的圓錐擬合Fig.4 Conic fitting of flower

3.2.2 花瓣對(duì)稱(chēng)面法向量的計(jì)算

在具有輻射對(duì)稱(chēng)的花朵中,每個(gè)花瓣的對(duì)稱(chēng)面法向量的計(jì)算具有相似性,本節(jié)中的法向量計(jì)算及下一小節(jié)中花瓣曲線深度的計(jì)算均以一個(gè)花瓣的計(jì)算為例,其余花瓣可以類(lèi)似得到.

方便起見(jiàn)，直接使用用戶(hù)描繪的畫(huà)板繪制平面作為XOY平面,即該平面上點(diǎn)的z值為0,人工交互輸入的花朵每個(gè)花瓣邊緣曲線的手繪線條可以看作相應(yīng)三維構(gòu)造曲線的平行投影,投影方向垂直于繪制平面.因此,所求三維構(gòu)造曲線上點(diǎn)x、y的取值，即為畫(huà)板上輸入的相應(yīng)花瓣邊緣曲線上采樣點(diǎn)的x坐標(biāo)和y坐標(biāo).花朵各個(gè)花瓣的2條邊緣構(gòu)造曲線的三維信息計(jì)算，主要取決于花瓣邊緣曲線上對(duì)稱(chēng)采樣點(diǎn)z坐標(biāo)的計(jì)算.如圖4(b)所示,在將花朵擬合到圓錐上后,算法需要計(jì)算各花瓣的對(duì)稱(chēng)面法向量.

如圖5所示,點(diǎn)P是花瓣頂點(diǎn),平面OPO″為花瓣對(duì)稱(chēng)面,n為其法向量.由輸入的單幅圖像可得點(diǎn)O、O″及P的x、y坐標(biāo),且OO″⊥O″P,O″z=Oz+h.

由于OO″⊥PO″，故

(O″x-Ox)·(O″x-Px)+(O″y-Oy)·

(O″y-Py)+(O″z-Oz)·(O″z-Pz)=0,

(4)

即

O″z-Pz=[(O″x-Ox)·(O″x-Px)+

(O″y-Oy)·(O″y-Py)]/(-h).

(5)

另外,n為對(duì)稱(chēng)面法向量,故n⊥O″P,n⊥OO″,有

n=PO″×OO″=

(6)

由已知O″z-Oz=h得到式(5),進(jìn)而可以計(jì)算該花瓣對(duì)稱(chēng)面法向量n,如式(6)所示.同時(shí), 其余花瓣的對(duì)稱(chēng)面法向量可以類(lèi)似計(jì)算,且計(jì)算過(guò)程中花瓣之間互不影響.此外,由于該方法是根據(jù)之前保存的花瓣結(jié)構(gòu)順序求其對(duì)應(yīng)的法向量,故手繪花瓣的邊緣曲線時(shí)可以根據(jù)用戶(hù)的習(xí)慣自定義手繪順序,但必須保證一個(gè)花瓣的2條邊緣曲線描繪完后再進(jìn)行下一個(gè)花瓣的描繪.

圖5 花瓣對(duì)稱(chēng)面法向量計(jì)算Fig.5 Normal vector computation of petal symmetry plane

3.2.3 花瓣邊緣曲線深度的計(jì)算

根據(jù)計(jì)算得到的各個(gè)花瓣對(duì)稱(chēng)面信息,類(lèi)似于MIAO等[19]的方法,可以求出每個(gè)花瓣2條邊緣曲線上每對(duì)對(duì)稱(chēng)采樣點(diǎn)的深度.

如圖6所示,設(shè)點(diǎn)P1和P2分別為花瓣2條邊緣曲線上的一對(duì)對(duì)稱(chēng)點(diǎn),花瓣對(duì)稱(chēng)面為∏3,對(duì)應(yīng)法向量為n,n⊥為n的某一垂直向量,由對(duì)稱(chēng)性可知:

(P2+P1)·n=0,

(7)

(P2-P1)·n⊥=0.

(8)

圖6 花瓣邊緣曲線深度計(jì)算Fig.6 Depth computation of petal edge lines

為計(jì)算方便,若n=(nx,ny,nz)(此處nx和nz均不為零),不妨取n⊥=(-nz,0,nx),解得:

z1=

(9)

z2=

(10)

從而,可以計(jì)算得到花瓣2條邊緣曲線的各對(duì)稱(chēng)采樣點(diǎn)的深度,進(jìn)而得到每個(gè)花瓣的2條三維邊緣構(gòu)造曲線.

3.3 多層花瓣對(duì)稱(chēng)性的處理

多層花朵的建模與單層花朵類(lèi)似,可以將其擬合到2個(gè)甚至多個(gè)圓錐面上,同時(shí)遍歷花瓣的每一層,對(duì)每個(gè)處在同一層的花瓣分別執(zhí)行單層花朵建模計(jì)算,從而完成整個(gè)花朵的三維建模,如圖7所示.對(duì)于輸入的花朵照片,用戶(hù)首先判斷圖中的花朵分為幾層以及每一層的花瓣數(shù)目;然后對(duì)每一層花瓣分別進(jìn)行圓錐擬合(見(jiàn)圖7(b)),求出每一層花各個(gè)花瓣的2條三維邊緣構(gòu)造曲線;最終構(gòu)建出整個(gè)花朵的三維網(wǎng)格模型(見(jiàn)圖7(c)).

圖7 多層花朵的建模處理Fig.7 Modeling of multi-layer petal

為計(jì)算方便,僅考慮2層花朵的建模.在用戶(hù)手繪過(guò)程中,首先按順序描繪第1層上的所有花瓣,接著繼續(xù)描繪第2層上的所有花瓣.設(shè)第1層花瓣數(shù)目為m,將前m個(gè)花瓣單獨(dú)保存并作為單個(gè)花朵進(jìn)行圓錐擬合處理和深度計(jì)算;接著處理第2層花瓣,設(shè)其花瓣數(shù)目為n,將后n個(gè)花瓣單獨(dú)保存并作與前m個(gè)花瓣類(lèi)似的處理.需要指出的是,由于對(duì)同一層的花朵花瓣需進(jìn)行圓錐擬合,因此要求每一層上的花瓣數(shù)目至少為3個(gè),當(dāng)然不同層上的花瓣數(shù)目可以不同.

3.4 花朵模型的生成和紋理合成

圖8 模型生成和紋理合成Fig.8 Flower model generation and texture synthesis

4 實(shí)驗(yàn)結(jié)果與討論

本算法在3.40 GHz Intel(R)Core(TM)PC機(jī)上利用Visual C++實(shí)現(xiàn),圖形渲染采用OSG3.0.1渲染引擎.根據(jù)輸入的單幅花朵圖像,用戶(hù)通過(guò)交互方式描繪花朵每個(gè)花瓣的2條邊緣曲線,系統(tǒng)能夠?qū)ǘ湔w結(jié)構(gòu)進(jìn)行圓錐擬合;進(jìn)一步利用擬合圓錐計(jì)算花朵各花瓣的對(duì)稱(chēng)面信息;基于花瓣對(duì)稱(chēng)面信息,計(jì)算各個(gè)花瓣的邊緣構(gòu)造曲線的深度信息,從而得到花瓣的三維模型;最終重建生成整個(gè)花朵的三維模型.

圖9給出了利用本文方法重建花朵三維模型的例子,圖9(a)為輸入的花朵圖像,圖9(b)為生成的三維花朵模型,圖9(c)為經(jīng)紋理合成后的三維花朵模型,圖9(d)和圖9(e)分別為不同視角下的花朵模型.從中可以看出,本文方法對(duì)具有3～6個(gè)花瓣的花朵均能實(shí)現(xiàn)高效三維建模.同時(shí),方法對(duì)重建的花朵種類(lèi)沒(méi)有限制,不同花瓣數(shù)目的花朵有相應(yīng)數(shù)目的對(duì)稱(chēng)面,如圖9中自上而下分別給出了3個(gè)花瓣的紫露草花(有3個(gè)對(duì)稱(chēng)面)、4個(gè)花瓣的禿瘡花(有4個(gè)對(duì)稱(chēng)面)、5個(gè)花瓣的賽葵花(有5個(gè)對(duì)稱(chēng)面)、6個(gè)花瓣的百合花(有6個(gè)對(duì)稱(chēng)面)的建模結(jié)果.需要指出的是,花瓣的數(shù)目并不影響其建模方法,只要圖像中的花朵視角一定,便可構(gòu)建具有真實(shí)感效果的花朵模型.

基于單幅輸入圖像,本方法能夠方便快捷地重建三維花朵模型.為了驗(yàn)證該方法的有效性,請(qǐng)一些沒(méi)有專(zhuān)業(yè)建模技能的同學(xué)通過(guò)簡(jiǎn)單的學(xué)習(xí)使用該建模系統(tǒng)進(jìn)行花朵建模,建模效果如圖9所示,平均建模耗時(shí)在5 min以?xún)?nèi),且大部分時(shí)間花費(fèi)在花朵花瓣邊緣曲線的描繪上,多數(shù)同學(xué)認(rèn)為該建模系統(tǒng)操作容易.用戶(hù)體驗(yàn)發(fā)現(xiàn),圖像中花朵處于左視角或者右視角時(shí)建模效果較好(如圖9中的紫露草花、百合花等),而在正視角下,建模效果相對(duì)不理想(如圖9第2行的側(cè)視圖效果),這主要由正視圖下圓錐擬合產(chǎn)生較大的圓錐誤差造成.

此外,利用本文的建模方法可以處理層次結(jié)構(gòu)分明的多層花瓣的花朵,圖10給出了多層花朵的建模效果.其中第1行是蔥蘭花,其花朵有2層,每層上有3個(gè)花瓣,花朵共有6個(gè)對(duì)稱(chēng)面.第2行是韭蘭花,2層,每層有4個(gè)花瓣,花朵共有8個(gè)對(duì)稱(chēng)面,每層上有4個(gè)對(duì)稱(chēng)面.相對(duì)于單層花朵建模來(lái)說(shuō),多層花朵交互手繪的線條數(shù)目較多,結(jié)構(gòu)相對(duì)復(fù)雜,建模過(guò)程往往存在一定的誤差.圖10第1行給出了具有6個(gè)對(duì)稱(chēng)面的蔥蘭花的建模效果,圖10(b)給出了重建后結(jié)構(gòu)清晰的三維模型,圖10(c)、(d)和(e)分別給出了不同視角下經(jīng)紋理合成后的蔥蘭花模型.對(duì)比圖10中第2行的具有8個(gè)花瓣的韭蘭花,可以看出花朵的對(duì)稱(chēng)面數(shù)目較多,往往存在一定的重建誤差.

相較IJIRI等[7]的傳統(tǒng)交互式花卉建模方法,本文方法大大降低了用戶(hù)的交互工作量,建模速度更快,操作更加簡(jiǎn)單.不需要用戶(hù)掌握復(fù)雜的建模過(guò)程，僅需用戶(hù)描繪圖像中花朵各花瓣的2條邊緣曲線,從而大大簡(jiǎn)化了花朵的三維建模過(guò)程.從建模效率上看,本方法創(chuàng)建花朵模型的時(shí)間基本在5 min以?xún)?nèi),而IJIRI等[7]的方法由于需要?jiǎng)?chuàng)建具有完整結(jié)構(gòu)的花朵模型,一般需15 min左右,創(chuàng)建復(fù)雜花朵場(chǎng)景一般在30～40 min.值得注意的是,與YAN等[22]的方法相比(見(jiàn)圖11),本方法利用花朵特殊的結(jié)構(gòu)性和對(duì)稱(chēng)性,計(jì)算每個(gè)花瓣的三維構(gòu)造曲線,從而構(gòu)建具有較強(qiáng)真實(shí)感的花朵三維模型;而YAN等[22]的方法則利用一個(gè)擬合好的花瓣模板來(lái)匹配圖像中的花朵花瓣,該方法雖然可以創(chuàng)建出較好的花朵模型,但無(wú)法給出圖像中花朵的相對(duì)深度信息，且預(yù)處理操作較多.與ZHANG等[21]方法中百合花建模效果的比較(見(jiàn)圖12),其中第1行為ZHANG等[21]的建模效果,第2行為本方法的建模效果.ZHANG等[21]的方法是利用同一花朵物種花瓣形狀的尺度不變性,構(gòu)建花朵物種的花瓣數(shù)據(jù)庫(kù),結(jié)合輸入的花朵單視角圖片的分割結(jié)果并對(duì)此圖片進(jìn)行掃描，得到花瓣的三維數(shù)據(jù)信息,進(jìn)行花瓣模型變形與匹配構(gòu)建花朵模型.與ZHANG等[21]方法相比,本方法在花朵建模中僅需利用單幅輸入圖像,建模過(guò)程更簡(jiǎn)單便捷.

圖9 單層花朵的三維建模Fig.9 3D model reconstruction of single-layer flowers

圖10 多層花朵的三維建模Fig.10 3D model reconstruction of muti-layer flowers

圖11 與YAN等方法的比較Fig.11 Comparison of the existing method of YAN et al

圖12 與ZHANG等方法的比較Fig.12 Comparison of the existing method of ZHANG et al第1行為ZHANG等的建模效果，第2行為本方法的建模效果.The first line is the method of ZHANG et al, the second line is our method.

5 結(jié) 語(yǔ)

基于單幅輸入圖像,提出了一種結(jié)合花朵對(duì)稱(chēng)性的三維重建方法.通過(guò)在繪制平面上手動(dòng)描繪輸入圖像中花朵花瓣的2條邊緣曲線,根據(jù)其特殊的生物結(jié)構(gòu)特性及輸入的邊緣曲線信息，將花朵擬合到一個(gè)三維圓錐上；再根據(jù)花朵的對(duì)稱(chēng)性求出每個(gè)花瓣對(duì)應(yīng)的對(duì)稱(chēng)面,進(jìn)一步得到每個(gè)花瓣2條邊緣曲線上每一對(duì)對(duì)稱(chēng)點(diǎn)的深度,構(gòu)造三維邊緣曲線；最后通過(guò)離散化網(wǎng)格處理生成花朵的三維模型.由實(shí)驗(yàn)結(jié)果可知,該方法可以方便快捷地重建輸入圖像中的花朵模型.

然而,輸入圖像中花朵的拍攝視角、用戶(hù)手繪花瓣邊緣時(shí)產(chǎn)生的誤差等都可能對(duì)建模效果產(chǎn)生影響.在未來(lái)的工作中,需要減少用戶(hù)交互，以減少用戶(hù)手繪輸入誤差對(duì)建模效果的影響.針對(duì)復(fù)雜的花朵場(chǎng)景建模，亦是一項(xiàng)有意義的工作.

[1] FRANCON J. The algorithmic beauty of plants [J]. Plant Science,1997,122(1):109-110.

[2] PRUSINKIEWICZ P, HAMMEL M, HANAN J, et al. L-systems: From the theory to visual models of plants[C]//Proceedings of the 2nd CSIRO Symposium on Computational Challenges in Life Sciences,1996(3):1-32.

[3] LONGAY S, RUNIONS A, BOUDON F, et al. TreeSketch: Interactive procedural modeling of trees on a tablet [C]// Proceedings of Eurographics Symposium on Sketch-based Interfaces & Modeling. Switzerland: Eurographics Association, 2012:107-120.

[4] LINTERMANN B, DEUSSEN O. A modelling method and user interface for creating plants [J]. Computer Graphics Forum,1998,17(1):73-82.

[5] 劉彥宏,王洪斌,杜威,等.基于圖像的樹(shù)類(lèi)物體的三維重建[J].計(jì)算機(jī)學(xué)報(bào),2002,25(9):930-935. LIU Yanhong, WANG Hongbin, DU Wei, et al. Image-based 3D reconstruction of tree-like objects[J]. Chinese Journal of Computers,2002,25(9):930-935.

[6] PRUSINKIEWICZ P, NDERMANN L, KARWOWSKI R, et al. The use of positional information in the modeling of plants[C]//Conference on Computer Graphics and Interactive Techniques. New York:ACM,2001:289-300.

[7] IJIRI T, OWADA S, OKABE M, et al. Floral diagrams and inflorescences: Interactive flower modeling using botanical structural constraints [J]. ACM Transactions on Graphics, 2005,24(3):720-726.

[8] ENDRESS P K. Symmetry in flowers: Diversity and evolution [J]. International Journal of Plant Sciences, 1999,160(S6):3-23.

[9] IJIRI T, YOKOO M, KAWABATA S, et al. Surface-based growth simulation for opening flowers[C]//Graphics Interface 2008 Conference. Windsor: Canadian Information Processing Society Toronto,2008:227-234.

[10] LI J, LIU M, XU W, et al. Boundary-dominant flower blooming simulation[J]. Computer Animation & Virtual Worlds,2015,26(3/4):433-443.

[11] LIANG H, MAHADEVAN L. Growth, geometry, and mechanics of a blooming lily[J]. Proceedings of the National Academy of Sciences, 2011,108(14):5516-5521.

[12] RUDALL P J, BATEMAN R M. Evolution of zygomorphy in monocot flowers: Iterative patterns and developmental constraints [J]. New Phytologist, 2004,162(1):25-44.

[13] 李交昆,唐璐璐.花對(duì)稱(chēng)性的研究進(jìn)展[J].生物多樣性,2012,20(3):280-285. LI Jiaokun, TANG Lulu. Progress in the study of floral symmetry [J]. Biodiversity Science, 2012,20(3):280-285.

[14] HONG W, YANG A Y, HUANG K, et al. On symmetry and multiple-view geometry: Structure, pose, and calibration from a single image[J]. International Journal of Computer Vision, 2004,60(3):241-265.

[15] CORDIER F, SEO H, MELKEMI M, et al. Inferring mirror symmetric 3D shapes from sketches [J]. Computer-Aided Design, 2013,45(2):301-311.

[16] CORDIER F, SEO H, PARK J, et al. Sketching of mirror-symmetric shapes[J]. IEEE Transactions on Visualization & Computer Graphics, 2010,17(11):1650-1662.

[17] ?ZTIRELI A, UYUMAZ U, POPA T, et al. 3D modeling with a symmetric sketch [C]// Proceedings of the Eighth Eurographics Symposium on Sketch-Based Interfaces and Modeling. New York: ACM Press,2011:23-30.

[18] TEVS A, HUANG Q, WAND M, et al. Relating shapes via geometric symmetries and regularities[J]. ACM Transactions on Graphics, 2014,33(4):Article No. 119.

[19] MIAO Y, HU F, ZHANG X, et al. SymmSketch: Creating symmetric 3D free-form shapes from 2D sketches [J]. Journal of Computational Visual Media, 2015,1(1):3-16.

[20] JIANG N J, TAN P, CHEONG L F. Symmetric architecture modeling with a single image [J]. ACM Transactions on Graphics, 2009, 28(5): Article No. 113.

[21] ZHANG C, YE M, FU B, et al. Data-driven flower petal modeling with botany priors[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014:636-643.

[22] YAN F, GONG M, COHEN-OR D, et al. Flower reconstruction from a single photo[J]. Computer Graphics Forum, 2014,33(2):439-447.

[23] ANDRE A, SAITO S. Single-view sketch based modeling[C]// Proceedings of the Eighth Eurographics Symposium on Sketch-Based Interfaces and Modeling. New York: ACM Press, 2011:133-140.

[24] IGARASHI T, MATSUOKA S, TANAKA H. Teddy: A sketching interface for 3D freeform design [J]. ACM Transactions on Graphics, 2007,26(3):Article No. 21.

[25] IJIRI T, OWADA S, IGARASHI T. Seamless integration of initial sketching and subsequent detail editing in flower modeling[J]. Computer Graphics Forum, 2006,25(3):617-624.

[26] 宋成芳,彭群生,丁子昂,等.基于草圖的花開(kāi)建模與動(dòng)畫(huà)[J].軟件學(xué)報(bào),2007,18(增刊):45-53. SONG Chengfang, PENG Qunsheng, DING Zi’ang, et al. Sketch-based modeling and animation of floral blossom [J]. Journal of Software, 2007,18(Supp):45-53.

[27] 葛娟,周煒,劉瀏,等.結(jié)合法向聚類(lèi)的大葉片植物重建[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(11):1940-1944. GE Juan, ZHOU Wei, LIU Liu, et al. Large-leaf-plant modeling with normal direction clustering [J]. Journal of Computer-Aided Design & Computer Graphics, 2010,22(11):1940-1944.

[28] TAN P, ZENG G, WANG J, et al. Image-based tree modeling [J]. ACM Transactions on Graphics, 2007,26(3):Article No. 43.

[29] TAN P, FANG T, XIAO J, et al. Single image tree modeling [J]. ACM Transactions on Graphics, 2008,27(5):Article No. 108.

[30] 繆永偉,胡非夏,馮小紅,等.基于單幅圖像的三維對(duì)稱(chēng)自由形體重建[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015,27(9):1637-1647. MIAO Yongwei, HU Feixia, FENG Xiaohong, et al. Single image based 3D symmetric free-form objects reconstruction[J]. Journal of Computer-Aided Design & Computer Graphics, 2015,27(9):1637-1647.

MIAO Yongwei1, LIU Lili1, ZHANG Xudong1, LIU Zhen2

(1.CollegeofComputerScienceandTechnology,ZhejiangUniversityofTechnology,Hangzhou310023,China; 2.CollegeofScience,ZhejiangUniversityofTechnology,Hangzhou310023,China)

Symmetry based 3D flower modeling using single-image. Journal of Zhejiang University(Science Edition), 2016,43(6):647-656

Based on the common symmetry properties of natural flowers, an interactive approach is proposed in this paper for modeling 3D flower using a single floral image. Firstly, the user interactively sketches two edge lines of each flower petal on the input single image. A cone then can be constructed by least squares fitting on the top and bottom sample points of the edge lines. Thus, the symmetry plane of each petal can be determined by the fitted cone. Further, the depth information of the couple edge lines on each petal can also be calculated with respect to the inherent symmetry properties of different kinds of flowers and their symmetry planes. Using the 3D constructive curves, each petal model can be generated as a triangular mesh, and the whole 3D flower model can be obtained. Finally, according to the texture information of the input image, the realistic flower model can be created by synthesizing the flower texture. Experimental results illustrate that our modeling scheme for 3D flowers can recover the depth information effectively and create the whole flower structure accurately, which can generate the 3D realistic flower models in a convenient manner.

3D reconstruction; symmetry property; flower model; sketch curves; depth calculation

2016-07-18.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61272309)；浙江省自然科學(xué)基金資助項(xiàng)目(LY16A010021).

繆永偉(1971-)，ORCID:http://orcid.org/0000-0002-5479-9060,男，博士，教授，主要從事計(jì)算機(jī)圖形學(xué)、數(shù)字幾何處理、計(jì)算機(jī)視覺(jué)、虛擬現(xiàn)實(shí)等研究，E-mail:ywmiao@zjut.edu.cn.

10.3785/j.issn.1008-9497.2016.06.004

TP 391

A

1008-9497(2016)06-647-10