孫鶯
摘要:這是一個(gè)由一款手機(jī)軟件和眾多教輔資料組成立體化教輔系統(tǒng)。其主要功能是通過(guò)使用軟件拍攝平面三視圖,在手機(jī)屏幕上顯示對(duì)應(yīng)的立體模型。并具有一定的交互功能,學(xué)生可以對(duì)模型進(jìn)行旋轉(zhuǎn)、縮放、平移等操作。其創(chuàng)新點(diǎn)在于AR技術(shù)在教學(xué)領(lǐng)域的應(yīng)用和移動(dòng)教學(xué)的優(yōu)勢(shì)。該項(xiàng)目主要利用Unity 3D和Vuforia插件實(shí)現(xiàn)。在商業(yè)策劃中發(fā)現(xiàn),該項(xiàng)目具有較強(qiáng)的商業(yè)價(jià)值。
關(guān)鍵詞:AR技術(shù);教學(xué)輔助軟件
1.研究背景
在調(diào)查研究中發(fā)現(xiàn),部分學(xué)生缺乏三維空間想象能力,難以通過(guò)三視圖來(lái)構(gòu)想出對(duì)應(yīng)的三維模型,也很難通過(guò)三維模型準(zhǔn)確描述出它對(duì)應(yīng)的三視圖,這給學(xué)生立體幾何課程學(xué)習(xí)和工業(yè)設(shè)計(jì)帶來(lái)不便。傳統(tǒng)的autoCAD軟件在三維模型建立上具有良好效果,但對(duì)專業(yè)知識(shí)要求較高,且不具有移動(dòng)教學(xué)、寓教于樂(lè)的特性。我們的應(yīng)用可以幫助同學(xué)們解決在立體幾何課程上遇到的三維空間想象的難點(diǎn),輔助培養(yǎng)同學(xué)們的空間想象力。除了在立體幾何課程上的應(yīng)用,未來(lái)可以進(jìn)一步將該成果運(yùn)用到其他更多的領(lǐng)域,如生物化學(xué)的三維結(jié)構(gòu)式展示、人體結(jié)構(gòu)的立體顯示、文物圖冊(cè)的三維展示等。
同時(shí),近幾年AR技術(shù)的發(fā)展日趨成熟,但卻少見(jiàn)在教育領(lǐng)域的普及應(yīng)用。手機(jī)游戲Pokemon Go點(diǎn)燃了公眾對(duì)AR的熱情。阿里巴巴、騰訊、聯(lián)想等互聯(lián)網(wǎng)巨頭,均聯(lián)合優(yōu)質(zhì)資本殺入了這片藍(lán)海。隨著AR爆發(fā)周期的到來(lái),市場(chǎng)上的AR產(chǎn)品層出不窮,在AR硬件方面巨大投入的同時(shí),針對(duì)手機(jī)移動(dòng)端的開(kāi)發(fā)與人工智能的結(jié)合正成為市場(chǎng)的另一個(gè)主流。未來(lái),在互聯(lián)網(wǎng)+的基礎(chǔ)上,AR+將成為下一個(gè)發(fā)展方向。與市場(chǎng)上側(cè)重于將AR技術(shù)用于游戲娛樂(lè)和產(chǎn)品推廣的產(chǎn)品不同的是,我們的產(chǎn)品側(cè)重于教育領(lǐng)域,用于解決學(xué)習(xí)生活中的實(shí)際問(wèn)題:學(xué)生可以同時(shí)看到原始圖片和立體模型,在對(duì)比過(guò)程中提高自己的空間想象能力。
2.技術(shù)流程
調(diào)查提出三種開(kāi)發(fā)技術(shù)。其中,H5技術(shù)開(kāi)發(fā)成本低和開(kāi)發(fā)時(shí)間短,并可以使用WebGL實(shí)現(xiàn)三維渲染、使用ARtoolkit實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果,但難以使用手機(jī)瀏覽器調(diào)用攝像機(jī)權(quán)限,且不能滿足3D渲染的大計(jì)算量。原生安卓方式可以使用openCV進(jìn)行圖像識(shí)別,OpenGL ES接入Android實(shí)現(xiàn)三維建模,但對(duì)內(nèi)存消耗巨大,不注意的話很容易造成卡頓甚至是程序崩潰。為解決以上問(wèn)題,我們使用Unity 3D搭建整個(gè)App,利用Unity 3D自身對(duì)三維模型的顯示和渲染的良好支持,使建模和三維模型的顯示得到了簡(jiǎn)化。Unity 3D是一款三維游戲引擎,具有很強(qiáng)的三維視頻渲染功能,可以實(shí)現(xiàn)多種三維動(dòng)畫(huà),并且擁有良好的交互功能。此外,該游戲引擎可以發(fā)布游戲至Windows、Android、IOS等多個(gè)平臺(tái),充分滿足開(kāi)發(fā)需要。
2.1 Maya建模
建模部分使用Maya建模后導(dǎo)出fbx文件供Unity 3D使用,這在簡(jiǎn)化建模、大大減少數(shù)據(jù)占用的內(nèi)存空間的同時(shí),使得模型能夠更好的顯示。
將組合體的三視圖分別導(dǎo)入Maya的三個(gè)對(duì)應(yīng)視圖,按照三視圖建立對(duì)應(yīng)模型。在此過(guò)程中使用構(gòu)造實(shí)體幾何法,將Maya中提供的基本幾何體通過(guò)布爾運(yùn)算進(jìn)行求并、求差。在操作中應(yīng)一直保持各部分實(shí)體簡(jiǎn)單、易進(jìn)行布爾運(yùn)算,并在最后將各簡(jiǎn)單實(shí)體結(jié)合。
2.2 Vuforia增強(qiáng)現(xiàn)實(shí)
Vuforia是全球應(yīng)用最廣泛的AR開(kāi)發(fā)平臺(tái),支持手機(jī),平板電腦和眼鏡。Vuforia具有良好的圖像識(shí)別能力,我們將待識(shí)別的圖片上傳至Vuforia網(wǎng)站便可得到一個(gè)關(guān)于該圖片的評(píng)分,用以表示該圖片被識(shí)別的難以程度,評(píng)分越高圖片越容易被識(shí)別。將所有圖片處理完后上傳至Vuforia官網(wǎng)后便可下載其對(duì)應(yīng)的數(shù)據(jù)庫(kù),并將這個(gè)數(shù)據(jù)庫(kù)導(dǎo)入到Unity 3D中。在不同的target上綁定對(duì)應(yīng)的識(shí)別卡和立體模型,便可實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果。
3.優(yōu)化方案
Vuforia通過(guò)分析相機(jī)可見(jiàn)目標(biāo)的對(duì)比度特征來(lái)識(shí)別和跟蹤目標(biāo),同時(shí)通過(guò)設(shè)備攝像頭來(lái)獲取目標(biāo)圖像,所以優(yōu)化目標(biāo)檢測(cè)和提升跟蹤穩(wěn)定性尤為重要。我們從提高目標(biāo)星級(jí)評(píng)分、相機(jī)對(duì)焦模式和印刷目標(biāo)的平整度與光澤度這三個(gè)方面來(lái)介紹我們的優(yōu)化方案。
3.1提高目標(biāo)星級(jí)評(píng)分
Vuforia的圖像目標(biāo)是基于從目標(biāo)圖像中提取的自然特征進(jìn)行檢測(cè)并評(píng)分,然后在運(yùn)行時(shí)與實(shí)時(shí)相機(jī)捕獲到的圖像特征進(jìn)行比對(duì),比對(duì)成功后立即顯示對(duì)應(yīng)立體模型。具有以下屬、性的圖像目標(biāo)會(huì)實(shí)現(xiàn)Vuforia SDK的最佳檢測(cè)和跟蹤性能:豐富的細(xì)節(jié)(街景、人群、拼貼畫(huà)、運(yùn)動(dòng)場(chǎng)景),良好的對(duì)比,沒(méi)有重復(fù)的模式(勿使用草地、大量相似的房屋、棋盤(pán)),格式(必須是8位或24位PNG和JPG格式、小于2 MB、JPG必須是RGB或灰度)。
3.2相機(jī)對(duì)焦模式
如果圖像目標(biāo)在照相機(jī)視圖中沒(méi)有很好地聚焦,則結(jié)果會(huì)非常模糊,嚴(yán)重影響目標(biāo)細(xì)節(jié)的檢測(cè),甚至由于較小差異而顯示錯(cuò)誤的立體模型。因此,我們通過(guò)控制設(shè)備攝像頭的對(duì)焦模式,提高應(yīng)用的用戶體驗(yàn)來(lái)獲得目標(biāo)的最佳圖像,從而提高檢測(cè)和跟蹤性能。我們選擇打開(kāi)相機(jī)驅(qū)動(dòng)程序的連續(xù)自動(dòng)對(duì)焦功能功能(FOCUS_MODE_CONTINUOUSAUTO),以確保最佳的相機(jī)對(duì)焦條件,產(chǎn)生最佳的跟蹤結(jié)果。
3.3印刷目標(biāo)的平整度與光澤度
使用Vuforia SDK進(jìn)行跟蹤的質(zhì)量會(huì)在打印目標(biāo)不平坦時(shí)顯著降低。在設(shè)計(jì)物理打印輸出時(shí),應(yīng)盡量確保目標(biāo)不會(huì)彎曲,卷起,并且不會(huì)起皺或起皺。同時(shí)現(xiàn)代激光打印機(jī)的打印輸出也可能有光澤。在環(huán)境照明條件下,光澤表面不是問(wèn)題。但是,在某些角度下,某些光源(例如燈,窗戶或太陽(yáng)光)可以創(chuàng)建光澤反射,從而覆蓋打印輸出原始紋理的大部分區(qū)域。反射可能會(huì)產(chǎn)生跟蹤和檢測(cè)問(wèn)題,此時(shí)就需要使用者更換拍攝角度來(lái)減少影響。
4.商業(yè)策劃
“優(yōu)先發(fā)展教育事業(yè)”的大背景給了該項(xiàng)目良好的政策支持,家庭教育支比重的不斷攀升帶來(lái)了行業(yè)環(huán)境上的優(yōu)勢(shì),教育類APP市場(chǎng)前景廣闊,AR技術(shù)的不斷成熟更是為該應(yīng)用的實(shí)現(xiàn)帶來(lái)了可能。
4.1風(fēng)險(xiǎn)評(píng)估
風(fēng)險(xiǎn)主要來(lái)自于市場(chǎng)風(fēng)險(xiǎn)和技術(shù)風(fēng)險(xiǎn)。市場(chǎng)風(fēng)險(xiǎn)體現(xiàn)在市場(chǎng)競(jìng)爭(zhēng)。隨著AR技術(shù)應(yīng)用領(lǐng)域的逐漸廣泛,在教育行業(yè)的應(yīng)用勢(shì)必成為一個(gè)新的投資熱點(diǎn);已具規(guī)模的技術(shù)公司進(jìn)行產(chǎn)品研發(fā)如加入市場(chǎng)競(jìng)爭(zhēng),憑借成熟的技術(shù)研發(fā)團(tuán)隊(duì)、雄厚的資金支持勢(shì)必成為本項(xiàng)目的發(fā)展的強(qiáng)勁威脅。應(yīng)對(duì)市場(chǎng)風(fēng)險(xiǎn)的策略是提升A輪融資在市場(chǎng)推廣投入比重,擴(kuò)大市場(chǎng)推廣力。技術(shù)風(fēng)險(xiǎn)主要來(lái)自于APP支持系統(tǒng)在圖像智能識(shí)別上存在缺陷,依靠數(shù)據(jù)庫(kù)建立獲取模型的技術(shù)實(shí)現(xiàn)較為簡(jiǎn)單容易被復(fù)制。應(yīng)對(duì)技術(shù)風(fēng)險(xiǎn)的策略是依托強(qiáng)大的校園渠道優(yōu)勢(shì),獲取一手優(yōu)質(zhì)第三方平臺(tái)合作資源;依靠資源質(zhì)量?jī)?yōu)勢(shì)彌補(bǔ)技術(shù)缺陷。
4.2盈利模式
盈利來(lái)自于電商、社交和廣告。在線商城覆蓋品類包括教輔書(shū)籍、教學(xué)模型(可定制)、禮品周邊等。電商模式主要分為商家平臺(tái)(主會(huì)場(chǎng))和產(chǎn)品自營(yíng)(主題店鋪)。在線商城的運(yùn)營(yíng)模式主要包括為出版社、教育機(jī)構(gòu)、器材上等提供平臺(tái)支持,根據(jù)銷售額按一定比例分成;此外,自產(chǎn)自營(yíng)的創(chuàng)意產(chǎn)品主題店鋪,通過(guò)銷售創(chuàng)意模型藝術(shù)品等獲取利潤(rùn)。廣告盈利包括軟廣和硬廣。軟廣來(lái)源于軟文植入和AR堆樂(lè)游戲界面和AR堆樂(lè)模型皮膚的場(chǎng)景植入。硬廣包括主界面和在線商城的banner廣告。