唐菲菲 果連成 張珣
摘要:為了滿足人們對(duì)家居系統(tǒng)客戶終端個(gè)性化智能化的需求,提出了360°全景漫游的交互界面,及對(duì)其中的家居可控點(diǎn)狀態(tài)的自動(dòng)識(shí)別。全景漫游技術(shù)根據(jù)surf算法在圖像尺度空間提取特征點(diǎn),通過(guò)圖像拼接,生成場(chǎng)景在不同視線方向上的透視視圖;以窗簾為例,利用灰度共生矩陣提取可控點(diǎn)紋理特征值,根據(jù)支持向量機(jī)進(jìn)行分類。實(shí)驗(yàn)表明,surf算法具有良好地魯棒性及高效的配準(zhǔn)速度,同時(shí)基于紋理特征的模式識(shí)別,能較準(zhǔn)確地區(qū)分圖像中的可控點(diǎn)狀態(tài)。
關(guān)鍵詞:智能家居; 全景漫游界面; 模式識(shí)別; 紋理特征; 圖像拼接
中圖分類號(hào):TN98?34 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1004?373X(2013)02?0032?04
0 引 言
智能家居無(wú)疑是近年來(lái)炙手可熱的概念,一些高檔的住宅小區(qū)已經(jīng)配套了比較完善的智能家庭網(wǎng)絡(luò),其中人機(jī)交互界面的友好化已作為一個(gè)最大的亮點(diǎn)。系統(tǒng)智能化程度的提高大大降低了居住者管理及控制家居工作量的同時(shí),也增加了家庭成員對(duì)復(fù)雜的操作界面的認(rèn)知能力,如面對(duì)滿目的按鈕和圖標(biāo)、雜亂的界面主題,反而會(huì)令一些簡(jiǎn)單的操作變復(fù)雜,甚至還會(huì)對(duì)一些不熟悉這些操作界面的人,如老人、孩子、訪客等造成新的困擾[1],使智能家居系統(tǒng)的智能化有些本末倒置。
智能家居人機(jī)交互界面隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展已經(jīng)經(jīng)歷了4個(gè)階段。最早的命令行界面可以看成第一代智能家居人機(jī)界面。當(dāng)時(shí)人被看成操作員,機(jī)器只能作出被動(dòng)的反應(yīng),人只能使用手一種交互通道通過(guò)鍵盤輸入信息,界面輸入只能為靜態(tài)單一字符,因此,這種人機(jī)界面交互的自然性和效率都很差。緊接著的以窗口、圖標(biāo)、菜單和指點(diǎn)裝置為基礎(chǔ)的人機(jī)交互界面可以看作第二代智能家居人機(jī)界面,如在WIMP界面中,基于圖形方式的界面,輸出靜態(tài)/動(dòng)態(tài)二位圖形/圖像及其他多媒體信息。近期的多通道人機(jī)界面是基于視線跟蹤,語(yǔ)音識(shí)別,手勢(shì)輸入、感覺(jué)反饋等新的交互技術(shù),用戶可以使用自然的交互方式,如語(yǔ)音、手勢(shì)、眼神、表情等與計(jì)算機(jī)系統(tǒng)進(jìn)行協(xié)同工作,利用感知能力在3D模型的虛擬現(xiàn)實(shí)家居系統(tǒng)中漫游,如MMI可以看作是第3代人機(jī)界面[2]。隨著人們的不斷創(chuàng)新,以求推出最容易和掌握的控制界面,基于自適應(yīng)模式識(shí)別的360°全景圖像與第三代人機(jī)界面的融合,可以看作是第4代人機(jī)界面,目前用于觸摸屏設(shè)備的swipe技術(shù)正式采用了以實(shí)景為背景的界面已給用戶帶來(lái)全新的環(huán)境控制體驗(yàn)。在基于系統(tǒng)界面“皮膚”是室內(nèi)的360°全景實(shí)景照片的基礎(chǔ)上,采用針對(duì)圖像中可控點(diǎn)如燈、門、窗簾狀態(tài)的自動(dòng)智能識(shí)別技術(shù),滿足客戶對(duì)“所見即所得”人機(jī)界面的要求。
本文主要研究在VS 2008+OpenCV工具平臺(tái)上,對(duì)智能家居系統(tǒng)以360°實(shí)景圖像為背景的界面中的窗簾部分進(jìn)行的模式識(shí)別。
1 虛擬全景人機(jī)界面的實(shí)現(xiàn)
三維全景漫游是指在由全景圖像構(gòu)建的全景空間里進(jìn)行切換,達(dá)到瀏覽各個(gè)不同場(chǎng)景的目的,目前比較流行的方法是采用普通數(shù)碼相機(jī)采集的圖片作為場(chǎng)景的虛擬表示,通過(guò)對(duì)具有重疊部分的圖像進(jìn)行拼接融合,合成一幅較大視角的場(chǎng)景圖像,即全景圖,對(duì)全景圖進(jìn)行重投影,可以實(shí)現(xiàn)在不同視域和視角方向下的透視視圖[3]。
本文采用2006年bay等提出的基于特征點(diǎn)全景圖像配準(zhǔn)的SURF(Speed Up Robust Feature)算法進(jìn)行圖像拼接[4],其具有可重復(fù)性和魯棒性,還有較快的計(jì)算速度。
1.1 特征點(diǎn)檢測(cè)
Surf算法對(duì)特征點(diǎn)的檢測(cè)是基于尺度空間理論,依據(jù)Hessian矩陣行列式的局部最大值定位特征點(diǎn)位置[5]。對(duì)于圖像I中的任意一點(diǎn)u=(x,y)在尺度為σ下的Hessian矩陣H(u,σ)可以定義如下:
[H(u,σ)=Lxx(u,σ)Lxy(u,σ)Lyx(u,σ)Lyy(u,σ)](1) 式中:[Lxx(u,σ)]是高斯函數(shù)二階導(dǎo)數(shù)與圖像I在點(diǎn)u處的卷積,以此類推得到[Lxy(u,σ)],[Lyx(u,σ)]和[Lyy(u,σ)]。Hessian的行列式為:
[det(H)=Lxx×Lyy-Lxy2] (2)
Bay等人提出用框式濾波器近似高斯二階導(dǎo)數(shù),框式濾波器在x,y,xy三個(gè)方向上的近似分別記為[Dxx],[Dyy]和[Dxy],大大提高了運(yùn)算效率。得到近似的Hessian矩陣[H(approx)],如下:
[det(Happrox)=Dxx×Dyy-(0.9×Dxy)2] (3)
利用尺度空間被表述為金字塔的原理,使原始圖像保持不變而只改變?yōu)V波器大小,特征點(diǎn)檢測(cè)過(guò)程中使用與圖像解析度相對(duì)應(yīng)大小的濾波器快速檢測(cè)及定位特征點(diǎn)。
1.2 特征點(diǎn)的描述
SURF特征描述符利用Hessian快速檢測(cè)出來(lái)特征點(diǎn)的尺度,來(lái)描述像素點(diǎn)強(qiáng)度的分布情況。為保證旋轉(zhuǎn)不變形,首先以特征點(diǎn)為中心,計(jì)算半徑6s(s為特征點(diǎn)所在的尺度值)的鄰域內(nèi)的點(diǎn)在x,y方向的Harr小波(Harr小波邊長(zhǎng)去4s)響應(yīng),并給這些響應(yīng)值賦高斯權(quán)重系數(shù),靠近特征點(diǎn)的響應(yīng)貢獻(xiàn)大,遠(yuǎn)離特征點(diǎn)的響應(yīng)貢獻(xiàn)小,計(jì)算所有特征點(diǎn)的Harr小波響應(yīng)向量進(jìn)行累加,選擇最長(zhǎng)矢量的方向?yàn)樵撎卣鼽c(diǎn)的主方向。
以特征點(diǎn)為中心,首先將坐標(biāo)軸旋轉(zhuǎn)到主方向,按主方向選取邊長(zhǎng)為20s的正方形區(qū)域,將該窗口區(qū)域劃分為4×4的子區(qū)域,在每一個(gè)子區(qū)域內(nèi),計(jì)算5s×5s范圍內(nèi)的小波響應(yīng),相對(duì)于主方向的水平、垂直方向的Haar小波響應(yīng)分別記為dx,dy,賦予響應(yīng)值以權(quán)值系數(shù),對(duì)每個(gè)子區(qū)域的響應(yīng)以及響應(yīng)的絕對(duì)值相加形成[dx,dy,dx,dy],因此對(duì)每個(gè)特征點(diǎn)形成64維的描述向量,再進(jìn)行向量的歸一化處理[6],即可描述特征點(diǎn)。
2 可控點(diǎn)自動(dòng)識(shí)別
在全景漫游的人機(jī)交互界面中,利用圖像處理技術(shù)對(duì)可控點(diǎn)如窗簾、燈、門等設(shè)備進(jìn)行識(shí)別,本文以窗簾為例進(jìn)行分析。據(jù)常識(shí)可知窗簾關(guān)時(shí),窗戶部分應(yīng)該是透明玻璃或者空氣(即什么都沒(méi)有),兩者的紋理是一樣的,都是一個(gè)常數(shù)圖片;窗簾關(guān)時(shí),窗戶部分應(yīng)該是窗簾,從而我們可以以該圖片中玻璃與窗簾的紋理特征為依據(jù)進(jìn)行分類。
2.2 支持向量機(jī)的圖像識(shí)別
支持向量機(jī)(SVM)是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小的原理基礎(chǔ)上的,根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中,本文中就是利用支持向量機(jī)來(lái)完成分類的。訓(xùn)練之前首先將特征數(shù)據(jù)映射到0~1范圍內(nèi),以防大量的大數(shù)據(jù)計(jì)算問(wèn)題。訓(xùn)練時(shí)將窗簾開、關(guān)的標(biāo)號(hào)設(shè)定為[0,1],選徑向基函數(shù)為核函數(shù)。選擇窗簾開、關(guān)圖像各100張作為樣本來(lái)訓(xùn)練SVM,另取50張作為測(cè)試樣本,正確率達(dá)到98%。本文選取的4個(gè)參數(shù)及已經(jīng)訓(xùn)練的分類器能較好地完成窗簾圖像的自動(dòng)識(shí)別[9?10]。
3 結(jié) 語(yǔ)
本文首先了解基于SURF算法圖像拼接的360°全景技術(shù),在三維漫游人機(jī)交互界面的基礎(chǔ)上研究灰度共生矩陣及窗簾和玻璃紋理特征,通過(guò)SVM成功地對(duì)其狀態(tài)進(jìn)行識(shí)別。同樣地可以對(duì)系統(tǒng)中其他家居如燈的開關(guān)狀態(tài),門的開關(guān)狀態(tài)等進(jìn)行自動(dòng)圖像識(shí)別,從而形成一個(gè)家居人機(jī)界面可控點(diǎn)的智能識(shí)別系統(tǒng)。該系統(tǒng)可以避免人力資源的消耗,適應(yīng)于不同類人群的需求,同時(shí)基于真實(shí)圖像拼接的全景圖的界面,增加了用戶的真實(shí)現(xiàn)場(chǎng)感和交互感受,這是未來(lái)虛擬控制界面發(fā)展的一種趨勢(shì)。本文下一步工作是根據(jù)用戶的空間位置及觀察方向?qū)崟r(shí)地調(diào)入響應(yīng)的實(shí)景圖像,使其與用于模式識(shí)別的圖像更新達(dá)到同步。
參考文獻(xiàn)
[1] 董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2004,16(1):1?5.
[2] 張斌,繞培倫.智能家居人機(jī)交互績(jī)效的實(shí)驗(yàn)分析:界面智能程度及人物認(rèn)知模式的影響[J].工業(yè)工程與管理,2007(3):99?103.
[3] 趙毅力,徐丹.基于全景圖像的虛擬漫游系統(tǒng)研究[J].計(jì)算機(jī)與現(xiàn)代化,2011(6):11?14.
[4] BAY H, TUYTELAARS T, COOL L. SURF:speeded up robust features [C]// Proceeding of the 9th European Conference on Computer Vision. [S.l.]: UCCV, 2006: 404?417.
[5] 劉奇,何明一.基于SURF特征匹配的圖像拼接算法[J].測(cè)控技術(shù),2010,29(10):27?31.
[6] 李軍,吳潔明.一種改進(jìn)圖像拼接算法的仿真研究[J].計(jì)算機(jī)仿真,2012,29(2):273?276.
[7] 高程程,惠曉威.基于灰度共生矩陣的紋理特征提取[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010,19(6):29?32.
[8] 苑麗紅,付麗,楊勇,等.灰度共生矩陣提取紋理特征的實(shí)驗(yàn)結(jié)果分析[J].計(jì)算機(jī)應(yīng)用,2009,29(4):1018?1021.
[9] 何敏,王培培,蔣慧慧.基于SVM和紋理的煤和煤矸石自動(dòng)識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì),2012,33(3):1118?1121.
[10] 謝賽琴,沈福明,邱雪娜.基于支持向量機(jī)的人臉識(shí)別方法[J].計(jì)算機(jī)工程,2009,35(16):186?188.