唐菲菲　果連成　張珣

摘要：為了滿足人們對(duì)家居系統(tǒng)客戶終端個(gè)性化智能化的需求，提出了360°全景漫游的交互界面，及對(duì)其中的家居可控點(diǎn)狀態(tài)的自動(dòng)識(shí)別。全景漫游技術(shù)根據(jù)surf算法在圖像尺度空間提取特征點(diǎn)，通過(guò)圖像拼接，生成場(chǎng)景在不同視線方向上的透視視圖；以窗簾為例，利用灰度共生矩陣提取可控點(diǎn)紋理特征值，根據(jù)支持向量機(jī)進(jìn)行分類。實(shí)驗(yàn)表明，surf算法具有良好地魯棒性及高效的配準(zhǔn)速度，同時(shí)基于紋理特征的模式識(shí)別，能較準(zhǔn)確地區(qū)分圖像中的可控點(diǎn)狀態(tài)。

關(guān)鍵詞：智能家居； 全景漫游界面； 模式識(shí)別； 紋理特征； 圖像拼接

中圖分類號(hào)：TN98?34 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004?373X（2013）02?0032?04

0 引 言

智能家居無(wú)疑是近年來(lái)炙手可熱的概念，一些高檔的住宅小區(qū)已經(jīng)配套了比較完善的智能家庭網(wǎng)絡(luò)，其中人機(jī)交互界面的友好化已作為一個(gè)最大的亮點(diǎn)。系統(tǒng)智能化程度的提高大大降低了居住者管理及控制家居工作量的同時(shí)，也增加了家庭成員對(duì)復(fù)雜的操作界面的認(rèn)知能力，如面對(duì)滿目的按鈕和圖標(biāo)、雜亂的界面主題，反而會(huì)令一些簡(jiǎn)單的操作變復(fù)雜，甚至還會(huì)對(duì)一些不熟悉這些操作界面的人，如老人、孩子、訪客等造成新的困擾[1]，使智能家居系統(tǒng)的智能化有些本末倒置。

智能家居人機(jī)交互界面隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展已經(jīng)經(jīng)歷了4個(gè)階段。最早的命令行界面可以看成第一代智能家居人機(jī)界面。當(dāng)時(shí)人被看成操作員，機(jī)器只能作出被動(dòng)的反應(yīng)，人只能使用手一種交互通道通過(guò)鍵盤輸入信息，界面輸入只能為靜態(tài)單一字符，因此，這種人機(jī)界面交互的自然性和效率都很差。緊接著的以窗口、圖標(biāo)、菜單和指點(diǎn)裝置為基礎(chǔ)的人機(jī)交互界面可以看作第二代智能家居人機(jī)界面，如在WIMP界面中，基于圖形方式的界面，輸出靜態(tài)/動(dòng)態(tài)二位圖形/圖像及其他多媒體信息。近期的多通道人機(jī)界面是基于視線跟蹤，語(yǔ)音識(shí)別，手勢(shì)輸入、感覺(jué)反饋等新的交互技術(shù)，用戶可以使用自然的交互方式，如語(yǔ)音、手勢(shì)、眼神、表情等與計(jì)算機(jī)系統(tǒng)進(jìn)行協(xié)同工作，利用感知能力在3D模型的虛擬現(xiàn)實(shí)家居系統(tǒng)中漫游，如MMI可以看作是第3代人機(jī)界面[2]。隨著人們的不斷創(chuàng)新，以求推出最容易和掌握的控制界面，基于自適應(yīng)模式識(shí)別的360°全景圖像與第三代人機(jī)界面的融合，可以看作是第4代人機(jī)界面，目前用于觸摸屏設(shè)備的swipe技術(shù)正式采用了以實(shí)景為背景的界面已給用戶帶來(lái)全新的環(huán)境控制體驗(yàn)。在基于系統(tǒng)界面“皮膚”是室內(nèi)的360°全景實(shí)景照片的基礎(chǔ)上，采用針對(duì)圖像中可控點(diǎn)如燈、門、窗簾狀態(tài)的自動(dòng)智能識(shí)別技術(shù)，滿足客戶對(duì)“所見即所得”人機(jī)界面的要求。

本文主要研究在VS 2008+OpenCV工具平臺(tái)上，對(duì)智能家居系統(tǒng)以360°實(shí)景圖像為背景的界面中的窗簾部分進(jìn)行的模式識(shí)別。

1 虛擬全景人機(jī)界面的實(shí)現(xiàn)

三維全景漫游是指在由全景圖像構(gòu)建的全景空間里進(jìn)行切換，達(dá)到瀏覽各個(gè)不同場(chǎng)景的目的，目前比較流行的方法是采用普通數(shù)碼相機(jī)采集的圖片作為場(chǎng)景的虛擬表示，通過(guò)對(duì)具有重疊部分的圖像進(jìn)行拼接融合，合成一幅較大視角的場(chǎng)景圖像，即全景圖，對(duì)全景圖進(jìn)行重投影，可以實(shí)現(xiàn)在不同視域和視角方向下的透視視圖[3]。

本文采用2006年bay等提出的基于特征點(diǎn)全景圖像配準(zhǔn)的SURF（Speed Up Robust Feature）算法進(jìn)行圖像拼接[4]，其具有可重復(fù)性和魯棒性，還有較快的計(jì)算速度。

1.1 特征點(diǎn)檢測(cè)

Surf算法對(duì)特征點(diǎn)的檢測(cè)是基于尺度空間理論，依據(jù)Hessian矩陣行列式的局部最大值定位特征點(diǎn)位置[5]。對(duì)于圖像I中的任意一點(diǎn)u=（x，y）在尺度為σ下的Hessian矩陣H（u，σ）可以定義如下：

[H（u，σ）=Lxx（u，σ）Lxy（u，σ）Lyx（u，σ）Lyy（u，σ）]（1） 式中：[Lxx（u，σ）]是高斯函數(shù)二階導(dǎo)數(shù)與圖像I在點(diǎn)u處的卷積，以此類推得到[Lxy（u，σ）]，[Lyx（u，σ）]和[Lyy（u，σ）]。Hessian的行列式為：

[det（H）=Lxx×Lyy-Lxy2] （2）

Bay等人提出用框式濾波器近似高斯二階導(dǎo)數(shù)，框式濾波器在x，y，xy三個(gè)方向上的近似分別記為[Dxx]，[Dyy]和[Dxy]，大大提高了運(yùn)算效率。得到近似的Hessian矩陣[H（approx）]，如下：

[det（Happrox）=Dxx×Dyy-（0.9×Dxy）2] （3）

利用尺度空間被表述為金字塔的原理，使原始圖像保持不變而只改變?yōu)V波器大小，特征點(diǎn)檢測(cè)過(guò)程中使用與圖像解析度相對(duì)應(yīng)大小的濾波器快速檢測(cè)及定位特征點(diǎn)。

1.2 特征點(diǎn)的描述

SURF特征描述符利用Hessian快速檢測(cè)出來(lái)特征點(diǎn)的尺度，來(lái)描述像素點(diǎn)強(qiáng)度的分布情況。為保證旋轉(zhuǎn)不變形，首先以特征點(diǎn)為中心，計(jì)算半徑6s（s為特征點(diǎn)所在的尺度值）的鄰域內(nèi)的點(diǎn)在x，y方向的Harr小波（Harr小波邊長(zhǎng)去4s）響應(yīng)，并給這些響應(yīng)值賦高斯權(quán)重系數(shù)，靠近特征點(diǎn)的響應(yīng)貢獻(xiàn)大，遠(yuǎn)離特征點(diǎn)的響應(yīng)貢獻(xiàn)小，計(jì)算所有特征點(diǎn)的Harr小波響應(yīng)向量進(jìn)行累加，選擇最長(zhǎng)矢量的方向?yàn)樵撎卣鼽c(diǎn)的主方向。

以特征點(diǎn)為中心，首先將坐標(biāo)軸旋轉(zhuǎn)到主方向，按主方向選取邊長(zhǎng)為20s的正方形區(qū)域，將該窗口區(qū)域劃分為4×4的子區(qū)域，在每一個(gè)子區(qū)域內(nèi)，計(jì)算5s×5s范圍內(nèi)的小波響應(yīng)，相對(duì)于主方向的水平、垂直方向的Haar小波響應(yīng)分別記為dx，dy，賦予響應(yīng)值以權(quán)值系數(shù)，對(duì)每個(gè)子區(qū)域的響應(yīng)以及響應(yīng)的絕對(duì)值相加形成[dx，dy，dx，dy]，因此對(duì)每個(gè)特征點(diǎn)形成64維的描述向量，再進(jìn)行向量的歸一化處理[6]，即可描述特征點(diǎn)。

2 可控點(diǎn)自動(dòng)識(shí)別

在全景漫游的人機(jī)交互界面中，利用圖像處理技術(shù)對(duì)可控點(diǎn)如窗簾、燈、門等設(shè)備進(jìn)行識(shí)別，本文以窗簾為例進(jìn)行分析。據(jù)常識(shí)可知窗簾關(guān)時(shí)，窗戶部分應(yīng)該是透明玻璃或者空氣（即什么都沒(méi)有），兩者的紋理是一樣的，都是一個(gè)常數(shù)圖片；窗簾關(guān)時(shí)，窗戶部分應(yīng)該是窗簾，從而我們可以以該圖片中玻璃與窗簾的紋理特征為依據(jù)進(jìn)行分類。

2.2 支持向量機(jī)的圖像識(shí)別

支持向量機(jī)（SVM）是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小的原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，本文中就是利用支持向量機(jī)來(lái)完成分類的。訓(xùn)練之前首先將特征數(shù)據(jù)映射到0～1范圍內(nèi)，以防大量的大數(shù)據(jù)計(jì)算問(wèn)題。訓(xùn)練時(shí)將窗簾開、關(guān)的標(biāo)號(hào)設(shè)定為[0，1]，選徑向基函數(shù)為核函數(shù)。選擇窗簾開、關(guān)圖像各100張作為樣本來(lái)訓(xùn)練SVM，另取50張作為測(cè)試樣本，正確率達(dá)到98%。本文選取的4個(gè)參數(shù)及已經(jīng)訓(xùn)練的分類器能較好地完成窗簾圖像的自動(dòng)識(shí)別[9?10]。

3 結(jié) 語(yǔ)

本文首先了解基于SURF算法圖像拼接的360°全景技術(shù)，在三維漫游人機(jī)交互界面的基礎(chǔ)上研究灰度共生矩陣及窗簾和玻璃紋理特征，通過(guò)SVM成功地對(duì)其狀態(tài)進(jìn)行識(shí)別。同樣地可以對(duì)系統(tǒng)中其他家居如燈的開關(guān)狀態(tài)，門的開關(guān)狀態(tài)等進(jìn)行自動(dòng)圖像識(shí)別，從而形成一個(gè)家居人機(jī)界面可控點(diǎn)的智能識(shí)別系統(tǒng)。該系統(tǒng)可以避免人力資源的消耗，適應(yīng)于不同類人群的需求，同時(shí)基于真實(shí)圖像拼接的全景圖的界面，增加了用戶的真實(shí)現(xiàn)場(chǎng)感和交互感受，這是未來(lái)虛擬控制界面發(fā)展的一種趨勢(shì)。本文下一步工作是根據(jù)用戶的空間位置及觀察方向?qū)崟r(shí)地調(diào)入響應(yīng)的實(shí)景圖像，使其與用于模式識(shí)別的圖像更新達(dá)到同步。

參考文獻(xiàn)

[1] 董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2004，16（1）：1?5.

[2] 張斌，繞培倫.智能家居人機(jī)交互績(jī)效的實(shí)驗(yàn)分析：界面智能程度及人物認(rèn)知模式的影響[J].工業(yè)工程與管理，2007（3）：99?103.

[3] 趙毅力，徐丹.基于全景圖像的虛擬漫游系統(tǒng)研究[J].計(jì)算機(jī)與現(xiàn)代化，2011（6）：11?14.

[4] BAY H， TUYTELAARS T， COOL L. SURF：speeded up robust features [C]// Proceeding of the 9th European Conference on Computer Vision. [S.l.]： UCCV， 2006： 404?417.

[5] 劉奇，何明一.基于SURF特征匹配的圖像拼接算法[J].測(cè)控技術(shù)，2010，29（10）：27?31.

[6] 李軍，吳潔明.一種改進(jìn)圖像拼接算法的仿真研究[J].計(jì)算機(jī)仿真，2012，29（2）：273?276.

[7] 高程程，惠曉威.基于灰度共生矩陣的紋理特征提取[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2010，19（6）：29?32.

[8] 苑麗紅，付麗，楊勇，等.灰度共生矩陣提取紋理特征的實(shí)驗(yàn)結(jié)果分析[J].計(jì)算機(jī)應(yīng)用，2009，29（4）：1018?1021.

[9] 何敏，王培培，蔣慧慧.基于SVM和紋理的煤和煤矸石自動(dòng)識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2012，33（3）：1118?1121.

[10] 謝賽琴，沈福明，邱雪娜.基于支持向量機(jī)的人臉識(shí)別方法[J].計(jì)算機(jī)工程，2009，35（16）：186?188.