陳勇 汪漢國 錢坤 李永 蘇州大學(xué)電子信息學(xué)院
嵌入式智能家居人機(jī)交互控制系統(tǒng)設(shè)計(jì)
陳勇 汪漢國 錢坤 李永 蘇州大學(xué)電子信息學(xué)院
嵌入式系統(tǒng)技術(shù)應(yīng)用領(lǐng)域囊括了工業(yè)控制、交通管理、醫(yī)療設(shè)備、傳媒影像等等,隨著各行各業(yè)智能化的發(fā)展,用戶追求更加安全、更加方便、更加快捷的智能化生活空間體驗(yàn),智能家居走向了嵌入式。本設(shè)計(jì)基于嵌入式技術(shù)實(shí)現(xiàn)智能家居控制系統(tǒng),即設(shè)計(jì)集鼠標(biāo)模式、觸摸屏模式、語音模式、視頻模式于一體的智能終端人機(jī)交互控制系統(tǒng),在這些控制模式下可以實(shí)現(xiàn)其他應(yīng)用功能,基于Linux操作系統(tǒng)和LPC3131開發(fā)板平臺采集用戶的音頻信息,通過差分算法獲取和執(zhí)行控制命令。
智能家居 嵌入式技術(shù) 智能終端 差分算法
科技的發(fā)展推動(dòng)了人們對生活環(huán)境與氛圍的要求,現(xiàn)代家居朝著智能化的方向發(fā)展,但是市場上的智能家居產(chǎn)品缺乏統(tǒng)一性標(biāo)準(zhǔn),且價(jià)格不菲。舒適、友好、便捷的人機(jī)交互控制系統(tǒng)成為推動(dòng)智能家居發(fā)展必不可少的一環(huán)。為提高可移植性、方便系統(tǒng)升級、統(tǒng)一標(biāo)準(zhǔn)提供了可行方案。同時(shí),嵌入式系統(tǒng)主要以應(yīng)用為中心,以計(jì)算機(jī)技術(shù)為基礎(chǔ),且軟硬件可裁剪。它一般由嵌入式微處理器、外圍硬件設(shè)備、嵌入式操作系統(tǒng)以及用戶的應(yīng)用程序等四個(gè)部分組成,用于實(shí)現(xiàn)對其他設(shè)備的控制、監(jiān)視或管理等功能。嵌入式系統(tǒng)包括硬件和軟件兩部分。硬件包括處理器/微處理器、存儲(chǔ)器及外設(shè)器件和I/O端口、圖形控制器等。軟件包括操作系統(tǒng)軟件和應(yīng)用程序編程。而操作系統(tǒng)控制著應(yīng)用程序編程與硬件的交互作用。嵌入式系統(tǒng)具有內(nèi)核小、專用性強(qiáng)、高實(shí)時(shí)性和多任務(wù)的特點(diǎn),嵌入式技術(shù)在智能家居的發(fā)展中發(fā)揮著不可或缺的作用。
系統(tǒng)的硬件結(jié)構(gòu)是以LPC3131芯片為核心的一套系統(tǒng)。通過鼠標(biāo)、U盤、擴(kuò)音器等外設(shè)實(shí)現(xiàn)命令獲取和執(zhí)行應(yīng)用功能。利用鼠標(biāo)或者觸摸屏控制LCD圖形界面上光標(biāo)的點(diǎn)擊和移動(dòng),利用U盤存儲(chǔ)啟動(dòng)的驅(qū)動(dòng)程序,利用擴(kuò)音器采集語音信息并識別語音命令。系統(tǒng)總體設(shè)計(jì)框圖如下圖1所示。
圖1 嵌入式智能家居人機(jī)交互控制系統(tǒng)總體設(shè)計(jì)框圖
集多種控制模式于一體的智能終端具有很強(qiáng)的實(shí)用性。下面主要闡述鼠標(biāo)模式、觸摸屏模式、語音模式、視頻模式設(shè)計(jì)方案:
當(dāng)前嵌入式系統(tǒng)技術(shù)獲得了廣泛應(yīng)用,傳統(tǒng)嵌入式系統(tǒng)的人機(jī)接口多采用小鍵盤操作的文本菜單方式,用戶操作較為不便。利用PS/2接口鼠標(biāo),在點(diǎn)陣LCD上實(shí)現(xiàn)圖形化用戶界面的方案。用窗口菜單和圖形按鈕取代了傳統(tǒng)的鍵盤操作,具有單片機(jī)成本低、效果好等特點(diǎn),具有很強(qiáng)的實(shí)用性。利用接口鼠標(biāo)及采用雙向同步串行協(xié)議實(shí)現(xiàn)鼠標(biāo)模式。鼠標(biāo)模式技術(shù)相對成熟,本文不再贅述。
用觸摸屏來代替鼠標(biāo)或鍵盤。工作時(shí),我們必須首先用手指或其它特定物體觸摸安裝在顯示器上的觸摸屏,系統(tǒng)再根據(jù)手指觸摸的圖標(biāo)區(qū)域或菜單形式位置來定位所需要選擇的信息輸入。觸摸屏由觸摸檢測部件以及觸摸屏控制器組成。觸摸檢測部件安裝在顯示器屏幕前面,主要用于檢測用戶觸摸位置區(qū)域信息,獲取信息后送觸摸屏控制器處理。而觸摸屏控制器的主要作用是獲取觸摸點(diǎn)檢測裝置上觸摸信息,并通過一定算法將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo)送給CPU,同時(shí)能接收CPU發(fā)來的命令并加以執(zhí)行。利用SPI同步串行接口以及采用全雙工、四線通信系統(tǒng),配合ADS7843與S3C2410的硬件電路以差分模式提高響應(yīng)速度和靈敏度,實(shí)現(xiàn)觸屏模式。觸屏模式技術(shù)相對成熟,本文也不再贅述。
語音識別系統(tǒng)成為當(dāng)今熱門技術(shù),而應(yīng)用在智能家居方面突出要求安全性和可靠性。語音模式設(shè)計(jì)包括語音訓(xùn)練和語音識別兩個(gè)階段。兩個(gè)階段分別對輸入語音信息進(jìn)行預(yù)處理和特征提取。語音訓(xùn)練階段,用戶通過輸入若干次語音進(jìn)行訓(xùn)練,經(jīng)過后期處理獲得特征矢量參數(shù),利用特征矢量參數(shù)建立參考模型庫。語音識別階段,用戶輸入語音,通過輸入語音的特征矢量參數(shù)與參考模型庫中的參考模型進(jìn)行相似度匹配,相似度最高的輸入特征矢量作為語音識別的結(jié)果輸出。其基本原理框圖如圖2所示。
圖2 語音模式基本原理
程序中通過V4L接口實(shí)現(xiàn)從攝像頭獲得圖像數(shù)據(jù)幀并緩存到FrameBuffer,再由LCD驅(qū)動(dòng)將圖像在LCD觸摸屏中顯示出來。程序有定時(shí)器來控制視頻數(shù)據(jù)幀的采集頻率,實(shí)現(xiàn)清晰流暢的視頻采集效果。
采用手動(dòng)方式時(shí),通過攝像頭采集的視頻流信息并且顯示在觸摸屏上,然后進(jìn)行手動(dòng)標(biāo)記,標(biāo)記的三類點(diǎn)分別是前景、背景和前景范圍。ARM將標(biāo)記過的圖像數(shù)據(jù)信息送給PC服務(wù)器,PC通過馬爾科夫隨機(jī)場概率算法實(shí)現(xiàn)對圖像的分割。分割之后,圖像信息被送回到ARM。在ARM端可以對圖像進(jìn)行按號碼登記,理論上系統(tǒng)可以登記存儲(chǔ)250幅大小的圖像,考慮到程序的簡潔性,只取50幅演示程序。通過視頻識別程序,系統(tǒng)將會(huì)把采集的圖像數(shù)據(jù)與存儲(chǔ)對比庫中的圖像進(jìn)行相似性對比,從而完成視頻模式的識別。此外通過修改閾值門限,可以控制兩幅圖對比的吻合度,根據(jù)不同環(huán)境背景一定程度上濾除干擾,提高精度。在圖像驗(yàn)證時(shí),從觸摸屏輸入驗(yàn)證號碼,如果兩幅圖相似度較高,系統(tǒng)將提示驗(yàn)證成功;反之,驗(yàn)證失敗。采用手動(dòng)方式原理框圖如下圖3所示。
采用自動(dòng)方式時(shí),自動(dòng)方式與手動(dòng)方式的不同之處在于分割時(shí)不需要進(jìn)行手動(dòng)標(biāo)記,系統(tǒng)將自動(dòng)確定亮度高的圖案為前景,亮度低的作為背景。圖像登記、識別和驗(yàn)證原理相同。采用自動(dòng)方式原理框圖如下圖4所示。
圖3 采用手動(dòng)方式原理框圖
圖4 采用自動(dòng)方式原理框圖
界面設(shè)計(jì)主要遵循抽屜及抽屜下按鈕的設(shè)計(jì),其主要框圖如下圖5所示。在圖像分割方面,采用基于高階馬爾科夫隨機(jī)場的概率推理算法,對場景進(jìn)行分割處理。
(1)當(dāng)采用手動(dòng)方式時(shí),需要對圖像進(jìn)行手工打點(diǎn),確定圖像的前景、背景,通過信息來實(shí)現(xiàn)基于概率推理的計(jì)算機(jī)視覺算法,并送回計(jì)算結(jié)果,進(jìn)而實(shí)現(xiàn)場景的分割。
(2)當(dāng)采用自動(dòng)方式,系統(tǒng)默認(rèn)將亮度高的畫面作為前景,低的畫面作為背景,然后進(jìn)行分割識別。
將PC上完成的系統(tǒng)移植到ARM平臺運(yùn)行,如下圖6所示為應(yīng)用程序在PC上和ARM開發(fā)板上編譯運(yùn)行的實(shí)現(xiàn)框圖。在PC上編譯采用QT4的編譯環(huán)境,通過的話就可以在PC上運(yùn)行程序了。ARM上交叉編譯采用的是QTE4的編譯環(huán)境,通過的話就可以在ARM開發(fā)板的觸摸屏上看到程序運(yùn)行結(jié)果。
圖5 界面設(shè)計(jì)框圖
圖6 系統(tǒng)移植實(shí)現(xiàn)框圖
本設(shè)計(jì)內(nèi)容針對的智能終端,他的特色就是人能對開發(fā)板進(jìn)行各種形式的控制。通過鼠標(biāo)可以實(shí)現(xiàn)點(diǎn)擊移動(dòng),同樣也可以觸摸屏直接用點(diǎn)擊控制,而通過語音模式、視頻模式的功能實(shí)現(xiàn)對設(shè)備的控制具有一定的實(shí)用性和安全性。
智能化對市場的沖擊,為智能家居指出了發(fā)展方向,體驗(yàn)新時(shí)代美好生活的期望為舒適、友好、便捷的人機(jī)交互控制系統(tǒng)的研究提供了動(dòng)力。智能家居的可移植性、系統(tǒng)可升級性、標(biāo)準(zhǔn)統(tǒng)一性迫在眉睫。本設(shè)計(jì)構(gòu)思為此提出了一種可行的方案。
[1]袁志勇,王景存.嵌入式系統(tǒng)原理與應(yīng)用技術(shù)[M].北京航空航天大學(xué)出版社.2009
[2]邢玉娟,譚萍,李明.一種新的說話人識別序列特征提取方法[J].蘭州理工大學(xué)學(xué)報(bào).200904
[3]陳純.計(jì)算機(jī)圖像處理技術(shù)與算法[M].清華大學(xué)出版社.2003
[4]黃賢武.數(shù)字圖像處理與壓縮編碼技術(shù)[M].電子科技大學(xué)出版社.2000
[5]成潔,盧紫毅.Linux窗口程序設(shè)計(jì):Qt4精彩實(shí)例分析[M].清華大學(xué)出版社.2008
自然科學(xué)基金項(xiàng)目《深部探測技術(shù)與實(shí)驗(yàn)研究專項(xiàng)(SinoProbe-09-02-03)——地面電磁探測系統(tǒng)》;項(xiàng)目編號:11104313。
陳勇(1989—),男,漢族,江蘇連云港人,學(xué)生,碩士,單位:蘇州大學(xué)電子信息學(xué)院,研究方向:信息與通信工程。