師玉潔 王保青

摘? 要： 針對(duì)傳統(tǒng)人機(jī)交互系統(tǒng)設(shè)計(jì)過程中的技術(shù)問題，實(shí)現(xiàn)基于視覺傳達(dá)技術(shù)的人機(jī)交互系統(tǒng)設(shè)計(jì)。首先，針對(duì)色彩空間的膚色檢測(cè)方法根據(jù)光照條件不同的閾值變化問題，在BP神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上創(chuàng)建基于模糊模式的神經(jīng)網(wǎng)絡(luò)色彩濾波器。該文所設(shè)計(jì)濾波器的學(xué)習(xí)速度快，能夠在廣闊的光照條件以及復(fù)雜環(huán)境中使用。另外，所設(shè)計(jì)的人機(jī)交互系統(tǒng)滿足人們使用習(xí)慣，將EC5?1719CLDNA嵌入之星作為硬件平臺(tái)，與迷你投影系統(tǒng)和輻射控制系統(tǒng)相互結(jié)合，在軟件中開發(fā)無紙化辦公交互引擎，充分使用多線程和硬件平臺(tái)強(qiáng)大的計(jì)算性能。最后對(duì)系統(tǒng)進(jìn)行測(cè)試，結(jié)果表明系統(tǒng)能夠滿足實(shí)際需求。

關(guān)鍵詞： 人機(jī)交互系統(tǒng); 系統(tǒng)設(shè)計(jì); 視覺傳達(dá); 色彩濾波器; 信息收集; 系統(tǒng)測(cè)試

中圖分類號(hào)： TN911?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）18?0157?04

Abstract： In allusion to the technical problems in the design of traditional man?machine interface system， the design of man?machine interface system based on visual communication technology is realized. As the skin color detection method in color space is based on the threshold change of different illumination conditions， a neural network color filter based on fuzzy mode is created on the basis of BP neural network model. The learning speed block of the designed filter can be used in the broad illumination conditions and in the complex environments. The designed man?machine interface system can satisfy people′s usage habits， by which the EC5?1719 CLDNA embedded star is used as the hardware platform， and in combination with mini projection system and the radiation control system. The paperless office interaction engine is developed in software， and the powerful computing performance of multi?threading and hardware platform is fully utilized. The system is tested， and the results show that the system can meet the actual needs.

Keywords： man?machine interface system; system design; visual communication; color filter; information collection; system testing

0? 引? 言

人機(jī)交互（HCI）技術(shù)主要是對(duì)計(jì)算機(jī)、人和彼此影響技術(shù)進(jìn)行研究，目前已經(jīng)充分展現(xiàn)了此領(lǐng)域的潛力，比如在智能手機(jī)中所設(shè)計(jì)的地理空間跟蹤技術(shù);在可戴式計(jì)算機(jī)、浸入式、隱身技術(shù)等中使用的動(dòng)作識(shí)別技術(shù);將無聲語音識(shí)別應(yīng)用到語言障礙人士中。雖然使用潛力良好，但是還面臨著一定的挑戰(zhàn)，比如具有較差的實(shí)時(shí)性、視覺手勢(shì)的識(shí)別率比較低等。所以，就要實(shí)現(xiàn)多種算法的研究，對(duì)識(shí)別精度和速度進(jìn)行識(shí)別，但是并沒有普及其使用的范圍局限[1]。其次，云計(jì)算等技術(shù)融合也要進(jìn)一步的探索。摩爾定律表示，計(jì)算機(jī)硬件性能以指數(shù)方式持續(xù)提高。但是人機(jī)交互方式發(fā)展比其他技術(shù)發(fā)展要落后，全新計(jì)算機(jī)場(chǎng)景使傳統(tǒng)人機(jī)交互方式不自然，以此要求更加自然、適應(yīng)性強(qiáng)、直覺的交互方式。此為感知界面（PI）技術(shù)的研究目的。在PI領(lǐng)域，計(jì)算機(jī)視覺主要任務(wù)就是對(duì)交流有意義的視覺信息進(jìn)行檢測(cè)與識(shí)別，簡(jiǎn)單來說就是觀察用戶并且報(bào)告其位置、手勢(shì)、表情與姿態(tài)等。

在HCI領(lǐng)域，使用計(jì)算機(jī)視覺對(duì)用戶行為進(jìn)行感知和理解，從而開展的人機(jī)交互界面技術(shù)為基于視覺的界面技術(shù)[2]。

1? 系統(tǒng)的整體方案

本文系統(tǒng)通過EC5?1719CLDNA嵌入之星作為硬件平臺(tái)，與輻射控制系統(tǒng)、迷你投影系統(tǒng)相互結(jié)合，在用戶輸入體驗(yàn)中使用獨(dú)特鐳射增強(qiáng)反射非確定表面Multi?touch技術(shù)，代替?zhèn)鹘y(tǒng)鼠標(biāo)與觸摸屏部件，在不需要標(biāo)準(zhǔn)配件中，基于任何環(huán)境都能夠?qū)崿F(xiàn)家庭娛樂辦公的人機(jī)交互。利用Java語言使軟件交互系統(tǒng)得到實(shí)現(xiàn)，保證軟件系統(tǒng)可移植性，并且獨(dú)特軟件架構(gòu)設(shè)計(jì)能夠?qū)δ軘U(kuò)展性進(jìn)行保證。在已經(jīng)完成的功能中，能夠有效實(shí)現(xiàn)圖片瀏覽、多用戶參與、記事辦公、多界面模式和家居設(shè)計(jì)等功能。在未來版本中，實(shí)現(xiàn)完成用戶和用戶之間文件傳輸與共享等功能[3]。圖1為系統(tǒng)的總體框架。

2? 人機(jī)交互系統(tǒng)的設(shè)計(jì)

2.1? 人體模型

人體幾何模型將人體各部分的形狀、大小與連接關(guān)系充分的展現(xiàn)了出來，其中具有人體生理結(jié)構(gòu)先驗(yàn)的知識(shí)。人體結(jié)合模型指的是圓柱模型、骨架模型、紙板模型、圓臺(tái)模型，并且還存在超二次曲線與分層結(jié)構(gòu)化模型等。模型越復(fù)雜，跟蹤結(jié)果就會(huì)越精準(zhǔn)，但是需要大量參數(shù)與時(shí)間對(duì)解空間進(jìn)行搜索。Jphansson等人針對(duì)人類運(yùn)動(dòng)感知開展了實(shí)驗(yàn)，在實(shí)驗(yàn)過程中，人體關(guān)節(jié)附著亮點(diǎn)，人在黑暗環(huán)境中可以看到關(guān)節(jié)。通過實(shí)驗(yàn)結(jié)果可以看出，對(duì)于靜態(tài)光電集合，人視覺感知模型不能夠得出有意義的信息，針對(duì)運(yùn)動(dòng)過程中光點(diǎn)集合序列，人們能夠?qū)\(yùn)動(dòng)型態(tài)識(shí)別，比如走路、跑步等[4]。圖2為人體光點(diǎn)集合。

本文基于此理論，創(chuàng)建人體骨架和連接關(guān)系，在跟蹤指定人的時(shí)候要對(duì)各部分大小和適應(yīng)此個(gè)人尺寸進(jìn)行調(diào)整。

通過幾何圖形能夠直觀地看出人體不同部位通過關(guān)節(jié)點(diǎn)相互連接創(chuàng)建樹形結(jié)構(gòu)，樹的每個(gè)節(jié)點(diǎn)就是某人體部位，此節(jié)點(diǎn)之間存在父子關(guān)系，比如手為前臂后代，前臂為上臂后代。所有節(jié)點(diǎn)都保存相對(duì)于父節(jié)點(diǎn)的相對(duì)位置，根節(jié)點(diǎn)在人體處于物理空間的絕對(duì)位置中保存。使人體模型各個(gè)部分以樹形結(jié)構(gòu)，實(shí)現(xiàn)四層人體樹形模型的創(chuàng)建，使其作為根，二層節(jié)點(diǎn)包括大腿、腰部軀干、頸部和前臂，三層節(jié)點(diǎn)包括小腿、頭和小臂，四層節(jié)點(diǎn)包括手和腳[5]。圖3為人體骨架與連接的關(guān)系，圖4為人體結(jié)構(gòu)樹形模型。

2.2? 手勢(shì)手套硬件設(shè)計(jì)

圖5為手勢(shì)手套系統(tǒng)的內(nèi)部結(jié)構(gòu)，單片機(jī)最小系統(tǒng)中的主控芯片主要包括電阻電壓轉(zhuǎn)換電路、陀螺儀加速度計(jì)部分、彎曲傳感器接口、電源供電部分和藍(lán)牙接口等，全部模塊都相互集成。

此模塊的傳感器主要包括加速度計(jì)、彎曲傳感器和陀螺儀。為了能夠測(cè)量手指的彎曲程度，利用曲度傳感器進(jìn)行。彎曲傳感器的工作原理就如同電位器，利用曲度使阻值大小改變：平直（常規(guī)組織）;180°曲度（最大電阻值）;90°曲度（電阻值繼續(xù)增加）;45°曲度（電阻值增加）[6]。

在基本的Flex傳感器電路用語阻抗緩沖的是單面運(yùn)算放大器，由于電壓分壓器與彎曲傳感器相同，降低運(yùn)算放大器的電流，會(huì)使錯(cuò)誤的出現(xiàn)概率降低。通過單片機(jī)AD讀取全部通道運(yùn)算放大器的電阻值，能夠得出傳感器與手指彎曲程度，利用得出數(shù)值判斷手指彎曲[7]。

2.3? 手部信息收集和處理

手部活動(dòng)是比較復(fù)雜的，主要包括手在空間中運(yùn)動(dòng)與手指彎曲。對(duì)手指的彎曲進(jìn)行全面的考慮，將其作為剛體，剛體在空間運(yùn)動(dòng)的過程中主要指的是頂點(diǎn)平動(dòng)與轉(zhuǎn)動(dòng)。那么通過陀螺儀能夠收集空間三個(gè)周運(yùn)動(dòng)角速度。通過彎曲度傳感器能夠收集手指的彎曲，通過可變電阻實(shí)現(xiàn)彎曲傳感器的創(chuàng)建，通過彎曲度對(duì)組織改變。通過所收集的彎曲度信息，收集加速度計(jì)和陀螺儀角度的信息，對(duì)其進(jìn)行濾波處理。由于卡爾曼濾波思想會(huì)影響到算法，所以計(jì)算比較簡(jiǎn)單，能夠在嵌入式設(shè)備中進(jìn)行實(shí)現(xiàn)[8]。

2.4? 視覺感知與色彩配置

2.4.1? 標(biāo)志視覺感知

標(biāo)志視覺感知指的是人對(duì)于標(biāo)志生理感知與情感體驗(yàn)兩方面，生理感知為人對(duì)于標(biāo)識(shí)最為客觀的反應(yīng)，情感體驗(yàn)為人對(duì)于標(biāo)志所反應(yīng)的想法;標(biāo)志生理感知是單純對(duì)于標(biāo)志色彩感知，此過程比較短。視覺對(duì)于色彩也存在相應(yīng)感知，通過標(biāo)志設(shè)計(jì)角度，此感知包括體量感、溫度感與距離感。

標(biāo)準(zhǔn)情感體驗(yàn)指的是比生理感知更深的視覺感知，主要表現(xiàn)在標(biāo)志色彩生理感知和大腦通過分析結(jié)合自身經(jīng)驗(yàn)對(duì)標(biāo)志的情感判斷。

2.4.2? 視覺感知對(duì)標(biāo)志色彩配置的作用

實(shí)現(xiàn)色彩配置，首先要掌握標(biāo)志主色和原色、調(diào)和色與對(duì)比色的視覺感知。主色（M）包括兩種：鮮明色（M1）和深暗色（M2）。輔助色（A）3種配置類型包括原色（Am）、對(duì)比色（A2）和調(diào)和色（A1）。利用2×3的組合方式得出6種色彩配置方案，但是調(diào)和色和原色不同，沒有色彩配置，所以只有4種色彩配置方案。使不同視覺感知2個(gè)組合，得到不同色彩配置視覺感知效果。

標(biāo)志主色和輔助色為主從關(guān)系，兩者并不平等，所以在研究感知過程中要作為加權(quán)處理，主從關(guān)系方面得到主色權(quán)重值比輔助色要大。主色都是單色，生理感知中沒有遠(yuǎn)近感與重力感，只有溫度感。對(duì)比色兩個(gè)的對(duì)比強(qiáng)烈，色彩鮮明。表1為色彩配置方案視覺感知。

2.4.3? 色彩模型人機(jī)交互方式

對(duì)于色彩設(shè)計(jì)系統(tǒng)來說，良好的交互方式具有重要作用，大部分成功且優(yōu)秀的電子產(chǎn)品與良好的用戶體驗(yàn)具有密切關(guān)系。傳統(tǒng)軟件色彩交互方式的設(shè)計(jì)都是通過鼠標(biāo)的拖拽和點(diǎn)擊選擇，即便是最新電子終端產(chǎn)品，此方式還是對(duì)筆者的思想造成束縛。表2為色彩模型人機(jī)交互方案，三維色彩模型與多點(diǎn)觸控終端相互適應(yīng)。

2.5? 色彩模型的顯示

利用立體色塊將色彩充分展現(xiàn)出來，色塊重點(diǎn)為坐標(biāo)值、頂點(diǎn)坐標(biāo)、色彩信息與形狀，從而實(shí)現(xiàn)可視化數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)：

式中：tab1～tab3為對(duì)應(yīng)色彩塊在顏色體系標(biāo)號(hào);x，y，Y對(duì)應(yīng)此顏色GIE x，y，Y坐標(biāo)值;R，G，B為對(duì)應(yīng)此色塊的R，G，B三個(gè)值。

使用RGB色彩體系作為計(jì)算機(jī)圖形圖像顯示系統(tǒng)，利用HV/C實(shí)現(xiàn)顏色體系，并且還能夠?qū)崿F(xiàn)計(jì)算機(jī)可視化，有效解決模式的轉(zhuǎn)換問題。

通過GIE標(biāo)準(zhǔn)色度學(xué)習(xí)系統(tǒng)，將其作為模塊轉(zhuǎn)換媒介，確定色塊R，G，B值。利用顏色體系數(shù)據(jù)表，確定標(biāo)定色塊和相互對(duì)應(yīng)的GIE x，y，Y值。轉(zhuǎn)換公式如下：

式（1）為GIE x，y，Y三個(gè)值轉(zhuǎn)變成為GIE X，Y，Z三個(gè)值;式（2）為GIE X，Y，Z三個(gè)值轉(zhuǎn)變成為R，G，B三個(gè)值。OpenGL中色彩指的是r，g，b，三者的取值范圍為0～1，以此通過式（3）將可視化模型數(shù)據(jù)結(jié)構(gòu)的R，G，B轉(zhuǎn)化得到實(shí)現(xiàn)。

確定三維色彩模塊的色彩坐標(biāo)：色彩體系中的原始數(shù)據(jù)為確定色彩坐標(biāo)基礎(chǔ)，與色彩HV/C標(biāo)號(hào)相互對(duì)應(yīng)。此標(biāo)準(zhǔn)對(duì)應(yīng)色塊的基準(zhǔn)點(diǎn)，已知OpenGL中的點(diǎn)與面信息之后的可視化色塊。確定色塊的頂點(diǎn)坐標(biāo)，結(jié)合前面色塊的色彩信息，從而有效實(shí)現(xiàn)色塊的可視化。通過此方式能夠充分展現(xiàn)全部的色塊信息，但是此方法在實(shí)現(xiàn)過程中計(jì)算量比較大，而且會(huì)降低效率。利用基本點(diǎn)與色塊的方式實(shí)現(xiàn)坐標(biāo)確定，通過基本點(diǎn)圓柱坐標(biāo)能夠得到全部點(diǎn)的圓柱坐標(biāo)，之后利用直角坐標(biāo)和圓柱坐標(biāo)轉(zhuǎn)換公式，對(duì)各點(diǎn)直角坐標(biāo)進(jìn)行計(jì)算，實(shí)現(xiàn)高效、快速地確定全部色塊坐標(biāo)[9]。

3? 測(cè)試和驗(yàn)證的方案

將電工實(shí)驗(yàn)室作為測(cè)試環(huán)境，在實(shí)驗(yàn)室中配置電腦、防靜電實(shí)驗(yàn)桌，另外還包括1臺(tái)信號(hào)發(fā)生器、頻譜儀、手持萬用表、50 MHz示波器和2臺(tái)穩(wěn)壓源。

關(guān)鍵功能實(shí)現(xiàn)包括：測(cè)試手臂姿態(tài)傳感器，將手套佩戴到右手，要求小臂平行于地面，手心朝下，基于手肘使小臂旋轉(zhuǎn)120°，對(duì)此動(dòng)作重復(fù)進(jìn)行，通過虛擬示波器能夠得出傳感器數(shù)據(jù)波形。利用測(cè)試結(jié)果可以看出，手指彎曲傳感器具有較大的波動(dòng)。使手勢(shì)在短時(shí)間內(nèi)實(shí)現(xiàn)不同語義的匹配，中繼設(shè)備能夠?qū)﹄姌O、舵機(jī)進(jìn)行控制，佩戴人員能夠?qū)υO(shè)備直接控制。調(diào)整控制手勢(shì)的步驟為：將手在被控設(shè)備中平移，然后進(jìn)入設(shè)備待選模式中，單手抱拳使設(shè)備控制狀態(tài)接觸設(shè)備到上個(gè)控制量維持;假如在使用的過程中出現(xiàn)突發(fā)情況，按下中繼板TSI中的緊急制動(dòng)，或者使全部設(shè)備緊急停止。

之后，對(duì)本文所設(shè)計(jì)系統(tǒng)進(jìn)行可靠性的測(cè)試，佩戴滿電狀態(tài)下的手套，重復(fù)做內(nèi)需型動(dòng)作。在上位機(jī)中發(fā)送姿態(tài)編碼，對(duì)手勢(shì)序列進(jìn)行對(duì)比，得出431組數(shù)據(jù)，其中有73組數(shù)據(jù)位沒有匹配，精準(zhǔn)率達(dá)到82%。系統(tǒng)在此過程中工作穩(wěn)定，而且并沒有出現(xiàn)發(fā)送程序與硬件錯(cuò)誤的問題，電磁干擾比較強(qiáng)，并且具有較強(qiáng)的靜電等環(huán)境適應(yīng)能力[10]。

4? 結(jié)? 語

本文所設(shè)計(jì)系統(tǒng)利用全新的設(shè)計(jì)理念詮釋了人機(jī)交互概念，顛覆了傳統(tǒng)的單人、垂直性人機(jī)交互和根據(jù)標(biāo)準(zhǔn)輸入設(shè)備交互模式，通過更合適人們習(xí)慣的方式，提高用戶的使用體驗(yàn)。系統(tǒng)在軟件功能擴(kuò)展性、識(shí)別精準(zhǔn)性、交互實(shí)時(shí)性等方面都充分展現(xiàn)了良好的應(yīng)用前景。

參考文獻(xiàn)

[1] 王卓.基于視覺傳達(dá)效果的三維圖像虛擬重建[J].現(xiàn)代電子技術(shù)，2019，42（1）：62?64.

[2] 李安安.基于色彩應(yīng)用的視覺傳達(dá)設(shè)計(jì)研究[J].商業(yè)故事，2016（19）：35.

[3] 周友，萬萱.色彩變化在視覺傳達(dá)設(shè)計(jì)中的研究與應(yīng)用[J].美術(shù)教育研究，2018（20）：51.

[4] 賈艷偉.視覺傳達(dá)設(shè)計(jì)中的色彩應(yīng)用研究[J].中國民族博覽，2017（12）：173?174.

[5] 徐麗平.視覺傳達(dá)設(shè)計(jì)中色彩的表現(xiàn)與傳遞[J].美術(shù)教育研究，2018（8）：29.

[6] 劉怡利.探究視覺傳達(dá)設(shè)計(jì)中色彩感知、想象能力及應(yīng)用[J].藝術(shù)科技，2017，30（2）：289.

[7] 王玉，唐欣堯.當(dāng)代視覺傳達(dá)設(shè)計(jì)的可持續(xù)發(fā)展探析[J].科技與創(chuàng)新，2017（6）：31.

[8] 彭靜，冷飛.基于視覺傳達(dá)效果的傳統(tǒng)藝術(shù)圖像重建方法研究[J].現(xiàn)代電子技術(shù)，2017，40（24）：118?120.

[9] 廖瑩，曾顯峰，鄧秀茹，等.淺談校園VI設(shè)計(jì)中色彩的應(yīng)用[J].科技創(chuàng)新與應(yīng)用，2017（12）：296.

[10] 李燕杰.基于色彩量化的人機(jī)交互界面質(zhì)量評(píng)價(jià)[D].合肥：合肥工業(yè)大學(xué)，2017.