吳 涓 宋振中 吳偉雄 李蒞圓 宋愛(ài)國(guó)
(東南大學(xué)儀器科學(xué)與工程學(xué)院,南京 210096)
視覺(jué)障礙人士由于喪失了視覺(jué),獲取信息主要依靠觸覺(jué)和聽(tīng)覺(jué),對(duì)于圖形圖像類信息,目前很難有效感知.如何讓盲人獲得一定程度的圖像信息,是研究者們廣泛關(guān)注的問(wèn)題.觸覺(jué)是視覺(jué)障礙人士獲取環(huán)境信息的重要方式.通過(guò)觸覺(jué)刺激能夠獲得的環(huán)境信息除了直接的本體觸覺(jué)感受如紋理、冷熱、柔順性等,還能依靠人腦對(duì)各種觸覺(jué)刺激的解釋加工獲得感知對(duì)象的空間方位、距離、速度、形狀,甚至圖像、語(yǔ)義等信息,對(duì)觸覺(jué)刺激按照一定的規(guī)定進(jìn)行組合就能形成豐富的“觸覺(jué)語(yǔ)言”,實(shí)現(xiàn)信息的觸覺(jué)表達(dá)和感知[1].
為了將圖像信息轉(zhuǎn)換為觸覺(jué)信息,國(guó)外研究者研制了各種陣列式的觸覺(jué)刺激發(fā)生裝置,能實(shí)現(xiàn)像素空間和觸覺(jué)陣列的映射.此類刺激單元的作用方式包括振動(dòng)觸覺(jué)刺激、電刺激、射流力刺激等[2].典型的如美國(guó)Bach-Y-Rita等研究的視覺(jué)-觸覺(jué)替代裝置(TVSS)[3],這種 20×20的點(diǎn)陣裝置將壓力刺激作用于人的背部,圖像的亮度變化與振動(dòng)觸點(diǎn)的振動(dòng)相一致.2010年,英國(guó)國(guó)防部推出了一款名為Brain Port的裝置[4],該裝置會(huì)將拍攝到的黑白影像變成電子脈沖,傳到盲人使用者口含的感應(yīng)器中,由脈沖信號(hào)刺激舌頭表面的神經(jīng),并由感應(yīng)器上的電極傳到大腦,大腦就會(huì)將感知到的刺激轉(zhuǎn)化成一幅低像素的圖像,從而讓盲人“看到”各種物體的線條及形狀.在國(guó)內(nèi),帥立國(guó)等[5]研制了射流觸覺(jué)顯示器,通過(guò)射流點(diǎn)陣中射流水柱施加在用戶皮膚表面的壓力,讓用戶感知觸覺(jué)圖文信息[5].
為了實(shí)現(xiàn)圖像信息的準(zhǔn)確觸覺(jué)表達(dá),同時(shí)減少硬件系統(tǒng)本身的體積和復(fù)雜度,本文提出了一種由8×8個(gè)盤(pán)片式振動(dòng)電機(jī)組成的振動(dòng)觸覺(jué)陣列,基于ARM系統(tǒng)設(shè)計(jì)了圖像信息的采集、輪廓特征提取和動(dòng)態(tài)顯示的振動(dòng)觸覺(jué)編碼方法及硬件驅(qū)動(dòng)電路.該系統(tǒng)能在有限觸覺(jué)點(diǎn)陣空間內(nèi),產(chǎn)生按圖像二維輪廓特征分布并隨時(shí)間變化的振動(dòng)觸覺(jué)刺激,能較為準(zhǔn)確、快速地顯示物體輪廓特征.該裝置具有體積小和控制簡(jiǎn)單的優(yōu)點(diǎn).
圖像的振動(dòng)觸覺(jué)顯示首先是通過(guò)攝像頭采集圖片信息,然后通過(guò)圖像處理提取環(huán)境物體的輪廓特征,再根據(jù)輪廓的二維空間分布特性控制振動(dòng)電機(jī)點(diǎn)陣中的振動(dòng)單元按照一定頻率、時(shí)間順序和節(jié)奏產(chǎn)生振動(dòng)觸覺(jué)刺激作用于人背部.由于該系統(tǒng)需要直接佩戴于人身體上,因此需具有體積小、功耗低、便于攜帶等特點(diǎn).基于以上考慮,本文設(shè)計(jì)了基于ARM11的圖像處理和電機(jī)驅(qū)動(dòng)控制系統(tǒng).該系統(tǒng)選用ARMSYS6410嵌入式開(kāi)發(fā)平臺(tái),并根據(jù)功能需求對(duì)其硬件資源進(jìn)行配置.軟件部分基于WinCE嵌入式操作系統(tǒng),采用Platform Builder 6.0集成開(kāi)發(fā)環(huán)境來(lái)定制滿足要求的Windows CE 6.0操作系統(tǒng).圖像處理算法采用ANSI C語(yǔ)言編寫(xiě).該系統(tǒng)的硬件組成見(jiàn)圖1,包括圖像采集模塊、圖像處理與振動(dòng)編碼模塊以及觸覺(jué)表達(dá)模塊3部分.
圖1 圖像的觸覺(jué)編碼和表達(dá)系統(tǒng)硬件結(jié)構(gòu)框圖
振動(dòng)觸覺(jué)刺激單位由8×8振動(dòng)電機(jī)陣列組成,振動(dòng)電機(jī)選用小型振動(dòng)電機(jī)JK-21260.振動(dòng)電機(jī)最大工作電壓5 V,最大工作電流100 mA.ARM11微控芯片通過(guò)IO口擴(kuò)展,經(jīng)光耦隔離、電流放大后驅(qū)動(dòng)64個(gè)振動(dòng)電機(jī).
由于開(kāi)發(fā)板移植了嵌入式操作系統(tǒng)WinCE,因此系統(tǒng)選用了可用于WinCE系統(tǒng)下并具有中星微301鎂光芯片的USB攝像頭,通過(guò)調(diào)用USB攝像頭驅(qū)動(dòng)的接口函數(shù)實(shí)現(xiàn)圖像采集功能.圖像采集和處理流程如圖2所示.
圖2 圖像特征提取流程圖
圖像采集時(shí),首先調(diào)用capInitCamera函數(shù)初始化攝像頭并返回當(dāng)前活動(dòng)的攝像頭數(shù)目,利用capSetVideoFormat函數(shù)設(shè)置當(dāng)前視頻格式和尺寸模式(本系統(tǒng)設(shè)置為RGB24和320×240像素),然后調(diào)用capStartCamera函數(shù)啟動(dòng)攝像頭,借助capGrabFrame函數(shù)獲取一幀圖像并以bmp格式保存于緩存中.結(jié)束圖像采集時(shí)先調(diào)用capStopCamera函數(shù)停止攝像頭捕獲視頻,再調(diào)用 cap-CloseCamera函數(shù)關(guān)閉所有活動(dòng)的攝像頭.實(shí)際圖像采集狀態(tài)如圖3所示.
圖3 圖像采集實(shí)物圖
形狀特征是反映圖像中物體最直接的視覺(jué)特征,要以觸覺(jué)方式呈現(xiàn)圖像信息,首先要提取圖像的邊緣輪廓信息.目前基于PC機(jī)上實(shí)現(xiàn)的圖像輪廓特征提取方法很多,但大多不能滿足實(shí)時(shí)性和小型化的要求.為此,本文采用效果較好且運(yùn)行效率較高的圖像處理算法,在Platform Builder 6.0集成開(kāi)發(fā)環(huán)境上,利用ANSI C語(yǔ)言實(shí)現(xiàn)了適用于便攜式系統(tǒng)的輪廓特征提取程序,該程序基本原理和流程如下.
1.2.1 圖像預(yù)處理
為了保證運(yùn)算速度,同時(shí)不影響處理后的效果,攝像頭采集的原始圖片尺寸設(shè)為320×240像素,并以bmp格式保存于緩沖區(qū)中.RGB彩色圖進(jìn)行灰度處理后轉(zhuǎn)換為灰度圖.在提取圖片輪廓進(jìn)行邊緣檢測(cè)之前,通常需要首先進(jìn)行一定程度的降噪,以剔除圖像本身以及傳輸帶來(lái)的噪聲信號(hào).常用的圖像濾波方法有均值濾波、中值濾波、Laplace濾波等.其中,中值濾波是一種實(shí)現(xiàn)簡(jiǎn)單而有效的圖像濾波方法,首先取N×N大小的窗口(N為奇數(shù)),然后對(duì)圖像中位于該窗口內(nèi)像素的灰度值進(jìn)行排序,取中值作為窗口中心像素的灰度值.在考慮保證一定信噪比同時(shí)又保存邊緣特性的要求下,本系統(tǒng)采用3×3的中值濾波器.
1.2.2 邊緣檢測(cè)
圖像輪廓一般被認(rèn)為是像素鄰域內(nèi)灰度劇烈變化的部分.經(jīng)典的邊緣檢測(cè)方法通過(guò)構(gòu)造各種邊緣檢測(cè)算子,度量相鄰像素的變化程度.常用的邊緣檢測(cè)算子有 Sobel算子、Prewitt算子、Canny算子等.考慮到Sobel算子具有邊緣檢測(cè)效果好、實(shí)現(xiàn)簡(jiǎn)單的優(yōu)點(diǎn),本系統(tǒng)選用Sobel算子用于邊緣檢測(cè).邊緣檢測(cè)是一個(gè)圖像二值化的過(guò)程.
閾值的設(shè)定是影響邊緣檢測(cè)效果的另外一個(gè)關(guān)鍵因素.本文選用Otsu法來(lái)確定閾值[6],該方法以圖像的一維直方圖為依據(jù),根據(jù)目標(biāo)和背景的類間方差最大為準(zhǔn)則計(jì)算閾值.基本思想是把圖像中物體邊緣輪廓作為目標(biāo),其余部分作為背景,利用方差統(tǒng)計(jì)兩者之間的分散度.方差值越大,說(shuō)明輪廓與背景間差別越大,當(dāng)部分目標(biāo)錯(cuò)分為背景或部分背景錯(cuò)分為目標(biāo)都會(huì)導(dǎo)致方差變小,因此使背景與輪廓之間的類間方差σ2B最大的分割意味著錯(cuò)分概率最小,這樣可取得較好的閾值t*.該算法既能保證運(yùn)算速度,又能滿足一定的誤識(shí)率和低拒識(shí)率要求.
閾值計(jì)算的具體流程為:設(shè)一幅圖像的灰度等級(jí)分為1,2,…,L,處在灰度級(jí)i的所有像素點(diǎn)個(gè)數(shù)用fi表示,總像素個(gè)數(shù)用N表示,則有N=f1+f2.若用Pi表示圖像中灰度級(jí)為i的概率,則Pi=fi/N,且.將圖像中的灰度等級(jí)按閾值t劃分為2類C0和C1,即灰度等級(jí)小于或等于t的一類C0={1,2,…,t},和灰度等級(jí)大于 t的一類 C1={t+1,t+2,…,L}.2 類灰度等級(jí)出現(xiàn)的概率分布為
2類的灰度均值為
對(duì)于任意的t值,下列等式成立:ω0+ω1=1,ω0u0+ω1u1=uL.
利用該方法得到閾值t*后,將像素灰度值小于等于t*的賦值0,而大于t*的賦值255,就可實(shí)現(xiàn)圖像的二值化,從而實(shí)現(xiàn)圖像邊緣檢測(cè).
在振動(dòng)觸覺(jué)陣列上顯示圖像輪廓最常見(jiàn)的形式是直接將像素空間和觸覺(jué)電機(jī)點(diǎn)陣一一對(duì)應(yīng).像素矩陣灰度值為255的點(diǎn),對(duì)應(yīng)的電機(jī)狀態(tài)為振動(dòng)“on”,像素矩陣中為0的點(diǎn),對(duì)應(yīng)的振動(dòng)單元狀態(tài)為“off”,輪廓的振動(dòng)單元點(diǎn)同時(shí)振動(dòng)[7].目前,振動(dòng)刺激陣列的規(guī)模由于受振動(dòng)單元本身體積以及人接觸區(qū)域限制,遠(yuǎn)小于像素規(guī)模(電機(jī)陣列規(guī)模通常小于50×50,而像素規(guī)模通常大于100×100,本設(shè)計(jì)選用的圖片像素為320×240).因此,將像素陣列映射到振動(dòng)陣列時(shí),需要進(jìn)行一定比例的縮小,這樣所能顯示的圖像分辨率就降低了.實(shí)驗(yàn)研究表明,上述振動(dòng)顯示模式下,受試者往往無(wú)法有效識(shí)別物體輪廓特性[8].為此,本文提出了一種動(dòng)態(tài)觸覺(jué)編碼的方法,這種編碼利用人對(duì)變化的觸覺(jué)刺激較為敏感的特性,讓對(duì)應(yīng)于物體邊緣位置上的振點(diǎn)以順時(shí)針的時(shí)序依次振動(dòng),電機(jī)陣列以一定的刷新頻率循環(huán)掃描.其原理如圖4所示.
圖4 電機(jī)陣列振動(dòng)空間時(shí)間分布圖
假設(shè)物體輪廓空間映射到電機(jī)陣列后的形狀為如圖4所示的多邊形,將這些參與輪廓顯示的振動(dòng)電機(jī)按照順時(shí)針?lè)较蛞来尉幪?hào)為1,2,3,…,16.則實(shí)際1~16號(hào)電機(jī)在時(shí)序上的振動(dòng)狀態(tài)如圖5所示,每個(gè)電機(jī)持續(xù)振動(dòng)時(shí)間為0.2 s,間隔0.1 s觸發(fā)下一個(gè)電機(jī)的振動(dòng),直至所有位于輪廓邊緣上的電機(jī)都被逐個(gè)掃描到.該方法具有同時(shí)觸發(fā)的振動(dòng)電機(jī)少、參數(shù)調(diào)節(jié)方便、能耗小的優(yōu)點(diǎn).
圖5 電機(jī)振動(dòng)時(shí)序圖
為實(shí)現(xiàn)沿物體輪廓按順序觸發(fā)電機(jī)的振動(dòng)觸覺(jué)刺激模式,本文引入“鏈碼”的方法對(duì)輪廓電機(jī)進(jìn)行隊(duì)列排序.遍歷振動(dòng)電機(jī)陣列,將位于輪廓上的電機(jī)按順時(shí)針?lè)较蜃詣?dòng)編成一個(gè)有方向性的鏈表.選用8-鄰域鏈碼,首先按照從左至右、從上至下的順序查找輪廓起點(diǎn);然后按照右、右下、下、左下的順序查找第2個(gè)輪廓點(diǎn);最后按照右、右下、下、左下、左、左上、上、右上的順序查找其他輪廓點(diǎn),直到找到輪廓起點(diǎn)為止.當(dāng)檢測(cè)到角點(diǎn)(位于圖形頂點(diǎn))時(shí),自動(dòng)標(biāo)識(shí)該振動(dòng)電機(jī),并定義不同的振動(dòng)強(qiáng)度以區(qū)分形狀的轉(zhuǎn)折點(diǎn).電機(jī)的順序編碼過(guò)程如圖6所示.
圖6 輪廓鏈路的搜索示意圖
振動(dòng)觸覺(jué)顯示裝置實(shí)物圖和實(shí)際穿戴于人背部的效果圖如圖7(a)、(b)所示.電機(jī)水平與垂直間距均為40 mm[9],大于人體背部振動(dòng)觸覺(jué)刺激空間閾值11 mm[10].振動(dòng)電機(jī)通過(guò)黏性膠帶貼合于彈性背帶上,每個(gè)單元的空間位置可根據(jù)實(shí)際需要調(diào)整.實(shí)際使用時(shí),USB攝像頭以30 frame/s的速度采集圖片信息,系統(tǒng)自動(dòng)對(duì)圖片信息進(jìn)行輪廓特征提取,然后驅(qū)動(dòng)振動(dòng)電機(jī)以輪廓跟蹤方式逐個(gè)振動(dòng),顯示圖片輪廓信息.
圖7 振動(dòng)觸覺(jué)顯示裝置
對(duì)20個(gè)受試者利用該觸覺(jué)振動(dòng)顯示裝置進(jìn)行了圖像感知和辨識(shí)實(shí)驗(yàn).采用如圖8所示的動(dòng)態(tài)振動(dòng)觸覺(jué)編碼方法,讓受試者戴上眼罩和耳塞,在排除視覺(jué)和聽(tīng)覺(jué)輔助的情況下,依靠振動(dòng)觸覺(jué)提示,判斷和辨識(shí)所指示物體的形狀.在20個(gè)受試者均沒(méi)有佩戴過(guò)觸覺(jué)提示裝置的經(jīng)驗(yàn)且未被告知所要顯示的物體形狀的前提下,讓受試者僅依靠觸覺(jué)提示畫(huà)出其感受到的大致形狀輪廓.
圖8 圖像的特征提取及動(dòng)態(tài)編碼顯示示意圖
實(shí)驗(yàn)結(jié)果表明,20個(gè)受試者利用觸覺(jué)顯示系統(tǒng)感知物體形狀時(shí),對(duì)于輪廓封閉的物體形狀辨識(shí)率平均達(dá)到82%以上.
本文基于嵌入式系統(tǒng)、USB攝像頭和微型振動(dòng)電機(jī)陣列構(gòu)建了圖像的振動(dòng)觸覺(jué)顯示系統(tǒng).該系統(tǒng)能從圖像中提取環(huán)境物體的二維輪廓特征,并將輪廓特征轉(zhuǎn)換為振動(dòng)刺激信號(hào)作用于人身體,利用人的觸覺(jué)空間定位特性,使人可以感知環(huán)境物體的輪廓、形狀特征和相對(duì)位置信息.該系統(tǒng)能夠幫助視覺(jué)障礙人士以非視覺(jué)方式感知外界圖像信息,也能用于危險(xiǎn)或者復(fù)雜環(huán)境下的信息的非視覺(jué)通訊和傳遞.該系統(tǒng)具有便攜式、體積小、安裝方便、操作簡(jiǎn)單的優(yōu)點(diǎn).動(dòng)態(tài)輪廓跟蹤的振動(dòng)電機(jī)驅(qū)動(dòng)模式不僅能提高觸覺(jué)顯示的真實(shí)感,還能降低能耗,簡(jiǎn)化控制.今后,將進(jìn)一步完善信息的觸覺(jué)編碼方法,重點(diǎn)研究復(fù)雜環(huán)境下,尤其是包含曲線邊緣和多個(gè)物體的圖像的觸覺(jué)編碼方法,以擴(kuò)大系統(tǒng)的實(shí)用性和魯棒性.
References)
[1] Kyung Ki-Uk,Son Seung-Woo,Yang Gi-Hun,et al.How to effectively display surface properties using an integrated tactile display system[C]//Proceedings of the 2005 IEEE International Conference on Robotics and Automation.Barcelona,Spain,2005:1761-1766.
[2]吳涓,宋愛(ài)國(guó),李建清.圖像的力/觸覺(jué)表達(dá)技術(shù)研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2007,24(5):1-9.Wu Juan,Song Aiguo,Li Jianqing.Research summarization of image expression with haptic rendering[J].Application Research of Computers,2007,24(5):1-9.(in Chinese)
[3]Bach-Y-Rita P,Collins C C,Saunders F A,et al.Vision substitution by tactile image projection[J].Nature,1969,221(5184):963-964.
[4]包美玲.用舌頭“看”世界[EB/OL].(2010-04-07)[2010-06-20].http://www.qdmx.qdedu.net/jyjx1.asp?fileid=1030&clsName=%BD%CC%D3%FD%BD%CC%D1%A7.
[5]帥立國(guó),姜昌金,周芝庭,等.斜坡觸覺(jué)及射流觸覺(jué)顯示器技術(shù)研究[J].測(cè)控技術(shù),2008,27(7):64-66.Shuai Liguo,Jiang Changjin,Zhou Zhiting,et al.Ramp tactile and the study on the technology of waterjet tactile display[J].Measurement and Control Technology,2008,27(7):64-66.(in Chinese)
[6] Jiang C W,Etorre B.A hybrid method of chaotic particle swarm optimization and linear interior for reactive power optimization[J].Mathematics and Computers in Simulation,2005,68(1):57-65.
[7] Benali-Khoudja M,Hafez M,Alexandre J-M,et al.VITAL:a new low-cost vibro-tactile display system[C]//Proceedings of IEEE International Conference on Robotics and Automation.New Orleans,LA,USA,2004:721-726.
[8]Brown L M,Brewster S A,Purchase H C.Multidimensional tactons for non-visual information presentation in mobile devices[C]//Proceedings of the 5th Australasian User Interface Conference.Espoo,F(xiàn)inland,2004:15-23.
[9]Jones L A,Ray K.Localization and pattern recognition with tactile displays[C]//Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems.Reno,NV,USA,2008:33-39.
[10] Eskildsen P,Morris A,Collins C C,et al.Simultaneous and successive cutaneous two-point threshold for vibration[J]. Psychonomic Science, 1969,14:146-147.