王濤，王學(xué)

（河北工程大學(xué) 數(shù)理科學(xué)與工程學(xué)院，河北邯鄲，056038）

0 引言

20世紀(jì)80年代美國麻省理工學(xué)院的Marr[1]發(fā)明了一個基于雙眼顏色匹配原理的視覺設(shè)計概念，將二個有視差的平面圖進(jìn)行處理后可以形成有深度的立體圖像，并以此進(jìn)行了三維重建[2]。與透鏡板三維圖像、投射式顯示器、全息照相科技等其他三維重建技術(shù)比較，雙目立體視覺能夠模仿人體眼睛來處理待測的障礙物，更加直觀簡單，使用前景范圍也更加廣泛。美國波古頓汽車有限公司開發(fā)研制的采用立體可視導(dǎo)航技術(shù)的仿生型四腳攝像機Big Dog[3]，其人工智能手段有助于認(rèn)識周邊情況，并通過收集不同車輛的位置數(shù)據(jù)實現(xiàn)移動和避障。美國華盛頓學(xué)院和微軟集團(tuán)共同開發(fā)的寬基線立體視覺科技，使“探索者”號能夠在火星上實現(xiàn)更精準(zhǔn)的定向和導(dǎo)航。哈爾濱工業(yè)大學(xué)的高慶吉[4]教授等人研制的異構(gòu)雙目視覺科技，使自動化攝像機能夠同時捕獲多種有效目標(biāo)，從而完成了對足球攝像機的完全主動導(dǎo)航。中國科學(xué)院自動化研究所研發(fā)了一種自主移動機器人，通過對環(huán)境的影像拍攝和立體匹配，可以獲取相應(yīng)距離和高度數(shù)據(jù)，從而為自己的活動提供指引。南京航空航天大學(xué)的張鳳靜[5]等通過雙目立體視覺計算了汽車的車距，并通過汽車分別在前后鏡頭抓拍的畫面上的位置計算得到了汽車與相機之間的距離位置。

20世紀(jì)70年代Paul[6]等人制造出了一套觸覺的視覺替代裝置，它包含：可以自動聚焦的攝像頭、作用在背面的機械激發(fā)電磁閥和能夠?qū)?shù)據(jù)信息轉(zhuǎn)換為相應(yīng)電信號的數(shù)字轉(zhuǎn)換陣列通過增強的集成電路連接到電極。測試數(shù)據(jù)表明，測試儀可以感覺到給出的最簡單地顯示圖像，識別單色線的移動位置，甚至通過轉(zhuǎn)動聚焦方法（例如人眼）和鎖定長線段的移動位置來自主對焦。20世紀(jì)90年代Kurt[7]等設(shè)計出根據(jù)指尖的四十九點電刺激替代系統(tǒng)，并做了指尖的電觸覺顯示試驗，結(jié)果表明指尖擁有除舌頭外最佳的感覺。20世紀(jì)90年代Paul[8]等人基于舌頭的49點電觸覺陣列上模式識別的早期試驗。結(jié)論表明，舌頭的電觸摸效果比所有模式中的指尖電觸摸都要好，不僅舌頭的操作電壓為5～15V（只有3%的指尖電壓），而且電流只需要1.612mA。同時，驗證了通過舌頭用點刺激代替盲人的感覺技術(shù)的有效性。20世紀(jì)初，名為BrainPort[9]的可以通過舌頭的電刺激觸覺的新技術(shù)出現(xiàn)了。它由郵票形狀，數(shù)碼相機和傳感器形狀的電子刺激場組成，并帶有控制器的控制器，可調(diào)節(jié)變焦和鏡頭對比度。像素刺激的灰度中的黑白像素，且灰色值能夠自主調(diào)節(jié)。這種轉(zhuǎn)置技術(shù)已經(jīng)進(jìn)入了臨床實踐中。在2006年，日本正在研究基于前額的觸覺替代技術(shù)[10～12]。這個裝置由一個特別微小的攝像頭和一個擁有512個電極的陣列組成，系統(tǒng)每33ms抓取一次照相機的圖像，將其轉(zhuǎn)化成256個色階的灰階圖像，然后再利用高斯函數(shù)的拉普拉斯濾波的方法把圖像壓縮，最后再將其二值化并處理成黑白底片成像。同時期帥立國[13]等提出這種采用水噴射的觸覺圖文表示信息技術(shù)。2008年，開發(fā)基于射流式刺激的圖文顯示裝置[14～16]。2009年，中國的東南大學(xué)帥立國[17～18]等發(fā)表一種穿戴式盲教設(shè)備。2008年，柴新禹[19]等申報采用電激發(fā)的觸覺視覺替代控制系統(tǒng)發(fā)明專利。推出了256個點通過對手指的電刺激的觸覺替代系統(tǒng)[20]。圖像收集單元將收集的文本和圖形信號傳送到圖像處理單元；圖像處理單元則將收集的圖像經(jīng)過簡化、增強、解碼等技術(shù)處理，轉(zhuǎn)換為電信號傳送給刺激器；刺激器通過刺激信息的控制，形成了多路激勵脈沖作用于手指上。該操作系統(tǒng)文字識別效率受限，需要更進(jìn)一步地改善。

綜上所述，本系統(tǒng)的成功研制，將能夠做到部分甚至完全替代導(dǎo)盲犬的任務(wù)，為更多申請不到導(dǎo)盲犬的視障人士提供服務(wù)，幫助視障人士更好地感知周圍的世界，并且電子設(shè)備不會存在導(dǎo)盲犬的一些生理問題，更加方便視障人士的生活。

1 系統(tǒng)設(shè)計方案

本文提出的基于雙目立體視覺的視障輔助系統(tǒng)如圖1所示。系統(tǒng)由一對雙目近紅外寬帶攝像頭、子系統(tǒng)一雙目立體視覺成像系統(tǒng)、子系統(tǒng)二視覺觸覺視覺替代系統(tǒng)以及電刺激模塊組成。使用左右雙目攝像頭采集雙目圖像進(jìn)行標(biāo)定與校正，并預(yù)置標(biāo)定矩陣。使用時，使用雙目攝像頭采集雙目圖像進(jìn)行立體匹配，獲得的視差圖像經(jīng)過壓縮編碼后，通過串口通信發(fā)送給所述子系統(tǒng)二視覺觸覺替代系統(tǒng)，該視覺觸覺替代系統(tǒng)通過解碼子系統(tǒng)已發(fā)送的圖像信息，在驅(qū)動電路的加持下，通過電刺激模塊作用于人體皮膚，達(dá)到一種類似視覺的觸覺體驗。本系統(tǒng)采用模塊化設(shè)計，方便模塊更換與維護(hù)，降低成本；輕量化模塊低壓驅(qū)動設(shè)計易于穿戴。為了具備可穿戴能力，子系統(tǒng)一使用了樹莓派平臺，子系統(tǒng)二使用了Arduino平臺。雙目近紅外寬帶能夠提供一定的夜視能力，增加了適用場景。具有無侵入性、佩戴方便、使用簡單、舒適安全等特點。

圖1 系統(tǒng)結(jié)構(gòu)圖

1.1 雙目立體視覺成像系統(tǒng)

子系統(tǒng)一雙目立體視覺成像系統(tǒng)基于樹莓派4B+實現(xiàn)如圖2所示；傳感器采用雙目近紅外寬帶攝像頭；對于雙目攝像頭：根據(jù)對極幾何原理，為了提高傳感器的有效范圍，綜合人的額頭寬度數(shù)據(jù)，我采用了基線距離為120mm的雙目攝像頭；同時為了增加夜視能力，采用了850nm紅外寬帶攝像頭，視場角55°，焦距4.5mm。

圖2 雙目立體視覺系統(tǒng)

針對雙目近紅外寬帶攝像頭模塊使用張正友標(biāo)定法[21]，對雙目近紅外寬帶攝像頭模塊進(jìn)行標(biāo)定，從而分別獲得左右攝像頭的標(biāo)定參數(shù)；對雙目圖像進(jìn)行畸變矯正與極線校正，分別得到徑向畸變矩陣、切向畸變矩陣和內(nèi)參矩陣。將上述標(biāo)定參數(shù)、徑向畸變矩陣、切向畸變矩陣和內(nèi)參矩陣作為所述雙目立體視覺成像系統(tǒng)的預(yù)置參數(shù)，參與成像系統(tǒng)的工作。

本文使用Matlab的工具箱進(jìn)行雙目近紅外寬帶攝像頭的標(biāo)定與校正工作，根據(jù)參考文獻(xiàn)[22]中提出的標(biāo)定圖像的采集數(shù)量在大于13張時，系統(tǒng)標(biāo)定誤差趨于穩(wěn)定。本文在標(biāo)定時，為了降低雙目攝像頭在各視距范圍內(nèi)的誤差，在距離攝像頭0.5m、1m、1.5m、2m、2.5m、3m的距離分別采集20張左右攝像頭的圖像進(jìn)行標(biāo)定，選用的標(biāo)定板精度為0.01mm，標(biāo)定過程如圖3所示。雙目相機標(biāo)定的全局平均誤差降低至0.1pixel。

圖3 標(biāo)定過程

使用雙目近紅外寬帶攝像頭模塊對周圍環(huán)境進(jìn)行圖像采集，并將采集到的數(shù)字圖像傳輸給所述雙目立體視覺成像系統(tǒng)；雙目立體視覺成像系統(tǒng)對獲得的數(shù)字圖像進(jìn)行數(shù)字圖像信息的預(yù)校正和預(yù)處理，采用雙目立體匹配算法計算目標(biāo)的深度信息以獲得視差圖像，并對視差圖像進(jìn)行適當(dāng)?shù)膬?yōu)化和濾波處理，同時算法采用高效的編碼方式，將獲得的深度信息通過串口通信技術(shù)發(fā)送給所述觸覺視覺替代系統(tǒng)；基于雙目立體視覺的視障輔助系統(tǒng)，包括第四代低電壓雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器（LPDDR4 SDRAM）、64位四核高級精簡指令集中央處理器（quad-core 64-bit ARM CPU）、第三代通用序列總線（USB 3.0）、數(shù)字模擬轉(zhuǎn)換器、微型閃速存儲卡（TF卡）和通用輸入輸出端口（GPIO），所述雙目近紅外寬帶攝像頭模塊采集到的雙目圖像信息通過第三代通用序列總線傳輸并保存至第四代低電壓雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器；同時從微型閃速存儲卡中將預(yù)先內(nèi)置的標(biāo)定參數(shù)、徑向畸變矩陣、切向畸變矩陣和內(nèi)參矩陣加載到第四代低電壓雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器；64位四核高級精簡指令集中央處理器讀取存放在第四代低電壓雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器中的雙目圖像信息和上述預(yù)置參數(shù)進(jìn)行視差計算、代價聚合和視差優(yōu)化，將處理后的視差圖像信息保存在第四代低電壓雙倍數(shù)據(jù)率同步動態(tài)隨機存取存儲器中，對視差圖像信息進(jìn)行二值圖像轉(zhuǎn)換和圖像壓縮編碼，使用通用輸入輸出端口連接所述視覺觸覺替代系統(tǒng)，通過串口通信程序發(fā)送給所述的視覺觸覺替代系統(tǒng)。雙目圖像處理程序、雙目立體匹配程序和圖像壓縮編碼傳輸程序保存在微型閃速存儲卡中。

二值圖像轉(zhuǎn)換與壓縮編碼。為了提高傳輸速率，提高通信線路的有效數(shù)據(jù)位利用率，因為一個unsigned char類型數(shù)據(jù)能夠編碼8位數(shù)據(jù)，所以發(fā)送端與接收端約定使用unsigned char類型數(shù)據(jù)進(jìn)行位圖格式編碼。初始化一個全為1的矩陣，使用庫函數(shù)，與原來的binary二值圖進(jìn)行按位與操作，得到一個位圖。將該位圖resize為32*16的分辨率，并切割為8*8的子位圖，通過無符號字符類型編碼，將子位圖按行發(fā)送給子系統(tǒng)二視覺觸覺替代系統(tǒng)。通信方式是基于樹莓派的GPIO引腳與Arduino的引腳進(jìn)行I2C通信。Arduino單片機在接收到數(shù)據(jù)后，使用無符號字符類型進(jìn)行位圖解碼，基于一個自定義的Stack數(shù)據(jù)結(jié)構(gòu)重新進(jìn)行位圖拼裝。

1.2 視覺觸覺替代系統(tǒng)

子系統(tǒng)二視覺觸覺替代系統(tǒng)基于Arduino實現(xiàn)如圖4所示。二值圖像解碼模塊通過通用輸入輸出端口與所述雙目立體視覺系統(tǒng)連接，負(fù)責(zé)與雙目立體視覺成像系統(tǒng)進(jìn)行串口通信，對接收到編碼后的圖像數(shù)據(jù)后進(jìn)行解碼處理；信號傳輸控制模塊加載手動調(diào)節(jié)模塊傳遞的外部設(shè)定參數(shù)，經(jīng)過計算，將信號通過所述信號傳輸控制模塊將解碼后的圖像數(shù)據(jù)傳送給硬件驅(qū)動模塊；硬件驅(qū)動模塊包括逐行掃描驅(qū)動電路、高低壓隔離電路和保護(hù)電路；逐行掃描驅(qū)動電路接收處理控制模塊傳輸?shù)碾娦盘枺刂泣c電極刺激陣列中每個點電極的開閉信號分配；高低壓隔離電路將所述升壓模塊的高壓模擬信號與逐行掃描驅(qū)動電路的低壓數(shù)字信號進(jìn)行隔離，并接收逐行掃描驅(qū)動電路的開閉信號對點電極進(jìn)行開閉控制；保護(hù)電路為逐行掃描驅(qū)動電路和高低壓隔離電路提供保護(hù)能力，對逐行掃描驅(qū)動電路提供干擾阻隔能力，防止擾亂信號對正常的脈沖信號產(chǎn)生影響，對高低壓隔離電路提供柵極電荷泄放能力，防止電荷累積，損傷元器件。

圖4 視覺觸覺替代系統(tǒng)

硬件驅(qū)動模塊電路原理圖如圖5所示，其通過預(yù)留的16根引腳與Arduino的16個數(shù)字信號引腳相連接。硬件驅(qū)動模塊的PCB渲染圖如圖6、圖7所示。

圖6 PCB渲染圖1

圖7 PCB渲染圖2

1.3 電刺激模塊

電刺激模塊連接硬件驅(qū)動模塊，并設(shè)計為熱插拔方式，方便更換，電刺激模塊上的點電極呈方形陣列分布，點電極呈半球狀，防止尖端放電現(xiàn)象的產(chǎn)生，對人體皮膚產(chǎn)生強烈刺激，半徑為0.8～1.0mm，點電極間距為1.0～1.2mm，材質(zhì)為不銹鋼或鍍鎳銅；升壓模塊前端連接供電系統(tǒng)，后端連接電刺激模塊將供電系統(tǒng)的低壓電源升壓為能夠刺激人體皮膚的高壓電源，驅(qū)動電刺激模塊，對被接觸的人體皮膚產(chǎn)生合適的電脈沖刺激；電刺激模塊采用柔性PCB設(shè)計，可彎曲，能夠更加貼合用戶的額頭，通過點電極陣列電脈沖刺激，對用戶的皮膚產(chǎn)生一種類似視覺信號的觸覺體驗。電刺激模塊PCB渲染圖如圖8所示。

圖8 電刺激模塊渲染圖

2 分析討論

兩個實驗分別驗證子系統(tǒng)一和子系統(tǒng)二的有效性。

2.1 實驗一 驗證雙目立體視覺系統(tǒng)的有效性

將標(biāo)定參數(shù)提前注入程序中，并設(shè)定以下程序中的變量參數(shù)：聚合路徑數(shù)為4路徑；最小視差為0pixel，最大視差為64pixel；并啟用一致性檢查、唯一性約束、剔除最小連通區(qū)，最后進(jìn)行視差圖填充；初始化參數(shù)后進(jìn)行雙目圖像匹配，并對視差圖像進(jìn)行中值濾波處理，雙目匹配的視差圖像如圖9所示。

圖9 視差圖像

2.2 實驗二 驗證觸覺視覺替代系統(tǒng)的有效性

實驗仿真程序，驗證硬件驅(qū)動程序的有效性，使用8*8led對驅(qū)動顯示結(jié)果進(jìn)行可視化，仿真結(jié)果如圖10所示。使用示波器測量電刺激模塊的有效性；為安全起見，刺激電壓調(diào)整為5V；測試結(jié)果如圖11所示。圖11中，右上角“被點亮”的點電極的波形圖；為接地信號，沒有電平信號；其余3張圖為被點亮點電極周圍的3個點電極的信號，沒有被點亮，默認(rèn)為高電平；實驗結(jié)果與預(yù)期相符。

圖10 仿真結(jié)果

圖11 測量結(jié)果

3 結(jié)論

設(shè)計并實現(xiàn)了一種基于雙目立體視覺的視障輔助系統(tǒng)。雙目攝像頭經(jīng)過簡單的標(biāo)定和校正后，就能夠使用雙目圖像傳感器采集圖像，通過SGBM算法計算周圍的3D信息，并將3D信息壓縮編碼，通過串口通信發(fā)送給觸覺視覺替代系統(tǒng)，電路原理及驗證的試驗結(jié)果證明了這套基于雙目立體視覺的視障輔助系統(tǒng)的可行性。