(湖州職業(yè)技術學院 物流與信息工程學院，浙江 湖州 313000)

0 引言

視覺障礙是我國嚴重的公共衛(wèi)生問題之一。視覺障礙又稱視覺缺陷，視覺殘疾。我國在2006年全國第二次殘疾人抽樣殘疾標準規(guī)定：視覺障礙是由于各種原因導致雙眼視力低下并且不能矯正或視野縮小，以致影響其日常生活和社會參與。人口的增加和老齡化加劇使與年齡相關性致盲眼病不斷增加。根據(jù)第六次全國人口普查我國總人口數(shù)，及第二次全國殘疾人抽樣調查我國殘疾人占全國總人口的比例和各類殘疾人占殘疾人總人數(shù)的比例，推算我國殘疾人總人數(shù)8502萬人，我國單純視力殘疾的人數(shù)達1263萬人，在殘疾人數(shù)中排名第三位，如果包含多重殘疾者，視力殘疾的患病率為1.53%，視力殘疾的人數(shù)達2003萬人[1]。據(jù)一份本市調研資料顯示，本市50歲以上人群，白內障患病率約為17.79%[2]。近年來，隨著居民生活水平的提高，視疾的成因發(fā)生了很大變化，國家救助力度逐年加大，如何為視疾患者提供更加規(guī)范、便捷、人性化的康復服務是康復研究領域的重要課題。

根據(jù)其側重點的不同，導盲系統(tǒng)通常可以分為兩種類型：視覺輔助型系統(tǒng)、視覺替代型系統(tǒng)。視覺輔助型導盲系統(tǒng)依賴于單一的某種傳感技術，如超聲波測距、紅外避障、PSD測距。最早的導盲系統(tǒng)是由Russell L運用超聲波測距原理研制出而成[3],1997李俊杰運用紅外測距技術研制出了可佩戴式的導盲系統(tǒng)篇[4]，國防科技大學光電科學與工程學院依據(jù)PSD測距原理研制出通道導盲器[5]，河北大學電子信息工程學院于2015年設計了一種集成了云數(shù)據(jù)存儲，定位技術，條碼識別路況標識的導盲系統(tǒng)[6]。盡管超聲波、紅外等技術隨著時間的發(fā)展日趨成熟，但是單一傳感本身仍然有自身難以完善的缺陷，在進行障礙物位置檢測時只能得到障礙物的大概方向，在精度上無法滿足日常的使用，且無法獲得障礙物本身的大小、形狀和邊緣等信息。

隨著圖像處理技術的不斷發(fā)展，一些學者開始將機器視覺和圖像處理技術應用于導盲領域。荷蘭學者Peter B.L.Meijer最早采用CCD攝像頭輸入圖像，聽覺顯示輸出，研制出了最早的視覺替代系統(tǒng)[7]，2007年瑞士學者G.Bologna、B.Deville等人運用See colour系統(tǒng)運用聽覺替代視覺的方式，通過智能語音實時地表示用戶前方的圖像場景[8]。2011年由德國Michael和Stephan Huber利用Kincet攝像頭查看周圍事物，利用設備震動反饋給使用者路況信息。

國內對機器視覺的研究起步較晚，但是取得了一些有價值的研究成果。許伯恩2014年提出了一套基于 Kinect 的室內盲人防碰撞輔助系統(tǒng)，對原始數(shù)據(jù)進行降噪采樣，運用卡爾曼濾波濾除數(shù)據(jù)空洞，最后采用區(qū)域生長算法對圖像進行分割進行障礙物的識別，系統(tǒng)可以適應狹長、灰暗的地形[9]。張曉靜于2016年利用嵌入式技術將圖像識別集成于導盲杖中，有效降低了成本和檢測效率[10]。替代型導盲系統(tǒng)能夠對障礙物和常見的路況場景進行判定識別，但是主流技術仍停留于二維空間，缺乏空間和距離的判斷，對遠距離的障礙時常出現(xiàn)誤判的情形，仍有一定的缺陷。

通過對上述問題的分析，本文提出運用激光掃描儀獲取路況信息，根據(jù)獲取的點云數(shù)據(jù)內部建立三維坐標系統(tǒng)，利用特征提取算法篩選出缺陷路面信息能夠有效解決以上問題。

1 系統(tǒng)結構及原理

針對視障人士出行的實際需求，圍繞三維建模技術和路面缺陷檢測等關鍵機理，傳感器信號處理學、特征量簡化法、點云數(shù)據(jù)修補算法、點云三維建模算法等多學科交叉研究成果、運用理論研究、數(shù)值計算、建模仿真和實驗驗證相結合的研究方法，從點云數(shù)據(jù)修補和簡化計算入手，系統(tǒng)而深入的研究路面三角網(wǎng)分治運算和點云數(shù)據(jù)向微處理器平臺遷移的創(chuàng)新設計，揭示點云數(shù)據(jù)特征變量在缺陷路面的數(shù)學規(guī)律和檢測機理，運用可視化平臺實現(xiàn)三維建模校驗內部數(shù)據(jù)的正確性，開發(fā)基于微處理平臺的三維路面缺陷檢測導盲系統(tǒng)。系統(tǒng)框架圖1所示。

圖1 系統(tǒng)總體框架圖

2 系統(tǒng)硬件設計

2.1 點云數(shù)據(jù)采集系統(tǒng)

通過Gocator激光掃描儀和灰度相機實時掃描動態(tài)路況信息，將采集所得路面的點云信息和紋理信息，保存到系統(tǒng)存儲空間供后續(xù)處理器分析使用。激光掃描所得的為路面的高程變量，即z軸坐標，構建三維坐標空間，需要三臺掃描儀同時進行掃描。由于數(shù)據(jù)的采集、處理和點云數(shù)據(jù)的生成需要同時進行，系統(tǒng)需要很強的實時性，每一個設備都需要占用一個線程進行數(shù)據(jù)的獲取和接收，同時數(shù)據(jù)中心需要一個獨立的子線程。數(shù)據(jù)中心負責數(shù)據(jù)的預處理，每一個硬件設備的線程負責采集的數(shù)據(jù)和傳輸。如圖2所示。

圖2 Gocator激光掃描儀

2.2 路面信息可視化平臺

三維模型的顯示在Open GL平臺完成，建模系統(tǒng)最主要的功能是實時地將獲取到的數(shù)據(jù)處理生成三維模型，供監(jiān)測和數(shù)據(jù)校驗。Open GL是一個跨編程語言、跨平臺的專業(yè)的圖形程序接口，是高性能三維圖形編程和交互式視景處理標準，包括核心函數(shù)庫、實用函數(shù)庫、輔助函數(shù)庫。自動建模功能能夠將接收的點云數(shù)據(jù)和紋理信息，自動生成三維模型，具有速度快、精度高等特點，能夠滿足系統(tǒng)實時性要求，通過對顏色的設置、紋理設置、光亮調節(jié)等功能讓建模效果更直觀、真實反映實際路況。

2.3 下位機微處理器平臺

S3C2440微處理器是下位機數(shù)據(jù)的接收和處理中心，處理器自帶DMA的控制器，支持FATFS文件存儲系統(tǒng)，SRAM和兩路USB接口，通過USB總線接口讀取大容量高速緩存區(qū)的數(shù)據(jù)，通過DMA控制器作為先入先出(FIFO)直接傳輸，完成包括數(shù)據(jù)處理、檢測算法、結果提取和分析等工作，經(jīng)過閾值算法篩檢臨界值的法向量值。

控制模塊是處理器和外接設備的連接中心，起到隔離弱電和強電的作用，主要由帶光耦隔離的繼電器構成，能夠接收處理器發(fā)出的信號指令，并驅動外圍電路。

外圍設備由供電電路和控制設備構成，供電電路由穩(wěn)壓電源芯片LM317向系統(tǒng)提供電源，控制設備由蜂鳴器報警電路和語音提示芯片組成，蜂鳴器報警電路根據(jù)缺陷路面的距離發(fā)出不同頻率的報警聲音提示，高清語音芯片根據(jù)系統(tǒng)對路面特征變量的識別，向用戶提供規(guī)避建議保證用戶的行進安全。如圖3所示。

圖3 底層處理器硬件平臺

3 系統(tǒng)軟件設計

系統(tǒng)軟件設計部分主要由點云數(shù)據(jù)修補算法，數(shù)據(jù)優(yōu)化算法，網(wǎng)絡生成算法和特征值判斷算法四部分構成。修補算法和簡化算法對接收的點云數(shù)據(jù)進行適當?shù)难a償和剔除，實現(xiàn)預處理工作；三角剖分算法減少了三角網(wǎng)格匹配的次數(shù)，有效增加了網(wǎng)格生成建模的工作效率，增強了監(jiān)測的實時性；基于不同路況所提取的特征值向量，底層處理器濾選出超出臨界值的向量，通過執(zhí)行器操作對缺陷路況進行預警。

3.1 點云數(shù)據(jù)修補算法

由于三維建模的形式復雜多變，通過激光掃描儀獲取的點云數(shù)據(jù)因為光線過暗或者路面裂縫等原因都會造成采集的點云數(shù)據(jù)丟失；對于導盲系統(tǒng)而言，完整的路況信息是必然不可或缺的，缺失的數(shù)據(jù)前者可以通過人為增補光亮，后者則需要進行修補算法實現(xiàn)。

根據(jù)Xiaozhi Li[11]等人所提出的點云修補算法，即平整路面的高程向量相近且近乎相同，根據(jù)缺陷路面的高程向量坐標函數(shù)曲線來擬合缺失的點云數(shù)據(jù)。具體步驟如下。

1)遍歷缺陷路面閾值附近有效數(shù)據(jù)a，記錄坐標c；

2)當發(fā)現(xiàn)缺失數(shù)據(jù)，則將此缺失的數(shù)據(jù)的高程坐標記錄為c;

3)繼續(xù)取下一個有效數(shù)據(jù)a1,記錄坐標c1；

4)繼續(xù)檢測下一個數(shù)據(jù)b,如果b為有效數(shù)據(jù)則記錄b的坐標，如果為缺失數(shù)據(jù)則把高程坐標記錄為c1;

5)重復步驟3)。

嚴格意義講，數(shù)據(jù)缺失的位置及數(shù)量往往沒有規(guī)律可循，即便進行多次修補，并不能百分比還原實際路面。實際情況，根據(jù)高程坐標的大小可以反映路面的缺陷，激光掃描數(shù)據(jù)缺失一般由較小的裂縫造成，隆起或者較大的裂縫都不會造成數(shù)據(jù)的丟失，所以常見的修補策略對缺失的高程坐標用較低的高程坐標進行賦值，最終生成的三維建模能夠貼近實際路況。

3.2 基于斜率差點云數(shù)據(jù)簡化算法設計

激光掃描短時間將獲得大量的點云數(shù)據(jù)，大部分路況都是平坦路面，為保證系統(tǒng)的實時有效性，增強三角網(wǎng)絡的生成效率就必須對點云的數(shù)據(jù)進行優(yōu)化和刪除。

根據(jù)目標區(qū)域往往左右線段斜率變化較大，常用的簡化算法有基于斜率差的簡化算法。

每次掃描取分別取三點p0、p1、p2，將3個點的高程坐標分別記做z0、z1、z2，則線段p0p1的斜率為：

K01=(z1-z0)/xres

p0p1的斜率為：

K12=(z2-z1)/xres

兩線段的斜率差設為，則：

Δk=k12-k01=(z2-2z1+z0)/xres

又因為xres線段相等，所以斜率差計算可以簡化成：

Δd=z2-2z1+z0

1)從起點開始連續(xù)取3個點p0、p1、p2，分別記錄它們的高程坐標。

2)計算d=z2-2z1+z0

3)將d和標準設定值Δd進行比較，如果d小于標準設定值，則該區(qū)域不是特征區(qū)域應當濾除，如果d大于標準設定值則該區(qū)域是特征區(qū)域，保存特征向量。

4)再取3個點p0、p1、p2，重復步驟2)。

經(jīng)過預處理算法以后點云數(shù)據(jù)對比圖，如圖4、 圖5所示。

圖4 簡化前的點云數(shù)據(jù) 圖5 簡化后的點云數(shù)據(jù)

3.3 三角網(wǎng)匹配算法

為了進一步對點云數(shù)據(jù)進行三角網(wǎng)格生成，需要將獲得的點云數(shù)據(jù)進行坐標變換，整合在一個坐標系里面，本文用文獻[12]垂直法向量自動匹配算法比直接搜索法效率更高，對特征數(shù)據(jù)進行匹配。獲得簡化后的點云數(shù)據(jù)以后，需要進行坐標的整合，進行平移變換矩陣。由文獻可知，用最小二乘法求解獲得的參數(shù)收斂最小。如圖6所示。

圖6 法向量垂直搜索算法

設誤差函數(shù)，根據(jù)對應點到模型點的實際距離的平方和最小的原則:

(1)

如上所示，pi是實際點云的坐標，qkt是模型中點云的坐標，R是變換矩陣，t是平移矩陣，ni是pi的法向量，(pi-Rqkt-t)2是模型中的坐標經(jīng)過坐標變換以后投射到切線平面與實際點云坐標的距離值的平方，兩坐標點可以在切線平面來回移動，當平方差值取得最小值時，就能求得R和t對應的參數(shù)。

具體步驟如下：

1)將實際坐標點集合記做P，模型中擬合坐標記做X，根據(jù)匹配準則設定閾值，當大于閾值所取值，坐標點提取應用匹配準則。

2)選定坐標軸原點坐標，p0=p，k=0。

3)根據(jù)預處理算法和修補算法獲得簡化后的點云合集，將獲得點集記做Y={yik}。

4)根據(jù)最小二乘法，計算出變換矩陣和平移矩陣的值：

其中:dk是距離的平方和，ni是法向量值。

5)根據(jù)所求得的R和t，pk+1=Rkp0+Tk對坐標進行整合變換，精細配準，求出變換后的坐標，為下一步三角網(wǎng)剖分做準備。

3.4 三角網(wǎng)剖分算法

三角剖分即借助三角網(wǎng)格以直觀的展現(xiàn)數(shù)據(jù)點間的內部結構關系。通過三角剖分得到的三角網(wǎng)格只包含選取的3個數(shù)據(jù)點，在空間結構中不重疊，只相交于一條鄰邊。

Delaunay 三角剖分(DT)是目前較為主流的三角剖分算法，將無序的點云數(shù)據(jù)重組成有序的三角網(wǎng)格，對后續(xù)的可視化建模有很好的輔助作用。

本課題利用三維點云數(shù)據(jù)在可視化平臺重構實際路面，用于和底層處理器檢測出的缺陷提示進行校驗，因此本課題運用Open GL內部函數(shù)對點云數(shù)據(jù)進行顯形化處理，將點云數(shù)據(jù)進行解析和重構，調用紋理和光照函數(shù)對數(shù)據(jù)模型進行渲染，使最大程度還原真實路面以供試驗人員進行監(jiān)測。

常用的三角剖分算法，有逐點插入法，三角網(wǎng)生長算法，并行分治法。在試驗中，可視化平臺僅用于驗證校驗，在保證建模完整可靠的前提下可以降低實時性性能的要求，因此采用逐點插入法可以更好地簡化程序設計流程。逐點插入算法核心思想：首先將全部點云數(shù)據(jù)進行三角網(wǎng)格處理，運用預處理算法對數(shù)據(jù)進行修補和簡化，將新生成的數(shù)據(jù)點逐點插入，以delaunay 三角剖分的兩大準則對數(shù)據(jù)點進行篩選，每符合要求的3個數(shù)據(jù)點為單位生成新的三角形，直到數(shù)據(jù)點全部插入完畢。如圖7所示。

圖7 逐點插入法流程示意圖

3.5 特征量路面缺陷檢測算法

將全部的點云數(shù)據(jù)全部傳輸?shù)降讓犹幚砥鞅厝辉黾舆\算的負擔，需要將點云特征值進行提取[13]。目前主流提取技術有以下幾種方式：曲面率提取方式，法向量提取方式以及領域點平均值提取方式[14]。對于常規(guī)路面來說，凹陷導致的路線變形并不常見，因此本設計采用法向量幾何特征法能夠的滿足設計需求，根據(jù)斜率差的簡化算法，提取的特征高程坐標，根據(jù)平面之間的法向量夾角來確定缺陷路面的坐標[15]。如圖8所示。

圖8 法向量算法示意圖

如圖所示，有兩個平面α，β，n1為α平面的法向量，n2為β平面的法向量，當兩平面存在凹陷時，兩法向量的夾角較大，根據(jù)這一特征進行識別。

取一三角形p1p2p3，p1=(x1,y1,z1)，p2=(x2,y2,z2)，p3=(x3,y3,z3)，則此三角形平面的法向量為：

(2)

則經(jīng)計算可得，兩平面間法向量的夾角α為，

(3)

3.6 下位機軟件設計

下位機導盲系統(tǒng)的主要任務是根據(jù)USB總線讀取的特征變量，根據(jù)反三角函數(shù)求法向量的夾角，結合高程坐標值，判斷當前路面的實際情況，并驅動語音提示。具體步驟如下：系統(tǒng)相關硬件初始化包括通用端口，DMA相關寄存器，USB硬件設備，外接語音芯片；USB總線讀取緩存區(qū)相近特征點云數(shù)據(jù)，如果數(shù)據(jù)讀取異常則濾除損壞數(shù)據(jù)點，繼續(xù)讀取下一個數(shù)據(jù)；運用幾何三角公式求得法向量夾角，平坦路面相鄰特征點法向量夾角一般較為接近，如果相差較大，則存在缺陷路面，根據(jù)點云的高程坐標進行判斷，高程坐標大于水平面坐標則為隆起路面，高程坐標小于水平面則為凹陷路面，分別驅動語音芯片工作提示。如圖9所示。

圖9 下位機程序流程圖

4 實驗結果與分析

為評估基于三維建模技術的導盲系統(tǒng)實際效果，運用Gocator掃描儀、Basler灰度相機、S3C2440微處理器平臺、系統(tǒng)秒表等儀器設備，設置3個檢測性實驗來分別從實時性、擬合性、可靠性3個方面進行驗證。

4.1 下位機微處理器實時性檢測

實驗目的：檢測所設計系統(tǒng)在數(shù)據(jù)傳輸過程中能否滿足實時性要求

實驗方案：將不同光照、天氣、路況等環(huán)境下將所獲得的數(shù)據(jù)，經(jīng)過修補算法和斜率差算法優(yōu)化后，通過PC端將點云數(shù)據(jù)實時向微處理器進行傳輸，底層處理器對特征法向量夾角進行運用閾值算法判定，驅動語音芯片向用戶提供策略。通過PC端系統(tǒng)計時經(jīng)過多個樣本采樣取消耗時間的平均值，進一步驗證從傳感器到微處理器數(shù)據(jù)傳輸、數(shù)據(jù)處理、數(shù)據(jù)判定的實時性。

由表1可知，在天晴環(huán)境下，正常光和隆起的路面，由于環(huán)境干擾因素較少，直接對數(shù)據(jù)進行篩選和優(yōu)化就可以進行判定，故耗時較少；而在雨天和霧天時由于激光本身的反射和折射特性，使得原始數(shù)據(jù)采樣過程中有少許丟失，系統(tǒng)內部調用了修補函數(shù)增加了數(shù)據(jù)處理的耗時；而光線偏暗和黑暗中，因為采樣傳感器具備激光的抗干擾性，系統(tǒng)幾乎不受影響；而在凹陷的路面，因激光傳感器掃描方向的單一性，造成凹陷路面數(shù)據(jù)丟失，調用修補函數(shù)消耗了一定的時間。因此，本設計在常見的環(huán)境下，能較好的滿足系統(tǒng)的實時性。

表1 激光導盲系統(tǒng)實時性實驗性能表 (單位：s)

4.2 點云數(shù)據(jù)擬合性檢測

實驗目的：校驗建模數(shù)據(jù)與實際路面擬合性。

實驗方案：將當前路面的點云數(shù)據(jù)作為原始輸入數(shù)據(jù)，運用三角網(wǎng)格生成算法在Open GL可視化平臺建立三維可視化模型，校驗經(jīng)過預處理后所獲得的點云數(shù)據(jù)的擬合性，是否能夠與真實路面特征一致，并通過可視化平臺查看數(shù)據(jù)的連續(xù)性和完整性，檢查數(shù)據(jù)鏈是否存在丟失、殘缺的現(xiàn)象，如果復原的三維建模與真實路面特征一致或接近，則認為經(jīng)過理獲得的特征數(shù)據(jù)具備科學性，如果模型有變形現(xiàn)象，則需要進一步修正算法。對比結果如圖10～11所示。

圖10 斷層路面圖

圖11 點云建模斷層路面圖

如圖所示，通過實際路面與獲取的點云數(shù)據(jù)在Open GL可視化平臺生成的模型進行校驗，模型與實際路面特征基本一致。因此，獲取的點云數(shù)據(jù)具備科學性，可以做進一步檢測。

4.3 優(yōu)越性和安全性檢測

實驗目的：檢測三維導盲系統(tǒng)與傳統(tǒng)導盲系統(tǒng)相比是否存在優(yōu)越性。

實驗方案：實驗選取兩種常見的傳統(tǒng)導盲系統(tǒng)，將本文導盲系統(tǒng)記實驗組a，超聲波導盲系統(tǒng)記做實驗組b，CCD攝像頭的導盲系統(tǒng)記做實驗組c。以成功觸發(fā)率和誤觸發(fā)率為研究對象，將三組導盲系統(tǒng)分別在相同距離不同的天氣下，實驗100次，分別檢測成功觸發(fā)率，如表2～3所示。

表2 隆起路面實驗觸發(fā)率

表3 凹陷路面實驗觸發(fā)率

由表看出，在相同距離模式下在不同的天氣對實驗組和對照組都有影響，在隆起路面，對聲波可以形成很好的反射機制，所以實驗組a和對照組b都表現(xiàn)穩(wěn)定，而對照組c在大霧天氣中空氣中的水氣對攝像頭圖像識別造成了干擾，所以觸發(fā)率有下降；在凹陷路面，聲波反射機制缺失，對照組b觸發(fā)率下降明顯，對照組c略有下降但是變化不大。

檢測誤觸發(fā)率時，在晴天模式下，根據(jù)實際使用需求在150 cm以內，每間隔10 cm作為一個數(shù)據(jù)比對點，每個比對點分別對三組導盲系統(tǒng)檢測100次，記錄實驗數(shù)據(jù)。實驗數(shù)據(jù)如圖12～13所示在相同天氣模式下在凹陷路面檢測時，實驗組a和對照組b，c都能對隆起路面進行有效預警，對照組c在二維圖像識別模式下對距離感識別性能不強，誤觸發(fā)率較高；在凹陷路面，對照組b誤觸發(fā)率上升明顯，對照組c的誤觸發(fā)率也仍然較高。

圖12 隆起路面不同天氣觸發(fā)率對比圖

圖13 凹陷路面不同天氣對比圖

由實驗結果可得，由單一傳感器所制成的導盲系統(tǒng)，因內部傳感技術的單一性，檢測對象受到客觀環(huán)境局限較大；基于攝像頭研制的導盲系統(tǒng)，隨著圖像識別技術的成熟，抗干擾能力不斷增強，在不同天氣環(huán)境下準確度較高，但是因為缺乏對距離感的識別，容易對遠距離的路況產生誤觸發(fā)；因此，本文所設計的導盲系統(tǒng)在不同天氣環(huán)境下，不同檢測距離下，識別準確度和抗干擾性都較高。

5 結束語

針對傳統(tǒng)的導盲系統(tǒng)的諸多弊端，本文設計了一種基于激光掃描三維建模技術的導盲系統(tǒng)，利用激光掃描儀對采集路面點云原始信息，在PC平臺運用修補和簡化算法對原始數(shù)據(jù)進行簡化預處理，將簡化后的特征數(shù)據(jù)通過總線傳輸?shù)降讓犹幚砥髌脚_，利用提取特征值算法檢測路面缺陷。試驗結果表明：本系統(tǒng)可以有效解決傳統(tǒng)導盲系統(tǒng)精度不高，環(huán)境抗干擾能力弱，誤觸發(fā)等缺點，能夠對不良路面情況實現(xiàn)精準預警的效果，具有一定的實用價值。