信集

將AI處理放在邊緣計(jì)算，利用5G低時(shí)延、大帶寬打造智能視覺輔助系統(tǒng)，利用5G切片技術(shù)為導(dǎo)盲鏡提供專屬網(wǎng)絡(luò)保障，幫助盲人“看見”世界

我國是世界上視障人士最多的國家，他們?cè)诔鲂小⑸缃?、工作、學(xué)習(xí)等諸多方面存在障礙。隨著社會(huì)發(fā)展和醫(yī)學(xué)的進(jìn)步，他們對(duì)于視力恢復(fù)和視障輔助技術(shù)的需求也越來越強(qiáng)烈，亟待利用最新的科學(xué)知識(shí)和設(shè)備，研究新型的康復(fù)和輔助技術(shù)和設(shè)備，幫助視障人士實(shí)現(xiàn)接近常人的生活。

為解決視覺障礙人士日常生活的痛點(diǎn)，浙江移動(dòng)聯(lián)合杭州視氪創(chuàng)新性提出基于5G+AI+MEC+切片的5G導(dǎo)盲鏡，將AI處理放在邊緣計(jì)算，利用5G低時(shí)延、大帶寬打造智能視覺輔助系統(tǒng)，利用5G切片技術(shù)為導(dǎo)盲鏡提供專屬網(wǎng)絡(luò)保障，通過描述周圍環(huán)境以及提示環(huán)境存在的潛在危險(xiǎn)幫助盲人“看見”世界。

5G+AI+MEC+切片構(gòu)建無障礙社會(huì)

5G導(dǎo)盲鏡通過調(diào)用云端和邊緣端的API，來實(shí)現(xiàn)利用深度學(xué)習(xí)將智能眼鏡攝像頭獲取的實(shí)時(shí)畫面，通過5G網(wǎng)絡(luò)傳輸至邊緣端進(jìn)行計(jì)算處理，輸出環(huán)境的描述信息并轉(zhuǎn)化為聲音，為盲人描述周圍環(huán)境以及提示環(huán)境存在的潛在危險(xiǎn)。通過將視覺輔助當(dāng)中復(fù)雜的圖像處理功能分散到網(wǎng)絡(luò)的邊緣，借助5G高速穩(wěn)定的網(wǎng)絡(luò)，和強(qiáng)大的邊緣云處理能力，大大提升計(jì)算處理時(shí)延、減輕終端的重量，讓5G惠及弱勢群體、構(gòu)建5G無障礙社會(huì)。

從技術(shù)層面看，要幫盲人“ 看到 ”環(huán)境信息，分為三個(gè)過程：信息獲取、信息處理以及聲音編碼映射。其中，技術(shù)的難點(diǎn)在于地面檢測、障礙物檢測等環(huán)境信息檢測。這款眼鏡通過雙目攝像頭獲取周圍環(huán)境的立體信息，對(duì)獲取到的立體信息進(jìn)行處理，然后進(jìn)行特殊的三維立體語音編碼，再將聲音（音樂）信息傳遞給盲人，盲人通過不斷的學(xué)習(xí)和體驗(yàn)，會(huì)根據(jù)接收到的聲音來判斷周圍環(huán)境信息，從而達(dá)到能夠“聽”出世界的感覺。

機(jī)器視覺方面，眼鏡采用3個(gè)攝像頭，其中一個(gè)為普通的彩色攝像頭，主要用于拍攝環(huán)境信息，并用于后期的圖像識(shí)別，另還有兩個(gè)具有可見光+紅外線夜視功能的深度攝像頭，可以利用雙目視差的原理測量前方物體與用戶的距離。目前智能眼鏡主要功能點(diǎn)是障礙物檢測、通路檢測、臺(tái)階檢測、洼坑檢測、樓梯檢測和上下坡檢測，檢測精度達(dá)到3CM，同時(shí)提供精準(zhǔn)定位導(dǎo)航功能。未來會(huì)通過軟件更新的形式，增加人臉、紅綠燈、斑馬線識(shí)別等功能。

聲音編碼映射方面，由于盲人無法看見，因此通過攝像頭獲得的環(huán)境三維信息必須采用視覺以外的方法傳遞給用戶，而我們所采用的便是聲音。當(dāng)眼鏡獲得環(huán)境數(shù)據(jù)之后，會(huì)進(jìn)行特殊的三維立體語音編碼，將不同的視覺信息（比如障礙物的類型、方位與距離等）用不同的聲音或不同節(jié)奏的聲音加以一一映射，將聲音信息傳遞給盲人，盲人通過不斷的學(xué)習(xí)和體驗(yàn)，會(huì)根據(jù)接收到的聲音來判斷周圍環(huán)境信息，從而實(shí)現(xiàn)“聽見”世界的目的。

社交距離+疫情區(qū)域助力盲人抗擊疫情

在本次疫情期間，視障人士作為社會(huì)弱勢群體更需要得到關(guān)愛，5G導(dǎo)盲鏡利用社交距離檢測、疫情區(qū)域預(yù)警功能降低視障人士感染的風(fēng)險(xiǎn)，助力盲人有效抗擊疫情。

社交距離預(yù)警。在公共場合保持安全距離，是預(yù)防病毒傳播的一個(gè)通用做法。WHO 倡議人與人應(yīng)保持至少 3 英尺（0.9 米）的距離，我國則建議保持在 1.5—2 米，來降低感染的風(fēng)險(xiǎn)。通過5G導(dǎo)盲鏡上的雙目攝像頭捕獲實(shí)時(shí)圖像，利用AI計(jì)算機(jī)視覺技術(shù)對(duì)圖像中的路人進(jìn)行測距，實(shí)時(shí)測算出盲人與周圍行人的距離，當(dāng)檢測超出安全距離之后利用5G網(wǎng)絡(luò)及時(shí)給出提醒。

疫情區(qū)域預(yù)警。從疾控中心獲取實(shí)時(shí)疫情防控地圖，疫情防控地圖中包含發(fā)生疫情的地點(diǎn)經(jīng)緯度，將疫情防控地圖實(shí)時(shí)更新至5G導(dǎo)盲鏡，通過5G導(dǎo)盲鏡上的定位模組實(shí)時(shí)獲取的盲人行為軌跡，當(dāng)盲人行走至疫情嚴(yán)重區(qū)域附近，實(shí)時(shí)對(duì)視障人士發(fā)出預(yù)警信息，從而避免盲人誤入疫情嚴(yán)重區(qū)域。

除此之外，5G導(dǎo)盲鏡還包含以下六大功能點(diǎn)：

障礙物檢測：基于紅外雙目相機(jī)，在自然光和結(jié)構(gòu)光的輔助下，進(jìn)行大尺度立體匹配，獲取稠密深度圖。利用均值漂移算法，計(jì)算最近若干個(gè)障礙物的距離、方向和尺寸，并映射到立體聲音，視障人士可以根據(jù)聽到的聲音達(dá)到避障的效果。

斑馬線檢測：安全地過馬路是盲人群體日常出行的迫切需要。基于條帶提取和聚類的人行橫道檢測算法，被用于盲人在交通路口尋找和定位人行橫道。將人行橫道的位置和方向被識(shí)別出來，并轉(zhuǎn)換為提示信息輸出給使用者。

紅路燈檢測：基于顏色提取和機(jī)器學(xué)習(xí)的人行道交通燈檢測算法，能夠?qū)崟r(shí)準(zhǔn)確地檢測到交通燈在圖像中的位置，并給出交通燈的狀態(tài)?？蜻x交通燈的對(duì)應(yīng)顏色矩形，即為檢測結(jié)果，然后將識(shí)別結(jié)果以聲音方式傳遞給用戶。

精準(zhǔn)定位導(dǎo)航：通過利用GPS及5G高密度組網(wǎng)有利于多基站協(xié)作實(shí)現(xiàn)高精度定位的特點(diǎn)，并結(jié)合圖像處理技術(shù)和姿態(tài)角微小移位技術(shù)，能夠?qū)⒍ㄎ痪榷x到米級(jí)，例如能夠給用戶提醒，超市在左前方17m。

人臉識(shí)別：盲人智能視覺輔助中的人臉識(shí)別，旨在幫助視障人士感知和識(shí)別日常生活場景中出現(xiàn)的朋友、親人等。在視障用戶使用智能視覺輔助設(shè)備的過程中，人臉識(shí)別系統(tǒng)逐漸采集并學(xué)習(xí)用戶常遇見的人臉，當(dāng)識(shí)別系統(tǒng)達(dá)到足夠的訓(xùn)練程度時(shí)對(duì)場景中出現(xiàn)的人臉進(jìn)行識(shí)別，將識(shí)別結(jié)果以特定的交互方式傳遞給用戶。

紙幣識(shí)別：根據(jù)視障人士需求調(diào)研所提供的便利生活的功能設(shè)計(jì)。現(xiàn)有的紙幣識(shí)別方法是根據(jù)RGB—D相機(jī)進(jìn)行深度篩選，用分類器框出檢測到的紙幣區(qū)域，對(duì)區(qū)域進(jìn)行SURF特征點(diǎn)檢測判斷是否存在紙幣以及紙幣面值。該方法可以針對(duì)復(fù)雜環(huán)境實(shí)時(shí)提取紙幣區(qū)域并給出紙幣面值，具有較好的魯棒性。

5G導(dǎo)盲鏡通過調(diào)用云端和邊緣端能力使得設(shè)備成本更低、重量更輕，將給視覺障礙人士帶來全新的體驗(yàn)，顛覆視覺輔助行業(yè)。目前已和浙江省殘疾人學(xué)校、浙江省盲人學(xué)校、杭州市殘聯(lián)深度合作打造盲人社區(qū)。隨著5G網(wǎng)絡(luò)覆蓋杭州全城，5G導(dǎo)盲鏡將服務(wù)于更多的視障人士。5G讓盲人“看見”世界，讓視障、視弱群體重見光明，幫助他們的生活變得更便利、更美好。