文/許珂 蒲霖 張琳

針對(duì)自動(dòng)駕駛車輛視野范圍強(qiáng)依賴于硬件配置和部署場(chǎng)景的局限性，設(shè)計(jì)了一個(gè)基于IPv6融合人工智能的車聯(lián)網(wǎng)視頻智能處理系統(tǒng)—— IPv6_See_Through，利用IPv6的動(dòng)態(tài)自動(dòng)配置地址以及增強(qiáng)的組播流媒體控制技術(shù)，車輛融合多路視頻后通過(guò)深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)，進(jìn)而增大自動(dòng)駕駛汽車的駕駛感知范圍、提高感知信息的準(zhǔn)確性，解決依賴自身傳感器無(wú)法解決的問(wèn)題，如盲區(qū)監(jiān)測(cè)、不良視線檢測(cè)等。分析表明本系統(tǒng)可保證視頻畫面實(shí)時(shí)性與檢測(cè)準(zhǔn)確性，具有一定實(shí)用價(jià)值。

隨著現(xiàn)代傳感技術(shù)、數(shù)據(jù)分析、人工智能等技術(shù)與設(shè)備的飛速發(fā)展，近年來(lái)智能交通系統(tǒng)（ITS）的學(xué)術(shù)研究和行業(yè)發(fā)展十分突出，對(duì)提高交通服務(wù)智能化的各個(gè)方面產(chǎn)生了深刻的影響。在國(guó)外，谷歌、特斯拉、Mobileye自動(dòng)駕駛系統(tǒng)，基于傳感器、雷達(dá)和攝像頭的各種信息輸入，通過(guò)人工智能技術(shù)決策，單車自動(dòng)駕駛已經(jīng)在一定程度上實(shí)現(xiàn)。在國(guó)內(nèi)，2016年9月28日，華為、奧迪、寶馬、戴姆勒、沃達(dá)豐、愛立信、英特爾、諾基亞、高通宣布結(jié)成了5G汽車聯(lián)盟(5GAA)。各公司將在車聯(lián)網(wǎng)通信解決方案的開發(fā)、測(cè)試、促進(jìn)銷售方面展開合作，并支持標(biāo)準(zhǔn)化，加快商用化和向全球市場(chǎng)推廣。目前已涵蓋主要車企、運(yùn)營(yíng)商與設(shè)備商成員40多家。

然而，通過(guò)車輛自身傳感器等硬件設(shè)備獲得環(huán)境信息具有很大的局限性，車輛視野范圍強(qiáng)依賴于硬件配置和部署場(chǎng)景。在晚上、雨雪天、霧天等惡劣天氣下，在交叉路口、拐彎處等場(chǎng)景，雷達(dá)、攝像頭存在看不見，看不清，看不準(zhǔn)的情況。特斯拉曾發(fā)生過(guò)的一次致命事故，即為在強(qiáng)烈的日照條件下，自動(dòng)駕駛未能識(shí)別卡車的白色車身，因此未能及時(shí)啟動(dòng)剎車系統(tǒng)所導(dǎo)致。針對(duì)這些場(chǎng)景開發(fā)性能更強(qiáng)的傳感器，成本會(huì)高到消費(fèi)者無(wú)法承受的地步。

針對(duì)上述問(wèn)題，利用V2X通信（V2I,V2V,V2P）技術(shù)，能夠提供遠(yuǎn)超出當(dāng)前傳感器感知范圍的信息。本質(zhì)上可以把V2X視為一個(gè)拉長(zhǎng)拉遠(yuǎn)的“傳感器”，通過(guò)和周邊車輛、道路、基礎(chǔ)設(shè)施的通訊，獲取比單車能得到的更多的信息，大大增強(qiáng)對(duì)周圍環(huán)境的感知。同時(shí)，相對(duì)于IPv4網(wǎng)絡(luò)協(xié)議，IPv6協(xié)議更大地址空間、動(dòng)態(tài)地址自動(dòng)配置、加強(qiáng)的組播以及對(duì)流媒體控制的特性，使IPv6在車聯(lián)網(wǎng)視頻傳輸中提高網(wǎng)絡(luò)整體吞吐量、支持構(gòu)建動(dòng)態(tài)合作式視頻處理系統(tǒng)、改善視頻傳輸性能與質(zhì)量。更進(jìn)一步的，通過(guò)深度學(xué)習(xí)的方式使車輛更加智能化的自主判斷道路狀況并做出應(yīng)急措施。

本文設(shè)計(jì)了一個(gè)基于IPv6融合人工智能的車聯(lián)網(wǎng)視頻智能處理系統(tǒng)—— IPv6_See_Through，增大自動(dòng)駕駛汽車的駕駛感知范圍、提高感知信息的準(zhǔn)確性，解決依賴自身傳感器無(wú)法解決的問(wèn)題。最后給出數(shù)據(jù)分析表明系統(tǒng)的可靠性。

IPv6_See_Through系統(tǒng)設(shè)計(jì)

自動(dòng)化駕駛車輛應(yīng)猶如人一樣具有感知和決策能力。眼睛可以看見視野范圍內(nèi)的各個(gè)物體即環(huán)境感知能力，耳朵可以收到其他物體傳來(lái)的訊息即通訊能力，大腦則將收集到的所有信息分析處理、最終做出決策以控制行動(dòng)即決策應(yīng)用能力。本文將上述能力概括為ITS的五層概念模型如圖1所示，用于表征自動(dòng)駕駛系統(tǒng)的典型架構(gòu)和主要組件。

圖1 IPv6_See_Through系統(tǒng)概念模型

物理層：物理層封裝ITS中涉及的各種物理實(shí)體，如數(shù)據(jù)采集設(shè)備（數(shù)碼相機(jī)、攝像頭、傳感器、雷達(dá)、pad），車輛和其他公共環(huán)境物體（交通信號(hào)燈）等。各物理實(shí)體為數(shù)據(jù)生成的源頭。該層通過(guò)實(shí)體間的合理配置，快速獲得高質(zhì)量高可靠性的數(shù)據(jù)信息。比如車輛視頻的獲取可通過(guò)安裝固定攝像頭，也可通過(guò)常用具有攝像功能的手持設(shè)備（pad、手機(jī)等）。

數(shù)據(jù)層：將物理層得到的信息劃分為三類?；A(chǔ)信息，即時(shí)間、速度、GPS位置等，一般為文本類信息；環(huán)境信息，即道路狀況、交通燈、建筑物等可看見的信息，一般為圖像視頻類信息；重點(diǎn)信息，即事故、提醒等由其他設(shè)備直接報(bào)告的信息，文本、圖像、聲音等信息均可。該層相關(guān)技術(shù)包括數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)處理技術(shù)（視頻數(shù)據(jù)壓縮、數(shù)據(jù)格式選擇）等。視頻數(shù)據(jù)在處理（融合、人工智能）之前，需保存于可靠位置，以保證與其他數(shù)據(jù)的后續(xù)融合處理。又由于數(shù)據(jù)冗余性會(huì)占用帶寬且給其他通訊設(shè)備造成無(wú)效信息處理的負(fù)擔(dān)，所以需要用到視頻壓縮等關(guān)鍵技術(shù)以保證可靠性和安全性。

圖2 IPv6_See_Through系統(tǒng)實(shí)現(xiàn)

網(wǎng)絡(luò)層：車聯(lián)網(wǎng)V2X通訊包括V2V（車和車）、V2I（車和基礎(chǔ)設(shè)施）、V2P（車和人）三個(gè)方面。其基本要求是V2V的通訊必須隨處可用，包括沒有網(wǎng)絡(luò)覆蓋的環(huán)境，所以V2V的直聯(lián)是V2X的基本功能。IEEE下面有IEEE 802.11p(DSRC)，LTE下面有 LTE-V PC5，都支持V2V直聯(lián)。許多自動(dòng)駕駛場(chǎng)景下（如編隊(duì)行駛、并道等），因?yàn)槭瞻l(fā)車輛的距離近，V2V的直聯(lián)是更好的通訊模式。另外，由于車輛環(huán)境復(fù)雜，網(wǎng)絡(luò)節(jié)點(diǎn)（車輛、基礎(chǔ)設(shè)施、人）眾多導(dǎo)致數(shù)據(jù)量大，所以需要網(wǎng)絡(luò)擁塞控制、干擾管理和網(wǎng)絡(luò)覆蓋方面的統(tǒng)一協(xié)調(diào)，將相關(guān)視頻數(shù)據(jù)融合可有效減少數(shù)據(jù)冗余的問(wèn)題。

圖3 視頻傳輸流程

應(yīng)用層：對(duì)有效信息進(jìn)行處理決策以控制車輛行為，該層使用的關(guān)鍵技術(shù)有深度學(xué)習(xí)、人工智能等。

上述模型具體化為IPv6_See_Through系統(tǒng)實(shí)現(xiàn)，如圖2所示。0號(hào)車輛的視野范圍為綠色區(qū)域，1-3號(hào)車輛的視野范圍為橙色區(qū)域且具有重疊部分。0號(hào)車輛的視線被1-3號(hào)車輛阻擋，若1號(hào)車輛前方發(fā)生緊急剎車狀況時(shí)，極有可能導(dǎo)致追尾情況。然而，若0號(hào)車輛接收來(lái)自1-3號(hào)車輛視野視頻并融合為大視野視頻，最后通過(guò)深度學(xué)習(xí)等技術(shù)識(shí)別分類視頻中的物體（汽車、人等），盡早在更大視野中做出預(yù)判，有效減少事故的發(fā)生率。

系統(tǒng)關(guān)鍵技術(shù)分析

高速率低時(shí)延的視頻傳輸技術(shù)

信息傳輸是合作式自動(dòng)駕駛的基礎(chǔ)，越快速高質(zhì)量的傳輸，信息的效用越高，越有利于后續(xù)車輛做出正確的判斷和抉擇。目前車輛數(shù)量極大，且車聯(lián)網(wǎng)環(huán)境具有拓?fù)渥兓?、車輛之間接觸時(shí)間短、通信鏈路不穩(wěn)定、傳輸帶寬有限、實(shí)時(shí)性要求較高等特點(diǎn)，文本信息數(shù)據(jù)量相對(duì)較小，傳輸完成所需時(shí)間短，而視頻信息數(shù)據(jù)量巨大，在車輛接觸的有限時(shí)間有限帶寬下，極容易發(fā)生信息傳輸不完整、播放中斷、畫質(zhì)不清晰等問(wèn)題。如圖3為視頻傳輸流程圖所示，視頻從產(chǎn)生、編碼、傳輸?shù)阶詈蟛シ畔M(fèi)，各個(gè)環(huán)節(jié)都會(huì)產(chǎn)生延遲。其中，成像延遲取決于硬件設(shè)備，視頻編解碼延遲和網(wǎng)絡(luò)延遲通過(guò)策略的選擇可有效改進(jìn)。

因此主要考慮如下三點(diǎn)：

（1）使用IPv6地址分配于各車輛以適應(yīng)車聯(lián)網(wǎng)節(jié)點(diǎn)多的特性。IPv4中規(guī)定IP地址長(zhǎng)度為32bit，最大地址個(gè)數(shù)為2^32；而IPv6中IP地址的長(zhǎng)度為128，即最大地址個(gè)數(shù)為2^128，且網(wǎng)絡(luò)中一個(gè)接口可以有一個(gè)或多個(gè)IPv6地址，將IPv6應(yīng)用到車聯(lián)網(wǎng)中，有效解決了地址匱乏問(wèn)題。

表1 視頻壓縮標(biāo)準(zhǔn)性能對(duì)比

圖4 圖像拼接流程

（2）選擇高效的視頻編解碼方式以提高帶寬利用率、保證傳輸速率與視頻連續(xù)性。如表1所示，由于 H.264的壓縮比高，授權(quán)成本較低，使用領(lǐng)域非常廣泛，本文采用H.264編碼方式。以MPEG2壓縮比為1相比，H.264可達(dá)到25%-40%的壓縮比率。

（3）選擇合適的車輛間網(wǎng)絡(luò)數(shù)據(jù)傳輸協(xié)議和傳輸方式以適應(yīng)車輛接觸時(shí)間短的特性。一方面，車聯(lián)網(wǎng)中車輛為多對(duì)多的傳輸方式。IPv4中定義了三種數(shù)據(jù)包的傳輸：?jiǎn)尾?、組播和廣播。組播是一種允許一個(gè)或者多個(gè)發(fā)送者(組播源)發(fā)送單一的數(shù)據(jù)包同時(shí)到多個(gè)接受者的網(wǎng)絡(luò)技術(shù)，其傳輸機(jī)制是無(wú)論有多少個(gè)目的地址，在整個(gè)網(wǎng)絡(luò)的任何一條鏈路上只傳輸單一的數(shù)據(jù)包，所以相對(duì)于單播，組播具有節(jié)約帶寬、提高傳輸速率的優(yōu)越性。IPv6 協(xié)議加強(qiáng)了組播技術(shù)并增加了對(duì)流媒體的控制，高效實(shí)現(xiàn)多路視頻數(shù)據(jù)信息傳輸。 另一方面，由于車輛接觸時(shí)間短，通信前需要建立連接的方式會(huì)導(dǎo)致時(shí)延增加，所以車輛間通信采用802.11p協(xié)議（DSRC），802.11p協(xié)議中規(guī)定工作站可以在不加入基礎(chǔ)服務(wù)集的情況下建立通信鏈路，減少了由于加入服務(wù)、建立連接、權(quán)限認(rèn)證等過(guò)程所消耗的時(shí)間，適合高速移動(dòng)的車載環(huán)境。

基于視頻融合的分布式目標(biāo)檢測(cè)與追蹤技術(shù)

在目標(biāo)檢測(cè)與追蹤之前，車輛接收到多路視頻后，需要將多路視頻融合為大視野視頻，以減少視頻冗余度，進(jìn)而降低后續(xù)深度學(xué)習(xí)處理的的目標(biāo)檢測(cè)與追蹤復(fù)雜度與消耗時(shí)間。

視頻融合的基本技術(shù)為圖像拼接技術(shù)。圖像拼接的基本流程如圖4所示，主要分為四個(gè)步驟：圖像匹配（registration）、重投影（reprojection）、縫合（stitching）和融合（blending）。

圖像匹配：是指一對(duì)描繪相同場(chǎng)景之間的幾張圖片的幾何對(duì)應(yīng)關(guān)系。一組照片可以是不同時(shí)間不同位置的拍攝，或者由多個(gè)傳感器同時(shí)拍攝多張圖像。

重投影：通過(guò)圖像的幾何變換，把一系列圖片轉(zhuǎn)換成一個(gè)共同的坐標(biāo)系。

縫合：通過(guò)合并重疊部分的像素值并保持沒有重疊的像素值使之生成更大畫布的圖像。

圖5 基于視頻融合的分布式架構(gòu)

圖6 OpenCL的工作模型

融合：通過(guò)幾何和光度偏移錯(cuò)誤通常導(dǎo)致對(duì)象的不連續(xù)，并在兩個(gè)圖像之間的邊界附近產(chǎn)生可見的接縫。因此，為了減小接縫的出現(xiàn)，需要在縫合時(shí)或縫合之后使用混合算法。

進(jìn)一步，對(duì)于單輛汽車而言，由于移動(dòng)平臺(tái)其資源受限性和計(jì)算能力有限，導(dǎo)致無(wú)法進(jìn)行實(shí)時(shí)的基于深度學(xué)習(xí)來(lái)做道路物體檢測(cè)。為此，本文提出一種基于車隊(duì)通信的分布式深度學(xué)習(xí)方案，主要用于深度學(xué)習(xí)執(zhí)行階段的分布式計(jì)算。分布式架構(gòu)圖如圖5所示。每一輛車安裝一臺(tái)車載通信單元 OBU(on-board unit)，用于DSRC車輛間通信，同時(shí)車輛中安置一臺(tái)手機(jī)，其攝像頭用于視頻數(shù)據(jù)的采集，CPU和GPU用于視頻數(shù)據(jù)處理融合以及深度學(xué)習(xí)的計(jì)算。車輛間互相通信傳輸視頻流等信息。當(dāng)車輛一收到車輛二和車輛三的攝像頭中視頻流的圖片幀后，進(jìn)行圖像融合并且進(jìn)行分布式目標(biāo)檢測(cè)。車輛檢測(cè)到目標(biāo)后，識(shí)別目標(biāo)種類與目標(biāo)的狀態(tài)作出安全決策，如剎車、減速等行為。

表2 視頻參數(shù)

圖8 視頻4路互傳實(shí)驗(yàn)

圖9 兩路視頻融合互傳實(shí)驗(yàn)

在Android手機(jī)計(jì)算集群中，配置有GPU計(jì)算設(shè)備的計(jì)算節(jié)點(diǎn)，在目標(biāo)識(shí)別的過(guò)程中不但應(yīng)該充分利用CPU計(jì)算能力，更應(yīng)該充分挖掘GPU強(qiáng)大的并行能力。在GPU并行方案里面，OpenCL具備擴(kuò)展能力強(qiáng)，并行充分等特點(diǎn)。故本工程采用OpenCL作為GPU并行計(jì)算的調(diào)用框架。OpenCL提供了控制并行計(jì)算設(shè)備的一些接口以及一些控制單元行為的類C編程語(yǔ)言。利用OpenCL接口可以開發(fā)并行度高、運(yùn)行在GPU或者其他處理設(shè)備上的程序。OpenCL的工作模型如圖6所示.

圖1O 分布式圖片處理實(shí)驗(yàn)數(shù)據(jù)

在深度學(xué)習(xí)中，運(yùn)算量最大的卷積層采用OpenCL進(jìn)行并行GPU加速，根據(jù)卷積算法的特點(diǎn)，使用OpenCL實(shí)現(xiàn)卷積算法可以分為以下幾個(gè)步驟：創(chuàng)建OpenCL的存儲(chǔ)器對(duì)象，即圖像對(duì)象和緩存對(duì)象；通過(guò)提供一個(gè)三維的偏移和范圍并調(diào)用函數(shù)，將圖像對(duì)象拷貝到GPU緩存中；編譯并執(zhí)行內(nèi)核函數(shù)。同時(shí)單幅圖片在單臺(tái)手機(jī)上的識(shí)別，采用Yolo深度學(xué)習(xí)模型耗時(shí)1～3秒左右，不能達(dá)到安全實(shí)時(shí)的需求。由此我們?cè)O(shè)計(jì)一套分布式計(jì)算的方法去將單臺(tái)手機(jī)計(jì)算量劃分到多個(gè)組中進(jìn)行。每臺(tái)手機(jī)就是計(jì)算任務(wù)中的一個(gè)進(jìn)程，手機(jī)之間采用OBU的DSRC進(jìn)行通信。將深度學(xué)習(xí)中的卷積層的對(duì)圖像的卷積計(jì)算進(jìn)行橫向劃分，每臺(tái)手機(jī)負(fù)責(zé)矩陣圖像中的部分矩陣行數(shù)據(jù)。由此使用分布式技術(shù)提升深度學(xué)習(xí)的計(jì)算速度。

系統(tǒng)數(shù)據(jù)分析

實(shí)驗(yàn)中，我們采用4臺(tái)華為pad進(jìn)行視頻的多路傳輸，如圖8所示，每路視頻延時(shí)小于0.5s。視頻參數(shù)如表格2所示。視頻傳輸后，系統(tǒng)做實(shí)時(shí)融合，兩路視頻融合時(shí)間約為15ms/幀，如圖9所示標(biāo)明圖中兩幀圖片的界線，分別為紅色邊界和白色邊界。

視頻融合后，采用最多 4臺(tái)華為pad進(jìn)行并行化目標(biāo)識(shí)別，采用Tiny-YOLO的網(wǎng)絡(luò)結(jié)構(gòu)，其實(shí)驗(yàn)結(jié)果如圖10。

對(duì)于單張圖片的計(jì)算耗時(shí)，隨著分布式程度的增加時(shí)間大大減少。采用4臺(tái)手機(jī)并行處理圖片其總時(shí)延在1s以內(nèi)，基本滿足安全性要求。

通過(guò)車輛間通信形成龐大的合作式智能網(wǎng)絡(luò)來(lái)交換重要信息的方式可大大拓寬車輛視野；通過(guò)深度學(xué)習(xí)的方式使車輛更加智能化的自主判斷道路狀況并做出應(yīng)急措施。本文設(shè)計(jì)的融合IPv6技術(shù)的車聯(lián)網(wǎng)中視頻智能處理系統(tǒng)—— IPv6_See_Through，采用視頻分發(fā)合作的方式，利用IPv6的動(dòng)態(tài)自動(dòng)配置地址以及增強(qiáng)的組播流媒體控制技術(shù)，車輛融合多路視頻后通過(guò)深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)，進(jìn)而增大自動(dòng)駕駛汽車的駕駛感知范圍、提高感知信息的準(zhǔn)確性，解決依賴自身傳感器無(wú)法解決的問(wèn)題，如盲區(qū)監(jiān)測(cè)、不良視線檢測(cè)等自身傳感器無(wú)法解決的問(wèn)題，如盲區(qū)監(jiān)測(cè)、不良視線檢測(cè)等，可起到防患于未然、降低自動(dòng)駕駛系統(tǒng)成本、提高系統(tǒng)可靠性等作用。在以后研究中將進(jìn)一步提高系統(tǒng)性能。

（責(zé)編：高錦）

[1] 國(guó)家車聯(lián)網(wǎng)產(chǎn)業(yè)標(biāo)準(zhǔn)體系建設(shè)指南（智能網(wǎng)聯(lián)汽車）（2017）

[2] Vinel A, Belyaev E, Lamotte O, et al. Video transmission over IEEE 802.11p: Real-world measurements[C]// IEEE International Conference on Communications Workshops. IEEE, 2013:505-509.

[3] Liu Z, Dong M, Zhang B, et al. RMV: Real-Time Multi-View Video Streaming in Highway Vehicle Ad-Hoc Networks (VANETs)[C]// GLOBECOM 2016 - 2016 IEEE Global Communications Conference. IEEE, 2016:1-6.

[4] Segvic S, Sevrovic M, Kos G, et al. Preliminary experiments in multi-view video stitching[J].Proceedings of the International Convention on Information and Communication Technology, Electronics and Microelectronics ? MIPRO 2011 / Bogunovi?, Nikola ; Ribari?, Slobodan, 2011:892-896

[5] Dan G, Marpe D, Mulayoff A, et al. Performance comparison of H.265/MPEG-HEVC, VP9, and H.264/MPEG-AVC encoders[C]// Picture Coding Symposium. IEEE, 2014:394-397.