許暉
從無(wú)到有再到普及,不知不覺(jué)之間,ADAS 技術(shù)已經(jīng)發(fā)展了一段不短的時(shí)間。從知道到認(rèn)識(shí)再到習(xí)以為常,尋常人對(duì)于ADAS 功能的了解,也隨著越來(lái)越多車輛配置ADAS 技術(shù),日益豐富的功能選項(xiàng)極大便利駕乘感受得到逐步接受。或許不少人會(huì)認(rèn)為ADAS 技術(shù)并不難,就連后裝市場(chǎng)企業(yè)都紛紛推出號(hào)稱具有ADAS 功能的產(chǎn)品,實(shí)際上真正厲害的技術(shù)產(chǎn)品,始終需要更深層次的積累與沉淀。譬如MINIEYE I-CS 座艙感知方案
A dv anc ed Dr iv er A ssist anc eSystem(ADAS) 高級(jí)駕駛輔助系統(tǒng),作用是在緊急情況下,駕駛員主觀反應(yīng)之前作出主動(dòng)判斷和預(yù)防措施,達(dá)到預(yù)防和輔助的作用。高級(jí)輔助駕駛系統(tǒng)(ADAS)屬于廣義概念。凡能提升駕駛安全性和舒適性的功能,皆可歸入其范疇,譬如大家所熟悉的ACC 自適應(yīng)續(xù)航、AEB/CMbB自動(dòng)緊急制動(dòng)、TSR/TSI 交通標(biāo)志識(shí)別、BSD/BLIS 盲點(diǎn)監(jiān)測(cè)、LCA/LCMA 變道輔助、LDW 車道偏離預(yù)警等等,均可視為ADAS 系統(tǒng)功能之一。甚至就連高精地圖都應(yīng)歸類其中,畢竟導(dǎo)航功能讓不少人得以告別路盲癥候群,而高精地圖不但能提供更為精確的導(dǎo)航,還能為自動(dòng)泊車等不少其他ADAS 功能提供定位佐證。
通常消費(fèi)者所理解的ADAS,大多是基于視覺(jué)感知方案外加多傳感器融合的艙外感知功能。而對(duì)于DMS(駕駛員監(jiān)測(cè))以及OMS(乘客監(jiān)測(cè)),甚至艙內(nèi)物品及環(huán)境監(jiān)測(cè)的艙內(nèi)感知功能都不甚了解。從2018 年開(kāi)始,隨著汽車行業(yè)規(guī)范及法規(guī)的逐步完善,越來(lái)越多如Euro NCAP、EU Commission、US NHTSA、USNTSB 等測(cè)試組織與機(jī)構(gòu),紛紛提出針對(duì)艙內(nèi)駕駛員、乘員感知功能的需求。部分更給出了明確的時(shí)間表,鼓勵(lì)、推薦甚至強(qiáng)制在隨后所生產(chǎn)的新車上,必須具備有能和艙內(nèi)人機(jī)交互系統(tǒng)相結(jié)合的駕駛員監(jiān)控系統(tǒng),且針對(duì)未來(lái)車輛更著重強(qiáng)調(diào)需能檢測(cè)滯留在車內(nèi)兒童、寵物等活體,并提醒駕駛員的功能。有異于ADAS 系統(tǒng)之中的艙外感知功能,艙內(nèi)感知功能更多依靠攝像頭傳感器達(dá)成。有數(shù)據(jù)顯示,到2023 年,預(yù)計(jì)平均每輛車將配載2 顆以上的攝像頭,而高端豪華型車輛預(yù)計(jì)將達(dá)到10 顆之多。這將讓艙內(nèi)功能從安全導(dǎo)向的監(jiān)控功能,逐步過(guò)渡為理解人類意圖,以舒適娛樂(lè)為導(dǎo)向的監(jiān)控感知功能。
值得一提的是,由于ADAS 功能早年就被歸類劃分至美國(guó)高速公路安全管理局(NHTSA)和國(guó)際自動(dòng)機(jī)工程師學(xué)會(huì)(SAE)所制定的“自動(dòng)駕駛分級(jí)參考”之內(nèi),所以不少人將其稱為自動(dòng)駕駛的簡(jiǎn)化版。實(shí)際上這應(yīng)該屬于一種誤讀,ADAS 功能真正意義上應(yīng)該屬于車輛的自動(dòng)化功能,而自動(dòng)駕駛分級(jí)參考更應(yīng)理解成為對(duì)于車輛自動(dòng)化程度的劃分。ADAS 功能雖然減輕了駕駛員的駕駛壓力,不過(guò)終歸不能屬于自動(dòng)駕駛功能,充其量屬于將來(lái)為自動(dòng)駕駛提供感知的一環(huán)。
通過(guò)追蹤包括頭部轉(zhuǎn)向、面部表情、視線方向、手勢(shì)以及肢體關(guān)節(jié)點(diǎn)等人體視覺(jué)特征,進(jìn)一步分析駕駛員及乘客的身份信息、動(dòng)作意圖和行為數(shù)據(jù),是ADAS艙內(nèi)感知所實(shí)現(xiàn)的具體功能。這些貌似僅需數(shù)個(gè)攝像頭攝取圖像,比對(duì)目標(biāo)數(shù)據(jù)庫(kù)就能完成的“簡(jiǎn)單”功能,或許讓不少人人感覺(jué)門檻并不高。這不就是生物特征檢測(cè)嘛,消費(fèi)電子領(lǐng)域老早就普及了,那些遍布各個(gè)角落,基于攝像頭的物聯(lián)網(wǎng)功能早爛大街了吧。
不要忘了任何消費(fèi)電子領(lǐng)域的技術(shù)與產(chǎn)品,一旦需要實(shí)現(xiàn)成為車載功能,那么就要另當(dāng)別論了?!笆覂?nèi)”與“艙內(nèi)”,一字之差背后所需考慮的問(wèn)題,堪稱“外行看熱鬧,內(nèi)行看門道”的經(jīng)典解釋。車載領(lǐng)域的嚴(yán)苛豈非尋常消費(fèi)電子領(lǐng)域所能比擬。如ECU 上的計(jì)算資源限制、車規(guī)級(jí)攝像頭模組的技術(shù)規(guī)格與未來(lái)發(fā)展規(guī)劃、不同車型內(nèi)飾設(shè)計(jì)以及座艙集成方可接受的攝像頭位置布局,甚至還可能涉及到復(fù)雜的真實(shí)交通場(chǎng)景所帶來(lái)的影響。簡(jiǎn)而言之,在極其考究能耗、空間、算力以及行駛安全性上,一套通盤考慮以上問(wèn)題的ADAS 艙內(nèi)感知功能解決方案,不但需要便于隱藏的嬌小硬件,還需要具有低功耗且高效率的,基于車規(guī)級(jí)平臺(tái)嵌入式計(jì)算機(jī)視覺(jué)與人工智能(AI)技術(shù)支持,更需要靈活封裝的軟件方案,以更好適應(yīng)不同OEM 廠家定制化的需求。
MINIEYE 近期所發(fā)布的這套I-CS座艙感知方案,是其在深耕汽車行業(yè)多年,經(jīng)年累月所沉淀的技術(shù)底蘊(yùn)之下所推出的成熟方案。這其中包含了兩類MINIEYE自主研發(fā)的核心技術(shù)。第一項(xiàng)是針對(duì)神經(jīng)網(wǎng)絡(luò)輕量化以及快速運(yùn)算需求的壓縮技術(shù)。眾所周知,作為視覺(jué)識(shí)別系統(tǒng)永遠(yuǎn)跳脫不開(kāi)的卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeural Networks, CNN)算法,其從攝像頭所獲得的圖像精確度,直接決定了識(shí)別成功率以及準(zhǔn)確率。I-CS 的ThiNet 可以有效加速并壓縮用于艙內(nèi)感知的卷積神經(jīng)網(wǎng)絡(luò)。在保證極少的精確度衰減前提下,極盡所能地瘦身神經(jīng)網(wǎng)絡(luò),通過(guò)ThiNet 裁剪,除身份識(shí)別功能外,用于DMS 的CNN 算法模塊每幀僅占用234M Operations。而這套艙內(nèi)感知的CNN 算法模塊是為了車規(guī)級(jí)嵌入式平臺(tái)量身打造,并根據(jù)自研CNN加速器特性進(jìn)行深度定制,能有效發(fā)揮出CNN 加速器算力,達(dá)到理論峰值算力的95% 以上。另外一項(xiàng)則是CNN 高速推理框架技術(shù):基于CPU/GPU 的MINIDNN 和基于FPGA 的HardNet。這項(xiàng)技術(shù)解決了當(dāng)前CPU 面對(duì)大規(guī)模CNN 網(wǎng)絡(luò)處理乏力的難題,有趣的是其除了具有高效的加速能力,支持基于Caffe、Tensorflow 等主流CNN 網(wǎng)絡(luò)之外,更具有完全裁剪性,也就是說(shuō)根據(jù)不同用戶的需求,可隨意裁剪出一款最適合的CNN 加速器并滿足資源消耗和性能的平衡。
實(shí)際測(cè)試總是最好玩的。如果說(shuō)看得懂上面一段內(nèi)容的讀者屬于內(nèi)行人士。那么為了外行群眾也直觀體會(huì)到這套I-CS座艙感知方案的熱鬧,我們選擇在充分了解系統(tǒng)工作原理后,親身上車成為DMS與OMS 系統(tǒng)監(jiān)測(cè)對(duì)象,好好“測(cè)(Xi)試(shua)”一番。
把測(cè)試系統(tǒng)安裝在某國(guó)內(nèi)造車新勢(shì)力車型上測(cè)試實(shí)在用心良苦。與傳統(tǒng)造車勢(shì)力“字正腔圓”、“中規(guī)中矩”的架構(gòu)體系相比,國(guó)內(nèi)造車新勢(shì)力所提倡的全新造車?yán)砟睿约按竽懙墓δ苄枨?,才是各類車載系統(tǒng)所需直面的挑戰(zhàn)。I-CS 座艙感知方案硬件包含兩個(gè)IR 紅外攝像頭及對(duì)應(yīng)處理模塊。其中DMS 功能攝像頭安放在方向盤連接軸蓋板,OMS 攝像頭則處于后視鏡后側(cè)下沿。估計(jì)是因?yàn)闇y(cè)試原因,兩個(gè)攝像頭并沒(méi)有被刻意隱藏起來(lái),不過(guò)從其體積來(lái)看在實(shí)際交付時(shí)候,隱秘于車輛內(nèi)飾完全不是問(wèn)題。
快速、準(zhǔn)確地識(shí)別出活體駕駛員的一舉一動(dòng)是DMS 功能的主要訴求。一個(gè)成熟的測(cè)試者總會(huì)希望挑戰(zhàn)各種“cornercase”之中的“corner case”。所以我決定首先以照片和視頻方式挑戰(zhàn)系統(tǒng)的“非配合式活體身份識(shí)別”。在窮盡各種欺騙手段后發(fā)現(xiàn)盡數(shù)失敗,IR 攝像頭的IR光源直接照片以及視頻手段失效。隨后本人祭出了日常駕駛之中所涉及的各類動(dòng)作,包括模擬疲勞駕駛的閉合眼瞼、打哈欠、頭部上仰與低垂;模擬駕駛分神的頭部左顧右盼、視線脫離正前方道路;模擬不良駕駛習(xí)慣的打電話、抽煙。無(wú)一例外全部快速識(shí)別并在監(jiān)控屏幕上對(duì)應(yīng)標(biāo)定。系統(tǒng)工作原理在于從駕駛員入艙的一刻,從攝像頭回饋圖像之中,快速準(zhǔn)確定位其面部的68 個(gè)特征點(diǎn),通過(guò)在持續(xù)比對(duì)真實(shí)人臉與平均人臉數(shù)據(jù)之中,學(xué)習(xí)并建立自適應(yīng)3D 建模,以頭部姿態(tài)估計(jì)定位頭部朝向,同時(shí)通過(guò)定位瞳孔外緣的中心和角膜虛擬球體的中心,定位視線矢量原點(diǎn),最終雙向結(jié)合判斷視線朝向。不難看出,目前業(yè)內(nèi)對(duì)于如何通過(guò)角膜反射法,將精確視線與穩(wěn)定視線相結(jié)合,并解決亮瞳與暗瞳識(shí)別的技術(shù)難題,在I-CS 系統(tǒng)上表現(xiàn)完美,且人臉認(rèn)證可支持RGB 圖像注冊(cè)以及IR 圖像識(shí)別。這有利于真正部署上車時(shí)候主機(jī)廠的多樣化選擇。
最為主要的DMS 系統(tǒng)表現(xiàn)出色,那OMS 系統(tǒng)能力已無(wú)需多疑。乘客監(jiān)測(cè)之中針對(duì)遺落物體,非觸碰式手勢(shì)交互、視線交互、頭部動(dòng)作交互均一一過(guò)關(guān),OMS最為主要的兒童監(jiān)測(cè)我是沒(méi)法冒充的,嘗試以身形矮小人員模仿亦告失敗。畢竟I-CS 系統(tǒng)除了人臉監(jiān)測(cè)以外,還增加了比對(duì)人體骨骼點(diǎn)達(dá)成人體比例分析,準(zhǔn)確定位人體進(jìn)行身高分析的多重結(jié)合判斷,是否兒童一目了然。唯一遺憾是現(xiàn)場(chǎng)沒(méi)抓到一只貓或狗。所以寵物監(jiān)測(cè)沒(méi)有結(jié)果。
每次技術(shù)測(cè)試都是有趣的,這次也不例外。MINIEYE I-CS 座艙感知方案的精確與智能,讓我對(duì)于這家叫自己“小眼睛”的MINIEYE 企業(yè),艙內(nèi)監(jiān)測(cè)功能實(shí)力有了全新的認(rèn)知,非要找缺點(diǎn)也是有的,IR 攝像頭出來(lái)的“驚嚇”效果,絕對(duì)可劃分至“成人限制”級(jí)別??紤]到事關(guān)駕乘小命的安全也就無(wú)所謂了,更何況真正裝車后想看估計(jì)還看不到呢。
專訪MINIEYE 智能座艙事業(yè)部總經(jīng)理?xiàng)钜汇?p>
AF :艙內(nèi)感知功能與艙外感知功能對(duì)于ADAS 系統(tǒng)而言誰(shuí)更重要
楊一泓:艙內(nèi)感知功能尤其是DMS技術(shù),未來(lái)會(huì)是L2 及以上自動(dòng)駕駛關(guān)鍵系統(tǒng)的“最后一道安全閥門”。做好了DMS 相關(guān)技術(shù)可以保證在自動(dòng)駕駛或半自動(dòng)駕駛開(kāi)啟的情況下,駕駛員能夠始終保持對(duì)路面情況有所警戒,能夠在危險(xiǎn)時(shí)刻及時(shí)甚至提前接管車輛。因此對(duì)我們而言,擁有DMS 功能的艙內(nèi)感知系統(tǒng)與自動(dòng)駕駛系統(tǒng)一樣,具備非常高的安全屬性,同時(shí)也肩負(fù)著非常重要的安全責(zé)任。隨著自動(dòng)駕駛的進(jìn)階發(fā)展,未來(lái)艙內(nèi)和艙外的融合會(huì)不斷加強(qiáng),這也是MINIEYE 一直推崇所謂“全域感知”技術(shù)路線的原因。
AF :MINIEYE I-CS 座艙感知方案與友商的解決方案相比的主要優(yōu)勢(shì)在那些方面?
楊一泓:MINIEYE I-CS 擁有三個(gè)優(yōu)勢(shì),首先I-CS 深度學(xué)習(xí)模塊可提供高度精準(zhǔn)的算法結(jié)果,通過(guò)多年的技術(shù)積累,我們專注交通場(chǎng)景、駕乘習(xí)慣等相關(guān)環(huán)境應(yīng)用,掌握了扎實(shí)的模型設(shè)計(jì)方案,為后續(xù)方案適配打下了良好的基礎(chǔ);其次我們累積了很多基于真實(shí)交通的案例分析經(jīng)驗(yàn),包括功能層、應(yīng)用層對(duì)于關(guān)鍵結(jié)果的封裝、相關(guān)功能結(jié)果的權(quán)重占比等,這一系列的整套設(shè)計(jì)能夠?qū)崿F(xiàn)更好的體驗(yàn)感,同時(shí)也符合真實(shí)交通環(huán)境與駕駛情況;再次截止目前, I-CS 方案實(shí)現(xiàn)超30 個(gè)乘用車車型定點(diǎn),相關(guān)技術(shù)已成功覆蓋乘用車和商用車兩大領(lǐng)域, 其中DMS 產(chǎn)品至今裝車量已超過(guò)10 萬(wàn)臺(tái)。與MINIEYE合作的國(guó)內(nèi)外企業(yè),涵蓋眾多知名車企、Tier1、物流車隊(duì)等前后裝合作方,我們能夠適應(yīng)不同類型客戶的多樣化、個(gè)性化量產(chǎn)需求。所以對(duì)于更真實(shí)的客戶反饋,我們也非常有信心。
AF :MINIEYE I-CS 座艙感知方案下一步將有何創(chuàng)新
楊一泓:未來(lái)的工作重心,首先我們會(huì)花更多精力用來(lái)打磨場(chǎng)景式的主動(dòng)服務(wù)方案,進(jìn)一步深度分析基于特殊場(chǎng)景下的客戶需求,并針對(duì)這些需求痛點(diǎn),設(shè)計(jì)完善一整套的解決方案。包括我們?cè)诎l(fā)布會(huì)上提出的“無(wú)縫入車、安全接管、疲勞監(jiān)測(cè)、兒童看護(hù)、多人娛樂(lè)”五大主動(dòng)服務(wù)場(chǎng)景,未來(lái)不僅會(huì)繼續(xù)深挖這五個(gè)場(chǎng)景,還會(huì)根據(jù)用戶情況拓展更多的實(shí)用場(chǎng)景,滿足市場(chǎng)需求。其次,多模態(tài)、多傳感器融合是MINIEYE 堅(jiān)持的方向,我們會(huì)把視覺(jué)感知技術(shù)與更多艙內(nèi)指標(biāo)相結(jié)合,比如人體健康、生理特征等,打造更加全能的感知方案,為智能汽車提供更豐富的軟件服務(wù)。
AF :您眼中智能座艙系統(tǒng)的未來(lái)如何發(fā)展
楊一泓:未來(lái)智能座艙系統(tǒng)肯定以軟件主導(dǎo),產(chǎn)品設(shè)計(jì)方式也以客戶需求靈活呈現(xiàn),逐漸向互聯(lián)網(wǎng)思維轉(zhuǎn)變。行業(yè)角度來(lái)看,多模態(tài)融合會(huì)是明顯的點(diǎn),因?yàn)槿魏我环N模態(tài)都有自身的缺點(diǎn),只有多模態(tài)共存才能夠解決更多用戶需求,真正提升座艙體驗(yàn)。視覺(jué)感知將會(huì)是多模態(tài)最重要的一環(huán)。只有基于視覺(jué)觀察,未來(lái)的汽車才擁有主動(dòng)式服務(wù)能力與用戶進(jìn)行交互,提前預(yù)判用戶需求,做到“更懂用戶”。所以視覺(jué)前期學(xué)習(xí)用戶、了解用戶,并進(jìn)行分析積累;后期所實(shí)現(xiàn)則是觀察用戶、感知用戶,提供主動(dòng)式服務(wù)。只有被動(dòng)式交互與主動(dòng)式服務(wù)結(jié)合在一起,才是真正的智能座艙。
AF :面對(duì)近乎于無(wú)限組合的客戶需求,MINIEYE 的產(chǎn)品是否做好應(yīng)對(duì)
楊一泓:整套I-CS 方案擁有非常高定制化特性,可根據(jù)主機(jī)廠與一級(jí)供應(yīng)商的不同需求,提供靈活封裝的軟硬件解決方案。攝像頭方案針對(duì)DMS、OMS不同模組與位置,我們都有豐富的項(xiàng)目經(jīng)驗(yàn)和相應(yīng)的自采集標(biāo)準(zhǔn),且有快速移植與迭代的能力。第二,對(duì)于芯片的可移植性上,比如支持CPU/GPU/DSP 方案、基于不同嵌入式平臺(tái)的加速庫(kù)、國(guó)內(nèi)外最主流芯片的適配經(jīng)驗(yàn)等,也讓我們方案有快速的移植優(yōu)勢(shì)。第三,我們還做了很多嵌入式優(yōu)化、網(wǎng)絡(luò)優(yōu)化,讓方案的資源占用率更小,可移植性優(yōu)勢(shì)再一步提升?;谶@一系列成熟的方案,我們還會(huì)針對(duì)性地對(duì)實(shí)艙環(huán)境進(jìn)行迭代,將更多的重點(diǎn)放在量產(chǎn)工作上。