鄭紅麗 劉朝陽 吳明哲 樊永友 蔡旭

（中國第一汽車股份有限公司研發(fā)總院，長春 130013）

縮略語

V2X Vehicle To X(Everything)

AI Artificial Intelligence

CPU Central Processing Unit

GPU Graphic Processing Unit

DSI Display Serial Interface Specification

CSI Camera Serial Interface Specification

App Application

OTA Over-The-Air Technology

DMS Driver Monitor System

OMS Occupancy Monitor System

CP Content Provider

SP Service Provider

FLOPS Floating-point Operations Per Second

OPS Operations Per Second

DMIPIS Dhrystone Million Instructions executed Per Second

MACS Multiply-Accumulate Operations

0 引言

隨著芯片技術(shù)、V2X 技術(shù)、云技術(shù)、傳感器技術(shù)、圖像識(shí)別技術(shù)和語音識(shí)別技術(shù)不斷進(jìn)步，越來越多的新設(shè)備、新技術(shù)應(yīng)用在汽車上，使得汽車人機(jī)交互內(nèi)容、交互方式也越來越豐富。傳統(tǒng)、單一的人機(jī)交互方式已經(jīng)不適用于當(dāng)前汽車生態(tài)環(huán)境與用戶需求，用戶對(duì)駕乘體驗(yàn)要求也不局限于單一的駕乘體驗(yàn)，更加多元化、智能化和個(gè)性化需求不斷增多。汽車已經(jīng)不是一個(gè)單一的交通工具，而是集交通工具、移動(dòng)辦公設(shè)備和移動(dòng)生活空間于一體的人類生活中不可缺少的生活伴侶。

隨著新設(shè)備、新技術(shù)的應(yīng)用，使得駕駛員要處理的信息越來越多。駕駛員在執(zhí)行監(jiān)控道路狀況和控制車輛的駕駛?cè)蝿?wù)同時(shí)，還需執(zhí)行大量與駕駛有關(guān)或無關(guān)的信息交互次級(jí)任務(wù)。這些次級(jí)任務(wù)在不同程度上占用駕駛員的視覺、聽覺認(rèn)知資源，分散駕駛員注意力，并產(chǎn)生較高的認(rèn)知負(fù)荷，嚴(yán)重影響安全駕駛和交通效能[1]。

在保證安全駕駛的前提下，如何綜合利用這些信息，提高駕乘體驗(yàn)，減少用戶、汽車企業(yè)后期的維護(hù)成本是本文制定方案的最主要目標(biāo)。

1 AI與芯片

綜合利用新設(shè)備、新技術(shù)產(chǎn)生的各種信息，滿足用戶不斷增長的需求，可以持續(xù)提升汽車駕乘體驗(yàn)，其中人工智能（Artificial Intelligence，AI）在提升駕乘體驗(yàn)中將扮演很重要角色。

AI 即是人類依據(jù)人腦具備的智力表現(xiàn)，使所研制的“機(jī)器”具有人一樣的智能[2-4]。在智能制造方面，AI 技術(shù)的出現(xiàn)取代了傳統(tǒng)手工生產(chǎn)模式，而且精準(zhǔn)、高效的表現(xiàn)也使得AI 技術(shù)備受社會(huì)各行業(yè)高度重視[5-7]。

基于安全和系統(tǒng)架構(gòu)的考慮，一般不會(huì)將AI部署到車控域、自動(dòng)駕駛域和信息娛樂域中。自動(dòng)駕駛域中的AI是用來處理自動(dòng)駕駛和駕駛輔助任務(wù)，而本文所述的信息和需求是用戶直接感官感受的信息，對(duì)軟硬件安全需求較低，因此將這部分AI部署到信息娛樂域中是安全的[8-14]。

于繼成等[15]對(duì)目前主流AI芯片算力進(jìn)行了總結(jié)，并提出采用算力初始冗余量，對(duì)AI 芯片算力進(jìn)行評(píng)估，AI芯片算力統(tǒng)計(jì)數(shù)據(jù)如表1所示。

表1 芯片廠家部分AI芯片算力表

對(duì)于車規(guī)級(jí)信息娛樂域控制芯片，除了考慮中央處理器（Central Processing Unit, CPU）和圖形處理器（Graphic Processing Unit,GPU）算力，還需要考慮連接屏幕和攝像頭數(shù)量。根據(jù)NXP、瑞薩、高通等芯片廠商數(shù)據(jù)[16-24]，總結(jié)芯片參數(shù)見表2。

表2 車規(guī)級(jí)信息娛樂域控制芯片參數(shù)

雖然終端芯片發(fā)展很迅速，計(jì)算能力也不斷大幅度提升。但是座艙多方面對(duì)芯片需求也不斷增加，綜合成本方面考慮，即使車端芯片性能有所提高，可提供給AI的算力也是有限的。

為解決車端芯片AI算力不足問題，研究人員提出云計(jì)算可以作為重要的技術(shù)解決方案之一。Whaiduzzaman等[25]提出通過云計(jì)算技術(shù)，汽車只需通過無線連接到遠(yuǎn)程一臺(tái)或多臺(tái)計(jì)算機(jī)進(jìn)行AI運(yùn)算，這將極大降低車端AI運(yùn)算成本，并能提高AI運(yùn)算效率。

2 云計(jì)算與5G網(wǎng)絡(luò)

2.1 云計(jì)算優(yōu)勢

在智能座艙中應(yīng)用云計(jì)算優(yōu)勢[26]（圖1）如下。

圖1 云計(jì)算優(yōu)勢[26]

（1）云計(jì)算優(yōu)勢在于高靈活性、可擴(kuò)展性和高性價(jià)比。云計(jì)算能力遠(yuǎn)大于車端芯片運(yùn)算能力，云計(jì)算不會(huì)占用車端運(yùn)算時(shí)間，也不會(huì)占用車內(nèi)零部件空間，同時(shí)可減少了車端芯片升級(jí)帶來的成本增加。

（2）利用云計(jì)算進(jìn)行大范圍、大批量的樣本采集和訓(xùn)練。每個(gè)車端都可以成為云端的樣本采集器，這樣可以使樣本采集更多樣化、個(gè)性化。使用采集的樣本和獲得的海量大數(shù)據(jù)，可以對(duì)AI模型進(jìn)行更多、更精準(zhǔn)的訓(xùn)練。

（3）云計(jì)算可充分利用云服務(wù)優(yōu)勢，靈活按需發(fā)布計(jì)算模型或升級(jí)包，這樣可極大減少車端升級(jí)需求，并能提供更好的升級(jí)體驗(yàn)。

2.2 云計(jì)算不足

在智能座艙中應(yīng)用云計(jì)算的不足是運(yùn)算實(shí)時(shí)性差，而移動(dòng)網(wǎng)絡(luò)通信速度和穩(wěn)定性是制約云計(jì)算實(shí)時(shí)性的主要因素[27]。

近年來，隨著5G通訊技術(shù)大規(guī)模落地實(shí)施，理論上通信速度已不再是制約因素[28]。但是受到基礎(chǔ)設(shè)施建設(shè)和地理的限制，5G信號(hào)無法達(dá)到全地形和全天候覆蓋[29]。

3 端云結(jié)合多模態(tài)融合人機(jī)交互方案

運(yùn)用云端計(jì)算優(yōu)勢，減少云端計(jì)算不足帶來的影響，并且將人工智能應(yīng)用到車內(nèi)場景中，成為目前汽車行業(yè)需要解決的熱點(diǎn)問題。本文采用了端云結(jié)合方案作為多模態(tài)融合的人機(jī)交互方案基礎(chǔ)。

3.1 方案概述

（1）云端AI模型是基礎(chǔ)模型，AI模型根據(jù)車端輸入的信息結(jié)合云端各種信息不斷學(xué)習(xí)，并形成執(zhí)行動(dòng)作，然后將車端輸入的信息結(jié)合云端各種信息生成判斷條件，將形成的執(zhí)行動(dòng)作生成交互內(nèi)容，并將判斷條件和交互內(nèi)容進(jìn)行序列化，生成規(guī)則化的交互腳本（簡稱“腳本”）。這樣云端就可以將交互腳本不斷生成系列交互場景，最終形成一個(gè)龐大場景庫，通過車載網(wǎng)絡(luò)，將腳本傳輸?shù)杰嚩恕?/p>

（2）在車端部署系列應(yīng)用，提供交互能力列表和交互接口。

（3）在車端部署規(guī)則引擎，規(guī)則引擎可以識(shí)別腳本中的判斷條件。

（4）在車端部署執(zhí)行引擎，將腳本內(nèi)的交互內(nèi)容發(fā)送給系列應(yīng)用，實(shí)現(xiàn)多種交互。

3.2 端云系統(tǒng)架構(gòu)

根據(jù)端云結(jié)合多模態(tài)融合人機(jī)交互方案，生成如圖2所示的端云系統(tǒng)架構(gòu)。

圖2 端云系統(tǒng)架構(gòu)

3.2.1 云端

云端部署2大模塊，具體闡述如下。

（1）云端融合分析決策引擎（基于AI）

（a）接收車聯(lián)網(wǎng)和車端推送過來的事件和實(shí)時(shí)信息，記錄實(shí)時(shí)信息。

（b）在場景庫中將新識(shí)別出來的場景進(jìn)行更新。

（c）通過AI 算法對(duì)當(dāng)前場景和策略庫、實(shí)時(shí)信息和新輸入事件進(jìn)行推理，依據(jù)推理結(jié)果更新策略庫。

（2）場景策略引擎

包含場景、策略定義和存儲(chǔ)2大基本功能，即場景策略引擎和場景策略庫。

產(chǎn)品場景定義開發(fā)工程師可通過場景策略引擎，定義場景和場景處理策略。

通過AI 融合分析決策引擎將識(shí)別的場景和處理策略存儲(chǔ)到場景策略庫。

通過AI識(shí)別場景，融合分析決策引擎將用戶操作在場景策略庫中進(jìn)行記錄，作為個(gè)性化交互內(nèi)容進(jìn)行 存儲(chǔ)。

3.2.2 車端

車端部署4大模塊，具體闡述如下。

（1）多模式輸入預(yù)處理模塊

對(duì)接收的輸入進(jìn)行預(yù)處理，推送給融合分析決策引擎和云端。

（2）場景策略庫模塊

從云端同步場景和策略信息。

（3）實(shí)時(shí)信息模塊

記錄當(dāng)時(shí)車況實(shí)時(shí)信息。

（4）融合分析決策引擎模塊

接收新輸入事件，記錄實(shí)時(shí)信息。

場景識(shí)別，并依據(jù)場景、策略庫和實(shí)時(shí)信息做出決策。

3.2.3 信息同步引擎

信息同步主要分為以下2部分：

（1）云端服務(wù)信息檢索引擎

云數(shù)據(jù)篩選和獲取及V2X信息獲取。

（2）云端和車端信息同步引擎

在車端和云端分別部署客戶端及服務(wù)端。

車端負(fù)責(zé)獲取汽車上各種輸入信息，包括傳感器、攝像頭及語音信息。

云端負(fù)責(zé)接收數(shù)據(jù)，并將收集到的多種云端信息和V2X信息傳輸給車端。

3.3 運(yùn)行流程

車端在運(yùn)行時(shí)，會(huì)將車端信息通過車載網(wǎng)絡(luò)不斷與云端進(jìn)行同步，而車端也會(huì)收到云端不斷同步到車端的信息。

當(dāng)云端識(shí)別出某一場景時(shí)，則將腳本發(fā)送到車端的執(zhí)行引擎中進(jìn)行執(zhí)行，以到云端交互的目的。

當(dāng)車端的規(guī)則引擎根據(jù)判斷條件判斷出當(dāng)前的狀態(tài)滿足某一場景時(shí)，車端也可將腳本發(fā)送給執(zhí)行引擎進(jìn)行執(zhí)行，以達(dá)到車端交互的目的。

執(zhí)行引擎和規(guī)則引擎也有各自的規(guī)則，例如：

（1）規(guī)則引擎在網(wǎng)絡(luò)不暢或斷開時(shí)，可以觸發(fā)場景的規(guī)則。

（2）執(zhí)行引擎同時(shí)收到云端腳本和車端腳本，如何處理的規(guī)則。

這些規(guī)則內(nèi)容不在本文闡述范圍內(nèi)，是另一項(xiàng)重要研究內(nèi)容。

3.4 方案優(yōu)勢與不足

與傳統(tǒng)方案中通過信息娛樂系統(tǒng)內(nèi)的App 實(shí)現(xiàn)各種交互場景相比，端云結(jié)合方案有很多優(yōu)勢，詳見表3。

表3 端云結(jié)合方案與傳統(tǒng)方案對(duì)比

而與車端AI實(shí)現(xiàn)的交互場景相比，本方案具備的優(yōu)勢見表4。

表4 端云結(jié)合方案與車端AI方案對(duì)比

基于以上優(yōu)勢，端云結(jié)合方案可為用戶減少線下升級(jí)時(shí)間，為用戶提供更快的優(yōu)質(zhì)服務(wù)。端云結(jié)合方案更符合現(xiàn)代車輛主機(jī)廠（Original Equipment Manufacture，OEM）轉(zhuǎn)型需求，可快速、便捷地為用戶釋放體驗(yàn)優(yōu)質(zhì)的服務(wù)，滿足新的運(yùn)營模式需求。

端云結(jié)合方案也存在不足之處，由于場景庫不斷壯大，腳本也將不斷增多，車端規(guī)則引擎性能會(huì)有所下降，并且對(duì)腳本存儲(chǔ)的要求也不斷增加。

3.5 多模態(tài)融合人機(jī)交互場景應(yīng)用分析

多模態(tài)融合人機(jī)交互場景數(shù)量非常龐大，以目前車內(nèi)傳感器、車外傳感器和云數(shù)據(jù)分析，其場景數(shù)據(jù)量為百萬級(jí)，本文僅針對(duì)吸煙和電話這2個(gè)場景進(jìn)行應(yīng)用分析。

3.5.1 吸煙模式

在多模態(tài)融合人機(jī)交互吸煙模式需要采集的總體信息包括：

（1）系統(tǒng)需要感知每個(gè)位置用戶的吸煙信息，并將結(jié)果上報(bào)給多模融合分析引擎。

（2）多模感知輸入的信息源：

每個(gè)座位攝像頭視覺輸入：監(jiān)測用戶是否有吸煙行為。

每個(gè)座位用戶畫像輸入：用戶性別、年齡、是否為特殊乘客（老人、小孩、孕婦）。

（3）整車全部車窗開啟情況：車內(nèi)空調(diào)設(shè)備和香薰設(shè)備的開啟及設(shè)定狀態(tài)。

（4）車內(nèi)空氣情況監(jiān)測。

（5）車外天氣情況監(jiān)測和車外空氣質(zhì)量監(jiān)測。

（6）車輛行駛速度及定位位置（是否高速行駛，是在高速公路或是普通路上行駛）。

多模態(tài)融合人機(jī)交互吸煙模式包括4 種特殊場景：（1）有特殊乘客，（2）高速行駛安全提醒，（3）一般天氣，（4）異常天氣。

（1）吸煙模式：有特殊乘客

（a）多模輸入：

·駕駛員監(jiān)控系統(tǒng)（Driver Monitor System，DMS）判斷駕駛員吸煙動(dòng)作。

·乘員監(jiān)控系統(tǒng)（Occupancy Monitor System，OMS）識(shí)別乘客身份（特殊乘客：老人、小孩、孕婦）及乘客吸煙動(dòng)作。

（b）多模交互：

·監(jiān)測到有特殊乘客時(shí)，建議吸煙人（準(zhǔn)備吸煙或正在吸煙）停止吸煙，AI 助手顯示：“您的車內(nèi)有老人（小孩、孕婦），為了他們的健康考慮，建議您暫時(shí)不要吸煙呢”（靜音，文字顯示提醒一次）。

（2）吸煙模式：高速行駛安全提醒

（a）多模輸入：

·車輛行駛速度（≥60 km/h；≥80 km/h）。

·DMS判斷駕駛員吸煙動(dòng)作。

（b）多模交互：

·監(jiān)測到車輛行駛速度≥60 km/h 時(shí)，若吸煙人為駕駛員，建議專心駕駛（AI助手提示：“當(dāng)前車速較快，建議主人您專心駕駛”）。

·監(jiān)測到車輛行駛速度≥80 km/h，若吸煙人為駕駛員，告警提示需要專心駕駛，吸煙為分心的危險(xiǎn)行為（AI 助手提示：“當(dāng)前車速很高，吸煙是很分心的行為，非常危險(xiǎn)，您必須專心駕駛）。

注：該模式為駕駛員的行駛安全提醒，其他乘員吸煙暫未涉及駕駛安全，故暫未定義其他乘員吸煙時(shí)需要執(zhí)行的操作。

（3）吸煙模式：一般天氣

（a）多模輸入：

·網(wǎng)絡(luò)實(shí)時(shí)天氣數(shù)據(jù)。

·車外空氣質(zhì)量（PM2.5）。

·DMS判斷駕駛員吸煙動(dòng)作。

·OMS判斷乘客吸煙動(dòng)作。

（b）多模交互：

·監(jiān)測到有用戶吸煙時(shí)，若無異常天氣（包括中雨及以上、3級(jí)風(fēng)及以上、沙塵暴、中度污染及以上）。

·語音提示用戶：已為您適度打開車窗，建議您使用煙灰缸（屏幕提示煙火缸位置，若可自動(dòng)彈出，則自動(dòng)彈出）。

·車速大于60 km/h，不執(zhí)行一般天氣的吸煙模式。

（c）多模輸出：

·打開吸煙用戶最鄰近的車窗（不含天窗），車窗玻璃下降幅度默認(rèn)為3 cm，視車外天氣優(yōu)劣情況，打開幅度可以自動(dòng)增加或減少2 cm。

（4）吸煙模式：異常天氣

（a）多模輸入：

·網(wǎng)絡(luò)實(shí)時(shí)天氣數(shù)據(jù)。

·車外空氣質(zhì)量（PM2.5）。

·DMS判斷駕駛員吸煙動(dòng)作。

·OMS判斷乘客吸煙動(dòng)作。

（b）多模交互：

·監(jiān)測到有用戶吸煙時(shí)，若有異常天氣（包括中雨及以上、3級(jí)風(fēng)及以上、沙塵暴、中度污染及以上）。

·語音提示用戶：車外天氣（空氣）較差，已為您打開空調(diào)新風(fēng)、空氣過濾及香薰，但車輛換氣凈化能力有限，建議您減少吸煙并使用煙灰缸。

·車速大于60 km/h，不執(zhí)行異常天氣的吸煙模式。

（c）多模輸出：

打開空調(diào)新風(fēng)加上空氣過濾，打開香薰，若有煙灰缸，自動(dòng)彈出或提示位置。

3.5.2 多模電話場景

針對(duì)多模交互電話場景，需要針對(duì)車內(nèi)駕乘人員使用電話情況，進(jìn)行多模調(diào)整音頻、車窗和天窗，以便于電話使用者能有安靜的環(huán)境進(jìn)行通話，同時(shí)又兼顧車內(nèi)其他乘客體驗(yàn)。

（1）車內(nèi)僅駕駛員

駕駛員使用手機(jī)電話時(shí)，采用多模調(diào)整音頻。

功能詳細(xì)描述：

（a）前提：車內(nèi)音、視頻在播放，包括在線或本地音樂、廣播、在線電臺(tái)、視頻。

（b）車內(nèi)僅駕駛員，檢測到使用電話時(shí)（包括聽筒接聽或免提，下同），降低全車音量到2級(jí)；駕駛員使用完電話后，恢復(fù)到原來音量狀態(tài)。

（c）調(diào)整時(shí)，儀表提示降低全車音量，并提示開車過程中使用藍(lán)牙電話。文案：“已調(diào)低音量，開車中請(qǐng)使用藍(lán)牙電話”。5 s后，提示消失（下同）。

（d）恢復(fù)時(shí)，儀表提示音量恢復(fù)。文案：“音量已恢復(fù)”。

反饋：

如果用戶在音量調(diào)整后再進(jìn)行音量調(diào)節(jié)，可能往高調(diào)也可能往低調(diào)。下次進(jìn)行多模音量調(diào)整時(shí)，按用戶設(shè)定的音量進(jìn)行調(diào)整。

（2）車內(nèi)坐2人

駕駛員使用手機(jī)電話時(shí)，采用多模調(diào)整音頻。

功能詳細(xì)描述：

（a）車內(nèi)有2 人，檢測到駕駛員使用電話時(shí)，將音場調(diào)到另一個(gè)人所在的位置（副駕駛員位置或后排），駕駛員使用完電話后，恢復(fù)音場原來狀態(tài)。

（b）調(diào)整時(shí)，儀表提示音場調(diào)節(jié)，并提示開車過程中使用藍(lán)牙電話。文案：“已調(diào)整音場，避免干擾通話，開車中請(qǐng)使用藍(lán)牙電話”。

（c）恢復(fù)時(shí)，儀表提示音量恢復(fù)。文案：“音場已恢復(fù)”。

（3）車內(nèi)坐2人

副駕駛員或后排乘員用電話時(shí)的多模調(diào)整音頻。

功能詳細(xì)描述：

（a）車內(nèi)有2人，檢測到副駕駛員或后排乘員使用電話時(shí)，將音場調(diào)到主駕位置。副駕駛員或后排乘員使用完電話后，恢復(fù)音場原來狀態(tài)。

（b）調(diào)整時(shí)，儀表提示音場調(diào)節(jié)，文案：“已調(diào)整音場，避免干擾通話”。

（c）恢復(fù)時(shí)，儀表提示音量恢復(fù)。文案：“音場已恢復(fù)”。

（4）車內(nèi)坐滿乘員

車內(nèi)有乘員使用電話時(shí)的多模調(diào)整音頻。

功能詳細(xì)描述：

（a）車內(nèi)乘坐全部乘員時(shí)，當(dāng)檢測到車內(nèi)（駕駛員或副駕駛員或后排乘員之一）使用電話，降低全車音量到2級(jí)。車內(nèi)使用完電話后，恢復(fù)到原來音量狀態(tài)。

（b）調(diào)整時(shí)，儀表提示降低全車音量，文案：“調(diào)低音量，避免干擾通話”。

（c）恢復(fù)時(shí)，儀表提示音量恢復(fù)。文案：“音量已恢復(fù)”。

反饋：

如果用戶在音量調(diào)整后進(jìn)行音量調(diào)節(jié)，可能往高調(diào)也可能往低調(diào)。下次進(jìn)行多模音量調(diào)整時(shí)，按用戶設(shè)定的音量進(jìn)行調(diào)整。

（5）音場與使用電話位置

當(dāng)音場不在當(dāng)前使用電話位置時(shí)，不對(duì)音頻進(jìn)行多模調(diào)整。

功能詳細(xì)描述:

如果音場不在當(dāng)前使用電話位置，則不對(duì)音頻進(jìn)主處理。

（6）使用耳機(jī)

當(dāng)使用耳機(jī)時(shí)，音頻不受電話多模影響。

功能詳細(xì)描述：

如果某一座位乘員在使用耳機(jī)，則相當(dāng)于該座位沒有乘員，不對(duì)該座位的音頻策略進(jìn)行調(diào)整，其它邏輯和前同。

（7）其它音源

其它音源不做多模調(diào)整音頻處理。

功能詳細(xì)描述：

當(dāng)語音（語音助手發(fā)聲）、導(dǎo)航音、報(bào)警音等其它音源播放時(shí)，和使用電話不進(jìn)行關(guān)聯(lián)處理，因此不進(jìn)行調(diào)整音頻。

（8）駕駛員使用藍(lán)牙電話

當(dāng)駕駛員使用藍(lán)牙電話時(shí)，進(jìn)行多模調(diào)整車窗。功能詳細(xì)描述：

（a）前提：駕駛員旁車窗處于打開狀態(tài)。

（b）檢測到駕駛員使用藍(lán)牙電話時(shí)，關(guān)閉駕駛員旁車窗，電話結(jié)束時(shí)恢復(fù)原來狀態(tài)。

（c）關(guān)車窗時(shí)，儀表提示關(guān)閉車窗，文案：“已關(guān)閉車窗，避免干擾通話”。

（d）開車窗時(shí)，儀表提示恢復(fù)車窗位置，文案“車窗位置已恢復(fù)”。

反饋：

如果用戶在關(guān)閉車窗后手動(dòng)進(jìn)行車窗操作，下次進(jìn)行多模車窗調(diào)整時(shí)，按用戶最后調(diào)整的車窗位置進(jìn)行調(diào)整。

（9）駕駛員使用藍(lán)牙電話

當(dāng)駕駛員使用藍(lán)牙電話時(shí)，進(jìn)行多模調(diào)整天窗。功能詳細(xì)描述：

（a）前提：天窗處于打開狀態(tài)。

（b）檢測到駕駛員使用電話時(shí)，自動(dòng)關(guān)閉天窗，電話放下時(shí)恢復(fù)天窗原來狀態(tài)。

（c）關(guān)閉天窗時(shí)，儀表提示關(guān)閉天窗，并提示開車過程中使用電話不安全。文案：“已關(guān)閉天窗，避免干擾通話，開車中請(qǐng)使用藍(lán)牙電話”。

（d）開天窗時(shí)，儀表提示恢復(fù)天窗位置，文案：“天窗位置已恢復(fù)”。

反饋：

如果用戶在關(guān)閉天窗后手動(dòng)進(jìn)行天窗操作，下次進(jìn)行多模天窗調(diào)整時(shí)，按用戶最后調(diào)整的天窗位置進(jìn)行調(diào)整。

（10）車內(nèi)駕乘人員使用手機(jī)電話時(shí)車窗調(diào)整

當(dāng)車內(nèi)駕乘人員使用手機(jī)電話時(shí)，進(jìn)行多模調(diào)整車窗。

功能詳細(xì)描述：

（a）前提：副駕駛員位置車窗和后排車窗處于開著狀態(tài)。

（b）檢測到副駕駛員或后排乘員使用電話時(shí)，關(guān)閉對(duì)應(yīng)副駕駛員位置車窗或后排車窗，電話放下時(shí)恢復(fù)車窗原來狀態(tài)。

（c）關(guān)車窗時(shí)，儀表提示關(guān)閉車窗，文案：“已關(guān)閉副駕駛員位置或后排車窗，避免干擾通話”。

（d）開車窗時(shí)，儀表提示恢復(fù)車窗位置，文案：“車窗位置已恢復(fù)”。

反饋：

如果用戶在關(guān)閉車窗后手動(dòng)進(jìn)行車窗操作，下次進(jìn)行多模車窗調(diào)整時(shí)，按用戶最后調(diào)整的車窗位置進(jìn)行調(diào)整。

（11）車內(nèi)駕乘人員使用手機(jī)電話時(shí)天窗調(diào)整

當(dāng)車內(nèi)駕乘人員使用手機(jī)電話時(shí)，進(jìn)行多模調(diào)整天窗。

功能詳細(xì)描述：

（a）前提：天窗處于打開狀態(tài)。

（b）檢測到副駕駛員或后排乘員使用電話時(shí)，自動(dòng)關(guān)閉天窗，電話放下時(shí)恢復(fù)天窗原來狀態(tài)。

（c）關(guān)閉天窗時(shí)，儀表提示關(guān)閉天窗，文案：“已關(guān)閉天窗，避免干擾通話”。

（d）開閉天窗時(shí)，儀表提示恢復(fù)車窗位置，文案：“天窗位置已恢復(fù)”。

反饋：

如果用戶在關(guān)閉天窗后手動(dòng)進(jìn)行天窗操作，下次進(jìn)行多模天窗調(diào)整時(shí)，按用戶設(shè)定的天窗位置進(jìn)行調(diào)整。

4 結(jié)束語

本文闡述了端云結(jié)合的多模態(tài)融合人機(jī)交互方案，即可充分利用云端計(jì)算的各種優(yōu)勢，也可彌補(bǔ)云端和車端算力不足的缺陷，同時(shí)也兼顧了在網(wǎng)絡(luò)不穩(wěn)定時(shí)，車端獨(dú)立運(yùn)算的運(yùn)行模式。

基礎(chǔ)網(wǎng)絡(luò)建設(shè)在短時(shí)間不能達(dá)到理想狀態(tài)，那么在未來很長一段時(shí)間內(nèi)，本文提出的多模態(tài)融合人機(jī)交互方案可以很好地解決網(wǎng)絡(luò)狀態(tài)不理想時(shí)，云端處理不及時(shí)需要車端進(jìn)行獨(dú)立處理的問題。

未來，端云結(jié)合的人機(jī)交互還需要更深入的探索和研究，例如：云端數(shù)據(jù)可以打通更多的V2X通路，如智慧城市數(shù)據(jù)、智能交通數(shù)據(jù)和車與車間數(shù)據(jù)等。車端數(shù)據(jù)也可更多地共享到云端，如車端的攝像頭數(shù)據(jù)、自動(dòng)駕駛識(shí)別的道路數(shù)據(jù)等。隨著數(shù)據(jù)的不斷積累，端云結(jié)合的人機(jī)交互場景將越來越豐富。