劉子衿 林海英

摘要：隨著智能汽車的逐步普及，智能汽車用戶群體的需求和問題也在逐漸變化。在智能汽車快速發(fā)展的大環(huán)境，以及符合各項(xiàng)規(guī)章制度的前提下，通過生物識別及其相關(guān)技術(shù)探究如何滿足用戶的個性化需求，以實(shí)現(xiàn)更加安全、高效的新一代人機(jī)交互方式。以調(diào)研中用戶反映的駕駛體驗(yàn)問題和日常發(fā)現(xiàn)的駕駛問題為導(dǎo)向，針對性地進(jìn)行了拓展化研究，提出相應(yīng)的技術(shù)解決方案。

關(guān)鍵詞：生物識別；人機(jī)交互；車聯(lián)網(wǎng)；深度學(xué)習(xí)算法；邊緣修復(fù)

中圖分類號：U463? 收稿日期：2023-10-18

DOI：10.19999/j.cnki.1004-0226.2024.02.009

1 前言

汽車產(chǎn)品正在逐步轉(zhuǎn)變?yōu)橹悄芤苿釉O(shè)備，這得益于智能化和自動化技術(shù)的持續(xù)發(fā)展和完善。在人機(jī)互動、萬物互聯(lián)的發(fā)展推動下，汽車已經(jīng)超脫于傳統(tǒng)運(yùn)輸工具的功能，正在逐漸轉(zhuǎn)變成人類尋求更豐富的體驗(yàn)感和舒適感的第三空間［1］。汽車消費(fèi)者的需求千差萬別，而傳統(tǒng)的汽車只能在相同品牌相同類型中推出相同的產(chǎn)品，這種同質(zhì)化導(dǎo)致了消費(fèi)者體驗(yàn)無法得到最大限度的滿足。

因此，通過生物識別技術(shù)來一對一地滿足用戶個性化需求應(yīng)當(dāng)提上日程。本項(xiàng)目采用DTC模式結(jié)合SCP模型，將用戶需求轉(zhuǎn)化為技術(shù)成果，從機(jī)會成本理論出發(fā)探究現(xiàn)有生物識別技術(shù)在人機(jī)互動語境下的升級空間，達(dá)到帕累托最優(yōu)的效果。對于項(xiàng)目中涉及的基于生物特征識別和駕駛習(xí)慣研究的個性化方案匹配技術(shù)，目前有公司已經(jīng)有了較為深入的研究。但是由這幾個成熟技術(shù)整合而成的新技術(shù)，目前暫無較多相關(guān)研究?；谶吘壭迯?fù)及增強(qiáng)算法的高精準(zhǔn)度手勢識別技術(shù)中，手勢識別已經(jīng)是現(xiàn)有概念，但是目前各項(xiàng)數(shù)據(jù)表明手勢識別精度欠缺、反應(yīng)速度慢、發(fā)揮作用較為局限，我們基于邊緣修復(fù)及增強(qiáng)算法對現(xiàn)有手勢識別技術(shù)的精度、識別范圍進(jìn)行了增強(qiáng)，目前僅有部分高校在研究，尚無成熟產(chǎn)品。

經(jīng)驗(yàn)證，本項(xiàng)目方案通過應(yīng)用生物識別技術(shù)對汽車座艙的人機(jī)交互進(jìn)行多通道拓展及優(yōu)化，汽車人機(jī)交互體驗(yàn)相對于現(xiàn)有產(chǎn)品有較大提升，發(fā)展價值較高［2］。

2 基于生物特征識別和駕駛習(xí)慣研究的個性化方案匹配

2.1 研究背景

為了使用戶獲得最好的駕乘體驗(yàn)，應(yīng)用了人臉識別技術(shù)將用戶偏好設(shè)置與人臉識別數(shù)據(jù)綁定；同時使用AI深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法對于駕駛?cè)笋{駛數(shù)據(jù)進(jìn)行分析學(xué)習(xí)，并對駕駛?cè)嗽O(shè)置給出建議，來達(dá)到極致的駕駛體驗(yàn)。

2.2 人臉識別與個性化方案儲存匹配

由于駕駛?cè)讼鄬潭?，需要采集的人臉?shù)據(jù)較少，這里主要討論基于特征臉的人臉識別算法。

2.2.1 采集駕駛員圖像作為訓(xùn)練樣本

將駕駛員的姿勢分為站立和常規(guī)駕駛坐姿兩種，在收集數(shù)據(jù)時，要保持視線直視前方，并將收集到的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。

2.2.2 處理訓(xùn)練數(shù)據(jù)

設(shè)收集到M個面部圖像數(shù)據(jù)，每張圖像被扁平化為一列（假定圖像像素?cái)?shù)量為N），這些向量被放置在一個矩陣中而成為訓(xùn)練數(shù)據(jù)[S=[τ1，τ2，…，τM]]。

2.2.3 計(jì)算平均臉

將[S]里的值累加并取均值[φ=1Mi=1Mτi]，然后將每個人臉圖像[τi]都減去該均值，使均值為0∶[ωi=τi?φ]，重新排列構(gòu)成新的矩陣[T=[ω1，ω2，…，ωM]]。

2.2.4 PCA（主成分分析）降維求協(xié)方差矩陣

在圖像識別和人臉識別中，可以用PCA來降低維度并展示人臉的主要特征，以更好地識別和分類，同時減少數(shù)據(jù)冗余。

假設(shè)獲得m條面部數(shù)據(jù)，每條數(shù)據(jù)都有n個評價指標(biāo)，構(gòu)成了m×n的原始數(shù)據(jù)矩陣，即為X，每個變量對應(yīng)的數(shù)據(jù)記為：X1，X2，…，Xn。

[X=x11…x1n???xm1…xmn=x1，x2，…，xn]? ? ? ? ? ? （1）

各項(xiàng)評估標(biāo)準(zhǔn)常常具備各自的度量和度量單位，為了消除度量的影響，必須對數(shù)據(jù)做標(biāo)準(zhǔn)化的處理，這樣才能確保各個數(shù)據(jù)標(biāo)準(zhǔn)的對比性。經(jīng)過標(biāo)準(zhǔn)化處理過后的原始數(shù)據(jù)，能使所有評估標(biāo)準(zhǔn)都達(dá)到相同的數(shù)量級，這樣才有可能進(jìn)行全面的比較評價。

對數(shù)據(jù)實(shí)施Z-score轉(zhuǎn)換處理，在此操作后，數(shù)據(jù)的平均值為0，其標(biāo)準(zhǔn)偏差是1，同時這些數(shù)據(jù)遵循標(biāo)準(zhǔn)正態(tài)分布特性，公式如下：

[Z-Scoreij=xij-xjSj]? ? ? ? ? ? ? ? ? ? ? ?（2）

式中，[xj]為第j個指標(biāo)的樣本均值，[Xj=1mi=1mXij]；[Sj]為第j個指標(biāo)的標(biāo)準(zhǔn)差，[Sj=i=1m（Xij-Xj）2m-1]，記中心化后數(shù)據(jù)矩陣為X。

計(jì)算經(jīng)過集中化處理的數(shù)據(jù)的協(xié)方差矩陣，并將其標(biāo)記為R：

[rij=cov（xki，xkj）=k=1mxkixkjm-1]? ? ? ? ? ? ? ? ?（3）

[R=cov（X1，X1）? cov（X1，X2）? …? cov（X1，Xn）?? ? ? ? ? ? ? ? ??? ? ? ? ? ? ?? ? ? ? ??cov（Xn，X1）? cov（Xn，X2）? …? cov（Xn，Xn）]? ? ? ? （4）

此外也可以用另一種方法表示：[R=XTXm]。

2.2.5 計(jì)算特征臉的特征向量

求出協(xié)方差矩陣[R]的特征向量[ei]，記這些協(xié)方差矩陣[R]的特征向量為：

[E=[e1，e2，… ，eM]]? ? ? ? ? ? ? ? ? ? ? ? ? （5）

計(jì)算各特征臉的特征向量為：

[ui=k=1Meikωk（i=1，2， …，M）]? ? ? ? ? ? ? ? ? （6）

2.2.6 個性化方案綁定

根據(jù)人臉識別得出特征向量，通過哈希算法生成唯一UID，在該UID下保留該用戶的偏好設(shè)置。查詢時通過哈希表進(jìn)行。

2.2.7 人臉識別

得到特征臉的特征向量[ui]后，再對樣本中的每張圖片進(jìn)行權(quán)重的標(biāo)識：[ti=ui（τ?φ）（i=1，2，…，M）]。

把這些權(quán)重寫成一個向量表示：[ΩT=[t1，t2， … ，tM]]。

將待檢測的人臉圖像[τ]輸入后做主成分分析后，求[Ω]和[Ωk]的歐氏距離得到：[εk=Ω?Ωk2]。

在上述公式里，[Ω]代表了待審查的人臉圖片的權(quán)重，而[Ωk]是指訓(xùn)練樣本集中某一人臉圖像的權(quán)重。如果[εk]低于預(yù)先設(shè)定的界限，那么就確認(rèn)正在審查的人臉與樣本集中相應(yīng)的人臉為同一個人。

2.2.8 方案加載

檢測到當(dāng)前人臉與數(shù)據(jù)庫中人臉數(shù)據(jù)匹配后，將對應(yīng)UID的設(shè)置方案加載到汽車上，完成用戶偏好設(shè)置的加載。

圖1為基于人臉識別的個性化方案綁定流程圖。

2.3 機(jī)器學(xué)習(xí)優(yōu)化駕駛設(shè)置

2.3.1 數(shù)據(jù)收集

在駕駛?cè)俗灾黢{駛機(jī)動車期間，車載計(jì)算機(jī)將通過車輛CAN總線收集車輛傳感器數(shù)據(jù)，獲取諸如車輛平均加速度、車輛最大、最小轉(zhuǎn)角、車輛最大、最小速度、車輛橫移距離、車輛橫移頻率等有關(guān)駕駛?cè)笋{駛風(fēng)格的數(shù)據(jù)。

2.3.2 模板對比

在車載計(jì)算機(jī)中儲存“城市”“運(yùn)動”“越野”等不同駕駛風(fēng)格的典型模板數(shù)據(jù)。車載計(jì)算機(jī)收集了駕駛?cè)笋{駛數(shù)據(jù)后，會針對各項(xiàng)數(shù)據(jù)逐個對模板進(jìn)行比較匹配，得出目前駕駛?cè)舜蟾诺鸟{駛風(fēng)格簡檔，并儲存于云端。

2.3.3 模型訓(xùn)練

將駕駛員駕駛風(fēng)格簡檔、駕駛員駕駛視頻、車輛運(yùn)動特征等數(shù)據(jù)輸入強(qiáng)化學(xué)習(xí)模塊，訓(xùn)練與駕駛員駕駛風(fēng)格相符或相近的自動駕駛模型。

2.3.4 模型使用與用戶反饋

針對乘員體驗(yàn)，在用戶需要接入自動駕駛時，從駕駛風(fēng)格模塊調(diào)取當(dāng)前駕駛員的自動駕駛模型，并接入車輛自動駕駛模塊操控汽車。如用戶感覺到自動駕駛帶來不適，可將問題通過語音、手勢或文本的方式反映給車載AI。同時，駕乘人員身上可穿戴拓展設(shè)備提供的生命健康特征、車內(nèi)雷達(dá)掃描獲取的駕乘人員動作特征等也將作為駕乘人員的被動反饋進(jìn)行收集。

針對駕駛?cè)梭w驗(yàn)，可以在路況識別系統(tǒng)判斷為相對安全的路段時，在征求駕駛?cè)送獾那闆r下，開啟AI輔助駕駛（對駕駛?cè)说姆较虮P、踏板等提供力回饋，這里需要注意駕駛?cè)说闹噶顡碛凶罡邇?yōu)先級，AI不得與駕駛?cè)藸帄Z車輛控制權(quán)）。該功能同樣會調(diào)取自動駕駛模型，根據(jù)自動駕駛模型的設(shè)置數(shù)據(jù)暫時更改當(dāng)前設(shè)置方案，以便輔助駕駛員駕駛。同樣這里還會收集駕駛?cè)藢τ贏I輔助駕駛與新駕駛設(shè)置方案的主動和被動反饋。

2.3.5 模型優(yōu)化

將收集到的駕乘人員被動或主動反饋輸入強(qiáng)化學(xué)習(xí)模塊，對模型進(jìn)一步針對性優(yōu)化，使駕乘人員的駕乘體驗(yàn)?zāi)軌蚋鼮槭孢m。

2.3.6 建議提出與設(shè)置修改

車載計(jì)算機(jī)將強(qiáng)化學(xué)習(xí)模塊得出的駕駛風(fēng)格數(shù)據(jù)、車輛設(shè)置數(shù)據(jù)與當(dāng)前駕駛?cè)私壎ǖ鸟{駛風(fēng)格簡檔和車輛設(shè)置數(shù)據(jù)進(jìn)行對比，對駕駛?cè)说鸟{駛風(fēng)格和車輛設(shè)置提供建議。如用戶接受則將一鍵應(yīng)用強(qiáng)化學(xué)習(xí)模塊得出的最優(yōu)方案，并同步更新綁定數(shù)據(jù)［3］。圖2為機(jī)器學(xué)習(xí)優(yōu)化駕駛設(shè)置示意圖。

3 基于邊緣修復(fù)及增強(qiáng)算法的高精準(zhǔn)度手勢識別技術(shù)

3.1 研究背景

目前多數(shù)車企采用光飛時間（TOF）來識別手勢。TOF的分辨率低，通常低于640×480，測量精度最多為厘米級，容易受多重反射等影響，不穩(wěn)定且成本高。J.D.Power發(fā)布的2020技術(shù)體驗(yàn)指數(shù)顯示，用戶滿意度最低的是手勢控制交互方式。手勢識別要求駕駛員的手勢指令必須表現(xiàn)在特定的區(qū)域內(nèi)，標(biāo)準(zhǔn)化要求高，因此識別率較低。手勢的表達(dá)內(nèi)容也有限，當(dāng)關(guān)聯(lián)的功能較多需要復(fù)雜的手勢設(shè)計(jì)時，便會十分繁瑣。因此我們期待加大手勢識別的范圍，同時進(jìn)行邊緣修復(fù)及增強(qiáng)，進(jìn)一步提高準(zhǔn)確率。

3.2 基礎(chǔ)功能

采用結(jié)構(gòu)光方式進(jìn)行識別，同時對輸入的識別內(nèi)容運(yùn)行相應(yīng)算法進(jìn)行邊緣修復(fù)以及圖像增強(qiáng)進(jìn)而提高識別的精準(zhǔn)率、反饋速率以及可識別的范圍，優(yōu)化用戶的人機(jī)交互體驗(yàn)。

3.3 實(shí)現(xiàn)方法

3.3.1 手勢識別系統(tǒng)結(jié)構(gòu)

現(xiàn)階段，手勢識別主要依賴于攝像頭等接收器設(shè)備來獲取手勢信息，然后把識別到的手勢內(nèi)容通過CAN總線轉(zhuǎn)交給手勢識別系統(tǒng)。接著，在人機(jī)交互系統(tǒng)中構(gòu)建相應(yīng)的手勢模型和操作界面，并對其中的手機(jī)內(nèi)容進(jìn)行分類。具體的識別流程可參見圖3。

3.3.2 具體方案

采用精度更高、成本更低的結(jié)構(gòu)光（Structure Light，SL）方式進(jìn)行手勢識別。

a.通過對皮膚色彩和背景的粗略比較，獲取分離的效果。

b.采用分層Chamfer距離匹配算法（HCMA）對手勢的特定區(qū)域進(jìn)行精密的定位。

c.利用基于圖形架構(gòu)和梯度方向直方圖的分類器，對手掌和手指部分進(jìn)行了精確的識別。

d.借助預(yù)先儲存的模型，對手與臉部交接處的邊緣數(shù)據(jù)進(jìn)行了修復(fù)，這樣就得到了一個完全清晰的手勢識別區(qū)域。

結(jié)構(gòu)光方式的流程如圖4所示。

一開始，邊緣圖被Chamfer距離匹配算法轉(zhuǎn)化為Chamfer距離圖，接著調(diào)用一個范圍3×3的窗口構(gòu)建出每個像素點(diǎn)的距離值，邊緣距離[Ed]的計(jì)算過程按如下公式：

[Ed=131Ni=0N-1wi2]? ? ? ? ? ? ? ? ? ? ? ? ?（7）

在這個公式中，[wi]是模版影像的像素?cái)?shù)值，[N]則是模版邊界點(diǎn)的總數(shù)。當(dāng)邊緣距離[Ed]減少到最小時，就可以得到最適合的匹配位置。為了提高搜索最佳匹配位置的速度，在算法設(shè)計(jì)中引入金字塔結(jié)構(gòu)，選擇其中任意一組網(wǎng)格點(diǎn)作為匹配起點(diǎn)，并繼續(xù)計(jì)算這些點(diǎn)與周圍點(diǎn)之間的邊緣距離[Ed]，直到找到最小邊緣距離值[Ed]。

結(jié)構(gòu)光方式的三維視覺透視模型如圖5所示，相關(guān)計(jì)算公式如下：

[Xr=cx+cosθ·Sx·x-sinθ·Sy·y]? ? ? ? ? ? ? ? ? （8）

[Yr=cy+sinθ·Sx·x+cosθ·Sy·y]? ? ? ? ? ? ? ? ? （9）

[X=Xr+2n-12n]? ? ? ? ? ? ? ? ? ? ? ? ? ?（10）

[X=Yr+2n-12n]? ? ? ? ? ? ? ? ? ? ? ? ? ? （11）

[（x，y）]是原始坐標(biāo)的標(biāo)識，然而在金字塔圖的第[n]級，點(diǎn)的準(zhǔn)確坐標(biāo)被[（X，Y）]表示。平移、縮放和旋轉(zhuǎn)的參數(shù)則用[（cx，cy）]、[（sx，sy）]和[θ]來代替，這強(qiáng)調(diào)了匹配過程具備處理這些手勢幾何變換的能力。在此基礎(chǔ)之上，進(jìn)一步采用邊緣修復(fù)算法以補(bǔ)全不連續(xù)和模糊的邊緣。

借助Chamfer距離匹配算法來查找手勢部分的鄰近區(qū)域，并把最優(yōu)配對的區(qū)域圖像和模版圖像進(jìn)行比較研究。

對已獲得的更新版邊緣圖像進(jìn)行輪廓破損部位的修補(bǔ)，如果未找到新的斷點(diǎn)集合，針對每個斷點(diǎn)P，尋找模板中距離其最接近的Q，用一組Q把斷點(diǎn)輪廓劃分成若干個部分，然后，根據(jù)得出的和的相對位置，應(yīng)用以下公式生成一組新的點(diǎn)集P：

[Pk=Pk-1+Qk-Qk-1]? ? ? ? ? ? ? ? ? ? ? ? （12）

利用以Catmull-Rom插值作為基礎(chǔ)的曲線擬合方法將這些點(diǎn)連接起來，從而提升邊緣圖像的優(yōu)化。計(jì)算如下：

[xi=aixk-2+bixk-1+cixk+dixk+1yi=aiyk-2+biyk-1+ciyk+diyk+1]? ? ? ? ? ? ? （13）

[ai=12（-t3+2t2-t）]

[bi=12（3t3-5t2+2），t=iN]

[ci=12（-3t3+4t2+t）]

[di=12（t3-t2]

上式中，[（xk-2，yk-2）]、[（xk-1，yk-1）]、[（xk，yk）]和[（xk+1，yk+1）]分別是Pk-2、Pk-1、Pk和Pk+1的坐標(biāo)。

通過計(jì)算發(fā)現(xiàn)，該邊緣修復(fù)算法的精確度在TPR及FPR指標(biāo)上分別達(dá)到了94.6%和8.7%，如表1所示。相對于其他算法，這個特有性能在準(zhǔn)確性、識別力度和處理速度方面表現(xiàn)更好，這有利于提高人機(jī)交互的使用體驗(yàn)。

因此可以在車內(nèi)各處的攝像頭內(nèi)加入此程序擴(kuò)大識別范圍，同時也可由用戶進(jìn)行個性化操作，只需要提前錄入相應(yīng)手勢即可得以控制車內(nèi)幾乎所有部件［4］。

4 結(jié)語

a.將車載傳感器與深度學(xué)習(xí)算法結(jié)合，實(shí)現(xiàn)了根據(jù)用戶的駕駛風(fēng)格與駕駛體驗(yàn)自動調(diào)節(jié)車內(nèi)環(huán)境，提高用戶駕乘舒適性。

b.所提出的邊緣修復(fù)算法能增強(qiáng)人機(jī)互動的準(zhǔn)確性和駕駛期間的安全性，能夠?qū)崿F(xiàn)對遠(yuǎn)距離動態(tài)手勢的識別，保證了識別的穩(wěn)定性和良好的魯棒性，具備優(yōu)秀的實(shí)用價值。

經(jīng)驗(yàn)證，本項(xiàng)目方案通過應(yīng)用生物識別技術(shù)對汽車座艙的人機(jī)交互進(jìn)行多通道拓展及優(yōu)化，對于汽車人機(jī)交互體驗(yàn)相對于現(xiàn)有產(chǎn)品有較大提升，發(fā)展價值較高。

參考文獻(xiàn)：

[1]黃麗蓉，潘雨青.基于深度信念網(wǎng)絡(luò)的駕駛行為研究[J].計(jì)算機(jī)與數(shù)字工程，2020，48（8）：1958-1964.

[2]周行健.基于用戶行為的汽車增強(qiáng)現(xiàn)實(shí)平視顯示器交互設(shè)計(jì)研究[D].南京：東南大學(xué)2021.

[3]尤祖旺.汽車自動泊車輔助系統(tǒng)關(guān)鍵技術(shù)研究[J].中國新技術(shù)新產(chǎn)品，2020（20）：11-14.

[4]梁英.人機(jī)交互手勢特征識別及邊緣修復(fù)算法研究[J].自動化技術(shù)與應(yīng)用，2022，41（11）：43-46.

作者簡介：

劉子衿，男，2002年生，本科在讀，研究方向?yàn)轱w行汽車。

林海英（通訊作者），男，1971年生，教授，研究方向?yàn)樘胤N車輛。