文翊，孫國正，李澤彬，吳相昆

（1.東風(fēng)汽車集團股份有限公司技術(shù)中心，湖北 武漢 430000；2.東風(fēng)汽車股份有限公司，湖北 武漢 430000）

1 序言

眾所周知，ADAS（智能駕駛輔助系統(tǒng)）是當今汽車科技的重要的發(fā)展方向，而作為 ADAS系統(tǒng)標志性功能的AEBS（自主緊急制動）系統(tǒng)已成為重要的汽車安全功能，裝備率與日俱增且技術(shù)日趨成熟；NV（夜視）系統(tǒng)作為ADAS家族的最新加入的高級功能，在夜間可以有效感知周圍環(huán)境，特別是無燈光的道路上，極大提升駕駛員視野提升駕駛安全性。

但由于AEBS環(huán)境感知傳感器，是基于可見光原理，對于白天色彩詳實對比豐富的正常環(huán)境有良好的表現(xiàn)，而對于夜間，特別是人眼也無法探知的行人的表現(xiàn)退坡明顯，嚴重影響到夜間的功能安全；由于NV夜視紅外傳感器，是基于紅外成像原理，對于夜間紅外物體有很好的探知能力，但其成像能力極差，若直接使用提供給駕駛員展示詬病無窮，且無法描繪行人輪廓限制了其功能。

本文實現(xiàn)了AEBS系統(tǒng)和NV夜視系統(tǒng)的系統(tǒng)融合，通過AEBS系統(tǒng)圖像和NV夜視系統(tǒng)圖像強度及對比度的雙重濾波提取，有效使用行人邊沿，角端特征點探測等方法，對雙重濾波后的兩幅圖像再次融合，使得AEBS系統(tǒng)的夜間識別識別探測能力提升，并輔助完成行人的標注及展現(xiàn)，本文中將AEBS系統(tǒng)和NV夜視系統(tǒng)的系統(tǒng)融合的AEBS控制技術(shù)簡稱為AEBS-Night（下文同）。

2 基于圖像融合及可信度比較的AEBS-Night方案設(shè)計

2.1 現(xiàn)有AEBS系統(tǒng)的工作原理

AEBS系統(tǒng)是ADAS領(lǐng)域目前比較成熟的系統(tǒng)：對于基于環(huán)境感知傳感器+毫米波雷達方案來說其工作“感知-數(shù)據(jù)融合—運算—執(zhí)行”各自反饋條件形成閉環(huán)過程，當環(huán)境感知傳感器識別到目標為車或人后，采用毫米波雷達實時地測出與目標障礙物的距離，結(jié)合車輛狀態(tài)參數(shù)信息，利用算法實時計算安全時距 TTC，根據(jù)毫米波雷達測出的實際 TTC比較，當實際距離小于安全時距時，系統(tǒng)會主動向ESC發(fā)送對應(yīng)減速度請求，車輛執(zhí)行對應(yīng)的減速度，自主緊急制動從而避免碰撞。故AEBS系統(tǒng)有效動作的先決條件為系統(tǒng)識別到目標為車或人。

圖1 本公司現(xiàn)有AEBS系統(tǒng)原理圖

2.2 夜視圖像及環(huán)境圖像融合技術(shù)介紹

NV夜視攝像頭針對行人或事物溫差及紅外輻射量級不同進行圖像提取成像，是夜間可視化探測的唯一選擇，復(fù)雜道路環(huán)境對其影響小且不受樹枝揚塵等半遮蔽型障礙物干擾[1]。美中不足的是，夜視圖像行人細節(jié)及輪廓羽化失真、低對比度、因此其AEBS系統(tǒng)無法識別出夜視圖像中的行人目標（如圖2）。

AEBS環(huán)境感知傳感器與NV夜視攝像頭功能原理差異較大，和人眼識別類似，影響其性能的重要因素在于目標反射光的接收，所以AEBS環(huán)境感知傳感器在波長齊全顏色豐富的可見光下的信息反饋良好，通過成熟的技術(shù)和算法識別出行人和車輛；美中不足的是，夜間或有遮擋等人眼無法識別的目標時無能為力。

圖2 單純夜視系統(tǒng)成像效果

圖3 單獨AEBS及單純夜視功能實測圖

（單獨AEBS無法識別夜間行人能力及單純夜視功能無行人框選功能）

圖4 圖像融合流程圖

針對AEBS環(huán)境感知傳感器的局限性，本文提出了結(jié)合NV傳感器和AEBS傳感器圖像的提取和再融合方法，其基本原理：首先，先對兩種傳感器圖像進行亮度、色度與飽和度3個維度的預(yù)處理；然后，對兩種傳感器圖像對比度進行RGB格式的顏色對比度分量提?。辉偻ㄟ^降低可視圖像的色度和飽和度，利用夜視攝像頭亮度高度可信的優(yōu)勢，利用夜視圖像的亮度參數(shù)換AEBS環(huán)境感知攝像頭的亮度參數(shù)；最后，參數(shù)的拼接融合后新的亮度參數(shù)單元和AEBS環(huán)境感知攝像頭的色度和飽和度進行逆變換。通過這樣變化換后可以得到夜間用于AEBS系統(tǒng)的處理后的圖像。通過AEBS環(huán)境感知傳感器進行亮度、色度與飽和度變換，將色度與飽和度及 RGB提取的顏色分量賦予夜視系統(tǒng)，使用基于對比度的重構(gòu)逆變換[2]，最終完成可視夜視圖像的融合。簡單流程圖如圖3。本文方法保留了AEBS環(huán)境感知傳感器中的大量信息為下一步夜視系統(tǒng)中行人輪廓的展示提醒提供了必要的先決條件。

2.3 AEBS功能AEBS-Night夜視增強系統(tǒng)方案設(shè)計

本文研究的AEBS系統(tǒng)AEBS-Night夜視增強系統(tǒng)，其工作的核心是在于控制其中加入兩個運算模式：（1）圖像融合模塊，（2）條件判斷單元。對于圖像融合模塊來說其工作為兩種方案的圖像融合過程，對雙重濾波后的兩幅圖像再次融合，本文中主要對AEBS系統(tǒng)可引用的圖像進行介紹。當環(huán)境光照足夠暗滿足 AEBS-Night夜視增強系統(tǒng)模塊激活要求后，域控制器采用可信度比較法模塊對 AEBS-Night融合圖像與ADAS環(huán)境感知傳感器原始圖像進行可信度比選。若AEBS-Night融合圖像在比選中可信度勝出，AEBS系統(tǒng)會依據(jù)AEBS-Night融合圖像產(chǎn)生夜視目標OBJ（NV），OBJ（NV）會正常參與AEBS系統(tǒng)正常識別的目標物比選，OBJ（NV）自身參數(shù)滿足成為主目標的條件后，結(jié)合車輛狀態(tài)參數(shù)信息，夜視目標計算安全時距TTC，正常請求對應(yīng)減速度。

圖5 AEBS-Night夜視增強系統(tǒng)原理圖

3 AEBS-Night夜視增強系圖像融合及夜間行人特征識別算法的研究

在 AEBS-Night夜視增強系統(tǒng)圖像融合和處理的過程中必須要盡最大可能保留融合圖像中的目標輪廓或主要特征，因為AEBS系統(tǒng)是通過識別輪廓及主要特征點判別目標。

小波分解技術(shù)是成熟的圖像融合處理方法，通過高頻分量（對比度、色度）的濾波優(yōu)化處理，保留了幾乎的全部圖像信息，這些信息很好地呈現(xiàn)了細節(jié)、紋理信息視覺特征信息。出于保留目標輪廓或主要特征的目的，本文采用的對比度、色度的濾波方式為標準差法比對標準差后取其大致，其適用范圍為選定的融合范圍，灰度值越分散，紋理等信息包含越豐富時，通過本文方法加以保留。

本文研究的算法流程主要包括：（1）圖像的拼合重構(gòu)；（2）標準差法的圖像融合變換；（3）統(tǒng)一光強的圖像處理。以下分別加以說明。

3.1 圖像的拼合及重構(gòu)

NV夜視攝像頭和AEBS環(huán)境感知傳感器是兩個功能原理完全不同的傳感器，其視角必然不同，其布置位置差異也較大。所以第一步為圖像的校準和拼合。

在車輛設(shè)計和標定的過程中，分別選取環(huán)境一致的像素區(qū)域作為配準區(qū)域，由于兩傳感器安裝角度必然不同，明暗及扭曲的變形是必然的，為了消除圖像融合的痕跡，本文中快速融合算法采用加權(quán)平均值法，其基本原理公式可表示為[3]：假設(shè)PNV、PAEB為NV夜視圖像和AEBS環(huán)境感知圖像的像素點，融合圖像PA可表示為：

其中式中d1、d2代表了其重疊區(qū)域?qū)挾却碇担钤撌街袧M足d1+d2=1，故d1、d2很好地代表了NV夜視圖像和AEBS環(huán)境感知圖像中單個像素點的權(quán)重值。在圖像拼接融合的過程中，對于遠端視覺不可見場景，d1漸變至0，d2漸變至1，通過加權(quán)平均值法完成了NV夜視圖像和AEBS環(huán)境感知圖像在選定配準區(qū)域內(nèi)平滑過渡問題。

本方法實現(xiàn)了在95%以上的選定的重疊區(qū)域內(nèi)夜視圖像和AEBS環(huán)境感知圖像的平滑過渡問題，不會出現(xiàn)帶狀鋸齒，且速度快穩(wěn)定性高。

3.2 基于標準差法的圖像融合變換

環(huán)境感知圖像融合的步驟是首先對重疊區(qū)域分別選取一個目標像素組塊，由于無可視化要求，可在工程上不進行嚴格的圖像拼接，而后統(tǒng)籌比較目標像素組塊標準差的值，選取大的值的分量作為最后分量的值。

重疊區(qū)域的標準差的表達式可歸納如下：

重疊區(qū)域選取目標像素組塊的m×n區(qū)域，K表示為該像素點不同方向高頻部分的分量，L表示在內(nèi)部信息層的高頻分量，代表了圖像像素點（i，j）上高頻分量的灰度值，代表了圖像上所有像素點上高頻分量的灰度平均值[4]。

故該標準差法的圖像變換圖像融合方案的表達式如下：

3.3 基于統(tǒng)一光強的圖像變換處理

通過研究分析，本文基本確認出現(xiàn)圖像仍然無法供AEBS系統(tǒng)直接引用的原因為夜視圖像獨有的識別部分在融合過程中其光強值明顯高于其色度及對比度，類似強光下的炫目效果。故圖像的下一步處理需要將選取夜視圖像的特有部分光強因子等比例縮放后作為融合圖像的光強因子，對于色對及對比度數(shù)值部分的梯度取最大值的方法，將梯度值最大時的系數(shù)作為最終的高頻。

本文充分利用夜視系統(tǒng)優(yōu)勢進行如下運算， 將圖像由標準RGB圖像模型正變換為光波空間模型：

其中SNV為光飽和度反饋組成光顏色純度；HNV為像素點顏色組成的光波的主波長，直觀反饋光的頻譜即色度；INV為像素點組成的光強。

通過本組公式得到夜視系統(tǒng)圖像的各像素點的亮度、色度與飽和度信號，其中光強信號INV保留并存儲。

將提取到的光強信號INV按最大梯度法處理后，進行融合圖像的逆變換，該梯度值最大法后的圖像變換表達式如下：

通過本方法提出得到的圖像如下，AEBS系統(tǒng)可以判斷出圖中行人，滿足自身動的基本條件。

4 基于AEBS-Night夜視增強系統(tǒng)的AEBS功能方案設(shè)計

AEBS-Night夜視增強系統(tǒng)的 AEBS功能方案從四個維度：（1）功能激活條件；（2）AEBS-Night融合圖像與原始圖像可信度比較；（3）目標特征識別；（4）目標優(yōu)先級比選。若四個維度滿足要求，則AEBS系統(tǒng)會依據(jù)AEBS-Night融合圖像產(chǎn)生夜視目標 OBJ（NV）計算安全時距 TTC，正常請求對應(yīng)減速度。

圖6 單純夜視系統(tǒng)成像效果

4.1 功能激活條件及圖像可信度比選

本文中關(guān)于AEBS系統(tǒng)夜間性能提升的設(shè)計原理是，在光照條件達到300流明以下，NV系統(tǒng)及AEBS系統(tǒng)無故障，車速大于 5km/h時，AEBS-Night夜視增強系統(tǒng)自動開啟運行。

該模式下，AEBS系統(tǒng)可引用本文引用融合圖像，和AEBS原始圖像根據(jù)AEBS系統(tǒng)信息語義的輸出可信度值；夜視攝像頭與攝像頭計算距離的綜合比較， 雷達判別距離、環(huán)境感知攝像頭判別距離、夜視融合圖像距離判別信息3個維度標定后的曲線MAP如：圖7；在不同情況下選取不同可信距離作為AEBS功能執(zhí)行的圖像輸入；本MAP圖可根據(jù)裝配在車輛上紅外攝像頭及環(huán)境感知攝像頭實際情況標定。

圖7 可信度比較MAP圖

經(jīng)過本方法的判定和比選，夜間及對樹蔭、臨時障礙物等半透過性遮擋目標時，AEBS-Night夜視增強系統(tǒng)95%以上會勝出。

4.2 行人目標特征識別算法

系統(tǒng)識別融合圖像的首要工作時，將圖像中所有元素進行真值判定，當目標確定為人且可信度較高時，系統(tǒng)將產(chǎn)生OBJ（NV）目標。本節(jié)中出于融合圖像簡明的特點簡化目標特征條件檢測。

在生產(chǎn)的融合圖像中，判定目標物頭部、身體和腿部均能檢測出來的條件為：

當人體任意部位X被探測出來后，我們記做Cx，我們隨之生產(chǎn)與其匹配的主動探測區(qū)，人體3個部位的主動探測區(qū)為Zx，用函數(shù)f(Zx)表示對各個主動探測部位的響應(yīng)值，x∈{T,S,F}。故主動檢測和原始檢測結(jié)果會產(chǎn)生容差值，我們可以表示如下：

Yx是關(guān)于探測的x部位可信度的基本閥值，所以我們可以得到初步判決結(jié)果：

使得 Cxx∈{0,1}，x∈{T,S,F}，那么我們可以定義Cx=1則該部位可信，Cx=0則該部位不可信。

當Cx=1時，我們將定義精確判別函數(shù)h（x）：

若h（x）×g（Zx）＞t，我們將目標物定義為人，AEBS系統(tǒng)可按正常方式產(chǎn)生OBJ（NV）對應(yīng)的位置，速度，距離等信息。

4.3 行人目標區(qū)域的選定算法

向梯度直方圖（HOG）是行人識別的重要算法，其廣泛應(yīng)用于各種基于可見呈現(xiàn)系統(tǒng)的目標識別，利用梯度直方算法進行統(tǒng)計和計算圖像固定像素組區(qū)的向梯度直方圖。

梯度直方算法在夜視系統(tǒng)中的應(yīng)用是這樣的：融合圖像優(yōu)化統(tǒng)一后的像素組塊區(qū)域256*128 像素矩陣。首先，人為地將像素組塊區(qū)域256*128 像素矩陣劃分成小固定識別區(qū)，工程中固定識別區(qū)的大小通常設(shè)置為 8*8A像素矩陣，顯而易見像素矩陣被割裂成 32×16=512 個特征識別區(qū)。然后按照AEBS系統(tǒng)成熟的目標提取算法每個特征識別區(qū)中的各像素點矩陣的輪廓線或稱為梯度的直方圖邊界提取出來。最后要做到是將提取出來的梯度的直方圖進行轉(zhuǎn)變形成信息語義。最終為了進一步提高夜視系統(tǒng)的性能，提高識別率，將8*8A像素矩陣相鄰的4個像素矩陣劃分為命名為8*8B像素矩陣。

如果行人或物體運動每個8*8A像素矩陣的位移而形成8*8B像素矩陣，8*8B像素矩陣每次位移一個8*8A像素矩陣的寬度，對于工程展示圖中256*128的圖像每次位移只是可以得到465個8*8B像素矩陣。

圖5是描述8*8B像素矩陣與8*8A像素矩陣的關(guān)系：

圖8 像素矩陣關(guān)系圖

用梯度方向的加權(quán)投影法對8*8A像素矩陣內(nèi)任何像素點處理，就得到了該8*8A像素矩陣的梯度方向直方圖[5]，如圖6所示。最后將單個的8*8A像素矩陣組合相鄰的、有關(guān)的8*8B像素矩陣組。通過這樣處理，在一個B像素矩陣組內(nèi)四個A像素矩陣的特征向量就關(guān)聯(lián)起來了，最后得到該B像素矩陣組的梯度運動特征。統(tǒng)籌計算之后的B像素矩陣組特征描述就可以輸出為行人特征的信息語義，最后判定為行人B像素矩陣組范圍就是夜視系統(tǒng)的行人提升框的范圍。當然B像素矩陣組的識別和處理對于AEBS系統(tǒng)是成熟且復(fù)雜的過程，本文不另行描述。

夜視系統(tǒng)梯度直方圖特征算法實現(xiàn)用下面流程圖如圖 9表示：

圖9 直方圖特征算法流程圖

首先將本文第一章處理后的夜視融合圖像Pc的圖片流注意提取，在行人識別功能中圖片的顏色信息無任何作用，且圖片本身黑白化，原始的顏色信息僅供滿足視覺要求，壓縮圖片還具備進一步改善圖片局部暗點和炫光效果的作用。工程上應(yīng)用中我們的做法是圖片轉(zhuǎn)化為光亮度圖具體公式為：

其中x的取值可根據(jù)車輛傳感器的實際情況標定，本文中處理按處理，接下來計算梯度方向值：

在本文使用的公式中Pi（i，j）、Pj（i，j）、G（i，j）分別表示輸入圖片像素矩陣的水平梯度、垂直梯度、像素點所在位置。單個的像素點（i，j）的幅度值和梯度方向的計算公式我們采用：

再次計算每個8*8A像素矩陣的梯度直方分布，之后進行加權(quán)投影處理。

最后將8*8A像素矩陣合成大的8*8B像素矩陣，得到區(qū)域內(nèi)梯度直方分布。用來排除光照強度的變化的干擾。并統(tǒng)一輸出為行人特征的信息語義。最后 HMI將符合條件所有8*8B像素矩陣顯示出來，我們就還可以被框選的行人目標。

4.4 AEBS-Night夜視增強系統(tǒng)的AEBS功能的執(zhí)行

最后的執(zhí)行和正常AEBS系統(tǒng)基本一致，夜視目標成為主目標后，采用時間距離TTC計算，具體邏輯為：當前TTC小于安全時距，且駕駛員沒有對應(yīng)操作，則使得采用制動距離dbr，令D為兩車間距，d0為安全距離（取d0= 3 m），則有：

本文TTC 算法中： 分為TTC=1.4 s，TTC=0.8s兩個工作區(qū)間，也可稱為正常制動區(qū)間和危險制動區(qū)間。當計算實際TTC 達到1.4s、0.8s時，分別豎起flag。不同flag查詢對應(yīng)的MAP圖執(zhí)行減速。

圖10 執(zhí)行減速MAP圖

5 AEBS-Night夜視增強系統(tǒng)的測試驗證

5.1 圖像融合算法的測試和驗證

得到具備行人特征的 8*8B像素矩陣，并通過描述行人特征的信息語義的輸出 CAN信號推出給組合儀表，儀表呈現(xiàn)對應(yīng)的HMI顯示。

試驗一：在普通夜間場景，行人特征還原較好，加權(quán)后的矩陣投影輸出正常，結(jié)果如圖11。

從圖中可知，行人特征為側(cè)面時，算法檢測視覺效果良好，特征矩陣推出并呈現(xiàn)[6]。

試驗二：行人運動時，梯度直方圖檢測結(jié)果如圖12：

圖11 HMI顯示實車驗證一

圖12 梯度直方實車驗證二

從圖13中的結(jié)果可以得知，行人運動時8*8像素矩陣的滑移過程，多組矩陣的組合形成HMI顯示的跟隨運動提醒。

實驗三：遠端高速移動行人，實車驗證如圖：

圖13 遠端高速移動行人實車驗證三

從圖中實車驗證結(jié)果可知在夜間行人遠端高速移動的場景下梯度直方圖法也有出色的表現(xiàn)。

5.2 AEBS-Night夜視增強系統(tǒng)的實車AEBS測試和驗證

在生產(chǎn)的夜視目標物OBJ（NV）中，得到具備行人特征簡化處理后，AEBS系統(tǒng)引用參數(shù)后，利用夜視系統(tǒng)產(chǎn)生的圖像信息進行AEBS動作。

試驗四：在夜間場景，肉眼及環(huán)境感知傳感器無法感知行人時，夜視系統(tǒng)識別出行人，隨后AEBS動作正常，結(jié)果如圖：

圖14 夜間AEBS系統(tǒng)動作試驗情況

從圖中可知，本場景下肉眼及環(huán)境攝像頭無法識別行人，但AEBS系統(tǒng)借助夜視圖像進行正常的FCW預(yù)警。

圖15 夜間AEBS系統(tǒng)動作試驗數(shù)據(jù)

從圖中可知，在距離目標150m左右，夜間場景AEBSNight夜視增強系統(tǒng)發(fā)現(xiàn)目標并判定為目標為行人，AEBSNight夜視增強系統(tǒng)使得AEBS系統(tǒng)在171s時正常減速；系統(tǒng)在 174s時AEBS系統(tǒng)正常識別目標物，正常切換至常規(guī)AEBS系統(tǒng)。

夜視圖像產(chǎn)生的目標物進行可信度比選和二次特征值判斷后，供AEBS系統(tǒng)引用夜視系統(tǒng)發(fā)現(xiàn)的行人目標，提升了AEBS系統(tǒng)的夜間的安全性。

圖16 夜間AEBS系統(tǒng)引用的內(nèi)部圖像

AEBS-Night夜視增強系統(tǒng)，使得AEBS夜間性能提升明顯，如下表：

表1 AEBS-Night夜視增強系統(tǒng)

6 結(jié)論

本論文利用基本的成像原理和方法，研究了NV夜視系統(tǒng)及AEBS自主緊急自動系統(tǒng)在圖像處理上的特征原理上的優(yōu)勢，取長補短進行圖像融合處理。實現(xiàn)了AEBS系統(tǒng)的夜間識別能力的提升、儀表顯示及行人的框選提醒功能。為今后更大規(guī)模的傳感器數(shù)據(jù)融合提供思路。