明家輝 朱靜

(1. 廣州大學(xué) 電子與通信工程學(xué)院， 廣東廣州 510006；2. 廣州大學(xué) 實(shí)驗(yàn)中心， 廣東廣州 510006)

1 研究背景

SlAM(Simultaneous Localization and Mapping)技術(shù)是機(jī)器人、無人機(jī)、無人駕駛、VR/AR等領(lǐng)域的關(guān)鍵技術(shù)之一。由于相機(jī)輕便、普遍應(yīng)用的特性同時(shí)圖像能提供更加豐富的信息，具有更高的特征區(qū)分度，所以基于視覺的同步定位與地圖構(gòu)建技術(shù)的研究正在成為機(jī)器人技術(shù)領(lǐng)域新的研究熱點(diǎn)[1-2]?，F(xiàn)代流行的視覺SLAM系統(tǒng)大概可以分為前端和后端。前端為視覺里程計(jì)，其主要完成數(shù)據(jù)關(guān)聯(lián)，完成位置估計(jì)和跟蹤，并檢測處理閉環(huán)；后端主要對前端的輸出結(jié)果進(jìn)行優(yōu)化，利用濾波器或圖優(yōu)化得到最優(yōu)位置估計(jì)和地圖。

在高動態(tài)范圍環(huán)境HDR(High-Dynamic Range)中，如果沒有適當(dāng)?shù)钠毓饪刂疲瑘D像可能容易過度曝光或曝光不足，導(dǎo)致跟蹤丟失。目前，自動曝光控制方法基本上有兩種。一種是使用參照亮度值，把圖像均勻分為許多子圖像，每一塊子圖像的亮度設(shè)置亮度值。該參照亮度值可以通過調(diào)整光圈大小來獲得[3]，同樣可以通過設(shè)置快門速度來獲得該參照亮度值[4-5]；還有一些相機(jī)生產(chǎn)商采用另一種方法，就是通過研究不同光照條件下的亮度與曝光值之間的關(guān)系來進(jìn)行曝光控制[6-7]。在普通光照情況下，這些自動曝光算法能夠獲得滿意的曝光效果。但無論哪種方法仍無法適應(yīng)HDR環(huán)境，許多學(xué)者已經(jīng)探索出一定的曝光控制方案，并取得良好的效果，其中最為流行的是通過各種曝光值的多個(gè)圖像代替選擇單個(gè)最佳曝光的方法[8-9]。然而，這些方法需要多個(gè)相機(jī)和圖像并且計(jì)算量較大難以應(yīng)用到實(shí)際的機(jī)器人中。

最近Huimin Lu、Hui Zhang、Shaowu Yang等人[10]發(fā)現(xiàn)可以使用圖像熵表征圖像質(zhì)量。他們通過實(shí)驗(yàn)證明，圖像的熵與物體識別算法的性能有關(guān)。因此，通過在相機(jī)的參數(shù)空間中搜索最高熵來實(shí)現(xiàn)曝光控制的方法是可行的。之后Zichao Zhang、Christian Forster、Davide Scaramuzza[11]等人提出了一種基于圖像梯度的曝光控制方案，它采用最先進(jìn)的視覺里程計(jì)SVO(Semi-Direct Monocular Visual Odometry)處理不同曝光時(shí)間。還結(jié)合了光度響應(yīng)函數(shù)進(jìn)行曝光補(bǔ)償，實(shí)驗(yàn)發(fā)現(xiàn)了曝光結(jié)果優(yōu)于相機(jī)內(nèi)置的自動曝光功能，所以這種基于梯度的圖像質(zhì)量度量方法是更適合機(jī)器人視覺。而后Joowan Kim，Younggun Cho，Ayoung Kim等人[12]提出了一種利用圖像熵加權(quán)圖像梯度的計(jì)算方法，其思想就是對每幀圖像的每個(gè)像素均計(jì)算一次基于熵的權(quán)值和梯度，并使用激活函數(shù)對熵接近于零的像素抑制其對整體梯度影響，表示當(dāng)發(fā)生過度曝光和欠曝光時(shí)認(rèn)為熵接近于零的像素。該方法在動態(tài)場景中使用ORB(Oriented FAST and Rotated BRIEF)特征數(shù)量進(jìn)行評估，表現(xiàn)出優(yōu)異的性能。ORB算法是一種快速的特征提取和匹配的算法，由于其特征點(diǎn)和描述子的表示方式，使其具有節(jié)約存儲空間，縮短匹配時(shí)間的優(yōu)勢，被廣泛適用于實(shí)時(shí)系統(tǒng)中。然而，該方法需要對每個(gè)像素都計(jì)算一個(gè)熵和梯度，計(jì)算量大，在SLAM應(yīng)用中無法很好地保證其實(shí)時(shí)性。筆者針對該問題進(jìn)行了優(yōu)化并設(shè)計(jì)了自己的曝光控制方案，其主要思路是將圖像分成多個(gè)小方塊，只對每個(gè)小方塊計(jì)算圖像熵和平均梯度，進(jìn)而大幅降低了算法的計(jì)算量，更適合應(yīng)用于視覺SLAM。測試實(shí)驗(yàn)中選擇基于ORB-SLAM系統(tǒng)[13]，它是一種基于ORB特征點(diǎn)的半直接法的視覺導(dǎo)航系統(tǒng)，在基于特征的單目SLAM系統(tǒng)中效果較好。因此選擇基于該系統(tǒng)對圖像熵加權(quán)圖像梯度曝光方法和本文曝光方法以及無曝光效果進(jìn)行對比實(shí)驗(yàn)，測試它們在模擬HDR環(huán)境采集數(shù)據(jù)集對ORB-SLAM系統(tǒng)的性能影響，以驗(yàn)證本文曝光方法的可靠性。

2 方法

2.1 單目視覺SLAM系統(tǒng)的視覺里程計(jì)

1)光度響應(yīng)函數(shù)。

本文提出的視覺里程計(jì)融合了PE Debevec，J Malik等人[14]提出的光度響應(yīng)函數(shù)，下面對光度響應(yīng)函數(shù)的功能進(jìn)行簡要的介紹。

對于每個(gè)像素，像素亮度I關(guān)于曝光量X的光度響應(yīng)函數(shù)f表示如下：

I=f(x)=f(EΔt) ，

(1)

式(1)中，x曝光量表示曝光時(shí)間內(nèi)接收的能量，輻射度E表示單位時(shí)間內(nèi)該像素接手的能量大小，Δt表示曝光時(shí)間。

其中f(x)是可逆的，因?yàn)樵谕画h(huán)境下的像素亮度與曝光時(shí)間是正相關(guān)的。為了方便起見，定義逆響應(yīng)函數(shù)g為：

g=lnf-1，

(2)

根據(jù)式(2)，則式(1)可以表示為：

g(I)=lnE+lnΔt，

(3)

2)基于半直接法的快速視覺里程計(jì)。

跟蹤線程(視覺里程計(jì))是本文效果對比實(shí)驗(yàn)測試所用SLAM系統(tǒng)相對于ORB-SLAM方案改動最大的模塊，通過最小化光度誤差計(jì)算相機(jī)初始位置。

初始化成功后，跟蹤線程將根據(jù)上一幀圖像位置來計(jì)算當(dāng)前幀的位置。若參考幀被成功跟蹤并且提取了ORB特征，則使用恒速模型進(jìn)行跟蹤，否則當(dāng)前時(shí)刻和下一時(shí)刻的相對位置Tcr將使用光度恢復(fù)后的最小化光度誤差進(jìn)行跟蹤。

(4)

式(4)中，Tcr∈SE(3)表示當(dāng)前幀與參考幀之間的位置變換，Ic表示為當(dāng)前幀圖像的灰度數(shù)據(jù)，Ir表示參考幀圖像的灰度數(shù)據(jù)，f為光度響應(yīng)函數(shù)，ui表示Ir中像素的位置，uic表示ui在當(dāng)前幀圖像中的位置。

這樣位置優(yōu)化就變?yōu)榉蔷€性的最小二乘問題，可以通過高斯牛頓迭代法求解，位置的迭代增量ξ(李代數(shù))可以通過式(5)方程計(jì)算：

JTJξ=-JξIr.

(5)

式(5)中，李代數(shù)ξ表示位置增量，J為殘差關(guān)于擾動的雅可比矩陣，Ir表示參考幀圖像的灰度數(shù)據(jù)。

到此即完成了單目SLAM系統(tǒng)位置狀態(tài)的視覺里程計(jì)位置的估算。

3)單目視覺SLAM系統(tǒng)。

上面詳細(xì)介紹了單目SLAM系統(tǒng)中關(guān)于視覺里程計(jì)部分的相關(guān)內(nèi)容，對于單目SLAM系統(tǒng)另外兩個(gè)部分：建圖與回環(huán)檢測。

它們與ORB-SLAM相似，通過插入關(guān)鍵幀，剔除地圖點(diǎn)，然后用局部集束調(diào)整優(yōu)化。并通過BOW詞典索引進(jìn)行閉環(huán)條件的檢索、融合，最后用Essential Graph優(yōu)化，實(shí)現(xiàn)把閉環(huán)誤差分散到整個(gè)圖集，從而完成整個(gè)SLAM系統(tǒng)的一輪工作。

2.2 基于圖像熵加權(quán)圖像梯度的曝光控制策略

需要通過單目相機(jī)傳感傳入圖像數(shù)據(jù)，為了讓SLAM系統(tǒng)更好適應(yīng)高動態(tài)范圍HDR的環(huán)境，采用一種基于圖像梯度的自動曝光算法來提高圖片數(shù)據(jù)的質(zhì)量，并加入圖像塊處理策略來適應(yīng)SLAM系統(tǒng)的實(shí)時(shí)性。

1)圖像熵的權(quán)值函數(shù)。

由于對每個(gè)像素都計(jì)算會影響實(shí)時(shí)性，將分辨率將為320x240，并分成48塊圖像塊，通過對每個(gè)圖像塊計(jì)算圖像熵來代替處理每個(gè)像素的方案。

通過計(jì)算圖像熵Ej來衡量曝光情況，Ej通過式(6)計(jì)算：

(6)

式(6)中，Ej表示圖像熵，j表示圖像塊編號，i表示當(dāng)前計(jì)算灰度級，k表示圖像的最高灰度級數(shù)，pji為圖像塊j中各灰度級出現(xiàn)的概率。

當(dāng)圖像熵越接近0時(shí)，則表明曝光不合理(欠曝光和過曝光)，再通過權(quán)值函數(shù)W(Ej)來抑制曝光不合理地方，Wj(Ej)計(jì)算如式(7)。

(7)

式(7)中，Wj(Ej)表示圖像塊的權(quán)值函數(shù)，Ej表示圖像塊的圖像熵。

基于分塊圖像熵的權(quán)值函數(shù)Wj(Ej)的函數(shù)圖像如圖1所示。由圖1可以看出，W(Ej)的主要作用是對圖像熵小的圖像塊分配較小的權(quán)值，而圖像熵大的圖像塊則分配較大的權(quán)值。圖像塊的圖像熵越小，分配的權(quán)值越接近于0，圖像塊的圖像熵越接近于圖像熵的最大值，則越接近于1。若圖像塊的圖像熵小于0.5時(shí)，分配的權(quán)值將接近于0，從而起到對曝光不合理(欠曝光和過曝光)的圖像塊的抑制作用。

圖1 基于分塊圖像熵的權(quán)值函數(shù)的圖像

2)基于分塊圖像熵加權(quán)圖像梯度搜索最優(yōu)曝光時(shí)間。

圖像梯度可以表示為像素的x方向和y方向灰度值變化的導(dǎo)數(shù)，為了表示圖像質(zhì)量，本文定義一個(gè)變量熵加權(quán)圖像梯度Gj。

Gj=W(Ej)×Gradj,Gradj=∑I(i)2，

(8)

式(8)中，Gradj表示每個(gè)圖像塊梯度，I(i)2表示圖像塊j各方向的圖像塊梯度向量和，i分別表示圖像標(biāo)準(zhǔn)坐標(biāo)的x方向和y方向。

為探索機(jī)器人視覺的最佳曝光時(shí)間，在室內(nèi)環(huán)境收集的曝光時(shí)間為100 μs至10 000 μs的圖像數(shù)據(jù)集并計(jì)算基于分塊圖像的熵加權(quán)圖像梯度值，步長為500 μs，當(dāng)基于分塊圖像的熵加權(quán)圖像梯度值最大時(shí)即為當(dāng)前相機(jī)最優(yōu)曝光時(shí)間。

3)曝光控制策略。

首先通過設(shè)定一個(gè)當(dāng)前環(huán)境下較為合理的曝光時(shí)間作為初始值，移動相機(jī)獲得下一幀圖像，若當(dāng)前圖像與上一幀圖像的平均亮度的差值的絕對值超過上一幀圖像亮度平均值的15%，則觸發(fā)曝光控制算法。

其中曝光算法如下：

1)若當(dāng)前圖像比上一幀圖像的平均亮度值大，則上一幀圖像標(biāo)為對比圖像，減小相機(jī)曝光時(shí)間5次，每次調(diào)整幅度為對比圖像曝光時(shí)間的5%；反之，則增加相機(jī)曝光時(shí)間5次，每次調(diào)整幅度為對比圖像曝光時(shí)間的5%。

2)記錄每次調(diào)整前后的相機(jī)曝光時(shí)間和基于分塊圖像的熵加權(quán)圖像梯度值，分別作為多項(xiàng)式擬合曲線的6個(gè)點(diǎn)的x坐標(biāo)和y坐標(biāo)，擬合曲線后用牛頓迭代法尋找曲線函數(shù)值最大值，其對應(yīng)的x坐標(biāo)即為最優(yōu)曝光時(shí)間。

3 實(shí)驗(yàn)結(jié)果與分析

為模擬光照變化環(huán)境進(jìn)行試驗(yàn)并收集數(shù)據(jù)集，在一個(gè)實(shí)驗(yàn)室內(nèi)手持上述兩個(gè)同款相機(jī)搭載的實(shí)驗(yàn)平臺從一個(gè)地點(diǎn)移動到另一個(gè)地點(diǎn)。在移動過程中每隔幾秒鐘時(shí)間關(guān)閉一排實(shí)驗(yàn)室的燈光，直到只剩下最后一排燈光，然后每隔幾秒時(shí)間打開一排實(shí)驗(yàn)室的燈光，直到全部燈管被點(diǎn)亮，收集數(shù)據(jù)集后使用一種半直接法單目視覺SLAM(YGZ-ORB-SLAM)進(jìn)行測試。圖像序列如圖2所示，Auto是相機(jī)自帶曝光控制算法，Our是本文加入圖像塊梯度優(yōu)化后的曝光算法。

收集同一段時(shí)間同一個(gè)地點(diǎn)，工業(yè)相機(jī)內(nèi)置自動曝光方法和提出的曝光控制方法所獲取的數(shù)據(jù)集，并用半直接法單目視覺SLAM算法分別測試100次目標(biāo)跟蹤效果統(tǒng)計(jì)跟丟次數(shù)(重定位)，結(jié)果如表1所示。

表1 構(gòu)圖成功次數(shù)的對比

通過上述比較實(shí)驗(yàn)可知，在光照劇烈變化的環(huán)境中，用半直接法單目視覺SLAM算法獲取的3個(gè)數(shù)據(jù)集各100次。其中，相機(jī)內(nèi)置的自動曝光控制方法獲取的數(shù)據(jù)集出現(xiàn)跟蹤丟失并重定位失敗的次數(shù)為100次，基于圖像熵加權(quán)圖像梯度的曝光控制算法處理的數(shù)據(jù)集出現(xiàn)跟蹤丟失并重定位成功的次數(shù)為39次，而本文加入圖像塊優(yōu)化處理后的數(shù)據(jù)集出現(xiàn)跟蹤丟失并重定位成功的次數(shù)為65次。由此可見，在光照劇烈變化的環(huán)境中，基于圖像熵加權(quán)圖像梯度的曝光控制算法相比相機(jī)自帶曝光可以很大程度保證圖片質(zhì)量，從而提高系統(tǒng)提取的ORB特征點(diǎn)，但是由于該算法是基于像素級計(jì)算量大，不能很好適應(yīng)ORB-SLAM這種實(shí)時(shí)性要求較高的系統(tǒng)。所以在加入圖像塊壓縮計(jì)算量后，可以提高數(shù)據(jù)集場景連續(xù)性從而有效解決SLAM系統(tǒng)中目標(biāo)跟蹤丟失的問題，大大提高了SLAM系統(tǒng)的魯棒性。

4 結(jié)語

引入圖像熵加權(quán)圖像梯度的主動曝光控制方法去代替原來相機(jī)的自動曝光方案，使得相機(jī)信息損失量盡可能小，并保持較小的運(yùn)算量。思路是先對圖像加入圖像分塊處理，以減少運(yùn)算量，該方法在實(shí)驗(yàn)中證實(shí)能有效保證SLAM系統(tǒng)的實(shí)時(shí)性，每幀圖像平均速度可達(dá)到60 ms。然后，設(shè)計(jì)一種曝光控制方法，通過多項(xiàng)式擬合曲線方法和牛頓迭代法控制相機(jī)曝光時(shí)間在圖像質(zhì)量度量指標(biāo)最優(yōu)值附近，以實(shí)時(shí)獲取相機(jī)最佳成像質(zhì)量。為了測試我們的曝光控制方法，將曝光補(bǔ)償引入到ORB-SLAM系統(tǒng)中形成一種基于半直接法的ORB-SLAM系統(tǒng)。分別收集工業(yè)相機(jī)內(nèi)置自動曝光方法和筆者提出的曝光控制方法所獲取的同一段時(shí)間同一地點(diǎn)的數(shù)據(jù)集，并放入半直接法的ORB-SLAM系統(tǒng)的視覺里程計(jì)測試100次，并統(tǒng)計(jì)每個(gè)數(shù)據(jù)集發(fā)生目標(biāo)丟失(重定位)的次數(shù)，結(jié)果證實(shí)，在光照劇烈變化的環(huán)境中，筆者提出的曝光控制算法能大幅較少半直接法單目視覺SLAM跟蹤丟失的情況，大大降低了SLAM系統(tǒng)目標(biāo)跟丟的風(fēng)險(xiǎn)，保證了SLAM系統(tǒng)的魯棒性。