梅若恒，馬惠敏

（北京科技大學計算機與通信工程學院，北京100083）

1 引 言

遮擋問題在計算機視覺領域一直是一個極具挑戰(zhàn)的問題，當遮擋發(fā)生時，圖像目標的特征會出現(xiàn)不同程度的缺失，造成目標檢測算法精度的迅速下降。為了應對遮擋問題帶來的挑戰(zhàn)，國內(nèi)外學者做了很多工作，如在跟蹤領域，分塊mean shift，HCF 等算法被提出以提升遮擋下的跟蹤性能［1-2］，在自動駕駛領域，關于行人檢測、車輛檢測和跟蹤的一系列算法被提出以解決自動駕駛環(huán)境下的遮擋檢測問題［3］。

雖然現(xiàn)在就遮擋問題在許多應用場景已經(jīng)誕生了很多優(yōu)秀的算法，但如何評估遮擋問題對算法的影響仍是當前亟需解決的任務。圖像數(shù)據(jù)集在計算機視覺研究中具有非常重要的作用，ImageNet［4］涵蓋20 000 多個類別，并為每張圖像標注了顏色、紋理等屬性。PASCAL VOC［5］擁有較高質(zhì)量的圖片數(shù)據(jù)，并針對不同的任務對物體的分割和檢測提供了完備的標注。這些數(shù)據(jù)集為挖掘深度學習算法的潛能做出了巨大的貢獻，但是它們?nèi)狈φ趽醯臉俗碓u估遮擋問題。KITTI 數(shù)據(jù)集［6］是一個自動駕駛場景下的大型數(shù)據(jù)集，包含城鎮(zhèn)、鄉(xiāng)村、高速公路等場景，并對行人、汽車等對象進行了0～3 級的遮擋標注。Caltech［7］是一個行人檢測數(shù)據(jù)集，使用完整包圍盒和可見包圍盒對行人進行了標注，并將遮擋程度簡單地劃分為無遮擋、部分遮擋和嚴重遮擋。但是這些數(shù)據(jù)集對于遮擋問題僅僅提供了粗略的標注，仍缺乏合適的數(shù)據(jù)集來對遮擋問題進行系統(tǒng)地評價。

對于數(shù)據(jù)集的搭建，我們希望能夠快速大量地生成標注準確的數(shù)據(jù)，而使用傳統(tǒng)的方式構建大型數(shù)據(jù)集則需要在數(shù)據(jù)的采集和標注上花費大量的人力物力。近幾年來，隨著圖形渲染質(zhì)量的不斷提升，已經(jīng)有學者開始通過仿真的方式來構建數(shù)據(jù)集。Mayer 和Ilg 等人使用Blender 搭建了仿真數(shù)據(jù)集FlyingThings3D dataset［8］，用于訓練CNN 在視差和光流上的性能。Richter 和Vineet 等人通過訪問圖形接口解析游戲GTA-V的數(shù)據(jù)，使用捕獲到的緩沖快速生成分割標注，搭建了GTA dataset［9］，同時證明了仿真數(shù)據(jù)能夠為算法帶來準確率的提升，但是該方法僅實現(xiàn)了類級別的語義分割，且這種方式依賴于第三方的仿真平臺，無法自由地在場景中改變或是添加新的物體，在數(shù)據(jù)生成上具有一定的局限性。

通過搭建仿真系統(tǒng)進行數(shù)據(jù)仿真，能夠完全按照自己的想法生成數(shù)據(jù)，高效地生成大量數(shù)據(jù)樣本及其對應標注，自由調(diào)整輸出圖像的分辨率以及布景、布光等影響識別率的因素。這種帶有極高自由度的數(shù)據(jù)生成方式還能提供更多具有挑戰(zhàn)的樣本。Barbu 和Mayo 等人也提出目標擺放的角度和場所都會對目標識別算法的識別性能產(chǎn)生巨大的影響，并制作了數(shù)據(jù)集Object-Net［10］，通過特殊視角和放置來挑戰(zhàn)現(xiàn)有算法，指出現(xiàn)有目標識別算法仍然有很大的進步空間。

綜上，在遮擋數(shù)據(jù)集的構建上，當前還存在以下問題：基于傳統(tǒng)拍攝真實圖像的方法在數(shù)據(jù)的采集和標注上仍然需要巨大的成本；基于解析圖形接口的方法無法取得對場景物體的完全控制權，嚴重限制了數(shù)據(jù)獲取的自由性；當前數(shù)據(jù)集的遮擋標注過于簡單且沒有高動態(tài)半透明物體如煙霧的標注，無法滿足對于遮擋問題評估的需求。

為了解決以上問題，并就遮擋問題建立一個有效的算法評估機制，本文基于Unreal Engine 4提出遮擋圖像數(shù)據(jù)生成系統(tǒng)，用于生成遮擋圖像數(shù)據(jù)集MOCOD（More than Common Object Dataset）。系統(tǒng)以構建數(shù)據(jù)集為需求導向，選擇場景并布景，控制智能體自動采集場景中的圖像信號以及相關的輔助信息來生成數(shù)據(jù)集所需要的數(shù)據(jù)。MOCOD 數(shù)據(jù)集以遮擋為任務目標，設立了人、車、船、飛機四大類識別對象。在遮擋物的設計上，除了傳統(tǒng)的實體遮擋，還實現(xiàn)了煙霧類型的半透明遮擋來擴充遮擋類型。此外，通過程序?qū)φ趽跷锖驼趽鯇ο笞隽司_的實例分割標注，并對場景物體的遮擋率和場景遮擋難度進行了評估和難度分級。通過使用遮擋圖像生成系統(tǒng)，建立了包含8 200 張像素級語義分割圖像的數(shù)據(jù)集，在布置完場景，且場景中包含兩個目標和一個煙霧的前提下，標注并生成6 張1 280×720 的圖像及標注文件在i7 8750H 2.2 GHz 和GTX 1060 的配置下僅使用1.455 s，極大地提高了數(shù)據(jù)采集的效率。

2 系統(tǒng)構建

遮擋圖像數(shù)據(jù)生成系統(tǒng)旨在實現(xiàn)從虛擬場景中獲取數(shù)據(jù)到數(shù)據(jù)生成、處理的自動化，使得能夠快速地按照同一標準搭建和擴充數(shù)據(jù)集。本文提出的遮擋圖像數(shù)據(jù)生成系統(tǒng)框架如圖1 所示，其中紫色部分表示場景以及存在于場景中的物體，紫色部分底部的語義標注圖像由更改后處理材質(zhì)得到；綠色部分表示控制對象以及其子模塊，用于采集處理信號并生成數(shù)據(jù)；棕色部分為控制對象的控制器，用于對象控制；黃色部分是python 端，用于處理仿真系統(tǒng)生成的數(shù)據(jù)；藍色部分是其他說明（彩圖見期刊電子版）。

整個系統(tǒng)主要由3 個模塊構成：場景及全局管理模塊（圖中紫色和紫框上面無色部分）、控制模塊（圖中綠色和棕色部分）及數(shù)據(jù)處理模塊（圖中黃色部分）。

2.1 場景與全局管理

本文建立的MOCOD 數(shù)據(jù)集以人、車、船和飛機四大類為識別目標，在場景的搭建上，本文選擇了城鎮(zhèn)、工廠和海濱小鎮(zhèn)作為場景，涵蓋了城市和非城市道路、海洋以及天空。此外將識別目標和遮擋物按常理和不按常理的放置以構成接下來要進行數(shù)據(jù)采集的場景。

在場景的管理上，預先創(chuàng)建了一個顏色映射表來保證數(shù)據(jù)生成的自動化，并在場景初始化時遍歷場景中的物體，查詢識別目標和潛在的遮擋物，為它們分配模板ID 和對應的顏色，將不同類別的對象保存到不同的列表，存儲在全局數(shù)據(jù)中供其他類調(diào)用。

圖1 遮擋圖像數(shù)據(jù)生成系統(tǒng)框架圖Fig .1 Frame diagram of occlusion image data generation system

2.2 控制模塊設計

控制模塊包括控制器和控制對象，其中控制對象是實際操控的智能體，通過控制器，使用手動或是預先設置的行為模式控制其行為?？刂茖ο缶哂腥齻€子模塊，分別是：場景捕獲模塊，根據(jù)設定的相機參數(shù)在當前相機視角渲染幀圖像并將圖像二進制數(shù)據(jù)流保存到緩存；后處理模塊，通過查詢和使用延遲渲染緩沖區(qū)中的數(shù)據(jù)來處理屏幕像素，配合場景全局數(shù)據(jù)提取場景中更多的隱藏信息，用于生成場景深度圖和圖像標注等數(shù)據(jù)；煙霧2D 映射模塊，生成當前相機視角下場景中半透明物體映射到相機光柵成像的透明度分布，用于計算半透明物體的遮擋率。

控制器用于實現(xiàn)對控制對象的控制，本文為控制器設計了手動和自動兩種控制模式：使用自動模式能夠令控制對象沿著指定路徑批量采集數(shù)據(jù)實現(xiàn)采集效率最大化；采用手動控制的模式則可以用于更精確的數(shù)據(jù)采集。

2.3 遮擋率計算

在遮擋率的計算上，為了解決遮擋率分級和半透明煙霧遮擋的問題，分析系統(tǒng)生成的像素級標注，分別計算常規(guī)不透明物體貢獻的遮擋率和煙霧半透明物體貢獻的遮擋率并求和。對于煙霧透明度標注的生成，采用光線步進［11］的方法繪制煙霧體，通過計算光線在煙霧體內(nèi)的積分來求解對應像素煙霧的透光比。對于遮擋率的評級，根據(jù)生成的精確遮擋率將難度按遮擋率劃分為10 個等級，用于評估算法在不同遮擋難度下的性能。

3 數(shù)據(jù)生成

3.1 常規(guī)物體像素級標注生成方法

在KITTI 數(shù)據(jù)集下，可以看到當前的前沿算法如F-PointNet［12］，SINet_VGG［13］，UberATGMMF［14］等的性能仍會因為遮擋強度的增加而迅速下降［15］。然而KITTI 數(shù)據(jù)集采用的是包圍盒的標注類型，且只有0～3 級的遮擋評級，無法為遮擋問題提供一個精確的評估。為了更好地評估遮擋問題，為場景物體生成了實例分割級的標注以提供更為精細的遮擋評級。

對于不透明物體的像素級標注，建立一個顏色映射表實現(xiàn)ID-顏色的映射，并將ID 作為模板值寫入G-Buffer，作為圖像后處理采用的目標填充標識，確保每個對象色彩的唯一性。如圖2 所示，上圖表示的是場景中的原始圖像，下圖是原始圖像對應的標注圖像，最下面一行是用于查詢的顏色映射表的一部分，每一個顏色對應著唯一ID（彩圖見期刊電子版）。在生成標注時，系統(tǒng)查找像素所屬的對象，并根據(jù)ID 填充對應的顏色。但是事實上，在遮擋圖像標注數(shù)據(jù)的生成過程中，更關心的是遮擋目標和遮擋物，為了在保留必要信息的前提下提高數(shù)據(jù)捕獲效率，僅保留了遮擋目標和遮擋物的mask 信息，如圖3 所示。

圖2 全場景實例分割標注Fig.2 Full-scene instance segmentation mask

圖3 僅留下遮擋物和被遮擋對象的標注Fig.3 Pixel level mask with target and occluder

然而僅僅擁有全局的標注仍然無法計算物體的遮擋率，物體遮擋率的計算還需要每個對象的完整標注。為此在全局數(shù)據(jù)中記錄了遮擋物和被遮擋物的實例序列，通過控制實例在場景中是否被繪制來獲取完整標注圖像中每個對象的像素級標注，如圖4 所示。

圖4 單個實例的像素級標注Fig.4 Pixel level mask with single instance

對于生成的圖像，添加了標注文件來記錄一些必要的信息和指定圖像實例的像素級標注路徑，確保數(shù)據(jù)處理時能夠跟蹤到所有的相關數(shù)據(jù)。

L=(P，θ，I)，i=(ID，T，C，Path，D)，其中：L表示標簽數(shù)據(jù)，P表示圖像分辨率，θ表示相機俯仰角，I表示實例集，i表示實例集中的一個實例，ID為實例標識，T為實例類型，C為實例對應顏色，Path為實例單獨標注的路徑，D表示實例對象到相機的距離。

3.2 半透明煙霧及其標注生成方法

半透明類型的遮擋如燃燒產(chǎn)生的煙霧，水蒸氣遇冷產(chǎn)生的水汽霧以及自然形成的大霧也是生活場景中常見的物體遮擋源。在仿真系統(tǒng)的渲染中，為了保證繪制的正確性，半透明物體的渲染在常規(guī)不透明片面繪制之后進行，難以通過常規(guī)的方式獲取它的mask 信息。為了正確獲取煙霧為像素點貢獻的透明度，本文采用光線步進［11］的方式，依賴輻射傳輸方程［16］，以Beer-Lambert［17］為衰減準則，沿著光線路徑計算路徑采樣數(shù)據(jù)的積分，其中密度積分的結(jié)果作為煙霧的透明度輸出，輻射亮度積分的結(jié)果作為煙霧的亮度輸出。

現(xiàn)實中的煙霧動態(tài)是十分復雜的，為了獲得實時的物理可信的煙霧，對煙霧模型作了簡化，假設煙霧粒子在統(tǒng)計學上是獨立的，且不發(fā)生非彈性碰撞，光線在體積中的散射均為均勻散射。

然而想要對三維空間中的體積進行采樣，還需要一個三維的采樣空間。為了創(chuàng)建出這個空間，如圖5 所示，在時序上生成噪聲作為煙霧在空間切片上的密度分布，并將序列作為空間上的第三維，從而獲得一個偽3D 紋理來構建距離場，通過對偽3D 紋理插值采樣就能夠得到光線在采樣點的密度值。

煙霧生成分為光線求交和光線步進采樣兩部分。如圖6 所示，綠線表示當前相機射線采樣積分的路徑，橙線表示積分路徑上采樣點沿著光源方向的自陰影積分路徑，灰色的點表示相機發(fā)出的光線在前進時沒有采樣到有效信息，藍色的點表示介質(zhì)內(nèi)的有效采樣點，紅色的點表示自陰影積分路徑上的采樣點，光線在求出體積盒入點后按固定步長前進和采樣（彩圖見期刊電子版）。

圖5 偽3D 紋理生成示意圖Fig.5 Pseudo 3D texture generation schema

圖6 光線步進示意圖Fig.6 Ray marching schema

光線求交：

（1）沿著相機到光柵像素的方向發(fā)射射線；

幾年前，父親帶著李離入蜀，去看青衣江上的佛像。川人集合了數(shù)千工匠，花掉了四十余年的時間，將一座山峰雕成慈眉善目的如來立像，秋風秋雨中，釋迦牟尼的眉眼音容依稀已經(jīng)出現(xiàn)，工人們搭著梯子，腰上纏著麻繩，舉錘布鑿，敲打他厚實的耳垂，慢慢將佛祖由山嶺間喚醒。

（2）射線與體包圍盒求交，計算光線在包圍盒上的入射點p0和出射點p1；

（3）檢測該射線對應像素的場景深度d，比較場景深度和出射點離相機的距離，若比場景深度大，更新出射點為場景深度對應的點，并計算入射點到出射點的距離；

（4）輸出入射點和包圍盒內(nèi)光線傳輸?shù)木嚯x。

光線采樣：

（1）計算光線步進采樣點的采樣值

（2）加入環(huán)境光照

由于光線在體積中被吸收和內(nèi)散射而衰減，使得當煙霧極為濃厚時，背光且厚重的部分會出現(xiàn)濃重的黑色陰影，考慮到大氣散射帶來的能量，在采樣點附近做了多次隨機采樣來模擬環(huán)境光照來獲得柔和的自陰影，如圖7 所示（上圖為未加入環(huán)境光照的煙霧效果，下圖為加入環(huán)境光照的煙霧效果）。

其中：LENV(x，ω，y)表示環(huán)境貢獻的輻射亮度，Lenv是環(huán)境光強度，y′i表示采樣點附近的隨機點，z′i表示從該隨機點出發(fā)沿著自陰影方向的出射點。

（3）路徑積分

在獲得了光線路徑每一點的輻射亮度采樣值后，沿著光線路徑進行積分就能得到從光柵發(fā)射出去的光線最終采集到的輻射亮度：

通過光線步進的方式積分計算消光項，可以很容易得到光線對應像素的煙霧透光度。

為了將計算得到的透明度的標注輸出到本地，系統(tǒng)從場景中獲取相機和煙霧的相關參數(shù)建立虛擬光柵模擬相機在場景中渲染煙霧的流程，從而將煙霧在三維空間中的成像映射到二維空間，最終得到煙霧在相機視角下透明度標注的輸出結(jié)果。如圖8 所示，上圖為場景中的體積煙，下圖為體積煙對應的不透明度mask 信息，純黑表示無遮擋，純白表示完全遮擋。

圖8 煙霧透明度標注Fig.8 Smoke translucent mask

3.3 遮擋率計算方法

仿真系統(tǒng)生成的圖像數(shù)據(jù)以及對應標注信息如圖9 所示，包含人車船飛機四類數(shù)據(jù)。Occlusion 表示只有單物體遮擋時的遮擋率，Opaque、Translucent 和Total 分別表示多物體遮擋時的不透明遮擋率、半透明遮擋率和總遮擋率。其中輔助遮擋率計算的信息有完整標注圖像、物體標注圖像以及煙霧的標注圖像。為了計算圖像目標對應的遮擋率，本文提出了如下遮擋率計算規(guī)則：

其中：C(Label)表示計算對象在標注圖像中所占的像素數(shù)量，C(Mask)表示計算對象在自身物質(zhì)標注中所占的像素數(shù)量，∑L Alpha表示計算對象在自身標注圖像中未被不透明物體遮擋部分的像素貢獻的煙霧透明度，該規(guī)則的設立，實現(xiàn)了混合遮擋下的目標遮擋率計算。本文根據(jù)該規(guī)則劃分出10 個遮擋難度等級，為遮擋率難度的評估提供了依據(jù)。

圖9 MOCOD 數(shù)據(jù)集及標注Fig.9 MOCOD dataset with annotation

3.4 數(shù)據(jù)集分析

本文通過遮擋圖像數(shù)據(jù)生成系統(tǒng)生成了包含人、車、船、飛機四大類對象共8 200 組圖像，每一組圖像包含（3+a）張圖像，其中3 表示原始圖像、視場內(nèi)完整的mask 標注和煙霧的mask 標注，a 表示視場內(nèi)被標記物體的數(shù)量，每個標記物體會生成一張自己的mask 標注，每張圖像的分辨率均為1 280×720，數(shù)據(jù)集的標注比較如表1 所示。本文提出的數(shù)據(jù)集將標注精確到了實例分割級別，相較其他數(shù)據(jù)集劃分了更多的遮擋等級，同時大大提升了標注的速度，能夠更快地擴充數(shù)據(jù)集，提供更精確的遮擋評估。

表1 數(shù)據(jù)集標注情況比較Tab.1 Comparison of dataset annotation

對于MOCOD 引入的煙霧遮擋，目前主要面對生活中的大面積煙霧，如圖10 所示，其中上圖為現(xiàn)實中存在的煙霧，下圖為仿真得到的煙霧。相比于其他數(shù)據(jù)集，煙霧類型遮擋和對應標注的引入進一步增強了數(shù)據(jù)集對于遮擋問題評估的完備性。

圖10 現(xiàn)實和仿真煙霧對比Fig.10 Comparison between real and simulated smoke

4 結(jié) 論

本文創(chuàng)建了一個遮擋圖像數(shù)據(jù)生成系統(tǒng)來高效構建遮擋圖像數(shù)據(jù)庫MOCOD。在遮擋圖像庫的構建中，引入了煙霧類型的半透明遮擋，擴充了場景中的遮擋類型。在系統(tǒng)中，提供了城鎮(zhèn)、工廠和海濱小鎮(zhèn)三個場景和數(shù)百個可以自由放置的物體，以及360°自由的拍攝角度，并提供了手動和自動追蹤路徑的控制模式來高效的捕獲場景數(shù)據(jù)并得到實例分割結(jié)果，能夠根據(jù)需求快速生成不同難易程度的樣本。同時建立的圖像庫MOCOD 相較于當前其他公開的圖像庫擁有更詳細的遮擋標注和評級，能夠更好的評估檢測和分割算法在遮擋下的圖像識別性能。

本文的系統(tǒng)還具有很好的可擴展性。第一，在遮擋物的方面，現(xiàn)實生活中還存在著更豐富的遮擋類型，如被高溫加熱后的空氣、含有雜質(zhì)的液態(tài)流體等，都可以被引入從而進一步豐富我們的遮擋圖像；第二，當前的半透明煙霧遮擋物僅使用隨機噪聲模擬，未來還可以在煙霧運動上加入物理約束得到更加合理的煙霧形態(tài)；第三，系統(tǒng)還能夠繼續(xù)擴展，根據(jù)需求生成光流、亮度分布等更多類型的數(shù)據(jù)。我們相信隨著圖形渲染技術的進步，利用仿真系統(tǒng)擴充樣本將會越來越廣泛的應用在計算機視覺領域，推動圖像算法的進一步發(fā)展。