回丙偉，宋志勇，范紅旗*，鐘平，胡衛(wèi)東，張曉峰，凌建國，蘇宏艷，金威，張永杰，白亞茜

1.國防科技大學電子科學學院ATR重點實驗室，長沙 410073

2.中國航天科工集團第二研究院第25研究所，北京 100854

數(shù)據(jù)庫（集）基本信息簡介

數(shù)據(jù)庫（集）名稱 地/空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集數(shù)據(jù)作者 回丙偉、宋智勇、范紅旗、鐘平、胡衛(wèi)東、張曉峰、凌建國、蘇宏艷、金威、張永杰、白亞茜數(shù)據(jù)通信作者 范紅旗（fanhongqi@nudt.edu.cn）數(shù)據(jù)時間范圍 2017-2019年地理區(qū)域 中國空間分辨率 10-100m數(shù)據(jù)量 870 MB數(shù)據(jù)格式 *.bmp, *.txt數(shù)據(jù)服務系統(tǒng)網(wǎng)址 http://www.dx.doi.org/10.11922/sciencedb.902基金項目 裝備預研基金（2018年）ATR實驗室重點基金，“面向目標檢測跟蹤識別應用的多源數(shù)據(jù)集構(gòu)建”。數(shù)據(jù)庫（集）組成本數(shù)據(jù)集由22個數(shù)據(jù)段組成，每個數(shù)據(jù)段包含2部分：（1）dataX.zip是第X段包含有目標的紅外圖像序列；（2）data_label.zip是對應于22段數(shù)據(jù)的標注文件，標注信息包括數(shù)據(jù)段名稱、數(shù)據(jù)幀數(shù)、目標航跡數(shù)以及每一圖像幀對應的目標數(shù)、目標編號和目標位置坐標。

引 言

利用紅外成像探測技術(shù)實現(xiàn)目標檢測與跟蹤是現(xiàn)代軍事對抗系統(tǒng)中的重要組成部分，也是武器系統(tǒng)信息化、智能化的重要體現(xiàn)[1]。隨著現(xiàn)代戰(zhàn)爭對抗廣度和深度的不斷延伸，武器裝備對紅外目標檢測跟蹤也提出了更高的要求。主要體現(xiàn)在：1）對探測距離的要求越來越高。遠程超視覺打擊是現(xiàn)代高技術(shù)戰(zhàn)爭的必然要求，因此對目標的探測距離也提出了更高的要求，體現(xiàn)在數(shù)據(jù)上表現(xiàn)為目標信號更加微弱；2）多目標跟蹤需求日益突出。在集群化智能無人作戰(zhàn)系統(tǒng)中，目標通常作為一個群體出現(xiàn)，因此引出了復雜情形下多目標跟蹤的需求；3）目標所處的自然環(huán)境復雜多變。目標背景環(huán)境中經(jīng)常出現(xiàn)比目標的紅外輻射強度更大的輻射源，這為感興趣軍事目標的檢測識別帶來了較大困擾[2]。然而，與上述緊迫的需求不相匹配的是，當前科研領(lǐng)域沒有可以服務于軍事應用特別是目標探測識別應用的紅外圖像數(shù)據(jù)集[3]，進而導致科研人員參與相關(guān)國防科研工作受到了極大限制。鑒于上述迫切的軍事應用需求和匱乏的數(shù)據(jù)現(xiàn)狀，本數(shù)據(jù)集通過典型場景設(shè)計、外場試驗拍攝、數(shù)據(jù)處理標注、數(shù)據(jù)使用方法及評價準則設(shè)計等步驟和方法制備了面向紅外序列圖像中弱小飛機目標檢測跟蹤數(shù)據(jù)集。本數(shù)據(jù)集尚屬首次成系統(tǒng)的公開發(fā)布以明確軍事應用需求為目標的紅外圖像數(shù)據(jù)集，填補了紅外目標探測識別領(lǐng)域中的數(shù)據(jù)空白。

此外，本數(shù)據(jù)集中的部分數(shù)據(jù)已經(jīng)提供給由國防科技大學和中國航天科工二院聯(lián)合主辦的第二屆“空天杯”創(chuàng)新創(chuàng)意大賽——探測識別算法挑戰(zhàn)賽（紅外賽題方向）使用。

1 數(shù)據(jù)采集和處理方法

1.1 數(shù)據(jù)采集方法

數(shù)據(jù)采集用到的主要設(shè)施和設(shè)備為高塔和二軸電控轉(zhuǎn)臺。數(shù)據(jù)采集試驗采用高塔架設(shè)二軸電控轉(zhuǎn)臺并搭載紅外傳感器的方式開展，高塔距離地面約140米，二軸轉(zhuǎn)臺可執(zhí)行方位角?95°～+95°，俯仰角?45°～+45°范圍內(nèi)的擺動，高塔及轉(zhuǎn)臺如圖1所示。高塔和二軸轉(zhuǎn)臺的使用為獲取不同環(huán)境背景、不同觀測視角下的目標動態(tài)紅外序列圖像提供了保障。

圖1 數(shù)據(jù)獲取試驗中使用的轉(zhuǎn)臺及高塔

數(shù)據(jù)采集使用的傳感器為制冷型中波紅外相機，該相機的基本性能參數(shù)如表1所示。

表1 紅外相機的基本性能參數(shù)

數(shù)據(jù)采集的對象為空中固定翼無人機（燃油動力）目標，配套試驗的無人機目標的基本參數(shù)如表2所示，外形如圖2所示。目標無人機上裝有GPS，的目標航跡為事先設(shè)定程序，并在GPS的引導下自主飛行，同時無人機通過無線通信手段實時將自身的無人機位置坐標傳回轉(zhuǎn)臺控制計算機，經(jīng)測算后再引導二軸轉(zhuǎn)臺對無人機目標進行跟蹤以維持目標位于紅外相機的視場中，同時啟動紅外相機以100Hz的頻率對目標進行同步拍攝并保存。

表2 無人機的基本參數(shù)

圖2 數(shù)據(jù)獲取試驗中使用的配試無人機目標

數(shù)據(jù)采集的主要環(huán)境背景及數(shù)據(jù)的信雜比（signal-to-cluster ratio SCR）信息如表3所示，SCR定義如（1）式，式中μtg為目標區(qū)域的亮度，μimg為圖像的平均亮度，σimg為圖像亮度的標準差。

表3 數(shù)據(jù)場景情況

1.2 數(shù)據(jù)處理與標注

數(shù)據(jù)處理與標注是將采集到的原始紅外圖像數(shù)據(jù)進行格式轉(zhuǎn)換，無效及污染數(shù)據(jù)剔除，并為感興趣的目標打上標簽的過程。

1.2.1 數(shù)據(jù)預處理

每個紅外數(shù)據(jù)段的原始數(shù)據(jù)為視頻格式，為了后續(xù)數(shù)據(jù)加工的方便，在數(shù)據(jù)預處理階段將每個數(shù)據(jù)段的視頻格式數(shù)據(jù)轉(zhuǎn)換為8bit位深的windows位圖格式的多文件的圖像序列。此外原始數(shù)據(jù)中存在大量由于轉(zhuǎn)臺控制精度不足導致的圖像嚴重晃動的情形，這些數(shù)據(jù)由于快速相對運動導致景象記錄模糊，且不符合實際應用情況，故在預處理階段對這些數(shù)據(jù)進行剔除處理。剔除的原則是在連續(xù)圖像中是否能夠目視分辨出目標。

1.2.2 數(shù)據(jù)標注

目標的數(shù)據(jù)特性是進行數(shù)據(jù)標注的基礎(chǔ)。目前，已有的關(guān)于檢測、跟蹤、識別問題的公開數(shù)據(jù)集中通常使用方框標注或輪廓線標注的方式，即在指定目標位置的同時也指定目標區(qū)域或目標邊界。這是因為這些公開數(shù)據(jù)集通常以可見光圖像為基礎(chǔ)，目標在圖像中表現(xiàn)為一個帶有豐富紋理的較大區(qū)域。然而，本數(shù)據(jù)集中的紅外數(shù)據(jù)特性與可見光圖像中的數(shù)據(jù)特性有較大差異，主要表現(xiàn)在：

（1）由于拍攝距離的巨大差異導致目標尺度變化巨大，在較近距離處無人機在紅外圖像中表現(xiàn)為擴展目標，遠距離表現(xiàn)為點目標；

（2）紅外圖像中目標的熱輻射特性使其紋理相對單一，即在晴朗天空陽光照射條件下，無人機機身通體表現(xiàn)為高輻射亮區(qū)；在沒有陽光照射條件下，僅無人機機頭發(fā)動機位置表現(xiàn)為亮區(qū)。

基于上述兩點分析，為適應目標的尺度變化并保持標注結(jié)果形式的一致性，同時考慮到弱小目標檢測跟蹤的主題點目標的研究難度遠大于擴展目標，且實際中點目標的數(shù)據(jù)也遠多于擴展目標的情況。圖像中目標標注采用點標注的方式，即通過目標在圖像上的整像素坐標位置來表示目標。對于表現(xiàn)為擴展目標的數(shù)據(jù)，通過對目標亮區(qū)域進行二值化分割，計算區(qū)域重心并對坐標四舍五入的方式給出位置。

具體標注實踐中采用人工標注和半自動標注人工確認的方式來完成。

2 數(shù)據(jù)樣本描述

本數(shù)據(jù)集共包含有22個數(shù)據(jù)段，數(shù)據(jù)段的命名從data1開始依次遞增至data22。每個數(shù)據(jù)段都主要包括序列圖像數(shù)據(jù)和標注數(shù)據(jù)兩類，下面分別對這兩類數(shù)據(jù)的典型樣本進行描述和分析。

2.1 圖像數(shù)據(jù)樣本

數(shù)據(jù)集中的每幅紅外圖像的分辨率為256×256像素、8 bit位深、大小為193 KB，圖像存儲格式為windows位圖，后綴名為bmp。每個數(shù)據(jù)段內(nèi)的圖像文件名即為對應數(shù)據(jù)幀的編號，圖像文件示例如圖3所示。即在每個數(shù)據(jù)段內(nèi)圖像數(shù)據(jù)文件名從0.bmp開始依次遞增至N.bmp，其中N+1為本數(shù)據(jù)段內(nèi)紅外圖像的總幀數(shù)。

圖3 windows文件系統(tǒng)下某數(shù)據(jù)段樣本中圖像數(shù)據(jù)詳情

圖4顯示了從6個不同數(shù)據(jù)段中各抽取1幀圖像的樣本示例，目標在圖像中顯示為擴展目標或點目標。圖3中的圖像數(shù)據(jù)來源及目標位置坐標情況如表4所示。

圖4 環(huán)境及目標的部分紅外樣本圖像

表4 紅外樣本圖像來源及目標位置說明

2.2 標注數(shù)據(jù)樣本

標注數(shù)據(jù)結(jié)果以*.txt文件為格式存儲，其中*為對應的圖像序列文件夾名稱（如data1、data2等），具體格式約定如表5所示。標注文件的具體約束事項如下：

（1）每個圖像序列的標注結(jié)果保存為1個文件；

（2）結(jié)果文件中所有英文標識均使用小寫字母，所有數(shù)量標識均使用阿拉伯數(shù)字；

（3）每個結(jié)果文件中的目標都從1開始，遞增編號，同一幀中目標無重復編號；

（4）同一段數(shù)據(jù)，若有目標出視場后再進入視場的情況，則需對重新進入的目標使用新的編號；

（5）同一圖像幀的數(shù)據(jù)結(jié)果保存為一行，若本幀未檢測到目標，則目標數(shù)量記為0；

（6）同一數(shù)據(jù)行內(nèi)不同字段之間以空格間隔；

（7）目標x/y坐標值應該是位于0到255之間的浮點型數(shù)字，即以圖像左上角為起始點，向右向下為正，且起始坐標為（0，0）；

（8）字段中的標點符號均為英文字符。

表5 數(shù)據(jù)標注文件格式說明

下面以數(shù)據(jù)集中data2數(shù)據(jù)為例對標注數(shù)據(jù)進行解釋說明，如圖5所示。

圖5 數(shù)據(jù)標注文件樣本舉例

在第1行中，字段“0”表示測試編號，數(shù)據(jù)集中提供的標注結(jié)果統(tǒng)一編號為0，若依據(jù)該文件格式生成測試結(jié)果，可用該編號對同一段數(shù)據(jù)的多次測試進行區(qū)分；字段“data2”表示標注結(jié)果對應data2數(shù)據(jù)段；字段599表示該數(shù)據(jù)段共有599幀圖像；字段“2”表示該數(shù)據(jù)段內(nèi)共有2條航跡。

在第2行中，字段“frame:0”表示當前行的標注結(jié)果對應第0幀圖像；字段“2”表示當前幀圖像中共計2個目標；字段“object:1”表示接續(xù)下來的兩個字段是目標1的圖像坐標；字段“127”表示目標1的圖像位置為自圖像左上點位0點，x坐標為127；字段“131”表示目標1的圖像位置為自圖像左上點位0點，y坐標為131；字段“object:2”表示接續(xù)下來的兩個字段是目標2的圖像坐標；字段“173”表示目標2的圖像位置為自圖像左上點位0點，x坐標為173；字段“125”表示目標2的圖像位置為自圖像左上點位0點，y坐標為125。第3-600行的字段含義同第2行，可依次類推。

3 數(shù)據(jù)質(zhì)量控制和評估

本數(shù)據(jù)集中的所有圖像采集都是通過中波紅外成像設(shè)備在專門設(shè)計的實驗中實測采集得到，目標和環(huán)境的紅外輻射特性真實可靠。

目標在圖像中的位置信息均為人工標注或半自動標注下人工確認的結(jié)果，并經(jīng)過多次核查檢驗，以確保數(shù)據(jù)質(zhì)量。數(shù)據(jù)集中所提供的評分準則及程序都已經(jīng)過大量的實測驗證，評分結(jié)果符合設(shè)計目標和軍事對抗需求[4]。

本數(shù)據(jù)集中的部分數(shù)據(jù)已在第二屆“空天杯”創(chuàng)新創(chuàng)意大賽（2019）——探測識別算法挑戰(zhàn)賽中發(fā)布供參賽選手測試及正式比賽使用。目前大賽已經(jīng)正式落下帷幕，本數(shù)據(jù)集作為探測識別算法挑戰(zhàn)賽紅外專題下算法性能比測的重要依據(jù)，為大賽評選出了相應獎項。大賽的圓滿舉辦證實了本數(shù)據(jù)集中圖像數(shù)據(jù)、目標標注和評分準則的質(zhì)量和科學可信度，可作為更廣泛科研人員的數(shù)據(jù)素材。

4 數(shù)據(jù)價值

本數(shù)據(jù)集針對固定翼無人機目標的紅外序列圖像檢測跟蹤問題，設(shè)計了22個典型場景，具體涵蓋了單目標天空背景、兩目標交叉飛行天空背景、單目標地面復雜背景、目標由遠及近、目標由近及遠、目標離開視場、目標重回視場等情形。每個典型場景對應1個數(shù)據(jù)段、共計22個數(shù)據(jù)段、30條航跡、16 177幀圖像、16 944個目標及標注。該類型的數(shù)據(jù)集在國內(nèi)尚屬首次成系列的公開發(fā)布，這些數(shù)據(jù)情況包括了當前紅外目標檢測識別的以下重難點問題[5]：

（1）長序列圖像中目標跟蹤；

（2）多目標相互干擾條件下的檢測跟蹤；

（3）復雜環(huán)境下弱小目標發(fā)現(xiàn)捕獲。

為滿足檢測跟蹤識別算法性能評估的需要[6-7]，數(shù)據(jù)集對紅外圖像中的目標進行了位置坐標的標注，并在這些標注結(jié)果的基礎(chǔ)上，綜合考慮檢測正確性、檢測精度、航跡正確性、目標漏警、目標虛警等關(guān)鍵評價要素，研究提出了符合軍事對抗發(fā)展規(guī)律的檢測跟蹤算法綜合性評價準則，并開放了評分程序代碼。本數(shù)據(jù)集在為相關(guān)科研人員開展學習研究工作提供測試實驗數(shù)據(jù)的同時，也能促進部分現(xiàn)有成果的實用化開發(fā)，打破當前軍工科研領(lǐng)域相對封閉的科研局面，吸引更多的青年科研人員參與軍事目標探測方法研究，為國家國防科研事業(yè)發(fā)展做貢獻。

此外，在第二屆“空天杯”創(chuàng)新創(chuàng)意大賽結(jié)束后，眾多參賽選手和國內(nèi)同行對本數(shù)據(jù)集的補充完善版本都提出了申請需求，這也印證了本數(shù)據(jù)集科研價值。

5 數(shù)據(jù)使用方法和建議

5.1 數(shù)據(jù)使用方法

數(shù)據(jù)的推薦使用方法如下：

（1）使用者利用自己編制的紅外圖像弱小目標檢測跟蹤算法讀取一段圖像數(shù)據(jù)，并完成檢測跟蹤任務；

（2）按照標注文件的存儲格式，將該段檢測跟蹤結(jié)果保存在自定義文件中；

（3）通過本數(shù)據(jù)集提供的評價準則（推薦使用數(shù)據(jù)集提供的評分程序代碼）將標注數(shù)據(jù)與檢測跟蹤結(jié)果進行比對計算得分，作為當前數(shù)據(jù)段的結(jié)果；

（4）針對全部數(shù)據(jù)段順次完成上述步驟后，累加可計算總得分。也可根據(jù)具體的實際應用需求，基于標注結(jié)果自行設(shè)計新的評分規(guī)則并計分比較。

5.2 數(shù)據(jù)使用評價

數(shù)據(jù)使用后其結(jié)果評價可通過如下原則計分評價，得分高者為優(yōu)。數(shù)據(jù)使用結(jié)果的最終得分由檢測跟蹤得分和航跡連續(xù)性得分兩部分累計得到。為區(qū)分檢測跟蹤的精度，在數(shù)據(jù)使用評價中給出標注框的定義，即以1.2.2節(jié)給出的標注點為中心，上下作用各擴充N個像素，得到(N+1)×(N+1)的標注框。下文對檢測跟蹤的得分均通過標注框來定義。

1.檢測跟蹤得分

（1）正確檢測且精度滿足預定要求，即有且僅有1個檢測結(jié)果位于3×3的標注框內(nèi)（含），每個坐標位置得1分；

（2）正確檢測但精度不滿足預定要求，即有且僅有1個檢測結(jié)果位于3×3的標注框外且位于9×9的標注框內(nèi)（含），每個坐標位置得0分；

（3）漏檢，即9×9的標注框內(nèi)（含）無檢測結(jié)果，每個坐標位置減1分；

（4）虛警，即在9×9的標注框外出現(xiàn)檢測結(jié)果，或1個標注框內(nèi)出現(xiàn)多余1個的檢測結(jié)果，每個坐標位置減2分；

2.航跡連續(xù)性得分

（5）在正確檢測且滿足預定精度的前提下，即在條目（1）情形下，每段數(shù)據(jù)的航跡連續(xù)性得分為：同一目標數(shù)量最多的航跡編號數(shù)目×1分。

在上述數(shù)據(jù)使用評價準則下，利用本數(shù)據(jù)集測試結(jié)果滿分為41114分。本數(shù)據(jù)集提供上述評價準則的評分程序代碼。