田棟，劉坤，郝博

(1.中國船舶重工集團有限公司 第七一七研究所，湖北 武漢 430223；2.湖北工業(yè)大學，湖北 武漢 430000)

0 引言

紅外視頻包含大量背景雜波和空氣流動等引起的噪點，因此從遠距離檢測紅外小目標具有一定難度。目前，紅外圖像的小目標檢測已成為視覺檢測領域的研究熱點。文獻[1]利用局部對比度檢測紅外小目標的方法耗時且有時會增強目標和雜波。為了提高性能，文獻[2]引入了多尺度對比度度量方法。文獻[3-4]引入紅外拼接圖像模型，將小目標檢測轉化為優(yōu)化問題,通過非凸秩近似最小化可改進模型的性能。

此外，不少研究者提出了一些使用深度學習算法(you only look once, YOLO)對短距離紅外視頻中的較大物體進行目標檢測和分類的方案。由于YOLO算法使用紋理信息來幫助檢測，所以對于目標太小而沒有任何可識別紋理遠程視頻的處理效果不夠理想。

針對以上問題，本文提出了一種提高遠程紅外視頻中小目標檢測性能的綜合方法。該方法由幾個部分構成：首先，利用成熟的視頻超分辨率增強算法來提高視頻的空間分辨率。通過比較3種算法，證明了其中一種方法可提高目標檢測性能。其次，引入了低強度與梯度(low intensity and gradient，LIG)目標檢測方法，LIG算法表現(xiàn)出了良好的性能和計算速度[5]，并且引入連通分量分析與擴張方法，從而降低了誤檢。最后，為了進一步提高整體檢測性能，在本文的框架中加入了簡單在線和實時跟蹤(simple online and realtime tracking, SORT)目標關聯(lián)算法，進一步增強了目標檢測性能。

1 實現(xiàn)方法

本文提出的方法由幾個部分構成。由于遠程視頻的分辨率較低，本文首先應用視頻超分辨率算法來提高視頻分辨率。目的是研究視頻超分辨率可以獲得多少性能增益。其次，對單幀圖像應用低強度梯度(LIG)算法進行無監(jiān)督小目標檢測。然后，針對LIG檢測結果可能出現(xiàn)的假陽性結果，采用連通分量分析將相鄰像素分組成簇。最后，提出了一種快速的目標關聯(lián)算法，稱為簡單在線和實時跟蹤(SORT)[6]，以進一步提高檢測結果，基本原理圖如圖1所示。

圖1 基本原理流程圖

1.1 視頻超分辨率算法

由于遠距離視頻中的目標過小，提高視頻分辨率有助于提高目標檢測性能，因此本研究中為了提高小目標檢測精度，將通過3種視頻超分辨率算法對原始視頻進行分辨率提升，即雙三次插值、動態(tài)上采樣濾波和超分辨率變焦慢動作算法。

1)雙三次插值(bicubic interpolation)：該算法是一種單幀超分辨率方法，對原始幀中的像素使用16個相鄰像素進行插值[7-8]。

2)視頻超分辨率的動態(tài)上采樣濾波(dynamic upsampling filter, DUF)算法：該算法能夠結合時間信息生成高分辨率幀圖像。例如，為了生成單個的超分辨率幀，VSR-DUF使用當前幀之前和之后的幀，通過相關幀來提取信息，可獲得更好的效果[9-10]。

3)視頻超分辨率變焦慢動作(zoom slow-motion, ZSM)算法：該算法是一種最新的深度學習視頻超分辨率方法，不僅提高了視頻中幀的分辨率，還提高了輸入視頻的幀速率[11-13]。

文獻[14-17]通過對各種超分辨率方法的視覺性能比較分析后得出，ZSM方法比雙三次方插值法和DUF的結果更好。

1.2 LIG原理及其改進

本文針對紅外圖像提出一種基于局部強度梯度算法(LIG)的目標檢測方法。LIG算法比其他算法的速度快，且對背景雜波處理具有良好的魯棒性。該算法使用滑動窗口掃描輸入圖像，窗口大小取決于輸入圖像的分辨率。對于每個窗口，分別計算局部強度和梯度值，然后將這些值相乘得到強度梯度圖，并使用自適應閾值分割算法，以二值化圖像展示處理效果。

LIG算法主要步驟如下。

(1)

式中：f0為中心像素的值；Nm為圖像區(qū)域內的像素數(shù)量。

2)計算局部強度值I：

(2)

3)計算區(qū)域內的各處梯度值Gi：

(3)

4)計算區(qū)域內的梯度值G：

(4)

式中k為經(jīng)驗閾值參數(shù)。

本文對LIG算法進行了優(yōu)化，使其更適合紅外視頻：對不同分辨率的幀使用不同的窗口大小，對于原始分辨率的幀圖像使用7×7窗口；對于2倍分辨率的上采樣幀，為了兼顧識別精度和計算效率，采用19×19的更大窗口。其次，為了降低誤報，對LIG方法的非零像素平均值進行改進，使用像素強度最大的前0.01%像素的平均值作為適應性閾值，更高的閾值可有效消除虛假目標。

1.3 連通區(qū)域分析

閾值處理后，對分割的二值化圖像執(zhí)行連通區(qū)域分析(connected component analysis)，連通區(qū)域是相同像素值的相鄰像素組成的集合。本文采用兩次遍歷(Two-Pass)算法：第一遍掃描時賦予每個像素位置一個標簽，掃描過程中同一個連通區(qū)域內的像素集合中可能會被賦予一個或多個不同標簽，因此需要將這些屬于同一個連通區(qū)域但具有不同值的標簽合并，記錄它們之間的相等關系；第二遍掃描就是將具有相等關系標記的像素歸為一個連通區(qū)域，并賦予一個相同的標簽，完成連通區(qū)域分析。

文中為了找到幀間移動像素，需先對二值化圖像進行擴張，將目標附近的像素合并在一起。此外，連通區(qū)域被饋送到“規(guī)則分析”塊，檢查確定連通區(qū)域是否為有效檢測，包括檢查面積大小是否合理，并比較連通區(qū)域之間的最大像素強度。如果面積在1～100像素間則有效。最終從剩余的連通區(qū)域中，選擇信號最強像素區(qū)域作為目標。

1.4 SORT目標關聯(lián)

本文使用一種快速的目標關聯(lián)算法，稱為簡單在線和實時跟蹤算法SORT，對目標進行跟蹤關聯(lián)。SORT算法主要是面向在線和實時應用，其只需使用最基礎的卡爾曼過濾器和匈牙利算法，便可以達到相當?shù)木取ORT算法通過運動信息與過去幀記憶將目標從一幀關聯(lián)到另一幀，其原理流程如圖2所示。

圖2 SORT算法原理流程圖

SORT算法對幀內每個檢測到的對象建模如下:

(5)

式中：u和v分別表示對象中心的水平和垂直像素位置；s和r分別表示對象的尺寸和比例。然后跨幀比較這些對象狀態(tài)，以確定此狀態(tài)是否與先前狀態(tài)相關。

2 實驗結果

2.1 視頻數(shù)據(jù)集

實驗測試選用的SENSIAC數(shù)據(jù)集中包含白天和夜間的4個遠距離紅外視頻，距離跨度為1 000～5 000 m，增量為500 m。本文測試數(shù)據(jù)中選擇了3 500 m、4 000 m、4 500 m和5 000 m的4個視頻。圖3-圖6顯示了各視頻不同場景的幀圖像，可以看出視頻中的車輛(小亮點)較小且很難發(fā)現(xiàn)。

圖3 3 500 m視頻場景及第900幀圖像

圖4 4 000 m視頻場景及第900幀圖像

圖5 4 500 m視頻場景及第900幀圖像

圖6 5 000 m視頻場景及第900幀圖像

2.2 評估指標

本研究中設定，如果二值化結果在地面真實邊界框質心的給定閾值(本研究中設為2個像素)內，則檢測為真(TP)，否則為假(FP)?；谡_的檢測和誤報計數(shù)(missed detections, MD)，可計算準確率P、召回率R及準確率和精確率的調及平均值F1，定義分別為：

(6)

(7)

(8)

2.3 不使用SORT的檢測效果

結合ZSM和LIG算法的處理流程如圖7所示，其沒有使用SORT算法，連通區(qū)域分析包括幾個步驟：首先，用自適應閾值對LIG圖進行二值化，即低于閾值的區(qū)域為0，高于閾值的區(qū)域為1。然后，對獲得的二值化圖像進行擴張?zhí)幚恚瑪U張運算所使用的結構元素是正方形，其大小取決于圖像的分辨率。在原始比例下，使用長度為5的正方形，對于高分辨率視頻，為了兼顧檢測精度和計算效率，使用長度為10的正方形。

圖7 結合ZSM和LIG的工作流程圖

本研究中，使用了DUF和ZSM的預訓練模型。ZSM是在大型Vimeo-Septuplet數(shù)據(jù)集上訓練的，該數(shù)據(jù)集包括Vimeo上各種視頻中約90 000個短視頻文件，每個視頻文件包括7幀圖片序列。采用ZSM算法的結果如表1所示。

從表1可知，ZSM在準確率和召回率方面都屬于最優(yōu)或并列最優(yōu)。在4 000 m的情況下，就使用超分辨率圖像實現(xiàn)高性能而言，ZSM×2和ZSM×4的表現(xiàn)都略好于所有其他算法。對于4 500 m、5 000 m遠距離而言，雙三次×2和DUF×2算法已表現(xiàn)出了較好的效果，因此ZSM算法沒有太大的改進空間，但是其效果仍然可以與性能最好的方法相比。雖然ZSM算法結果比原始分辨率的視頻有所提高，但F1值提高并不顯著。因此，在實際的目標檢測應用中，VSR方法的效果增益是有限的。

表1 采用ZSM算法對不同分辨率的視頻進行檢測的的性能

2.4 使用SORT進行軌跡關聯(lián)的改進

本節(jié)研究使用SORT算法后對整體檢測性能的影響，圖8為完整流程。結果表明，使用ZSM算法的超解析處理提高了檢測性能，但效果有限，因此，本文不采用超解析處理過程。

圖8 結合LIG、CC和SORT的工作流程圖

在實驗中，SORT算法是在連通區(qū)域分析步驟之后實現(xiàn)的。每個連通區(qū)域的邊界框信息作為輸入，然后使用SORT算法關聯(lián)跨幀的邊界框。由于在工作流程的早期階段檢測率相對較高，跟蹤關聯(lián)將有助于消除大多數(shù)誤報。表2的測試結果證明，在3 500 m視頻的300幀中，SORT算法消除了所有的誤報，同時在其他距離視頻中的效果也有所提高，可見，SORT算法有助于進一步區(qū)分背景異常目標和實際目標。

表2 SORT算法目標檢測性能對比

2.5 計算復雜度

由于本文使用LIG算法，因此導致計算速度較慢，即使使用LIG Parallel并行計算，處理一幀也需要大約75 s左右，如表3所示。

表3 建議的目標檢測框架計算時間

2.6 效果評估

對比有、無SORT算法的處理流程的結果如圖9-圖12所示。可以看出，在某些幀中，采用SORT算法有助于消除誤報。

圖9 3 500 m距離視頻對比

圖10 4 000 m距離視頻對比

圖11 4 500 m距離視頻對比

圖12 5 000 m距離視頻對比

3 結語

本研究主要針對遠程紅外視頻中的小目標檢測，結論如下。

1)提出了一個集成的、靈活的、模塊化的框架，包括視頻超分辨率、小目標檢測、連通域分析和目標軌跡關聯(lián)。

2)所提出的無監(jiān)督目標檢測方法對于目標尺寸非常小的遠距離視頻(3 500 m及以上)具有良好的檢測能力。

3)使用了SORT算法后，通過對3 500 m～5 000 m遠距離視頻數(shù)據(jù)集的測試，證明了所提檢測框架的有效性。