摘" 要： 針對電子監(jiān)控視頻中受遮擋目標識別難度高的問題，提出一種電子監(jiān)控部分遮擋目標單模態(tài)自監(jiān)督信息挖掘技術(shù)。為了得到目標的狀態(tài)信息，利用遮擋檢測方法判斷監(jiān)控視頻中是否存在部分遮擋目標。當監(jiān)控視頻存在部分遮擋目標時，利用減法聚類方法進行特定目標的識別、跟蹤或描述，并提供更準確和詳細的目標特征信息。在此基礎(chǔ)上，將交叉熵損失函數(shù)與軟間隔三元組損失函數(shù)構(gòu)建的監(jiān)督遮擋目標特征學習判別損失函數(shù)作為部分遮擋目標信息挖掘的目標函數(shù)，在每個批次的電子監(jiān)控樣本中，搜尋最小距離的負樣本對以及最大距離的正樣本對，并通過反向傳播優(yōu)化參數(shù)。由此輸入電子監(jiān)控圖像樣本，通過前向傳播輸出得到電子監(jiān)控部分遮擋目標單模態(tài)自監(jiān)督信息挖掘結(jié)果。實驗結(jié)果表明，所提出的技術(shù)可以有效挖掘電子監(jiān)控部分遮擋目標，目標挖掘的mAP值高于0.9，能夠為提升監(jiān)控目標識別精度提供可靠依據(jù)。

關(guān)鍵詞： 電子監(jiān)控； 遮擋檢測； 單模態(tài)自監(jiān)督； 信息挖掘； 交叉熵損失函數(shù)； 三元組損失函數(shù)

中圖分類號： TN911.23?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）10?0047?05

Single mode self supervised information mining technology for partially occluded

targets in electronic monitoring

Abstract： In allusion to the difficulty of identifying occlusive targets in electronic surveillance video， the single?mode self?supervised information mining technology for partially occlusive targets in electronic monitoring is researched. In order to obtain the state information of the target， the occlusion detection method is used to judge whether there is a partially occluded target in the surveillance video. When there are partially occluded targets in surveillance video， subtraction clustering method is used to identify， track or describe specific targets， and provide more accurate and detailed target feature information. On this basis， the supervised occlusion target feature learning discrimination loss function constructed by cross entropy loss function and soft interval triplet loss function is used as the objective function for partially occluded target information mining. In each batch of electronic monitoring samples， the minimum distance negative sample pair and the maximum distance positive sample pair are mined， and the parameters are optimized by the backpropagation. From this， the sample of electronic monitoring image is input， and the results of self?supervised information mining are obtained by means of the forward propagation. The experimental results show that this technology can effectively mine the partially occluded targets of electronic monitoring， and the mAP value of target mining is higher than 0.9， which can provide a reliable basis for improving the recognition accuracy of monitoring targets.

Keywords： electronic monitoring; occlusion detection; single?mode self?supervision; information mining;" cross entropy loss function; triplet loss funtion

0" 引" 言

電子監(jiān)控在實際應用中，由于人體、樹木、車輛等遮擋物的存在[1]，監(jiān)控攝像頭無法完全捕捉到目標的完整圖像，從而難以進行監(jiān)控視頻分析。如何有效地識別和分析部分遮擋目標[2?3]，對于提高監(jiān)控視頻的應用效果具有重要意義。

近年來，眾多學者針對監(jiān)控視頻目標分析展開研究。張志遠等提出一種結(jié)合多注意力機制的自監(jiān)督目標跟蹤方法，通過多注意力機制捕捉目標細節(jié)和上下文信息，提高了目標跟蹤的準確性[4]。但是該方法對目標初始化的依賴性較強，而初始化不準確可能會導致目標跟蹤失敗。張方方等將多特征自適應融合方法應用于目標識別中，采用快速特征匹配和更新機制識別目標[5]。但是該方法需要提取和融合多種特征，并實時匹配與更新特征，計算復雜度較高，對目標檢測實時性存在影響。F. Saffre等將遺傳算法應用于視頻監(jiān)控的自適應調(diào)節(jié)中，該方法能夠根據(jù)環(huán)境變化自適應調(diào)整參數(shù)或策略，確保監(jiān)控效果最佳化[6]。但是遺傳算法的性能高度依賴參數(shù)設(shè)置，如交叉率、變異率等，影響監(jiān)控調(diào)節(jié)效果。M. U. Sreeja等提出利用聚合深度卷積遞歸模型進行監(jiān)控視頻的目標檢測，該方法利用深度卷積網(wǎng)絡(luò)提取視頻特征，結(jié)合遞歸模型處理時序信息[7]。該方法處理大量視頻數(shù)據(jù)時更為高效，但是需要預設(shè)事件類別，對未知事件的檢測能力有限。

單模態(tài)自監(jiān)督是一種通過無標簽數(shù)據(jù)進行自監(jiān)督學習的技術(shù)，用于處理單個模態(tài)的電子監(jiān)控數(shù)據(jù)。利用該技術(shù)可以從無標簽數(shù)據(jù)中學習有用的特征表示，實現(xiàn)目標信息的有效挖掘，提高部分遮擋目標的挖掘效果?；诖耍疚奶岢鲆环N電子監(jiān)控部分遮擋目標單模態(tài)自監(jiān)督信息挖掘技術(shù)，利用單模態(tài)自監(jiān)督學習技術(shù)，從電子監(jiān)控視頻中挖掘有用信息，實現(xiàn)部分遮擋目標的精準挖掘。

1" 電子監(jiān)控部分遮擋目標信息挖掘

1.1" 目標遮擋部分判斷

監(jiān)控視頻中的目標可能被其他物體或障礙物遮擋，導致部分目標無法完整展示或識別，這會給目標識別和跟蹤帶來困難，降低監(jiān)控系統(tǒng)的準確率。通過目標遮擋部分判斷，可以得到目標的狀態(tài)信息，包括是否完整或者被遮擋的程度，這些信息可以用于目標動態(tài)的監(jiān)測與預測，提供更全面和準確的目標行為分析和檢測。因此，本文利用遮擋檢測方法，判斷電子監(jiān)控視頻可見光單模態(tài)圖像中是否存在部分遮擋目標。

本文方法用[fx]表示電子監(jiān)控視頻可見光單模態(tài)圖像的檢測框區(qū)域內(nèi)目標的概率分布；[posx]與[fmaxx]分別表示候選區(qū)域坐標以及概率分布最大值，概率分布最大值目標的位置用[posmaxx]表示；用[h]與[w]分別表示電子監(jiān)控視頻圖像樣本[x]的高與寬；[α]與[β]分別表示遮擋判斷閾值以及目標面積因子。

在電子監(jiān)控視頻圖像樣本最大值位置[posmaxx]的鄰域中，搜尋符合[αfmaxx]條件的像素點，求取該像素點對應的位置[posallx]。計算[posmaxx]與全部[posallx]之間歐氏距離的表達式如下：

[dis=posallx-posmaxx] （1）

利用變量[G]判斷電子監(jiān)控視頻中是否存在部分遮擋目標，表達式如下：

通過公式（2）可知，當[G=0]時，表示目標受到部分遮擋；當[G=1]時，表示目標未受到遮擋。

通過電子目標遮擋部分判斷有助于解決監(jiān)控系統(tǒng)中目標遮擋問題，提高目標識別和跟蹤的準確性，并為目標的狀態(tài)監(jiān)測與預測提供更詳細的信息。

1.2" 部分遮擋目標特征聚類

目標在被部分遮擋時，目標區(qū)域的特征相對較少或難以提取，這是因為部分遮擋可能導致目標特征的缺失、模糊或受干擾，使得對目標的精確識別和特征描述變得更加困難。因此，在判定電子監(jiān)控視頻目標存在部分遮擋時，利用減法聚類方法，更好地聚焦于部分遮擋目標區(qū)域，從而提供更詳細的目標特征分析。

設(shè)電子監(jiān)控視頻可見光單模態(tài)圖像[wjt]與[wit-1]分別表示監(jiān)控圖像的樣本權(quán)值以及聚類權(quán)值，將電子監(jiān)控部分遮擋目標圖像的像素點設(shè)置為[N]，則單模態(tài)圖像的聚類中心表達式如下：

[C=Nμwjtwit-1]" " " " " "（3）

式中：[μ]表示部分遮擋目標特征點屬于聚類中心的模糊隸屬度。

設(shè)部分遮擋目標特征數(shù)據(jù)集為[X=x1，x2，…，xn]，利用單模態(tài)圖像的聚類中心[C]獲取特征密度指標[Di]，表達式如下：

式中[ra]表示[X]的鄰域半徑。

考慮電子監(jiān)控視頻背景的復雜性[8]，對部分遮擋目標特征密度指標進行修正，公式如下：

式中：[rb]表示顯著減少密度指標函數(shù)的鄰域半徑；[DC]表示聚類中心的密度指標。

在上述公式計算的基礎(chǔ)上，設(shè)[ε]為部分遮擋目標的特征聚類閾值，[Dk-Di≥ε]時，表示遮擋目標特征聚類效果較為一般；當[Dk-Dilt;ε]時，表示電子監(jiān)控部分遮擋目標特征的聚類效果較優(yōu)。這有助于進行特定目標的識別、跟蹤或描述，并提供更準確和詳細的目標特征信息。

1.3" 目標的單模態(tài)自監(jiān)督信息挖掘

在部分遮擋情況下，目標與遮擋部分之間可能存在邊界模糊的情況，特征聚類方法可能無法完全提取出遮擋目標的特征，從而限制了對部分遮擋目標的準確描述和分析。

因此，本文基于電子監(jiān)控部分遮擋目標特征挖掘聚類[9]，對電子監(jiān)控視頻單模態(tài)可見光圖像進行遮擋目標的單模態(tài)自監(jiān)督信息挖掘。用[yi]表示遮擋目標信息挖掘的自監(jiān)督信號，利用自監(jiān)督信號學習所挖掘的電子監(jiān)控部分遮擋目標特征[fi]，用[pi]表示目標挖掘概率。將應用于電子監(jiān)控部分遮擋目標的單模態(tài)自監(jiān)督信息挖掘的自監(jiān)督特征學習判別損失函數(shù)表達式設(shè)置為[L=L1+L2]。其中，[L1]表示交叉熵損失函數(shù)，[L2]表示軟間隔三元組損失函數(shù)。

在單模態(tài)自監(jiān)督信息挖掘中[10]，交叉熵損失函數(shù)可以用來約束網(wǎng)絡(luò)輸出與目標之間的匹配程度，使得學習到的特征在分類任務上具有良好的區(qū)分能力。交叉熵損失函數(shù)[L1]的表達式如下：

在單模態(tài)自監(jiān)督信息挖掘中，軟間隔三元組損失函數(shù)可以用于約束網(wǎng)絡(luò)將同一目標的不同視角或時間段的特征樣本更近地靠攏，同時將與之不同的目標的特征樣本推遠，這有助于提高學習到的特征的區(qū)分性，使得目標之間的差異更加明顯。軟間隔三元組損失函數(shù)[L2]的表達式如下：

[L2=1+expdisha，hp-disha，hn]" " "（7）

式中：[ha]、[hp]與[hn]表示電子監(jiān)控部分遮擋目標特征三元組集合內(nèi)的錨點、正樣本、負樣本[11]；[dis]表示電子監(jiān)控部分遮擋目標特征點之間的歐氏距離。

本文利用函數(shù)[1+exp?]將特征集內(nèi)正樣本與負樣本對之間的間隔進行軟化處理。通過綜合使用交叉熵損失函數(shù)和軟間隔三元組損失函數(shù)，可以綜合考慮分類能力和特征之間的相似性關(guān)系，從而得到更具判別力和魯棒性的目標特征表示。

在此基礎(chǔ)上，設(shè)置[L]為電子監(jiān)控部分遮擋目標單模態(tài)自監(jiān)督信息挖掘的目標函數(shù)。首先選取樣本挖掘方法作為電子監(jiān)控部分遮擋目標特征三元組的采樣策略，在每個批次的電子監(jiān)控樣本中，搜尋最小距離的負樣本對以及最大距離的正樣本對[12?13]；然后使用采樣得到的樣本對作為訓練數(shù)據(jù)，根據(jù)設(shè)定的損失函數(shù)[L1]和[L2]，在每個批次中計算損失，并通過反向傳播優(yōu)化參數(shù)；最后輸入電子監(jiān)控圖像樣本，通過前向傳播輸出得到電子監(jiān)控部分遮擋目標單模態(tài)自監(jiān)督信息挖掘結(jié)果。

2" 實驗分析

2.1" 實驗設(shè)置

為了驗證所提出的技術(shù)挖掘電子監(jiān)控部分遮擋目標的有效性，將其應用于某市某小區(qū)的車輛安全管理平臺中。選取該車輛安全管理平臺采集的某停車場的車輛監(jiān)控信息作為研究對象，該車輛安全管理平臺選取華睿微品牌的4G6068電動調(diào)焦攝像頭作為電子監(jiān)控抓拍設(shè)備。電子監(jiān)控設(shè)備的具體信息如表1所示。

采集的目標存在部分遮擋的原始監(jiān)控圖像如圖1所示。

如圖1所示的監(jiān)控圖像分辨率為1 920×1 080，幀率為30 f/s。監(jiān)控視頻圖像中存在明顯的部分車輛目標被樹木遮擋的情況，車輛目標被樹木遮擋時，在車輛安全管理平臺的目標檢測以及目標跟蹤等應用中，容易出現(xiàn)漏檢情況。

本文利用單模態(tài)自監(jiān)督信息挖掘技術(shù)挖掘電子監(jiān)控部分遮擋目標，挖掘過程中的相關(guān)參數(shù)設(shè)置如表2所示。

根據(jù)上述設(shè)置得到的部分遮擋目標信息挖掘結(jié)果如圖2所示。

由圖2實驗結(jié)果可以看出，本文利用單模態(tài)自監(jiān)督信息挖掘技術(shù)，可以有效挖掘電子監(jiān)控部分遮擋目標。單模態(tài)自監(jiān)督信息挖掘技術(shù)通過自監(jiān)督方式，學習單模態(tài)電子監(jiān)控視頻圖像的內(nèi)在表示，對于數(shù)據(jù)不平衡、特征選擇困難等情況，仍然具有較高的信息挖掘有效性。由此說明，本文技術(shù)在電子監(jiān)控部分遮擋目標挖掘任務中，可以取得良好的效果。

2.2" 結(jié)果與分析

采用本文技術(shù)判斷圖1的電子監(jiān)控視頻圖像中是否存在被遮擋的目標，目標遮擋判斷的響應信號圖如圖3所示。

由圖3可以看出，采用本文技術(shù)判斷電子監(jiān)控視頻圖像中是否存在目標被遮擋情況時，依據(jù)監(jiān)控視頻的響應信號圖，具有較高的遮擋判斷有效性。對比分析圖2與圖3的實驗結(jié)果，圖3的遮擋判斷響應信號圖中，高響應像素位置即遮擋判定位置，與圖2中的目標被遮擋位置相符。圖3實驗結(jié)果有效驗證了本文技術(shù)判斷電子監(jiān)控遮擋目標的有效性。

mAP（Mean Average Precision）是衡量數(shù)據(jù)挖掘技術(shù)的重要評價指標，其更能夠反映挖掘技術(shù)的整體挖掘性能，更加綜合客觀。采用本文技術(shù)進行單模態(tài)自監(jiān)督信息挖掘，不同電子監(jiān)控視頻圖像變換方式時的mAP值統(tǒng)計結(jié)果如圖4所示。

由圖4可知，采用本文技術(shù)對電子監(jiān)控部分遮擋目標進行單模態(tài)自監(jiān)督信息挖掘，不同電子監(jiān)控圖像變換方式時的mAP值均高于0.9。

圖4實驗結(jié)果證明，本文技術(shù)適用于不同類型的復雜場景下電子監(jiān)控部分遮擋目標的有效挖掘，可為提升監(jiān)控目標識別準確性與跟蹤精度提供可靠依據(jù)，具有較高的可行性。

3" 結(jié)" 論

為了提高電子監(jiān)控視頻中受遮擋目標的識別準確性，本文基于單模態(tài)自監(jiān)督學習進行部分遮擋目標的信息挖掘。實驗結(jié)果表明，該技術(shù)能夠在目標部分遮擋情況下精準挖掘目標，且具有較好的泛化能力，能夠在不同電子監(jiān)控監(jiān)控場景中應用。所研究技術(shù)對于提高電子監(jiān)控視頻的應用效果具有重要意義，有望在實際中得到廣泛應用。

參考文獻

[1] 楊靜，張燦龍，李志欣，等.集成空間注意力和姿態(tài)估計的遮擋行人再辨識[J].計算機研究與發(fā)展，2022，59（7）：1522?1532.

[2] 姚英茂，姜曉燕.基于圖卷積網(wǎng)絡(luò)與自注意力圖池化的視頻行人重識別方法[J].計算機應用，2023，43（3）：728?735.

[3] 劉小波，肖肖，王凌，等.基于無錨框的目標檢測方法及其在復雜場景下的應用進展[J].自動化學報，2023，49（7）：1369?1392.

[4] 張志遠，楊帆.結(jié)合多注意力機制的自監(jiān)督目標跟蹤[J].計算機工程與設(shè)計，2021，42（12）：3502?3509.

[5] 張方方，曹家暉，王海靜，等.基于多特征自適應融合的抗遮擋目標跟蹤算法[J].紅外技術(shù)，2023，45（2）：150?160.

[6] SAFFRE F， HILDMANN H. Adaptive behaviour for a self?organising video surveillance system using a genetic algorithm [J]. Algorithms， 2021， 14（3）： 74?77.

[7] SREEJA M U， KOVOOR B C. An aggregated deep convolutional recurrent model for event based surveillance video summarisation： a supervised approach [J]. IET computer vision， 2021， 15（4）： 297?311.

[8] 潘德倫，冀雋，張躍進.基于運動矢量空間編碼的視頻監(jiān)控動態(tài)目標檢測方法[J].吉林大學學報（工學版），2021，51（4）：1370?1374.

[9] 張平，關(guān)麗紅.基于概率統(tǒng)計的多維關(guān)聯(lián)數(shù)據(jù)動態(tài)挖掘仿真[J].計算機仿真，2022，39（3）：402?406.

[10] 趙霖，趙滟，靳捷.基于局部注意力和位姿迭代優(yōu)化的自監(jiān)督單目深度估計算法[J].信號處理，2022，38（5）：1088?1097.

[11] 吳岸聰，林城梽，鄭偉詩.面向跨模態(tài)行人重識別的單模態(tài)自監(jiān)督信息挖掘[J].中國圖象圖形學報，2022，27（10）：2843?2859.

[12] 陳亮，楊羽翼，張劍，等.基于特征增強與損失優(yōu)化的水下遮擋目標檢測算法[J].探測與控制學報，2023，45（3）：109?115.

[13] 林正文，宋思瑜，范鈞瑋，等.改進YOLOv5的光伏組件熱斑及遮擋小目標檢測[J].計算機工程與應用，2024，60（1）：84?95.