李蓉

摘 要：全景智能化視頻中存在多種近似的目標(biāo)干擾項(xiàng)，且在動態(tài)活動條件下容易丟失監(jiān)測目標(biāo)，影響監(jiān)測方法對設(shè)定目標(biāo)的抓取效果，針對這一問題以人機(jī)交互為基礎(chǔ)，設(shè)計(jì)全新的全景智能化視頻目標(biāo)自動監(jiān)測方法。該方法以投影變換矩陣為前提，標(biāo)定與配準(zhǔn)攝像機(jī)安裝節(jié)點(diǎn);利用示性函數(shù)判斷圖像是否為背景圖像，根據(jù)方向梯度公式排除近似目標(biāo)干擾項(xiàng);基于人機(jī)交互設(shè)置目標(biāo)模板區(qū)域，通過均值偏移過程檢測方法追蹤監(jiān)測目標(biāo)所在位置，并自動恢復(fù)丟失目標(biāo)，實(shí)現(xiàn)對全景智能化視頻目標(biāo)的自動監(jiān)測。結(jié)果表明，對照其他3組自動監(jiān)測方法，基于人機(jī)交互的自動監(jiān)測，從第1幀圖像開始匹配目標(biāo)，抓取概率一直維持在0.9以上，監(jiān)測效果遠(yuǎn)優(yōu)于對照的3組方法。

關(guān)鍵詞：人機(jī)交互;全景視頻;攝像機(jī)標(biāo)定;干擾目標(biāo);背景判別;自動監(jiān)測

中圖分類號：TP391?????? 文獻(xiàn)標(biāo)識碼：A文章編號：1001-5922（2022）01-0111-05

Automatic monitoring method of panoramic intelligent video target based on human-computer interaction

LI Rong

（Lu′an vocational andTechnical College，Changzhi 046000，Shanxi China）

Abstract：There are many similar target interference items in panoramic intelligent video，and it is easy to lose the monitoring target under the condition of dynamic activity，which affects the grasping effect of the monitoring method on the set target.Aiming at solving this problem，a new panoramic intelligent video target automatic monitoring method was designed based on human-computer interaction.Based on the projection transformation matrix，the camera installation nodes were calibrated and registered;The indication function was used to judge whether the image is a background image，and the approximate target interference term was eliminated according to the directional gradient formula;Set the target template area based on human-computer interaction，tracked the location of the monitoring target through the mean shift process detection method，and automatically recovered the lost target，so as to realize the automatic monitoring of panoramic intelligent video target.The experimental results showed that compared with the other three groups of automatic monitoring methods，the automatic monitoring based on human-computer interaction matched the target from the first frame image，and the capture probability remained above 0.9，while the monitoring effect is much better than the three groups of methods..

Key words：human computer interaction;Panoramic video;camera calibration;jamming target;background discrimination;automatic monitoring

現(xiàn)代社會生活依靠互聯(lián)網(wǎng)和物聯(lián)網(wǎng)建立溝通，越來越多的工作在網(wǎng)絡(luò)及智能技術(shù)的支持下正常運(yùn)轉(zhuǎn)，其中道路交通指揮、電力輸送等基本工作，對于網(wǎng)絡(luò)的依賴程度都很大，在網(wǎng)絡(luò)的控制下以智能化的方式，完成道路疏通、電力調(diào)度等工作，由此在這些工作中，開始出現(xiàn)具有全景功能監(jiān)測的系統(tǒng)。該系統(tǒng)通過導(dǎo)入全景信息，構(gòu)建滿足日常工作的全景信息模型，根據(jù)模型劃分不同的監(jiān)測位置和監(jiān)測方式，保證各項(xiàng)工作穩(wěn)定進(jìn)行[1]。然而，全景智能化視頻目標(biāo)受外界環(huán)境因素中大量同屬性、不同屬性，同類別、不同類別的干擾項(xiàng)影響，自身屬性特征不夠明顯，有時(shí)會與這些干擾項(xiàng)之間高度類似，導(dǎo)致系統(tǒng)監(jiān)測過程中丟失本來設(shè)定好的監(jiān)測目標(biāo)。為了保證系統(tǒng)的正常工作，提出將人機(jī)交互的相關(guān)技術(shù)應(yīng)用到自動監(jiān)測方法當(dāng)中。現(xiàn)階段的人機(jī)交互技術(shù)，是通過人機(jī)交互界面與系統(tǒng)直接交流，以并行操作的方式控制系統(tǒng)運(yùn)行[2]。目前該技術(shù)被廣泛應(yīng)用到各項(xiàng)領(lǐng)域，包括人體運(yùn)動過程中的動作識別、翻轉(zhuǎn)課堂設(shè)計(jì)、機(jī)器人軌跡控制等，這些方法都充分發(fā)揮了人機(jī)交互技術(shù)的特點(diǎn)，為各自工作提供更加精準(zhǔn)的控制。此次研究基于人機(jī)交互的全景智能化視頻目標(biāo)自動監(jiān)測方法，利用該方法加強(qiáng)目標(biāo)監(jiān)測工作，為今后的目標(biāo)識別定位研究提供參考。

1 基于人機(jī)交互的全景智能化視頻目標(biāo)自動監(jiān)測方法

1.1 標(biāo)定與配準(zhǔn)攝像機(jī)安裝位置

全景視頻監(jiān)測需要多臺攝像機(jī)，這些攝像機(jī)分布在分布式網(wǎng)絡(luò)當(dāng)中，通過不同的拍攝方向與角度，將大量攝像機(jī)數(shù)據(jù)轉(zhuǎn)變?yōu)槿皵?shù)據(jù)。這一工作要求攝像機(jī)的標(biāo)定與配準(zhǔn)位置，能夠滿足全景監(jiān)測要求。設(shè)計(jì)一個(gè)運(yùn)行在分布式網(wǎng)絡(luò)中的交互式遠(yuǎn)程標(biāo)定方法，要求該方法能夠預(yù)先選取待配準(zhǔn)圖像的局部位置，通過篩選匹配特征點(diǎn)控制匹配誤差;還要求該方法能夠利用匹配點(diǎn)完成數(shù)據(jù)篩選與信息配準(zhǔn)，通過減少節(jié)點(diǎn)計(jì)算量，控制計(jì)算耗時(shí)。此項(xiàng)工作的本質(zhì)，就是利用一個(gè)圖像映射關(guān)系，將攝像機(jī)的拍攝內(nèi)容匹配到基準(zhǔn)視場中，通過縮放、平移、旋轉(zhuǎn)等方法融合處理圖像。設(shè)置原始圖像的隨機(jī)像素點(diǎn)坐標(biāo)為a，b;經(jīng)過上述變換處理后的像素點(diǎn)坐標(biāo)為a′，b′，則通過下列公式獲得原始圖像與處理后圖像的變換關(guān)系：

a′b′1〗=μ11μ12μ13μ21μ22μ23μ31μ32μ33〗ab1〗（1）

式中：μ11μ12μ13μ21μ22μ23μ31μ32μ33〗=A，表示投影變換矩陣，其中μ13μ23〗T和μ31μ32〗T分別用于不同行列數(shù)據(jù)在a、b坐標(biāo)上的平移和透視變換。利用矩陣A對不在同一直線上的匹配點(diǎn)進(jìn)行配對，完成對圖像的投影變換[3]。這一過程中，為了解決非整數(shù)像素坐標(biāo)取值困難的問題，采用雙線性內(nèi)插法插值運(yùn)算圖像;假設(shè)對圖像進(jìn)行N倍縮放，該圖像中的隨機(jī)像素點(diǎn)坐標(biāo)不變，推算該坐標(biāo)在變換處理后的圖像中，生成的新坐標(biāo)為a″，b″，則通過下列公式獲得二者之間的關(guān)系：

a″=a′·1N

b″=b′·1N（2）

設(shè)置浮點(diǎn)坐標(biāo)為a″+Δa″，b″+Δb″，其中a″、b″表示正整數(shù)部分;Δa″和Δb″表示小數(shù)部分，則利用雙線性內(nèi)插法插值運(yùn)算圖像時(shí)，根據(jù)4個(gè)相鄰點(diǎn)像素值在不同方向上的內(nèi)插，獲得浮點(diǎn)坐標(biāo)的像素值，即

f（a″+λ，b″+λ）=f（a″，b″）+Δa″+Δb″+

Δa″Δb″（3）

圖像縮放后，根據(jù)公式（3）獲得新圖像的每個(gè)坐標(biāo)的像素值。根據(jù)上述過程調(diào)整攝像機(jī)的安裝位置，滿足攝像機(jī)在分布式網(wǎng)絡(luò)中的全景監(jiān)測。

1.2 排除目標(biāo)干擾項(xiàng)

利用攝像機(jī)獲得圖像后，利用人機(jī)交互平臺自動檢測全景智能化視頻目標(biāo);但大多數(shù)視頻中會頻繁出現(xiàn)汽車、行人等動態(tài)目標(biāo)，這些目標(biāo)之間具有極強(qiáng)的相似性，當(dāng)目標(biāo)運(yùn)動時(shí)，受相似性干擾項(xiàng)的影響，容易丟失監(jiān)測目標(biāo)，所以對單幀圖像初始化，要按照每一幀的內(nèi)容分類圖像中的各個(gè)對象，為排除干擾項(xiàng)提供分類數(shù)據(jù)。但排除干擾項(xiàng)之前需要判定圖像是否為背景圖像，設(shè)計(jì)單幀初始化策略和隨機(jī)更新策略，根據(jù)該策略判斷圖像幀數(shù)，并分析當(dāng)前圖像是否為背景圖像，判定公式為

La″，b″=∑ni=1FGia″，b″-Ia″，b″>α〗

（4）

式中：F*表示示性函數(shù);Gi*表示樣本集合當(dāng)中第i個(gè)樣本的像素值;I*表示輸入圖像的像素值;α表示判斷像素相似性的閾值。當(dāng)所求結(jié)果L的值越大時(shí)，越能說明該點(diǎn)為背景的可能性就越大。根據(jù)該結(jié)果判斷全景智能化視頻中，每一幀圖像是否為背景圖像。此次研究將此項(xiàng)結(jié)果的標(biāo)準(zhǔn)值設(shè)置為10，當(dāng)L<10時(shí)，則該幀圖像為背景圖像，否則為目標(biāo)圖像。該方法根據(jù)判定結(jié)果得到目標(biāo)圖像，如圖1（a）所示。

根據(jù)圖1可知，根據(jù)公式（4）的評價(jià)結(jié)果，獲得圖1（a）存在干擾項(xiàng)的圖像。對該干擾項(xiàng)進(jìn)行排除，這一過程需要考慮方向梯度。已知目標(biāo)物的邊緣輪廓最具有價(jià)值，因?yàn)楸O(jiān)測識別需要通過不同的邊緣輪廓，識別目標(biāo)種類。圖像的邊緣可以利用不同像素點(diǎn)的梯度進(jìn)行描述，該值通過下列方程組獲得：

Haa″，b″=Ra″+1，b″-Ra″-1，b″Hba″，b″=Ra″，b″+1-Ra″，b″-1Ta″，b″=Haa″，b″2+Hba″，b″2βa″，b″=arctanHba″，b″Haa″，b″（5）

式中：Haa″，b″、Hba″，b″分別表示不同方向的邊緣特征值;R*表示像素灰度值;Ta″，b″表示梯度幅值;βa″，b″表示梯度方向[4]。通過公式（5）計(jì)算每個(gè)像素的梯度，連接得到結(jié)果后生成獨(dú)立的區(qū)塊，實(shí)現(xiàn)對干擾目標(biāo)的鎖定，從而在圖1（a）中排除，得到圖1（b）的結(jié)果，實(shí)現(xiàn)對監(jiān)測目標(biāo)的精準(zhǔn)定位。

1.3 基于人機(jī)交互自動恢復(fù)丟失目標(biāo)

在實(shí)際監(jiān)測過程中，盡管區(qū)分了背景環(huán)境和干擾項(xiàng)，但依舊存在突然丟失監(jiān)測目標(biāo)的情況，所以在人機(jī)交互的基礎(chǔ)上，通過人機(jī)交互界面控制Mean Shift跟蹤算法的運(yùn)行，輔助對目標(biāo)的自動監(jiān)測。假設(shè)目標(biāo)模板區(qū)域的像素位置為a*i，其中i表示位置節(jié)點(diǎn)編號。已知核函數(shù)為一個(gè)單調(diào)遞減函數(shù)，利用該函數(shù)設(shè)置目標(biāo)模板區(qū)域的像素權(quán)值，其中遠(yuǎn)離模板的像素權(quán)值較小，接近模板的像素權(quán)值較大。設(shè)置a*i處的像素灰度值為ga*i，則目標(biāo)模板灰度概率的計(jì)算結(jié)果為

pi=M∑ni=1h‖a*i‖2φga*i-γ〗（6）

式中：M表示歸一化常數(shù);h*表示加權(quán)函數(shù)，也就是提出的核函數(shù);φ*〗表示克羅內(nèi)克函數(shù)，當(dāng)該函數(shù)的結(jié)果φ=0時(shí)，像素節(jié)點(diǎn)不重疊;當(dāng)該函數(shù)的結(jié)果為φ=1時(shí)，像素節(jié)點(diǎn)重疊。由于概率pi的最大極限值為1，那么根據(jù)公式（6）可導(dǎo)出歸一化常數(shù)M，得到

M=1∑ni=1h‖a*i‖2（7）

根據(jù)公式（6）和公式（7），可得到人機(jī)交互控制數(shù)據(jù)，根據(jù)該數(shù)據(jù)比較目標(biāo)模板和候選目標(biāo)之間的相似性，該比較過程如下：

s′z=∑mi=1piz，pisz=1-s′z（8）

式中：s′z是描述模板與候選目標(biāo)之間關(guān)系的Bhattacharyya系數(shù)。在被檢測幀中定位目標(biāo)，需要從前一幀的目標(biāo)模板位置開始，將模板與目標(biāo)進(jìn)行比較，而不是默認(rèn)初始圖像為背景。因?yàn)橐恍┠繕?biāo)可能運(yùn)動到區(qū)域的邊緣處，所以對監(jiān)測的前10～20幀圖像不進(jìn)行目標(biāo)匹配，導(dǎo)致這種默認(rèn)存在極大的誤差，影響最終的監(jiān)測結(jié)果。所以人機(jī)交互過程中，考慮攝像機(jī)的拍攝位置，試試調(diào)整Bhattacharyya系數(shù)，根據(jù)目標(biāo)模板和候選目標(biāo)之間的線性近似，衡量目標(biāo)的變形程度。操作過程中當(dāng)變形結(jié)果超出數(shù)據(jù)標(biāo)準(zhǔn)時(shí)，利用均值偏移過程檢測方法，計(jì)算新的目標(biāo)位置，公式為

z=∑nki=1a″iuiqz′-a″L2∑nki=1uiqz′-a″L2（9）

式中：z′表示丟失前的目標(biāo)位置;z表示自動恢復(fù)后獲得的目標(biāo)位置;ui表示權(quán)重;L表示丟失偏移量;q*表示追蹤函數(shù)[5]。在上述過程的基礎(chǔ)上，實(shí)現(xiàn)對丟失目標(biāo)的自動恢復(fù)，至此完成基于人機(jī)交互的全景智能化視頻目標(biāo)自動監(jiān)測。

2 應(yīng)用測試

2.1 測試平臺

為驗(yàn)證此次研究的自動監(jiān)測方法具有更好的應(yīng)用效果，利用高清全景視頻采集與處理系統(tǒng)硬件平臺進(jìn)行應(yīng)用測試，如圖2所示。對圖2中的平臺進(jìn)行12 V外部供電，設(shè)置全景鏡頭的環(huán)視角度為360°，在一個(gè)實(shí)驗(yàn)室內(nèi)采集全景視頻圖像，并將采集結(jié)果通過VGA接口上傳到顯示屏。設(shè)置硬件平臺的采集分辨率分別為2 592×1 944、1 922×1 080以及1 280×720。經(jīng)過3組條件測試，得到的視頻目標(biāo)最高幀頻分別為15、30和60帖。將該結(jié)果與OV5640手冊中的參數(shù)數(shù)據(jù)進(jìn)行對比，得到的結(jié)果與手冊中的數(shù)據(jù)完全一致，表明該硬件平臺可以正常應(yīng)用。

平臺的軟件采用Visual Studio 2017+Kinect V2.0+ OpenCV3.1.0軟件，采集全景智能化視頻中的運(yùn)動目標(biāo)，從而實(shí)現(xiàn)智能化監(jiān)測任務(wù)。由于光照會影響圖像數(shù)據(jù)的獲取，得到的結(jié)果存在一定程度的誤差，更加接近實(shí)際監(jiān)測環(huán)境，所以在本次測試當(dāng)中，需要體驗(yàn)者完全暴露在設(shè)備的視場感應(yīng)范圍之內(nèi)。為了降低圖像運(yùn)算過程中產(chǎn)生的內(nèi)存開銷，每次測試只提取一次目標(biāo)位置的所在方位。按照如圖3所示的過程，要求體驗(yàn)者按照1、2、3的順序依次抓取并放回圖3中的3組物品，利用搭建的平臺執(zhí)行自動監(jiān)測任務(wù)。

此次測試為了增強(qiáng)測試結(jié)果的說服性，將本文提出的自動監(jiān)測方法，與3種傳統(tǒng)自動監(jiān)測方法進(jìn)行比較，3組傳統(tǒng)方法分別為基于大數(shù)據(jù)技術(shù)的監(jiān)測方法、基于全景感知技術(shù)的自動監(jiān)測方法、基于多數(shù)據(jù)融合的自動監(jiān)測方法。利用4組方法監(jiān)測體驗(yàn)者在抓取A1、A2、A3目標(biāo)時(shí)，手部與3個(gè)物品之間的接觸情況，根據(jù)監(jiān)測結(jié)果統(tǒng)計(jì)不同方法的目標(biāo)抓取概率。

2.2 目標(biāo)抓取率測試

將4組方法依次與搭建的實(shí)驗(yàn)平臺之間建立有效連接，在保證同樣的測試條件下，獲得4組方法的全景智能化視頻目標(biāo)抓取概率，圖4為此次測試得到的目標(biāo)抓取概率統(tǒng)計(jì)結(jié)果。

根據(jù)圖4顯示的測試結(jié)果可知，圖4（a）基于大數(shù)據(jù)技術(shù)的自動監(jiān)測方法，默認(rèn)前20幀圖像為背景圖像，且對于目標(biāo)圖像的抓取，處于一個(gè)較小的概率。當(dāng)圖像幀數(shù)超過27時(shí)，目標(biāo)抓取概率才有所增加，但最大值不超過0.7。圖4（b）基于全景感知技術(shù)的自動監(jiān)測方法面臨同樣的問題，但該方法只是默認(rèn)前15幀圖像為背景圖像，總體抓取概率也接近0.8，說明該方法的全景感知技術(shù)起到了一定感知作用，但對監(jiān)測結(jié)果還是有一定程度的影響。圖4（c）基于多數(shù)據(jù)融合的自動監(jiān)測方法，沒有默認(rèn)初始圖像為背景圖像，但其抓取概率忽上忽下，該方法的多數(shù)據(jù)融合并不穩(wěn)定，難以信任該方法的監(jiān)測結(jié)果。圖4（d）本文方法發(fā)揮了人機(jī)交互的實(shí)時(shí)控制優(yōu)勢，并沒有默認(rèn)初始圖像為背景圖像，而是從第1幀圖像開始，就進(jìn)行目標(biāo)匹配，同時(shí)抓取概率均超過了0.9，說明該方法在排除干擾項(xiàng)的前提下，有更好的監(jiān)測效果。

3 結(jié)語

此次研究將目標(biāo)干擾問題、目標(biāo)丟失問題作為研究重點(diǎn)內(nèi)容，充分發(fā)揮人機(jī)交互技術(shù)的精準(zhǔn)控制特點(diǎn)，通過全新的圖像處理方法，監(jiān)測全景智能化視頻目標(biāo)，為今后監(jiān)測系統(tǒng)的目標(biāo)監(jiān)控與測算工作，提供了更好的技術(shù)支持。但此次研究還存在兩點(diǎn)不足之處，首先就是該方法的計(jì)算較為復(fù)雜，可能最終會影響監(jiān)測耗時(shí)，這一點(diǎn)需要驗(yàn)證;其次是該方法針對目標(biāo)干擾和目標(biāo)丟失提出的，但固定區(qū)域中的目標(biāo)可以是動態(tài)變化的，一旦目標(biāo)消失在識別區(qū)域內(nèi)，關(guān)于對不完整目標(biāo)的識別定位還有待研究。在今后的研究工作中，需要測試該監(jiān)測方法的使用耗時(shí)情況，并對不完整目標(biāo)的識別定位方法進(jìn)行詳細(xì)介紹，通過輪廓特征提取與缺失數(shù)據(jù)補(bǔ)充工作，進(jìn)一步優(yōu)化對全景視頻目標(biāo)的自動監(jiān)測。

【參考文獻(xiàn)】

[1]艾精文，黨曉婧，呂啟深，等.基于物聯(lián)網(wǎng)的具有全景功能的全維度設(shè)備狀態(tài)監(jiān)測系統(tǒng)研究[J].電力系統(tǒng)保護(hù)與控制，2019，47（16）：122-128.

[2] 李森，謝翔，李國林，等.一種基于顏色結(jié)構(gòu)光的投影儀攝像頭觸摸板人機(jī)交互系統(tǒng)[J].微電子學(xué)與計(jì)算機(jī)，2019，36（1）：61-65.

[3] 晏暉，胡丙華.基于空間拓?fù)潢P(guān)系的目標(biāo)自動跟蹤與位姿測量技術(shù)[J].中國測試，2019，45（4）：9-15.

[4] 黃微，任衛(wèi)紅，朱琳琳，等.基于形狀上下文和方向梯度直方圖特征的異源圖像配準(zhǔn)[J].信息與控制，2019，48（2）：149-155.

[5] 徐秋平.基于人機(jī)交互式圖割的目標(biāo)快速提取[J].計(jì)算機(jī)工程與科學(xué)，2020，42（2）：299-306.