摘" 要： 針對(duì)不同類型運(yùn)動(dòng)目標(biāo)形狀不同、運(yùn)動(dòng)模式不一致導(dǎo)致識(shí)別難度大的問(wèn)題，文中提出一種多特征融合下連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別方法。通過(guò)攝像機(jī)對(duì)目標(biāo)進(jìn)行連續(xù)幀圖像采集，從中提取圖像顏色及紋理特征，經(jīng)歸一化操作和特征間的歐氏距離融合提取多特征后，進(jìn)行近似距離計(jì)算并排序，將前一部分作為長(zhǎng)短期記憶網(wǎng)絡(luò)輸入特征向量，構(gòu)建運(yùn)動(dòng)目標(biāo)識(shí)別模型，輸出連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別結(jié)果。通過(guò)實(shí)驗(yàn)驗(yàn)證，該方法能夠通過(guò)一種可視化的頁(yè)面將識(shí)別結(jié)果顯示出來(lái)，便于用戶快速、準(zhǔn)確地理解和分析識(shí)別結(jié)果，識(shí)別速度快、穩(wěn)定可靠，可以為相關(guān)領(lǐng)域提供有效的技術(shù)支持。

關(guān)鍵詞： 多特征融合； 連續(xù)幀圖像； 運(yùn)動(dòng)目標(biāo)識(shí)別； 特征提取； 顏色特征； 紋理特征； 歐氏距離； 長(zhǎng)短期記憶網(wǎng)絡(luò)

中圖分類號(hào)： TN911.73?34； TP391" " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2025）05?0049?04

Moving object recognition method for continuous frame image with multi?feature fusion

LIU Zhaoxia

（Taiyuan University of Technology， Taiyuan 030024， China）

Abstract： Aiming at the difficult recognition caused by different shapes and inconsistent motion modes of different types of motion objects， a continuous frame image motion object recognition method based on multi?feature fusion is proposed. The object is subjected to continuous frame image acquisition by a camera， and the image color and texture features are extracted from the continuous frame image. After the multiple features are extracted by normalization and Euclidean distance fusion among features， the approximate distance is calculated and the sorting is performed. The previous part is used as the input feature vector for the long short?term memory network （LSTM）， and a motion object recognition model is constructed to output the result of the motion object recognition for continuous frame image. Experiments verified that the proposed method can display the recognition results with a visual page， which facilitates users to understand and analyze the recognition results quickly and accurately. Its recognition speed is fast， its recognition process is stable and its recognition results is reliable， so it can provide effective technical support for related fields.

Keywords： multi?feature fusion; continuous frame image; moving object recognition; feature extraction; color feature; texture feature; Euclidean distance; LSTM

0" 引" 言

連續(xù)幀圖像中運(yùn)動(dòng)目標(biāo)的識(shí)別適用于多個(gè)領(lǐng)域，如安全監(jiān)控、體育、醫(yī)學(xué)、交通等[1]，運(yùn)動(dòng)目標(biāo)的有效識(shí)別能夠?qū)崿F(xiàn)對(duì)不同場(chǎng)景下的實(shí)時(shí)監(jiān)控和控制，為各個(gè)領(lǐng)域提供良好的數(shù)據(jù)支持[2]。在實(shí)際的運(yùn)動(dòng)目標(biāo)識(shí)別過(guò)程中，常伴隨著目標(biāo)多樣性、環(huán)境復(fù)雜性等問(wèn)題，眾多學(xué)者針對(duì)種種難點(diǎn)展開詳細(xì)分析。文獻(xiàn)[3]使用OV5640攝像頭模塊實(shí)時(shí)捕獲視頻圖像數(shù)據(jù)，對(duì)捕獲的圖像數(shù)據(jù)進(jìn)行差分處理，應(yīng)用濾波算法去除噪聲和不必要的細(xì)節(jié)，利用形態(tài)學(xué)操作進(jìn)一步強(qiáng)調(diào)和提取運(yùn)動(dòng)目標(biāo)的特征，將處理后的圖像數(shù)據(jù)或提取的特征信息存儲(chǔ)于DDR3存儲(chǔ)器中，以便后續(xù)處理分析，最后借助FPGA通過(guò)數(shù)據(jù)來(lái)檢測(cè)并識(shí)別視頻中的運(yùn)動(dòng)目標(biāo)。但FPGA的硬件資源有限，對(duì)算法進(jìn)行資源分配與保證實(shí)時(shí)性和準(zhǔn)確性相互制約，導(dǎo)致實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的效果局限性較大。文獻(xiàn)[4]通過(guò)三維掃描系統(tǒng)捕獲運(yùn)動(dòng)場(chǎng)景中所有物體的三維坐標(biāo)信息，對(duì)捕獲的點(diǎn)云圖像進(jìn)行預(yù)處理，去除噪聲和不必要的細(xì)節(jié)。通過(guò)地平面方程區(qū)分圖像中的背景點(diǎn)云和需要被識(shí)別的運(yùn)動(dòng)目標(biāo)點(diǎn)云，使用歐氏聚類法確保目標(biāo)點(diǎn)云數(shù)據(jù)被準(zhǔn)確提取。提取其中的關(guān)鍵點(diǎn)，通過(guò)Freeman鏈碼算法進(jìn)一步強(qiáng)調(diào)目標(biāo)的輪廓和形狀信息，最終實(shí)現(xiàn)圖像運(yùn)動(dòng)目標(biāo)識(shí)別。Freeman鏈碼算法對(duì)于噪聲和復(fù)雜輪廓的適應(yīng)性有限，在處理較為復(fù)雜的細(xì)節(jié)時(shí)，效果較差，導(dǎo)致實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)識(shí)別的準(zhǔn)確性較差。文獻(xiàn)[5]提出了一種CNN?5GIoT模型，該模型是一個(gè)針對(duì)物聯(lián)網(wǎng)網(wǎng)絡(luò)中運(yùn)動(dòng)目標(biāo)識(shí)別的方法。利用深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像特征，實(shí)現(xiàn)目標(biāo)的檢測(cè)和分類。這一模型結(jié)合了現(xiàn)代集成技術(shù)的優(yōu)勢(shì)，包括機(jī)器學(xué)習(xí)和人工智能方法，以及5G等新一代標(biāo)準(zhǔn)，為物聯(lián)網(wǎng)網(wǎng)絡(luò)中的目標(biāo)識(shí)別提供了高效且準(zhǔn)確的解決方案。但是CNN模型的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，通常具有較高的計(jì)算復(fù)雜度，導(dǎo)致模型推理速度下降，無(wú)法滿足實(shí)時(shí)性要求。

連續(xù)幀圖像中運(yùn)動(dòng)目標(biāo)識(shí)別在多領(lǐng)域中具有較大實(shí)用性[6]。為了提升目標(biāo)識(shí)別效果，提出一種多特征融合下連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別方法，通過(guò)長(zhǎng)短期記憶網(wǎng)絡(luò)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)識(shí)別，該模型能夠?qū)崿F(xiàn)較為精準(zhǔn)、高穩(wěn)定性、實(shí)時(shí)性的運(yùn)動(dòng)目標(biāo)識(shí)別，為相關(guān)領(lǐng)域的研究提供了技術(shù)支持。

1" 連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別方法

1.1" 連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)特征提取

首先通過(guò)攝像機(jī)對(duì)目標(biāo)進(jìn)行連續(xù)幀圖像采集，對(duì)得到的連續(xù)幀圖像進(jìn)行特征提取，主要包括連續(xù)幀圖像的顏色特征和紋理特征。

1） 顏色特征

通過(guò)空間轉(zhuǎn)換圖像像素獲取圖像顏色特征[7]，針對(duì)圖像HSV顏色空間中代表0～255共256級(jí)的紅（R）、綠（G）、藍(lán)（B）三個(gè)通道的顏色進(jìn)行轉(zhuǎn)換[8]，提取的連續(xù)幀圖像的顏色特征通過(guò)組合向量的形式表示為[H，S，V]。

2） 紋理特征

在圖像區(qū)域內(nèi)對(duì)應(yīng)的目標(biāo)表面性質(zhì)稱為紋理特征，通過(guò)像素點(diǎn)與鄰域像素間的灰度分布體現(xiàn)。本文通過(guò)LBP算子進(jìn)行連續(xù)幀圖像紋理特征提取。

LBP算子通過(guò)圖像像素點(diǎn)與鄰域像素點(diǎn)差異得到二值化差異，依據(jù)權(quán)重值的大小按照順時(shí)針順序生成二進(jìn)制字符串[9]，即圖像的LBP紋理特征值，表示為：

[LBPx，y=i， j=1MαIi-Ij] （1）

式中：[Ii]和[Ij]分別表示圖像的像素值和鄰域像素值；[M]表示鄰域像素?cái)?shù)量。

LBP紋理特征提取過(guò)程如圖1所示。

在圖1中，對(duì)比像素值與鄰域像素值，小于該中心像素值的鄰域像素值變?yōu)?，否則為1，則最終得到的二進(jìn)制字符串表示為01010001，即提取的LBP紋理特征，表示為[L]。

1.2" 連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)多特征融合

通過(guò)1.1節(jié)能夠得到連續(xù)幀圖像中的多種特征，經(jīng)多特征融合，可為后續(xù)的連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別提供依據(jù)。

設(shè)得到的特征向量維度為[a]，表示為[K=C1，L1，]

[C2，L2，…，Ca，La]，則任意圖像[Pn]與特征向量[Kn=Cn1，Ln1，Cn2，Ln2，…，Cna，Lna]呈現(xiàn)一一對(duì)應(yīng)的關(guān)系。

設(shè)采集的連續(xù)幀圖像數(shù)量為[B]，[Pu]、[Pv]分別為采集的連續(xù)幀圖像中的任意兩個(gè)連續(xù)圖像，通過(guò)歐氏距離對(duì)二者之間的近似距離進(jìn)行計(jì)算，表示為：

[Sc=?c1cu1-cv12+…+?czcuz-cvz212] （2）

[Sl=?l1lu1-lv12+…+?lzluz-lvz212] （3）

式中：[c]和[l]分別表示顏色特征矩陣分量和紋理特征矩陣分量；[?c1，…，?cz]、[?l1，…，?lz]表示對(duì)應(yīng)的權(quán)重。

針對(duì)待識(shí)別圖像[P]，對(duì)其與連續(xù)圖像之間的歐氏距離進(jìn)行計(jì)算，表示為：

[Sc，ln=bnc，ln，?nz] （4）

對(duì)其進(jìn)行歸一化操作，將其映射至[-1，1]上，表示為：

[Sc，ln′Pr=Sc，lnPrσB] （5）

式中[σB]表示標(biāo)準(zhǔn)差。

經(jīng)線性變換式（5）后，獲取歸一化距離：

[Sc，ln″Pr=Sc，ln′Pr+12] （6）

對(duì)圖像總相似距離進(jìn)行計(jì)算，表示為：

[S=n=1W?nSc，ln″Pr] （7）

式中[W]表示圖像數(shù)量。

按照式（7）對(duì)每幅圖像相似距離進(jìn)行計(jì)算，并進(jìn)行降序排列，提取前[N]個(gè)作為特征向量，表示為[SN]，為后續(xù)的運(yùn)動(dòng)目標(biāo)識(shí)別提供判斷依據(jù)[10?11]。

1.3" 基于長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)識(shí)別

將1.2節(jié)獲取的特征融合結(jié)果作為L(zhǎng)STM輸入，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的識(shí)別。長(zhǎng)短期記憶網(wǎng)絡(luò)基于循環(huán)神經(jīng)網(wǎng)絡(luò)，通過(guò)tanh函數(shù)的節(jié)點(diǎn)結(jié)構(gòu)實(shí)現(xiàn)對(duì)時(shí)間序列的處理，LSTM結(jié)構(gòu)如圖2所示。

在圖2中，LSTM包含三個(gè)門，分別表示獲取、遺忘、記憶三個(gè)過(guò)程[12]。其中，[SNt]用于描述輸入的特征向量；[λt]和[λt-1]、[ht]和[ht-1]分別用于描述[t]、[t-1]時(shí)刻長(zhǎng)短時(shí)記憶。短時(shí)記憶和輸入的圖像特征向量經(jīng)過(guò)三個(gè)門的處理后實(shí)現(xiàn)對(duì)其中冗雜信息遺忘和關(guān)鍵信息的存儲(chǔ)[13]，表示為：

[ft=Sigmoidωfht-1，SNt+δf] （8）

[it=Sigmoidωiht-1，SNt+δi] （9）

[ot=Sigmoidωoht-1，SNt+δo] （10）

式中：[ω]、[δ]分別表示權(quán)重和偏置；[ft]、[it]、[ot]分別表示三個(gè)門的輸出；[Sigmoid]用于描述[Sigmoid]激活函數(shù)。

記錄在長(zhǎng)時(shí)記憶單元中的信息表示為：

[λt=tanhωλht-1，SNt+δλ] （11）

結(jié)合式（8）～式（11），得到當(dāng)前節(jié)點(diǎn)的長(zhǎng)時(shí)記憶和短時(shí)記憶，表示為：

[λt=ftλt-1+itλt] （12）

[ht=ottanhλt] （13）

通過(guò)上述模型的構(gòu)建，經(jīng)過(guò)模型的學(xué)習(xí)和訓(xùn)練，最終能夠?qū)崿F(xiàn)連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別。

2" 實(shí)驗(yàn)與分析

通過(guò)圖像采集設(shè)備對(duì)實(shí)際的運(yùn)動(dòng)目標(biāo)圖像進(jìn)行連續(xù)幀采集，利用本文方法進(jìn)行處理和分析，最終實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)識(shí)別。為驗(yàn)證本文方法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)識(shí)別的效果，以體育項(xiàng)目中的籃球運(yùn)動(dòng)為例，實(shí)現(xiàn)圖像采集及運(yùn)動(dòng)目標(biāo)識(shí)別的流程圖如圖3所示。

在運(yùn)動(dòng)目標(biāo)識(shí)別過(guò)程中，需要依賴圖像采集設(shè)備完成連續(xù)幀圖像獲取，對(duì)圖像采集設(shè)備的參數(shù)進(jìn)行統(tǒng)計(jì)，如表1所示。

由表1可知，該設(shè)備具有高分辨率和良好的穩(wěn)定性，可以實(shí)現(xiàn)效果較好的連續(xù)幀圖像采集，能夠?yàn)楹罄m(xù)的圖像特征提取和運(yùn)動(dòng)目標(biāo)識(shí)別提供良好基礎(chǔ)。

利用本文方法對(duì)采集的連續(xù)幀圖像進(jìn)行圖像中運(yùn)動(dòng)目標(biāo)的識(shí)別，最終通過(guò)一種可視化顯示頁(yè)面對(duì)運(yùn)動(dòng)目標(biāo)的識(shí)別結(jié)果進(jìn)行顯示，具體情況如圖4所示。

由圖4可知，本文實(shí)現(xiàn)連續(xù)幀圖像中運(yùn)動(dòng)目標(biāo)的識(shí)別結(jié)果可以通過(guò)一種可視化的頁(yè)面顯示出來(lái)，通過(guò)輸入采集的圖像集合，運(yùn)動(dòng)目標(biāo)會(huì)被帶有顏色的標(biāo)識(shí)框標(biāo)記出來(lái)。這種可視化展示不僅提升了用戶的使用體驗(yàn)，也便于用戶快速、準(zhǔn)確地理解和分析識(shí)別結(jié)果，從而進(jìn)一步提高運(yùn)動(dòng)目標(biāo)識(shí)別的實(shí)用性和效率。

從采集的運(yùn)動(dòng)目標(biāo)連續(xù)幀圖像中隨機(jī)選取12組進(jìn)行動(dòng)態(tài)目標(biāo)識(shí)別，以驗(yàn)證本文方法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)識(shí)別的準(zhǔn)確性，將識(shí)別結(jié)果與實(shí)際動(dòng)作進(jìn)行對(duì)比，得到的結(jié)果如表2所示。

由表2可知，本文方法實(shí)現(xiàn)的運(yùn)動(dòng)目標(biāo)識(shí)別與實(shí)際目標(biāo)運(yùn)動(dòng)的情況高度一致，不僅能夠較為準(zhǔn)確地識(shí)別出目標(biāo)大幅度的如舉手、抬腿等動(dòng)作行為，還能夠識(shí)別出較為細(xì)微的搖頭等動(dòng)作情況。證明了本文方法在運(yùn)動(dòng)目標(biāo)識(shí)別領(lǐng)域展現(xiàn)出了卓越的性能，能夠有效地捕捉并識(shí)別出目標(biāo)的各種動(dòng)作情況，為后續(xù)的應(yīng)用和研究提供了有力的支持。

在連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別過(guò)程中，識(shí)別效果受到環(huán)境因素的影響，本文以光照強(qiáng)度對(duì)運(yùn)動(dòng)目標(biāo)識(shí)別的影響為研究條件，從采集的連續(xù)幀圖像中選取2 000組進(jìn)行實(shí)驗(yàn)驗(yàn)證，模擬光照強(qiáng)度不斷增強(qiáng)的情況，選取文獻(xiàn)[3]方法和文獻(xiàn)[4]方法作為對(duì)比方法，統(tǒng)計(jì)三種方法對(duì)運(yùn)動(dòng)目標(biāo)識(shí)別的情況，如圖5所示。

由圖5可知，三種方法實(shí)現(xiàn)的運(yùn)動(dòng)目標(biāo)識(shí)別效果存在較大差異。隨著光照強(qiáng)度不斷增大，三種方法對(duì)2 000組圖像中運(yùn)動(dòng)目標(biāo)的識(shí)別正確數(shù)據(jù)量不斷增多，但相較于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法，光照條件逐漸改善時(shí)，本文方法能夠迅速達(dá)到較高的正確識(shí)別數(shù)據(jù)量，并逐漸達(dá)到穩(wěn)定，該現(xiàn)象表明本文方法不僅識(shí)別速度快，而且識(shí)別結(jié)果穩(wěn)定可靠，驗(yàn)證了本文方法在運(yùn)動(dòng)目標(biāo)識(shí)別領(lǐng)域展現(xiàn)出了優(yōu)異的性能，在光照條件變化較大的情況下，其識(shí)別效果較好。

3" 結(jié)" 論

為了提升目標(biāo)識(shí)別效果，本文提出一種多特征融合下連續(xù)幀圖像運(yùn)動(dòng)目標(biāo)識(shí)別方法。不同于傳統(tǒng)的單一特征識(shí)別方法，該方法結(jié)合了圖像的顏色和紋理特征，通過(guò)歸一化和特征間的歐氏距離融合，提取了多特征信息。這種多特征融合策略能夠更全面地描述運(yùn)動(dòng)目標(biāo)的特性，提高識(shí)別的準(zhǔn)確性和魯棒性。同時(shí)，引入LSTM網(wǎng)絡(luò)作為識(shí)別模型，能夠有效處理序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系。通過(guò)將連續(xù)幀圖像中提取的特征向量作為L(zhǎng)STM的輸入，模型能夠?qū)W習(xí)到運(yùn)動(dòng)目標(biāo)的動(dòng)態(tài)變化模式，提高了對(duì)復(fù)雜運(yùn)動(dòng)模式的識(shí)別能力。由于該方法能夠處理不同類型運(yùn)動(dòng)目標(biāo)的識(shí)別問(wèn)題，因此具有廣泛的應(yīng)用前景。在安防監(jiān)控、智能交通、體育分析等領(lǐng)域都能夠提供有效的技術(shù)支持和解決方案。

參考文獻(xiàn)

[1] 丁靜.煙霧環(huán)境下運(yùn)動(dòng)目標(biāo)雙目視覺(jué)定位技術(shù)研究[J].測(cè)繪學(xué)報(bào)，2024，53（3）：582.

[2] 賈澎濤，侯長(zhǎng)民，李娜.復(fù)雜背景下改進(jìn)的ViBe運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].應(yīng)用光學(xué)，2023，44（5）：1045?1053.

[3] 楊星，余小平，鄭鋮，等.基于FPGA的多運(yùn)動(dòng)目標(biāo)檢測(cè)及硬件實(shí)現(xiàn)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2023，23（4）：57?60.

[4] 尤錕，張全成，李凱勇.基于三維激光點(diǎn)云的運(yùn)動(dòng)圖像動(dòng)態(tài)目標(biāo)識(shí)別方法[J].應(yīng)用激光，2022，42（4）：147?153.

[5] QURESHI K N， KAIWARTYA O， JEON G， et al. Neurocomputing for internet of things： Object recognition and detection strategy [J]. Neurocomputing， 2022， 485（7）： 263?273.

[6] 翟光，胡圣冉，孫一勇.面向天基紅外預(yù)警的高動(dòng)態(tài)弱小目標(biāo)LSTM檢測(cè)方法研究[J].紅外與激光工程，2023，52（10）：211?221.

[7] 湯旻安，王晨雨，羅引航.基于自適應(yīng)ViBe算法的動(dòng)態(tài)背景運(yùn)動(dòng)目標(biāo)檢測(cè)[J].傳感器與微系統(tǒng)，2023，42（11）：119?122.

[8] 陳思，張海洋，靳發(fā)宏，等.運(yùn)動(dòng)目標(biāo)的多維度微運(yùn)動(dòng)特征提取研究[J].物理學(xué)報(bào)，2024，73（7）：151?163.

[9] 葉裴雷，張大斌.高速運(yùn)動(dòng)目標(biāo)特征關(guān)聯(lián)檢測(cè)模型仿真[J].計(jì)算機(jī)仿真，2023，40（4）：208?212.

[10] 朱冰，劉琦，余瑞星.復(fù)雜場(chǎng)景下自適應(yīng)特征融合的圖像運(yùn)動(dòng)目標(biāo)跟蹤算法研究[J].航空兵器，2023，30（2）：125?130.

[11] 張立國(guó)，馬子薦，金梅，等.基于非局部感知網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)跟蹤方法[J].激光與光電子學(xué)進(jìn)展，2023，60（4）：376?384.

[12] 何磊，趙柏山，周凱.基于CNN?LSTM網(wǎng)絡(luò)模型的散打動(dòng)作辨識(shí)方法[J].微處理機(jī)，2022，43（5）：49?54.

[13] 袁浩，張軍良.基于殘差連接LSTM的雷達(dá)目標(biāo)分類識(shí)別方法[J].計(jì)算機(jī)測(cè)量與控制，2022，30（4）：182?189.

作者簡(jiǎn)介：劉朝霞（1974—），女，山西朔州人，碩士研究生，講師，研究方向?yàn)轶w育教育、運(yùn)動(dòng)人體科學(xué)、圖像識(shí)別、運(yùn)動(dòng)目標(biāo)檢測(cè)。