摘" 要： 針對(duì)高清和超高清視頻，嵌入式微處理器在進(jìn)行視頻編解碼時(shí)常常會(huì)受到資源的限制，導(dǎo)致輸出的視頻畫面出現(xiàn)模糊的情況。為此，提出一種面向嵌入式微處理器的高性能視頻編解碼算法。利用最小平均絕對(duì)值誤差作為匹配準(zhǔn)則指標(biāo)，預(yù)判斷高性能視頻的失真率損耗，計(jì)算圖像中最大交流系數(shù)總能量，獲取高細(xì)節(jié)分塊，感知運(yùn)動(dòng)視頻；利用空時(shí)域條件下的邊緣圖獲取視頻編碼的相鄰像素權(quán)重，通過像素間距離獲取超像素為前景區(qū)域的概率，對(duì)目標(biāo)前景區(qū)域編碼；采用最小化范數(shù)優(yōu)化編碼視頻約束條件，利用拉格朗日乘子等價(jià)轉(zhuǎn)換編碼視頻，根據(jù)訓(xùn)練冗余字典計(jì)算視頻解碼校正因子，完成最終的視頻編解碼。經(jīng)實(shí)驗(yàn)證明，所提方法能有效地完成高性能視頻編解碼，保證視頻質(zhì)量，視頻的編碼率一直處于31.3 dB，相對(duì)穩(wěn)定。

關(guān)鍵詞： 嵌入式微處理器； 視頻編碼； 視頻解碼； 邊緣信息； 交流系數(shù)； 冗余字典； 超像素

中圖分類號(hào)： TN941.2?34； TP391" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " "文章編號(hào)： 1004?373X（2024）10?0034?05

A high performance video codec algorithm for embedded microprocessors

Abstract： In allusion to the situation that the embedded microprocessor is often limited by resources in the video codec of high definition and ultra high definition video， which leads to the blurring of the output video picture， a high?performance video coding algorithm for embedded microprocessor is proposed. The minimum average absolute error is used as the matching criterion index to pre?judge the distortion rate loss of high?performance video， calculate the total energy of the maximum AC coefficient in the image， and obtain high?detail segmentation and motion sensing video. The weights of adjacent pixels in the video coding are obtained by means of the edge graph in the space?time domain， and the probability that the superpixel is the foreground region is obtained by means of the distance between pixels， and the target foreground region is encoded. The minimum norm is used to optimize the constraint of coding video， the Lagrange multiplier equivalent transformation is used to encode video， and the video decoding correction factor is calculated according to the training redundancy dictionary to complete the final video codc. The experimental results show that the proposed method can effectively complete high performance video codec and ensure video quality， and the video encoding rate is always 31.3 dB， which is relatively stable.

Keywords： embedded microprocessor; video encoding; video decoding; edge information; communication coefficient; redundant dictionary; superpixel

0" 引" 言

嵌入式設(shè)備具有小尺寸、低功耗、低成本等特點(diǎn)，在智能手機(jī)、便攜式計(jì)算機(jī)、電視盒子等移動(dòng)和智能設(shè)備中得到廣泛應(yīng)用。視頻通話、視頻會(huì)議、流媒體、視頻監(jiān)控等領(lǐng)域的發(fā)展，對(duì)視頻播放和處理的性能要求也越來越高。

然而，在嵌入式微處理器中，由于資源限制，解碼高分辨率視頻需要更強(qiáng)大的計(jì)算能力和穩(wěn)定的編碼率。因此，如何高效地進(jìn)行視頻編解碼以適應(yīng)這種需求，成為了亟待解決的問題。

基于以上背景，楊春玲等人提出一種基于深度學(xué)習(xí)的編碼方法，根據(jù)視頻光流的運(yùn)動(dòng)補(bǔ)償形式估計(jì)視頻的運(yùn)動(dòng)思路，挖掘視頻的深層特征域，預(yù)測視頻像素模塊，通過深度學(xué)習(xí)完成時(shí)變編碼，保證視頻良好的率失真性能[1]。

在實(shí)際的應(yīng)用中，深度學(xué)習(xí)模型對(duì)于內(nèi)存和計(jì)算資源的需求較大，而針對(duì)嵌入式系統(tǒng)和移動(dòng)設(shè)備，無法滿足實(shí)時(shí)編碼的需求。為此，李鐵妮等人提出一種深度卷積編解碼方法，利用視頻的低頻振動(dòng)信息去除隨機(jī)噪聲，增強(qiáng)視頻特征的卷積描述，在分層條件下重建視頻三維信息，完成視頻的編解碼[2]。但在去除低頻振動(dòng)信息時(shí)，引入一定程度的信息損失和變形，會(huì)導(dǎo)致圖像質(zhì)量下降或者不符合應(yīng)用期望，尤其是對(duì)于一些特定類型的視頻內(nèi)容。

為解決以上方法存在的問題，本文提出一種面向嵌入式微處理器的高性能視頻編解碼算法。

1" 高性能運(yùn)動(dòng)視頻感知

嵌入式微處理器通常具有有限的計(jì)算資源和功耗限制。然而，在實(shí)時(shí)視頻應(yīng)用中，如視頻會(huì)議、流媒體等，需要根據(jù)網(wǎng)絡(luò)狀況動(dòng)態(tài)調(diào)整視頻的幀率。由于視頻編碼的過程相當(dāng)于壓縮過程[3]，故可將分幀視頻看作是活動(dòng)圖像，分成若干塊。為了在有限的資源條件下實(shí)現(xiàn)更高效的視頻編解碼，以降低系統(tǒng)的功耗，采用高性能運(yùn)動(dòng)視頻感知算法，通過匹配準(zhǔn)則能更準(zhǔn)確地搜索到分塊的相似位置，對(duì)視頻的運(yùn)動(dòng)進(jìn)行估計(jì)。

在嵌入式微處理器的環(huán)境中，低復(fù)雜度的匹配準(zhǔn)則指標(biāo)能夠更好地滿足資源受限的需求[4]。將視頻參考幀多分量數(shù)據(jù)塊進(jìn)行匹配，消除視頻幀間冗余信息。用[T0]表示視頻當(dāng)前停留時(shí)刻，為保證對(duì)視頻畫面的運(yùn)動(dòng)估計(jì)準(zhǔn)確，減少計(jì)算量對(duì)硬件的要求，利用最小平均絕對(duì)值誤差作為匹配準(zhǔn)則指標(biāo)[5]，公式如下：

[MADMV=f2x，MV-f1x]" "（1）

式中：[f2x，MV]表示當(dāng)前視頻活動(dòng)頁的分塊內(nèi)容；[f1x]表示視頻初始頁面內(nèi)容。當(dāng)[f2x，MV-f1x≥T0]時(shí)，此時(shí)的匹配值為1；當(dāng)[f2x，MV-f1xlt;T0]時(shí)，說明視頻活動(dòng)頁畫面間的匹配值為0。

根據(jù)視頻分塊匹配準(zhǔn)則指標(biāo)判斷視頻活動(dòng)頁的匹配情況，考慮視頻中可能存在較為劇烈的運(yùn)動(dòng)，從而導(dǎo)致活動(dòng)圖像的畫面出現(xiàn)割裂。為減少視頻編碼過程中的計(jì)算量，預(yù)判斷高性能視頻的失真率損耗[6]，公式如下：

[Jmode=MADMV·SSD+λ·Rref，mode，ψMV，residual] （2）

式中：[ref]表示高性能視頻活動(dòng)圖像編號(hào)；[mode]表示圖像狀態(tài)；[ψMV]表示視頻失真損耗；[residual]表示視頻剩余能量；[SSD]表示預(yù)測的視頻分塊與原始活動(dòng)圖像之間的差值均方和；[λ]表示拉格朗日算法；[R]表示失真率損耗計(jì)算過程中的視頻實(shí)際碼流[7]。

視頻中劇烈運(yùn)動(dòng)場景下，傳統(tǒng)的編碼方式往往會(huì)導(dǎo)致嚴(yán)重的信息丟失和失真[8]。而采用小模塊模式可以提前判斷運(yùn)動(dòng)情況，有助于減少編碼過程中出現(xiàn)的失真。相對(duì)平緩的視頻分塊區(qū)域利用大模塊進(jìn)行編碼預(yù)判斷，能有效地實(shí)現(xiàn)對(duì)劇烈運(yùn)動(dòng)視頻的編碼預(yù)判斷。將高性能運(yùn)動(dòng)視頻分為[M×N]個(gè)分塊，根據(jù)視頻的失真率損耗與判斷結(jié)果，計(jì)算視頻分塊的總能量，公式為：

式中：[Xi，j]表示視頻分塊圖像中像素坐標(biāo)[i，j]對(duì)應(yīng)的能量。

為了評(píng)估圖像中的動(dòng)態(tài)范圍，計(jì)算最大交流系數(shù)總能量，這有助于了解圖像的對(duì)比度和細(xì)節(jié)豐富度，盡量減少信息損失?；顒?dòng)圖像中最大交流系數(shù)總能量為：

在高性能運(yùn)動(dòng)視頻中，細(xì)節(jié)豐富的區(qū)域通常包含有意義的目標(biāo)信息。利用最大交流系數(shù)總能量獲取活動(dòng)圖像細(xì)節(jié)特征系數(shù)[9]，當(dāng)特征系數(shù)大于0.7時(shí)，說明該區(qū)域?qū)儆诟呒?xì)節(jié)分塊，從而實(shí)現(xiàn)對(duì)運(yùn)動(dòng)視頻的感知，公式如下：

2" 視頻編碼

嵌入式微處理器的存儲(chǔ)資源有限，因此需要對(duì)視頻編碼進(jìn)行處理。編碼后的視頻文件較小，有助于優(yōu)化存儲(chǔ)資源利用。

通過感知視頻的運(yùn)動(dòng)特性可以更精細(xì)地優(yōu)化視頻內(nèi)容，提高視頻的觀感質(zhì)量?？紤]到視頻內(nèi)容的連續(xù)性，相鄰活動(dòng)圖像之間包含對(duì)應(yīng)的時(shí)域運(yùn)動(dòng)信息，因此，根據(jù)運(yùn)動(dòng)視頻感知結(jié)果，可以確定視頻的目標(biāo)前景編碼區(qū)域。

在處理高運(yùn)動(dòng)視頻時(shí)，邊緣信息可以更好地保留圖像細(xì)節(jié)和紋理信息，降低編碼失真。設(shè)定編碼過程中視頻序列的輸入幀[F1，F(xiàn)2，…]，通過聚類感知得到均勻狀態(tài)下的超像素集合[Yk=yk1，yk2，…]，獲取第[k]個(gè)輸入幀[Fk]對(duì)應(yīng)的邊緣概率圖[ξkc]。假設(shè)視頻幀[Fk]對(duì)應(yīng)的光流場為[Vk]，為了提高視頻幀的清晰度和邊緣銳利度，在第1節(jié)對(duì)運(yùn)動(dòng)視頻感知的基礎(chǔ)上，計(jì)算出空時(shí)域條件下的邊緣圖[ξk]，公式如下：

[ξk=Fk?ξkcVk?R]" " " " " " " " " " （6）

為有效地保留前景區(qū)域信息，將光流場[Vk]作為超像素集[Yk]的節(jié)點(diǎn)，通過分析相鄰像素權(quán)重保證圖像質(zhì)量的穩(wěn)定性和連貫性。視頻編碼過程中的相鄰像素權(quán)重[10]公式如下：

[Wkmn=ξkykm-ξkykn]" " " " " " " "（7）

式中：[ykm]、[ykn]表示相鄰兩個(gè)邊緣圖超像素[m]、[n]的時(shí)空邊界概率。

針對(duì)視頻中的超像素[ykn]，根據(jù)活動(dòng)圖像中像素之間的最短路徑，利用邊緣權(quán)重計(jì)算像素間距離；根據(jù)超像素所屬區(qū)域范圍，判定像素距離間的邊緣信息編碼條件。像素間距離公式如下：

計(jì)算編碼視頻超像素[ykn]成為前景區(qū)域的概率，公式為：

[Pkykn=mindykn，q，Gk，" q∈Qk]" " " （9）

式中[Qk]表示活動(dòng)圖像中動(dòng)作幀的邊界超像素。

在上述條件下繼續(xù)編碼目標(biāo)前景區(qū)域[Uk]，采用自適應(yīng)閾值[σk]，通過函數(shù)表示目標(biāo)前景區(qū)域[Uk]的編碼，具體為：

[Uk=yknPkykngt;σk?ykn]" " " " "（10）

3" 視頻解碼

由于編碼視頻數(shù)據(jù)是經(jīng)過壓縮和轉(zhuǎn)換的數(shù)據(jù)流，無法直接被視覺理解，因此，完成視頻編碼后對(duì)其解碼，還原成可視化的視頻信號(hào)。為避免解碼后相鄰幀之間存在運(yùn)動(dòng)殘差，降低視頻解碼的難度，利用壓縮感知（Compressive Sensing， CS）算法提高視頻解碼質(zhì)量和效率，通過最小化范數(shù)完成對(duì)編碼視頻的約束條件優(yōu)化[11]，公式如下：

式中：[y]、[A]分別表示高性能視頻的幀率與運(yùn)動(dòng)速率；[s]表示活動(dòng)圖像約束參數(shù)；[K]表示視頻幀變化的影響參數(shù)。

利用邊界約束，在拉格朗日乘子的輔助條件下對(duì)編碼視頻進(jìn)行等價(jià)轉(zhuǎn)換。為保證視頻的解碼精度，在計(jì)算過程中添加針對(duì)視頻像素殘差的校正項(xiàng)：

式中：[η]表示視頻解碼過程中的非線性閾值判斷門限；[zk]表示軟閾值迭代過程中的視頻像素殘差值；[c]表示對(duì)應(yīng)的校正因子。

為了在解碼過程中實(shí)現(xiàn)活動(dòng)圖像的軌跡整合，針對(duì)視頻像素殘差的校正項(xiàng)，在三維條件下對(duì)視頻分塊進(jìn)行空間濾波匹配。根據(jù)對(duì)視頻分塊特征的初始估計(jì)，聯(lián)合和堆疊分塊特征，完成活動(dòng)圖像重構(gòu)。視頻解碼校正因子的計(jì)算公式如下：

式中：[DB]表示編碼過程中完成訓(xùn)練的冗余字典；[m]表示編解碼保留因子。

利用視頻解碼校正因子獲取視頻特征的信號(hào)估計(jì)值：

[xk+1=ck+1DBsε]" " " " " "（15）

式中[sε]表示視頻特征當(dāng)前值。

根據(jù)關(guān)鍵幀中圖像特征的編碼信息，在解碼過程中利用閾值逼近特征修正的最優(yōu)解，求解關(guān)鍵幀的壓縮值和邊信息差值，最終在訓(xùn)練樣本集中完成視頻解碼：

4" 實(shí)驗(yàn)驗(yàn)證分析

為驗(yàn)證所提面向嵌入式微處理器的高性能視頻編解碼算法的性能，選取嵌入式微處理器DAVIS數(shù)據(jù)集作為實(shí)驗(yàn)的數(shù)據(jù)來源，從中隨機(jī)選擇分辨率為1 080p的交通視頻，分別從視頻中截選出6幀作為實(shí)驗(yàn)訓(xùn)練素材，截取圖像的空域復(fù)雜度具備較大的跨度。

本文分別利用所提方法、文獻(xiàn)[1]的深度學(xué)習(xí)編碼方法和文獻(xiàn)[2]的深度卷積編解碼方法對(duì)測試圖像進(jìn)行編解碼處理，并將三種方法得到的編解碼測試圖像結(jié)果進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖1所示。

從圖1中可以看出：采用深度學(xué)習(xí)編碼方法完成編解碼后，實(shí)驗(yàn)的視頻截圖中存在大量噪點(diǎn)，且圖像出現(xiàn)波紋變形；在采用深度卷積編解碼方法條件下，圖像經(jīng)過編碼和解碼后噪聲問題有所減少，但圖像經(jīng)過編解碼后產(chǎn)生了斜變的情況；而所提方法條件下的視頻截圖相對(duì)完整和清晰，并未產(chǎn)生噪聲或亮度變化等問題。由此可見，所提方法編解碼效果更好。

對(duì)于非關(guān)鍵幀而言，其中包含的特征信息和分塊連接性較少，為保持較小數(shù)據(jù)量，通常選擇0.1～0.5的壓縮率。

對(duì)于嵌入式系統(tǒng)而言，存儲(chǔ)空間和傳輸帶寬通常是有限的，低編碼率的視頻可以節(jié)省存儲(chǔ)空間和降低傳輸帶寬的需求，對(duì)于嵌入式系統(tǒng)的應(yīng)用非常重要。因此，選取編碼率作為評(píng)價(jià)指標(biāo)可以更直接地反映算法在嵌入式系統(tǒng)中的應(yīng)用效果。

本文計(jì)算三種方法對(duì)非關(guān)鍵幀的編碼率，結(jié)果如圖2所示。

從圖2中可以看出：在不同的非關(guān)鍵幀壓縮率條件下，深度學(xué)習(xí)編碼方法的非關(guān)鍵幀隨之增加且相對(duì)較高；深度卷積編解碼方法的非關(guān)鍵幀也存在一定波動(dòng)狀態(tài)；比較之下，所提方法隨著非關(guān)鍵幀壓縮率的變化，對(duì)應(yīng)的非關(guān)鍵幀相對(duì)穩(wěn)定，保持較小的數(shù)據(jù)量。這是因?yàn)楸疚姆椒ɡ米钚』稊?shù)優(yōu)化編碼視頻約束條件和拉格朗日乘子實(shí)現(xiàn)了編碼視頻等價(jià)轉(zhuǎn)換，有效地壓縮了數(shù)據(jù)量，盡可能地保留視頻的質(zhì)量，減少了冗余信息的傳輸和存儲(chǔ)，從而維持了非關(guān)鍵幀相對(duì)穩(wěn)定并保持較小的數(shù)據(jù)量。綜上可知，所提方法下生成的非關(guān)鍵幀質(zhì)量基本相近，具備較好的編解碼性能。

5" 結(jié)" 論

針對(duì)高清和超高清視頻，嵌入式微處理器在進(jìn)行視頻編解碼時(shí)常常會(huì)受到資源的限制，導(dǎo)致輸出的視頻畫面出現(xiàn)模糊的情況。為此，本文提出一種面向嵌入式微處理器的高性能視頻編解碼算法。在研究高性能視頻的編解碼算法時(shí)，首先對(duì)視頻進(jìn)行相應(yīng)的運(yùn)動(dòng)估計(jì)，分解視頻活動(dòng)圖像，得到視頻感知提取結(jié)果；再根據(jù)視頻關(guān)鍵幀的光流場，基于邊緣權(quán)重計(jì)算像素間距離，判定像素距離，明確邊緣信息編碼條件。為了降低視頻解碼和重構(gòu)難度，計(jì)算視頻解碼校正因子，完成視頻的完整編解碼。經(jīng)實(shí)驗(yàn)證明，所提方法能有效地完成視頻編解碼，保證視頻解碼后的圖像質(zhì)量。

參考文獻(xiàn)

[1] 楊春玲，呂澤宇.深層特征域運(yùn)動(dòng)估計(jì)和多層多假設(shè)運(yùn)動(dòng)補(bǔ)償?shù)囊曨l壓縮編解碼網(wǎng)絡(luò)[J].華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，50（10）：51?61.

[2] 李鐵妮，劉東遠(yuǎn)，張鵬睿，等.基于深度卷積編解碼網(wǎng)絡(luò)的fNIRS成像技術(shù)研究[J].中國激光，2023，50（21）：104?112.

[3] 汪維，徐龍，陳卓.深度學(xué)習(xí)模型中間層特征壓縮技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究，2023，40（5）：1281?1291.

[4] 楊紅，張松，王林，等.無線異構(gòu)網(wǎng)絡(luò)中的低復(fù)雜度分級(jí)視頻傳輸技術(shù)[J].電訊技術(shù)，2021，61（10）：1243?1249.

[5] 霍俊彥，邱瑞鵬，馬彥卓，等.基于最鄰近幀質(zhì)量增強(qiáng)的視頻編碼參考幀列表優(yōu)化算法[J].通信學(xué)報(bào)，2022，43（11）：136?147.

[6] 許敏鵬，吳喬逸，熊文田，等.面向中高頻SSVEP腦機(jī)接口的編解碼算法研究[J].信號(hào)處理，2022，38（9）：1881?1891.

[7] 蔡鑒明，張賢賢，梁月.道路交通場景監(jiān)控視頻編碼研究[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（10）：187?193.

[8] 梁劍，何軍輝.基于宏塊編碼信息自適應(yīng)置換的H.264/AVC視頻加密方法[J].計(jì)算機(jī)科學(xué)，2022，49（1）：314?320.

[9] 陳建，廖燕俊，王適，等.自適應(yīng)分割的視頻點(diǎn)云多模式幀間編碼方法[J].自動(dòng)化學(xué)報(bào)，2023，49（8）：1707?1722.

[10] 王玥，蘇寒松，劉高華.改進(jìn)的編碼?解碼時(shí)序動(dòng)作檢測算法[J].激光與光電子學(xué)進(jìn)展，2021，58（20）：463?469.

[11] 賈克斌，崔騰鶴，劉鵬宇，等.基于深層特征學(xué)習(xí)的高效率視頻編碼中幀內(nèi)快速預(yù)測算法[J].電子與信息學(xué)報(bào)，2021，43（7）：2023?2031.

[12] 才爭野，宋智華，彭建烽，等.壓縮感知在視頻編解碼中的發(fā)展與應(yīng)用[J].廣東通信技術(shù)，2020，40（6）：52?55.

[13] 張鳳華.針對(duì)視頻編解碼場景的圖像語義分割算法的研究及實(shí)現(xiàn)[D].北京：中國科學(xué)院大學(xué)（中國科學(xué)院大學(xué)人工智能學(xué)院），2020.

[14] 帥鑫，卿粼波，何小海，等.一種基于卷積神經(jīng)網(wǎng)絡(luò)的VVC去壓縮偽影半盲方法[J].無線電工程，2022，52（10）：1702?1709.

[15] 于濮嘉，王康誼.基于ARM+FPGA的實(shí)時(shí)流傳輸車載記錄儀設(shè)計(jì)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2021，21（9）：83?86.