曾偉民

（星宸科技股份有限公司，福建廈門 361000）

作為視頻編碼使用頻率相對較高的視頻監(jiān)控領(lǐng)域，對于視頻編碼壓縮技術(shù)的應(yīng)用具有非常高的標(biāo)準(zhǔn)，需要在各種場景中實(shí)時(shí)拍攝千變?nèi)f化的圖像，包括各種運(yùn)動和非運(yùn)動的人和物體等。其中視頻背景是固定的最為常見，例如風(fēng)景、建筑物，在較長時(shí)間內(nèi)并不會發(fā)生變化，或者只發(fā)生非常輕微的變化。本人在查閱大量相關(guān)資料后認(rèn)為針對此場景，可以從人眼視覺特征角度，對現(xiàn)有的視頻監(jiān)控領(lǐng)域的視頻編碼壓縮技術(shù)做定向改進(jìn)和優(yōu)化，可以獲得更優(yōu)的視頻編碼壓縮效果。

1 針對視頻監(jiān)控領(lǐng)域的視頻編碼壓縮技術(shù)相關(guān)研究

在監(jiān)控視頻中，存在較長時(shí)間不發(fā)生變化的背景，會生成背景冗余問題，可以通過模擬人眼視覺，鎖定運(yùn)動物體，忽略靜置物體的特性，將等待處理的視頻圖像劃分為靜止圖層與運(yùn)動圖層2 個(gè)圖層，合理控制作為背景的靜止區(qū)域在視頻編碼壓縮過程中的壓縮率。

如果采用視頻幀序列背景去除算法，可以通過隨機(jī)背景更新方式，提升監(jiān)控視頻的模型工作效率，卻也存在一定的目標(biāo)不完整問題，以及因光線變化產(chǎn)生的“鬼影”問題。如果空間平面存在2 個(gè)黑點(diǎn)，在兩者間距達(dá)到一定程度后，此時(shí)距離黑點(diǎn)有一定距離的人是無法區(qū)分黑點(diǎn)的數(shù)量，這個(gè)觀察景物細(xì)節(jié)的極限數(shù)值即為分辨率。如果在觀察的目標(biāo)運(yùn)動速度加快時(shí)，此時(shí)人眼的分辨率會出現(xiàn)明顯下降。

本文對視頻幀序列背景去除算法做詳細(xì)分析后發(fā)現(xiàn)，可以通過從監(jiān)控視頻本體出發(fā)，根據(jù)人眼視覺的分辨率特性，將更多資源應(yīng)用到運(yùn)動物體的運(yùn)動圖層中，合理控制視頻編碼壓縮的側(cè)重點(diǎn)。

2 基于人眼視覺特性的視頻編碼壓縮技術(shù)

2.1 視頻編碼技術(shù)整體框架

從人眼視覺特征角度分析視頻編碼技術(shù)的框架系統(tǒng)，需要先明確監(jiān)控視頻的固定背景+運(yùn)動對象的特點(diǎn)，再確認(rèn)觀察運(yùn)動對象的實(shí)際需求。明確這2 項(xiàng)內(nèi)容后，通過運(yùn)動目標(biāo)檢測技術(shù)，對監(jiān)控視頻劃分為需要關(guān)注的監(jiān)控觀察部分，以及擁有人眼視覺冗余的視頻背景部分。在提取運(yùn)動目標(biāo)、背景圖層的重要數(shù)據(jù)信息后，對2 項(xiàng)內(nèi)容分別做編碼處理。

視頻編碼技術(shù)的框架系統(tǒng)可以劃分為以下幾個(gè)環(huán)節(jié)：第一，輸入視頻；第二，檢測運(yùn)動目標(biāo)、構(gòu)建背景圖層；第三，編碼背景圖層，同時(shí)提取運(yùn)動目標(biāo)，并為運(yùn)動目標(biāo)進(jìn)行編碼；第四，形成壓縮文件；第五，解碼背景圖層與運(yùn)動目標(biāo)；第六，圖像整合；第七，輸出視頻。

2.2 背景模型構(gòu)建

在實(shí)際應(yīng)用中，視頻幀序列背景去除算法不僅存在鬼影問題，也會出現(xiàn)背景更新速度偏慢的問題。

為合理解決這2 項(xiàng)問題，本文在設(shè)計(jì)視頻編碼壓縮技術(shù)算法時(shí)，針對背景模型的初始化內(nèi)容額外增加預(yù)處理環(huán)節(jié)，以時(shí)間軸的方式對監(jiān)控視頻做分段處理，以分段后的監(jiān)控視頻構(gòu)建相應(yīng)的背景模型。再根據(jù)每個(gè)像素的像素值，以及相鄰像素點(diǎn)的像素值，構(gòu)建足夠規(guī)格的樣本集。在產(chǎn)生新的像素值后，會在最短時(shí)間內(nèi)與已有的樣本集做可靠比較。如果樣本集內(nèi)擁有新的像素點(diǎn)，證明此時(shí)不需要對背景模型做任何程度的處理；如果新的像素點(diǎn)不在樣本集內(nèi)，則要立即展開對背景模型的更新工作。

同時(shí)，在視頻幀序列背景去除算法的基礎(chǔ)上，將灰度圖像自適應(yīng)閾值分割算法與其進(jìn)行整合，可以對運(yùn)動的目標(biāo)進(jìn)行更準(zhǔn)確的檢測作業(yè)，以此形成詳細(xì)且完整的監(jiān)控視頻背景圖像。又因?yàn)樵诒O(jiān)控視頻中，絕大多數(shù)的視頻背景并不會產(chǎn)生太大的變化，這也意味著背景圖的序列不會產(chǎn)生大幅度的變化[1]。

2.3 視頻編碼與解碼

現(xiàn)階段應(yīng)用的視頻編碼標(biāo)準(zhǔn)有以下2 種，分別為ITU.T（ITU-T for ITU Telecommunication Standardiza tion Sector，國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局）制定的H.26X系列標(biāo)準(zhǔn)，以及ISO（International Organization for Standardization，國際標(biāo)準(zhǔn)化組織）制定的MPEG 系列標(biāo)準(zhǔn)。其中，H.26X 系列標(biāo)準(zhǔn)的H.264，是以H.263 為基礎(chǔ)，對MPEG 部分使用優(yōu)點(diǎn)進(jìn)行吸收、借鑒，有效提升視頻編碼壓縮性能。本文在分析各類視頻編碼標(biāo)準(zhǔn)后，選擇以H.264 為基礎(chǔ)，進(jìn)行監(jiān)控視頻運(yùn)動目標(biāo)與靜止背景的編碼工作，靜止的背景幀作為參考幀使用[2]。

2.3.1 視頻編碼

對于視頻編碼，可以細(xì)分為背景編碼、目標(biāo)提取、目標(biāo)編碼3 個(gè)部分。

第一部分為背景編碼，即對視頻幀序列背景去除算法進(jìn)行優(yōu)化，提取運(yùn)動目標(biāo)，并構(gòu)建監(jiān)控視頻的背景。其中，靜止背景存在大量多幀視頻共同使用的數(shù)據(jù)信息，在實(shí)際應(yīng)用中并不需要對每幀視頻進(jìn)行編碼?？梢韵仍O(shè)置一個(gè)編碼間隔，同一間隔內(nèi)的視頻幀使用相同的背景圖，作為共同的圖像背景使用，以此提升背景編碼效率。

對于靜止背景的圖像編碼一幀圖像，可以采用以下幾個(gè)步驟完成，如圖1 所示（以下步驟要形成流程圖）。

圖1 靜止背景的圖像編碼一幀圖像流程圖

第一步，對靜止背景的圖像進(jìn)行檢測，判斷其是否是這個(gè)監(jiān)控視頻的第一張靜止背景圖像。如果是，則執(zhí)行第二步內(nèi)容。如果不是，則執(zhí)行第三步內(nèi)容。

第二步，針對監(jiān)控視頻輸入的整幀圖像，通過幀內(nèi)預(yù)測編碼進(jìn)行處理。這個(gè)過程與傳統(tǒng)編碼器的編碼過程相同，即使用給定幀的相鄰宏塊的空間相關(guān)性，對現(xiàn)有的宏塊進(jìn)行預(yù)測，并根據(jù)預(yù)測情況選擇合適的預(yù)測模式，完成預(yù)測誤差的變換處理，并對誤差結(jié)果做相應(yīng)的量化，最后對量化后的誤差結(jié)果做熵編碼。

第三步，針對輸入整幀圖像，既使用幀內(nèi)預(yù)測編碼，也使用幀間預(yù)測編碼處理，以編碼的時(shí)間成本進(jìn)行比較，最后選擇時(shí)間代價(jià)最低的編碼方式。對于幀間預(yù)測編碼，其是通過分析連續(xù)的靜止背景圖像擁有的時(shí)間冗余，完成整個(gè)監(jiān)控視頻的運(yùn)動估計(jì)與運(yùn)動補(bǔ)償處理[3]。

第二部分為目標(biāo)提取，即對于監(jiān)控視頻中的運(yùn)動目標(biāo)可以抽象成具有形狀可變特性，而且變化無規(guī)則的區(qū)域性質(zhì)圖像。對于運(yùn)動目標(biāo)在監(jiān)控視頻中的區(qū)域，是將當(dāng)前幀與靜止背景圖像做相減處理，擁有超過閾值的前景圖像數(shù)據(jù)。

為提升運(yùn)動目標(biāo)的編碼效率，可以將運(yùn)動目標(biāo)放置在由若干矩形塊組合排列形成的不同形狀目標(biāo)塊。在本文設(shè)計(jì)中，目標(biāo)塊的最小單位將被設(shè)計(jì)為16×16規(guī)格。具體做法是將整幀圖像劃分成多個(gè)16×16 規(guī)格的宏塊，在對運(yùn)動目標(biāo)做編碼處理時(shí)，鎖定運(yùn)動目標(biāo)的目標(biāo)塊，并對其做編碼處理即可。

第三部分為目標(biāo)編碼，即在監(jiān)控視頻中對運(yùn)動目標(biāo)進(jìn)行提取，可以確認(rèn)每幀圖像都存在若干個(gè)16×16的目標(biāo)塊。在每幀圖像中，運(yùn)動目標(biāo)的目標(biāo)塊數(shù)量、位置具有動態(tài)變化的特性，所以在對每幀圖像的運(yùn)動目標(biāo)進(jìn)行編碼處理時(shí)，需要拆分成運(yùn)動目標(biāo)塊位置信息、運(yùn)動目標(biāo)塊圖像數(shù)據(jù)2 項(xiàng)內(nèi)容，并對兩者分開進(jìn)行編碼處理。

本文將運(yùn)動目標(biāo)的編碼一幀圖像算法整理為如下流程，如圖2 所示（以下步驟要形成流程圖）。

圖2 運(yùn)動目標(biāo)的編碼一幀圖像算法

第一步，在視頻編碼壓縮系統(tǒng)中，輸入待檢測的運(yùn)動目標(biāo)詳細(xì)信息，再對監(jiān)控視頻的當(dāng)前幀圖像是否存在待檢測的運(yùn)動目標(biāo)塊進(jìn)行判斷，確認(rèn)是否需要跳過本次編碼作業(yè)。如果確認(rèn)跳過編碼程序，當(dāng)前幀的運(yùn)動目標(biāo)編碼工作結(jié)束。如果不跳過編碼程序，則執(zhí)行第二步內(nèi)容。

第二步，對當(dāng)前幀圖像是否為監(jiān)控視頻的第一張圖像進(jìn)行判斷。如果判斷為是，則執(zhí)行第三步內(nèi)容。如果判斷為不是，則執(zhí)行第四步內(nèi)容。

第三步，通過幀內(nèi)預(yù)測編碼，完成輸入系統(tǒng)中的目標(biāo)塊的編碼處理。考慮到在編碼過程中，目標(biāo)塊是被抽象處理后的運(yùn)動目標(biāo)，并不是完整圖像，可以通過本幀監(jiān)控圖像的其他未編碼處理的目標(biāo)塊，利用目標(biāo)塊之間的相關(guān)性，對當(dāng)前編碼處理的目標(biāo)塊進(jìn)行預(yù)測。

第四步，通過幀間預(yù)測編碼+幀內(nèi)預(yù)測編碼組合的方式，對輸入系統(tǒng)中的目標(biāo)塊做編碼處理。對于運(yùn)動目標(biāo)中的幀間預(yù)測編碼，則是通過監(jiān)控視頻的連續(xù)幀運(yùn)動目標(biāo)塊擁有的時(shí)間冗余，完成運(yùn)動估計(jì)與運(yùn)動補(bǔ)償作業(yè)[4]。

2.3.2 視頻解碼

對靜止背景與運(yùn)動目標(biāo)做解碼處理后，需要根據(jù)H.264 視頻編碼標(biāo)準(zhǔn)，對兩者進(jìn)行整合，形成最后的視頻圖像。可以理解為如果在監(jiān)控視頻中擁有待監(jiān)控的運(yùn)動目標(biāo)時(shí)，則將其作為運(yùn)動目標(biāo)的像素值進(jìn)行分析。如果監(jiān)控視頻中不存在運(yùn)動目標(biāo)，則要將靜止背景像素值作為分析對象。而分析大量的實(shí)驗(yàn)數(shù)據(jù)后，發(fā)現(xiàn)將靜止背景與運(yùn)動目標(biāo)進(jìn)行合成，獲得的視頻圖像，與沒有處理的監(jiān)控視頻相比較，在人眼觀察中，并沒有太大的質(zhì)量差異[5]。

3 實(shí)驗(yàn)結(jié)果分析

本文將選擇6 段視頻序列，以多個(gè)維度對本文提出的視頻編碼壓縮技術(shù)進(jìn)行綜合測試分析。對于編碼間隔，本文預(yù)先設(shè)定為200 幀。汽車監(jiān)控視頻分辨率為320×240，旅館大廳監(jiān)控視頻分辨率為352×240，僅有燭光的房間監(jiān)控視頻分辨率為352×288，實(shí)驗(yàn)室監(jiān)控視頻分辨率為768×576，圖書館監(jiān)控視頻分辨率為160×128，地鐵監(jiān)控視頻分辨率為720×576。

3.1 背景模型構(gòu)建質(zhì)量

選擇汽車、旅館大廳、燭光房間3 個(gè)監(jiān)控視頻，作為背景模型構(gòu)建質(zhì)量的測試序列，將本文設(shè)計(jì)的視頻編碼壓縮技術(shù)與H.264 編碼方法進(jìn)行比較，并將碼率設(shè)置為橫坐標(biāo)，將峰值信噪比設(shè)置為縱坐標(biāo)，即可獲得相應(yīng)的散點(diǎn)圖。通過對比三者的散點(diǎn)圖，可以發(fā)現(xiàn)在相同的視頻序列中，如果QP（Quantization Parameter，量化參數(shù)）數(shù)值較小，比較的2 種方法在運(yùn)動目標(biāo)所在的監(jiān)控視頻區(qū)域內(nèi)，峰值信噪比并沒有明顯的差別，但是會根據(jù)視頻編碼壓縮處理的對象，出現(xiàn)一定程度的變化；如果QP 數(shù)值較大，比較的2 種方法的峰值信噪比與視頻編碼壓縮效率也沒有過于明顯的差別。

3.2 壓縮效率對比

以實(shí)驗(yàn)室、地鐵、圖書館3 個(gè)監(jiān)控視頻作為壓縮效率對比的測試序列，并將QP 數(shù)值固定為27，選擇10、20、50、100、150 和200 幀的監(jiān)控視頻，分析其壓縮文件的壓縮效率。通過對比大量數(shù)據(jù)，可以發(fā)現(xiàn)本文設(shè)計(jì)的視頻編碼壓縮技術(shù)相較于H.264 方法，在視頻編碼壓縮效率方面有較大幅度的提升，見表1。

表1 壓縮效率對比

對本文壓縮的視頻文件經(jīng)解碼后重建圖像，并與原始H.264 編解碼后的圖像進(jìn)行對比，可以發(fā)現(xiàn)，本文設(shè)計(jì)的視頻編碼壓縮技術(shù)在總體方面，要比H.264 方法擁有更高的壓縮效率，但是不同的視頻序列存在一定的差異。相對而言，在圖書館的視頻序列壓縮率中，本文設(shè)計(jì)的方法相比于H.264 方法在壓縮率方面擁有90.9%的提升幅度。其原因是這個(gè)視頻序列選擇的場景是在整個(gè)圖書館人流量較少的角落，在大多數(shù)時(shí)間中，并不會出現(xiàn)過多的待監(jiān)控運(yùn)動目標(biāo)。對于地鐵的視頻序列中，本文設(shè)計(jì)的方法相比于H.264 方法在壓縮率方面擁有48.1%的壓縮率，其原因是這個(gè)視頻序列選擇地鐵站，在正常工作時(shí)間內(nèi)會出現(xiàn)較多的運(yùn)動目標(biāo)，在監(jiān)控視頻中占據(jù)較大比例。而在實(shí)驗(yàn)室的視頻序列中，壓縮率則是在地鐵視頻序列與圖書館視頻序列之間。通過以上信息可以分析，本文設(shè)計(jì)的視頻編碼壓縮技術(shù)，如果在監(jiān)控視頻中運(yùn)動目標(biāo)出現(xiàn)頻率相對較低，在整個(gè)監(jiān)控視頻中所占比例較小，在視頻編碼壓縮處理中，要比H.264 方法擁有更大的應(yīng)用優(yōu)勢[6]。

4 結(jié)束語

在設(shè)計(jì)視頻編碼壓縮技術(shù)時(shí)，建議先對人眼視覺特性相關(guān)研究內(nèi)容進(jìn)行深入研究，結(jié)合技術(shù)應(yīng)用需求與本文理論內(nèi)容，設(shè)計(jì)一套可以有效解決當(dāng)前工作需求的視頻編碼壓縮技術(shù)應(yīng)用方案。在方案執(zhí)行過程中，需要根據(jù)各項(xiàng)數(shù)據(jù)的波動情況，對原方案的細(xì)節(jié)內(nèi)容做合理優(yōu)化，以便獲得更好的視頻編碼壓縮效果。希望更多視頻處理相關(guān)單位可以對人眼視覺特性及其相關(guān)內(nèi)容做更深入的分析，推動監(jiān)控、圖像等領(lǐng)域的健康發(fā)展。