張冠軍 朱林衛(wèi) 張 云
(中國科學院深圳先進技術研究院 深圳 518055)
基于模式預測的低復雜度高清視頻幀內(nèi)編碼方法
張冠軍 朱林衛(wèi) 張 云
(中國科學院深圳先進技術研究院 深圳 518055)
為了解決高分辨率及超高分辨率的視頻數(shù)據(jù)量龐大的問題,國際視頻編碼標準化組織正制定更先進的視頻壓縮標準——高效視頻編碼標準(High Efficiency Video Coding,HEVC),即 H.265。幀內(nèi)編碼作為視頻編碼的重要組成部分,其編碼的復雜度和性能會嚴重影響整個視頻的編碼復雜度和壓縮性能。為了降低HEVC中幀內(nèi)編碼的復雜度,文章提出了一種重新確定備選模式列表的方法,該方法根據(jù)備選模式列表中第一個模式的不同,快速自適應地確定備選模式列表中需要保留的模式,減少執(zhí)行率失真優(yōu)化的模式數(shù)目。實驗結果表明,文章提出的算法在保證與標準測試平臺 HM8.0 編碼性能一致的條件下,幀內(nèi)編碼時間與原始 HM8.0 相比平均節(jié)省 24.50%,有效地降低了幀內(nèi)編碼的復雜度。同時,所提出的算法能夠與其它層次的快速編碼方法相融合, 以進一步減少復雜度。
高效視頻編碼標準;備選模式列表;率失真優(yōu)化;編碼樹單元;粗略模式?jīng)Q定
隨著科技的進步和生活水平的提高,人們欣賞視頻時對視頻圖像畫質(zhì)、沉浸感等要求也越來越高。因此視頻技術正向著高質(zhì)量、高分辨率、立體效果等方向發(fā)展。由于用戶體驗需求越來越高,視頻的數(shù)據(jù)量也越來越龐大。而目前用戶接入的帶寬仍無法滿足高清/超清視頻的傳輸要求,如果未能有效壓縮高清視頻信號,那么用戶將無法看到令人畫質(zhì)滿意的視頻。現(xiàn)在視頻流行的格式是高清和超高清,超高清視頻的分辨率為4K(4096×2160)和 8K(8192×4320)。以 4K 分辨率為例,按 YUV4:4:4 的格式計算,每幀圖像原始數(shù)據(jù)量為 24 MB,若是想觀看流暢的視頻畫面大概需要每秒 50 幀或以上,也就是說,分辨率為 4096×2160 的高清視頻,原始數(shù)據(jù)每秒大小為 1.2 GB。一部高清電影播放時長以兩個小時計算,未壓縮的超高清視頻數(shù)據(jù)量將高達 8 TB。面對這個數(shù)據(jù)量,無論是網(wǎng)絡傳輸與存儲,還是實時讀取數(shù)據(jù)都是非常困難的。因此需要在視頻傳輸與存儲之前進行有效地壓縮,去除原始數(shù)據(jù)中的各種冗余,以減少對帶寬和存儲空間的需求。
目前國際上主要有兩個組織負責視頻編碼標準的制定,一個是國家標準化組織的運動圖像專家組(Motion Picture Expert Group,MPEG)。MPEG 制定的標準為 MPEG 系列,主要包括MPEG-1、MPEG-2、MPEG-4、MPEG-7 等,而 MPEG-1 和 MPEG-2 分別是我們所熟悉的VCD 和 DVD 格式。另一個是國際電信聯(lián)盟組織的視頻編碼專家組(Video Code Expert Group,VCEG)。VCEG 制定的標準為 H.26x 系列,如H.261、H.262、H.263 等。由于肩負著共同的使命,MPEG 和 VCEG 的專家組成員于 2003 年組成聯(lián)合視頻專家組(Joint Video Team,JVT),聯(lián)合制定了新一代視頻編碼標準 H.264[1],亦即MPEG-4/AVC 的第十部分。該標準的目標是保持與 MPEG-2 相同視頻質(zhì)量的前提下將視頻的壓縮效率提高一倍。該標準一經(jīng)制定,就得到了廣泛的應用,如視頻會議、視頻監(jiān)控、高清電視、網(wǎng)絡視頻直播、無線移動視頻通訊、3DTV、Mobile TV、虛擬現(xiàn)實和多屏互動等。圖 1 展示了視頻技術的一些應用。
圖 1 視頻技術的應用Fig. 1. Applications of video technology
2010 年,MPEG 和 VCEG 再度聯(lián)手成立了視頻編碼聯(lián)合專家組,并于 2013 年 1 月正式發(fā)布面向高清和超高清等視頻應用的下一代視頻編碼標準——高效視頻編碼標準(High Efficiency Video Coding,HEVC)[2],即 H.265。該標準的目標是保持與 H.264 相同視頻質(zhì)量的前提下將視頻的壓縮效率提高一倍,即碼率降低 50%。雖然HEVC 壓縮效率增加,但是編碼的復雜度激增為H.264 的數(shù)十倍,有時甚至達上百倍,這限制了視頻編碼技術的應用。
隨著時間的推移,視頻的壓縮效率翻倍提升,如圖 2 所示。大約每隔十年,視頻的壓縮效率提高一倍??梢灶A期,至 2023 年左右很可能會制定出壓縮效率更高的視頻編碼標準。但要提高視頻的壓縮比,需要采用更有效、更復雜的算法去除視頻中存在的各種冗余,伴隨而來的是非常高的計算復雜度,這將限制視頻壓縮技術的實時應用。
圖 2 視頻編碼標準的發(fā)展Fig. 2. The development of video coding standard
HEVC 的壓縮效率很高,同時其算法復雜度亦很高。就編碼而言,其復雜度大約是 H.264 的1.5~3 倍,是 MPEG-2 的 4 倍。巨大的算法復雜度雖然帶來了壓縮效率的提升,但也很大程度上限制了 HEVC 的實際應用。造成 HEVC 算法復雜度高的技術主要有靈活的編碼結構,復雜的幀內(nèi)預測模式和基于四叉樹的多層變換結構等。
2.1 編碼結構
HEVC 將一幅圖像劃分成多個小塊逐個進行處理,每個小塊稱為編碼樹單元(Coding Tree Unit,CTU)。而編碼樹單元的編碼過程使用三個基本單元來描述:編碼單元、預測單元和變換單元,編碼層次過程如圖 3 所示。
圖 3 CTU 的編碼結構Fig. 3. Structure of CTU
編碼單元是采用四叉樹結構遞歸分割的編碼樹單元的葉子節(jié)點。編碼樹單元利用分割標識(Split Flag)確定當前編碼單元是否需要繼續(xù)分割。若需要分割時,當前編碼單元可以分成四個大小相同的下一級編碼單元。同時,編碼單元也是確定幀間預測或幀內(nèi)預測的基本單元。
預測單元是預測的基本單元,其根節(jié)點在編碼單元層。幀間預測模式的分割類型有2N×2N,2N×N,N×2N,N×N,2N×nU,2N×nD,nL×2N,nR×2N,其中 2N×nU,2N×nD,nL×2N,nR×2N 屬于非對稱運動分割[3],分割類型如圖 3 中預測單元行所示。非對稱運動分割主要針對某些不規(guī)律類型的塊,使用非對稱的預測方式比進一步分割得到的預測結果更加準確。幀內(nèi)預測模式的分割類型有2N×2N 和 N×N。對于幀間預測和幀內(nèi)預測,分割模式 N×N 只有當編碼單元遞歸達到最小尺寸時才執(zhí)行。
變換單元是殘差變換的基本單元,根節(jié)點也在編碼單元層。變換單元的處理也采用四叉樹結構,其四叉樹稱為殘差四叉樹變換(Residual Quadtree Transform),包含方形四叉樹變換和非方形四叉樹變換,如圖 3 中變換單元行所示。
采用圖 3 所示編碼結構的目的是可以根據(jù)視頻內(nèi)容自適應選擇最優(yōu)的編碼單元、預測單元和變換單元組合,從而獲得更好的編碼性能。但是HEVC 通過全遍歷的方式選擇最優(yōu)的編碼單元、預測單元和變換單元組合,很明顯這種方式的復雜度非常地高。
2.2 幀內(nèi)預測模式
在視頻編碼標準 H.264 中,為了提高幀內(nèi)預測的準確性,當待編碼的塊尺寸為 16×16 時遍歷4 種預測模式,當待編碼的塊尺寸為 4×4 時遍歷9 種預測模式(8 種方向性預測模式和 1 種平均模式)。圖 4 所示為 H.264 中 4×4 塊的 8 種方向性幀內(nèi)預測模式,每個預測方向最小間隔為 22.5°。cc
圖 4 H.264 幀內(nèi)預測模式Fig. 4. Intra prediction modes of H.264
為了使得幀內(nèi)預測更加準確,幀內(nèi)編碼效率更高,HEVC 采用了更精密的幀內(nèi)預測模式,多達 35 種,其中 33 種方向預測模式和 2 種非方向預測模式,如圖 5 所示,預測方向最小間隔約為 5°。0~34 中每個值分別代表一種模式,其中 2~34 每個值代表一種方向模式,0 代表平面模式(Planar),1 代表直流模式(Direct Current,DC)。幀內(nèi)編碼通過遍歷上述 35 種模式選擇率失真代價最小的模式作為最佳幀內(nèi)預測模式。盡管這種遍歷方式可以進一步提高預測準確性從而提高編碼效率,但也極大地增加了編碼復雜度。
圖 5 HEVC 幀內(nèi)預測模式Fig. 5. Intra prediction modes of HEVC
在不降低幀內(nèi)編碼視頻質(zhì)量的前提下,為了降低幀內(nèi)編碼過程的復雜度,HEVC 采用了 Piao等[4]提出的粗略模式判定方法獲得備選模式列表。該技術主要通過減少幀內(nèi)預測中執(zhí)行率失真優(yōu)化模式的數(shù)目,從而降低幀內(nèi)預測的復雜度。執(zhí)行粗略模式判定后得到的備選模式列表根據(jù)公式(1)計算預測模式對應的代價 J,并按 J 從小到大的順序排列各種模式。然后將周圍相鄰塊選擇的最佳預測模式構成的最可能模式中未包含在備選模式列表中的模式添加到備選模式列表。最終確定的備選模式列表中每個模式需要進一步執(zhí)行率失真優(yōu)化,根據(jù)率失真優(yōu)化選擇最佳的幀內(nèi)預測模式。盡管 HEVC 采用了 Piao 等[4]提出的快速算法,但幀內(nèi)預測的復雜度仍然很高。
其中,D(r,mi)為當前預測單元使用幀內(nèi)第 i個預測模式 mi預測后得到的殘差信號 r 進行Hadamard 變換后變換系數(shù)的絕對差值之和;R(mi)為編碼幀內(nèi)預測模式 mi所需的比特;λ 為拉格朗日乘子;J 為粗略模式判定過程中使用幀內(nèi)預測模式 mi預測當前塊得到的代價。
2.3 基于四叉樹的變換結構
圖 3 最下方變換單元行就是描述變換單元的四叉樹結構。當預測單元分割類型是 2N×2N或 N×N 時,方形四叉樹變換(SQT)采用方形變換;當預測單元分割類型是 2N×N,2N×nU 和2N×nD 時,非方形四叉樹變換(NSQT)采用水平類型變換;當預測單元分割類型是 N×2N,nL×2N 和 nR×2N 時,非方形四叉樹變換(NSQT)采用垂直類型變換。預測單元分割類型與變換單元四叉樹劃分類型的對應關系如圖3 所示。變換單元基本上都采用離散余弦變換(Discrete Cosine Transform),但如果是幀內(nèi)預測且變換單元大小為 4×4 時則選擇離散正弦變換(Discrete Sine Transform)[5]。為了更好地去除視頻中存在的空域統(tǒng)計冗余,HEVC 采用了復雜度很高的離散余弦變換或者離散正弦變換兩種變換提高視頻的編碼性能。并且對編碼單元使用基于四叉樹的變換結構自適應地選擇合適的變換單元大小進行變換,這也就意味著對一個編碼單元重復進行不用層次的變換,選擇具有最優(yōu)編碼性能的變換單元組合,進一步增加了編碼過程的復雜度,使編碼過程的復雜度成倍增加。
由以上分析可知,HEVC 采用復雜度很高的算法提高視頻的壓縮效率,造成了 HEVC 的編碼復雜度非常高。編碼復雜度過高會造成對硬件和電源的依賴程度太高,不利于在移動設備上的推廣和應用。因此,如何有效地降低 HEVC 的編碼復雜度是當前研究的關鍵問題。
為了降低 HEVC 幀內(nèi)編碼過程的復雜度,研究人員進行了很多相關研究工作并提出了改進型幀內(nèi)編碼算法。這些改進方法可以劃分成兩類,一類是針對編碼單元尺寸選擇,修剪編碼樹單元分割的四叉樹,通過提前確定編碼尺寸降低計算復雜度[7-10];另一類主要通過減少 35 種預測模式數(shù)量,降低計算復雜度[5,11-13]。
HEVC 在編碼過程中為了獲得最佳的編碼單元,會遍歷所有的編碼單元深度。雖然該方法使得編碼性能得到了顯著提高,但是編碼的復雜度也相應增加。為了減少遍歷編碼單元的數(shù)目,Li等[7]提出自適應確定編碼單元深度范圍的算法降低編碼復雜度。Shen 等[8]利用先前已編碼幀和相鄰已編碼編碼單元的深度快速確定當前編碼單元的深度范圍。Leng 等[9]在幀層和編碼單元層分別提出一個快速確定編碼單元深度的算法加速編碼過程。Shen 等[8]還利用貝葉斯準則結合一些相關的特征快速決定編碼單元的深度。蔣潔等[10]探索圖像平滑特性與編碼塊尺寸大小的關系,進而根據(jù)當前區(qū)域是否屬平滑自適應地跳過不適合的編碼塊劃分。以上方法主要通過最優(yōu)編碼單元尺寸的預測或早期決策,減少對不必要的編碼單元尺寸的計算,降低計算復雜度,但并未考慮到率失真優(yōu)化中的模式選擇過程。
為了降低幀內(nèi)編碼復雜度,研究人員還通過減少預測模式降低計算復雜度。Piao 等[4]改進了粗略模式判定選擇準則,將編碼模式所占比特加入到粗略模式判定選擇準則中,實現(xiàn)碼率和預測精度的最優(yōu)化。Zhao 等[11]通過實驗選擇對應于不同預測單元的最佳備選模式的數(shù)目。Jiang 等[12]利用梯度直方圖尋找當前編碼單元最可能的預測方向,比較準確地減少了進行粗略模式判定以及率失真優(yōu)化的模式數(shù)目。Zhang 等[13]分析了紋理特征與編碼模式之間的關系,提出了一個自適應地確定幀內(nèi)預測模式的方法。以上方法較好地減少了預測模式的數(shù)量,但是缺乏對備選模式列表特性的利用,因此仍有較大的優(yōu)化空間。
根據(jù)對以上算法的分析,本文提出了一種基于模式預測的低復雜度高清視頻幀內(nèi)編碼方法。該方法主要利用備選模式列表中不同位置的模式成為最佳預測模式的概率差異性,并且同一位置不同模式成為最佳預測模式的概率存在的差異性,通過重新建表,進一步減小備選模式列表中實際執(zhí)行率失真優(yōu)化的幀內(nèi)預測模式數(shù)目。
HEVC 幀內(nèi)編碼過程中,編碼單元塊尺寸編碼單元和預測塊尺寸預測單元分割模式確定后,首先使用粗略模式判定從 35 種預測模式中選擇最有可能成為最佳預測模式的集合。然后集合中的每個模式逐個執(zhí)行率失真優(yōu)化,比較每種模式對應的率失真代價,選擇率失真代價最小的模式作為最佳幀內(nèi)預測模式。表 1 是幀內(nèi)編碼過程中粗略模式判定和率失真優(yōu)化兩個過程花費時間占幀內(nèi)編碼時間的百分比。其中,Class A~Class E 是提案[14]中不同分辨率不同場景的標準測試序列,國際上統(tǒng)一使用這些標準序列進行算法性能比較。
表 1 RMD 和 RDO 消耗時間占幀內(nèi)編碼過程消耗時間的比例Table 1. Time-consuming proportions of RMD or RDO
由表 1 可知,幀內(nèi)預測模式選擇過程中粗略模式判定消耗時間占整個幀內(nèi)編碼總時間的6.27%,而率失真優(yōu)化消耗時間占整個幀內(nèi)編碼過程總時間的 63.76%。由于粗略模式判定采用較簡單的計算方式,所以即使粗略模式判定過程遍歷的模式數(shù)目遠遠多于率失真優(yōu)化過程遍歷的模式數(shù)目,但是粗略模式判定花費的時間遠小于率失真優(yōu)化花費的時間。因此,每種模式執(zhí)行率失真優(yōu)化過程的復雜度遠遠大于執(zhí)行粗略模式判定過程的復雜度。為了盡可能降低 HEVC 幀內(nèi)編碼過程的復雜度,我們將進一步優(yōu)化率失真優(yōu)化過程。
由于粗略模式判定過程中 J 的大小在一定程度上反映了最終率失真代價的大小,并且粗略模式判定后得到的備選模式列表根據(jù) J 按從小到大的順序排列,所以,備選模式列表中不同位置的預測模式成為最佳預測模式的概率是不同的,一般概率逐漸降低[13]。
為了分析最佳模式與備選列表排序的關系,本文定義以下三種事件:
(1)當備選列表中第一個模式是直流模式或平面模式時,直流模式或平面模式成為最佳預測模式,該事件記為 A,對應發(fā)生概率為 P(A);
(2)當備選模式列表中第一個模式屬于最可能的模型時,該模式成為最佳模式的事件記為B,對應發(fā)生概率為 P(B);
(3)當備選模式列表中第一個模式為上述兩種類型之外的模式時,該模式成為最佳預測模式的事件為 C,對應發(fā)生概率為 P(C)。
對不同視頻序列編碼測試的實驗結果如表 2所示,可以發(fā)現(xiàn) P(A)平均為 81.87%,P(B)平均為 76.78%,而 P(C)平均只有 30.72%。明顯地,當備選模式列表中第一個模式是直流模式或平面模式、最可能的模型時,該模式成為最佳預測模式的概率遠大于第一個模式屬于其他模式時的概率。這是因為,當?shù)谝粋€模式屬于直流模式或平面模式時,說明當前預測塊相對平滑,而直流模式和平面模式兩種模式對平滑區(qū)域的預測效果更好,因此最終選擇直流模式或平面模式的概率較大。由于視頻具有較強的空間相關性,因此,第一個模式屬于最可能的模型時,說明當前預測塊選擇的預測模式跟周圍塊選擇的最佳預測模式相同的可能性很大。
表 2 備選列表中第一個模式屬于不同類型時對應的命中率Table 2. Hit rate of the first mode in candidate list
基于以上分析,本文針對不同的情況分別定義了兩種預測方案:
方案 1:當備選模式列表中第一位的模式屬于最可能的模型時,直接使用備選模式列表中前兩個模式作為最佳預測模式。
方案 2:當備選模式列表中第一個模式為直流模式或平面模式時,若預測單元大于等于 16,則直接使用直流模式和平面模式作為最佳預測模式,若預測單元尺寸小于等于 8 時,則選擇直流模式,平面模式和第二個備選模式作為最佳預測模式。
圖 6 方案 1 的命中率Fig. 6. Hit rate of scheme 1
圖 7 方案 2 的命中率Fig.7. Hit rate of scheme 2
為了測試兩個方案的命中率,我們對不同的測試序列進行了編碼實驗,方案 1 的命中率如圖 6所示,圖中不同的柱狀體分別表示不同序列和不同的預測尺寸。由圖 6 可以發(fā)現(xiàn)方案 1 的概率平均為 88%,并且不同的預測單元間這個值變化不大。因此當備選模式列表中第一個模式屬于最可能的模型時,備選模式列表僅保留前兩種模式。對于方案 2 該方法的命中率如圖 7 所示,平均命中率為 86%。通過編碼實驗可說明方案 1 和 2 的具有較高的準確率,而且適用于不同測試序列。
最后,對于方案 1 和 2 不適用的情況,即當備選模式列表中第一個模式為其他模式時,則采用 HEVC 標準中原始的方法處理。
圖 8 本文算法流程圖Fig. 8. Flowchart of the proposed algorithm
根據(jù)上述分析,本文的算法流程如圖 8 所示。具體流程說明如下:
(1)開始編碼某一編碼單元和預測單元;
(2)執(zhí)行粗略模式判定,并將最可能的模型中不包含在備選模式列表中的模式添加到其中,得到最初的備選模式列表;
(3)判斷初步備選模式列表中的第一個備選模式是否屬于最可能的模型,若否,備選模式中保留前兩個備選模式,并轉至步驟(6);否則轉至步驟(4);
(4)判斷第一個備選模式是否屬于直流模式或者平面模式,若否,備選模式不變,并轉至步驟(6),否則轉至步驟(5);
(5)判斷預測塊尺寸是否小于 16×16,若是,備選模式列表中保留直流模式、平面模式和第二個備選模式;否則列表中保留直流模式和平面模式模式;
(6)對備選模式列表中的每個模式執(zhí)行率失真優(yōu)化,選擇具有最小代價的模式作為最佳預測模式。判斷編碼樹單元中是否有下一個編碼單元和預測單元,若是轉至步驟(2),否則結束編碼樹單元的編碼。
步驟(3)至(5)為備選列表重建過程。本方法根據(jù)粗略模式判定后備選模式列表中不同位置的模式成為最佳預測模式的概率差異以及第一個備選模式成為最佳預測模式的概率差異重建備選模式列表,減少執(zhí)行率失真優(yōu)化的幀內(nèi)預測模式數(shù)目。因此,該方法在保證編碼后視頻質(zhì)量的前提下,能較好地去除了編碼過程中的冗余。
為了評價提出算法的性能,本文在 HEVC 參考軟件 HM8.0[15]上實現(xiàn)相應的算法。測試平臺的配置如下:處理器 AMD Athlon(tm)ⅡX2 B24,主頻 2.99 GHz,內(nèi)存 2.00 G。在兩種標準測試條件(Standard Test Conditions,STC)下測試本文提出的算法:全幀內(nèi)幀—高效檔次(記為STC1),全幀內(nèi)幀—主檔次 (記為STC2),并且規(guī)定最大的編碼單元寬度和高度都是 64,最大的編碼單元深度為 4,這就意味著最小的編碼單元大小為8×8。為了證明本文提出算法的有效性,與 Zhang等[13]提出的算法進行了比較。在測試過程中本文測試了 HEVC 標準[14]中規(guī)定的測試序列 Class A~Class E 中所有的視頻序列,每個 Class 的每個測試序列需要測試 4 個量化參數(shù):22、27、32、37,每個序列每個量化參數(shù)編碼幀數(shù)為 100 幀。實驗結果如表 3 所示,同時使用 Bj?ntegaard 平均差異峰值信噪比 BDPSNR(dB)、Bj?ntegaard平均差異碼率BDBR(%)[16]以及節(jié)約時間(TS)(%)評價提出算法的性能,其中 BDPSNR 為正值表示質(zhì)量提高,負值表示質(zhì)量降低;BDBR 為正值表示標準碼率增加,負值表示碼率減少;節(jié)約時間的定義如公式(2)所示:
表 3 在 STC1 下的測試結果Table 3. Comparative results of performance within STC1
表 4 在 STC2 下的測試結果Table 4. Comparative results of performance within STC2
由表 3 可以發(fā)現(xiàn),在 STC1 條件下,Zhang等[13]算法對 Class A~Class E 編碼后 BDPSNR 平均值為 —0.02 dB,BDBR 平均值為 0.33%,節(jié)約時間的平均值為 19.63%。而本文提出算法對 Class A~Class E 編碼后 BDPSNR 平均值為 —0.01 dB,BDBR 平均值為 0.20%,節(jié)約時間的平均值為24.50%。由此可看出,與 Zhang 等[13]算法相比,本文算法質(zhì)量降低更少和碼率增加更少,即編碼性能略好,同時進一步節(jié)省編碼時間約 5%。同樣,從表 4 可以發(fā)現(xiàn),在 STC2 條件下,本文提出算法與 Zhang 等[13]提出的算法相比,在編碼性能更佳的前提下,編碼時間進一步節(jié)約 5% 左右。
綜上可知,本文提出算法與原始的 HM8.0相比,在編碼性能基本不變的條件下,幀內(nèi)編碼時間平均節(jié)約 24.50%。同時,本文提出算法與Zhang 等[13]提出的算法相比,在編碼性能更佳的前提下,編碼時間節(jié)約 5% 左右。這就意味著本文提出的算法在編碼后視頻的質(zhì)量基本提高條件下,進一步節(jié)省了視頻編碼所需時間。
本文提出了一種基于模式預測的低復雜度高清視頻幀內(nèi)編碼方法。該算法利用粗略模式判定獲得的備選模式列表中不同位置的模式成為最佳預測模式的概率差異以及同一位置不同模式成為最佳模式的概率差異快速重新確定執(zhí)行率失真優(yōu)化的模式數(shù)目,有效地降低了幀內(nèi)預測的復雜度,提高了 HEVC 的編碼性能。實驗結果表明,本文提出的方法在保證率失真性能與HM8.0 編碼的性能基本一致的條件下,幀內(nèi)編碼時間平均節(jié)省 24.50%,降低了幀內(nèi)預測編碼的復雜度。
本文方法主要針對幀內(nèi)編碼的預測模式層進行優(yōu)化,可以通過編碼單元層、變換層相結合進一步提升優(yōu)化效率;同時,幀間的編碼樹單元的修剪也是非常重要的優(yōu)化方向;另外并行化處理是高清與超高清視頻編碼優(yōu)化的又一重要方向。
[1] ISO/IEC14496-10. H.264: Advanced video coding for generic audiovisual services [S]. 2013.
[2] Sullivan GJ, Ohm JR. Recent developments in standardizationof high efficiency video coding (HEVC) [C] // Proceedings of SPIE 7798, Applications of Digital Image Processing XXXIII, 2010: 77980V.
[3] 朱秀昌, 李欣, 陳杰. 新一代視頻編碼標準——HEVC [J]. 南京郵電大學學報(自然科學版), 2013, 33(3): 1-11.
[4] Piao Y, Min J, Chen J. Unified directional intra prediction in tmuC [R]. JCTVC-C207, CN:ISO/IEC and ITU-T, 2010.
[5] 陳相濤, 何小海, 鐘國韻, 等. 一種自適應 HEVC視頻編碼行列變換跳過模式 [J]. 四川大學學報(工程科學版), 2012, 44(1): 208-212.
[6] Cann KM, Han WJ, Kim IK. Samsung’s response to the call for proposals on video compression technology [R]. JCTVC-A124, DE: ISO/IEC and ITU-T, 2010.
[7] Li X, An J, Guo X, et al. Adaptive CU depth range [R]. JCTVC-E090, CH:ISO/IEC and ITU-T, 2011.
[8] Shen L, Liu Z. Zhang X, et al. An effective CU size decision method for HEVC encoders [J]. IEEE Transactions on Multimedia, 2013, 15(2): 465-470.
[9] Leng J, Sun L, Ikenkga T, et al. Content based hierarchical fast coding unit decision algorithm for HEVC [C] // International Conference on Multimedia and Signal Proceesing, 2011: 56-59.
[10] 蔣潔, 郭寶龍, 莫瑋, 等. 利用平滑區(qū)域檢測的HEVC 幀內(nèi)編碼快速算法 [J]. 西安電子科技大學學報(自然科學版), 2013, 40(3): 194-200.
[11] Zhao L, Zhang L, Zhao X, et al. Further Encoder Improvement of intra mode decision [R]. JCTVC-D283, KR: ISO/IEC and ITU-T, 2011.
[12] Jiang W, Ma H, Chen Y. Gradient based fast mode decision algorithm for intra prediction in HEVC [C] // International Conference on Consumer Electronics, Communications and Networks, 2012: 1836-1840.
[13] Zhang M, Zhao C, Xu J. An adaptive fast intra mode decision in HEVC [C] // IEEE International Conference on Image Processing, 2012: 221-224.
[14] Bossen F. Common test conditions and software reference configurations [R]. JCTVC-J1100, SE:ISO/IEC and ITU-T, 2012.
[15] HEVC Reference Software HM8.0 [OL]. https:// hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/ tags/HM-8.0/.
[16] Bj?ntegaard G. Calculation of average PSNR differences between RD-curves [R]. VCEG-M33, TX: ITU-T SG16 Q.6, 2001.
Low Complexity High Definition Intra-coding Based on Mode Prediction
ZHANG Guanjun ZHU Linwei ZHANG Yun
( Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen 518055, China )
In order to solve the huge data problem for high resolution or ultra-high resolution video, the International Organization for Standardization in video coding has been developing the most advanced video compression standard - High Efficiency Video Coding (HEVC), namely H.265. As an important part of this standard, the complexity and performance of intra-coding will seriously affect the compression complexity and performance of the standard. To reduce the complexity of HEVC intra-coding, an algorithm of re-determining the candidate mode list was presented is this paper. In the proposed algorithm, according to the different modes of the first index in candidate mode list, an adaptive method was utilized to determine which mode will be kept in candidate mode list, then the number of modes which are needed to perform rate distortion optimization was reduced. Experimental results show that, compared with original HM8.0, the proposed algorithm saves 24.50% on average in time for intra-coding with the same compression performance. The proposed algorithm can be combined with other level of fast coding optimization to further reduce the complexity.
high efficiency video coding; candidate mode list; rate distortion optimization; coding tree unit; rough mode decision
TN 911
A
2013-12-23
張冠軍,碩士,研究方向為視頻編碼與處理;朱林衛(wèi),碩士,研究助理,研究方向為視頻信號處理、三維視頻和機器學習;張云(通訊作者),副研究員,博士,研究方向為多媒體信號處理與通信、視頻編碼和計算機視覺,E-mail:yun.zhang@siat.ac.cn。