季 淵， 宋遠(yuǎn)勝， 陳遠(yuǎn)生， 陳文棟， 穆廷洲

(上海大學(xué) 微電子研究與開(kāi)發(fā)中心，上海 200444)

1 引 言

近眼顯示設(shè)備主要由微顯示器、傳感器和控制電路構(gòu)成。有機(jī)發(fā)光二極管( Organic Light Emitting Diode，OLED) 微顯示器功耗低，工作溫度范圍寬，對(duì)比度高，響應(yīng)速度快，受到越來(lái)越高的重視。OLED微顯示器有數(shù)字和模擬兩種驅(qū)動(dòng)方式，數(shù)字驅(qū)動(dòng)方式通過(guò)改變亮暗時(shí)間長(zhǎng)度來(lái)產(chǎn)生灰度，其產(chǎn)生的圖像噪聲低、畫(huà)面質(zhì)量高、灰度等級(jí)高、色彩豐富，因此在近眼顯示領(lǐng)域中更受青睞。為進(jìn)一步提升用戶體驗(yàn)，近眼顯示設(shè)備要求微顯示器應(yīng)具備更高的分辨率和刷新率[1]，同時(shí)整個(gè)設(shè)備應(yīng)盡量小型化，輕量化，便于佩戴。高分辨率和高刷新率意味著海量的數(shù)據(jù)將被傳輸和存儲(chǔ)[2]，單純硬件加速的方式已經(jīng)越來(lái)越難以滿足應(yīng)用需求。消除冗余，對(duì)視頻數(shù)據(jù)進(jìn)行編碼壓縮以提升傳輸和存儲(chǔ)效率的方法被廣泛采用[3-4]。然而，傳統(tǒng)的視頻編碼方式在實(shí)際應(yīng)用于數(shù)字驅(qū)動(dòng)微顯示器的過(guò)程中，接收端需要將一幀視頻數(shù)據(jù)全部解碼存儲(chǔ)，然后按比特位拆分后才能進(jìn)行掃描顯示。這極大地消耗了存儲(chǔ)空間，同時(shí)增加了接收端硬件復(fù)雜度和面積開(kāi)銷(xiāo)，與近眼顯示設(shè)備小型化、輕量化的需求相矛盾。

針對(duì)這一問(wèn)題，結(jié)合數(shù)字驅(qū)動(dòng)微顯示器子場(chǎng)掃描法按位平面子空間掃描顯示的特點(diǎn)[5-6]，本文采用位平面壓縮方式設(shè)計(jì)數(shù)字驅(qū)動(dòng)微顯示器控制器。在編碼前對(duì)圖像數(shù)據(jù)按比特位拆分，將拆分后的位平面數(shù)據(jù)進(jìn)行編碼傳輸。接收端只需解碼對(duì)應(yīng)位平面子空間數(shù)據(jù)存儲(chǔ)用于掃描顯示，即基于位平面的視頻壓縮方案更符合數(shù)字驅(qū)動(dòng)微顯示器的工作方式，接收端存儲(chǔ)面積開(kāi)銷(xiāo)可大幅削減。本文建立了恰可察失真(Just Noticeable Difference, JND ) 閾值到位平面的映射關(guān)系，并將其應(yīng)用于位平面運(yùn)動(dòng)估計(jì)的匹配過(guò)程，在符合人類(lèi)視覺(jué)系統(tǒng)(Human Visual System, HVS)的基礎(chǔ)上提升壓縮效率?？紤]到近眼顯示設(shè)備超高刷新率的特點(diǎn)，使運(yùn)動(dòng)估計(jì)的搜索范圍根據(jù)刷新率自適應(yīng)，簡(jiǎn)化了菱形搜索法，提高了編碼效率。最后，將各個(gè)位平面頻率差異和人眼臨界頻率相結(jié)合，設(shè)定匹配閾值進(jìn)一步消除冗余。本文使用現(xiàn)場(chǎng)可編程門(mén)陣列(Field Programmable Gate Array, FPGA)搭建系統(tǒng)，驗(yàn)證了方案的可行性和有效性。該方案可為數(shù)字驅(qū)動(dòng)近眼顯示器編解碼模塊的設(shè)計(jì)起到一定參考作用。

2 位平面運(yùn)動(dòng)估計(jì)

運(yùn)動(dòng)估計(jì)[7]可有效消除冗余，因此被廣泛應(yīng)用于視頻壓縮算法中。本文將運(yùn)動(dòng)估計(jì)運(yùn)用于位平面壓縮，針對(duì)近眼顯示設(shè)備的特點(diǎn)，對(duì)運(yùn)動(dòng)估計(jì)的匹配準(zhǔn)則、搜索范圍和殘差部分做出改進(jìn)。

2.1 匹配準(zhǔn)則

人類(lèi)視覺(jué)系統(tǒng)對(duì)于圖像的感知是非均勻和非線性的,不被察覺(jué)的圖像信息即是視覺(jué)冗余。消除視覺(jué)冗余需要對(duì)HVS進(jìn)行研究，研究者們使用JND模型來(lái)模擬HVS的主要特性，最終得到人眼的最低視覺(jué)門(mén)限閾值。當(dāng)變化值低于閾值時(shí)，人眼將無(wú)法覺(jué)察出該變化。由于JND模型能較為準(zhǔn)確地估計(jì)視覺(jué)冗余，因此該模型被廣泛應(yīng)用到許多感知圖像/視頻處理系統(tǒng)中，如圖像或視頻壓縮、感知質(zhì)量評(píng)價(jià)、水印、超分辨率等方面[8-11]。

JND模型最后得出的是人眼不可察覺(jué)的失真閾值，而在基于位平面的編碼過(guò)程中，需要的是人眼不可察覺(jué)的位平面閾值。因此，本文將閾值一一映射到位平面中，建立了JND模型到位平面的映射關(guān)系，如圖1所示。

圖1 JND閾值到位平面的映射Fig.1 JND threshold to bit plane mapping

圖2展示了JND閾值拆分成位平面閾值矩陣的過(guò)程。4×4的方陣存儲(chǔ)著16個(gè)像素點(diǎn)的JND閾值，首先根據(jù)所建立的映射關(guān)系，求出在人眼不可察覺(jué)的情況下最大可改變的位平面的范圍，然后建立各個(gè)位平面JND閾值矩陣。矩陣元素為“1”，表示可改變?cè)撐黄矫娴闹?，人眼不能察覺(jué)。矩陣元素為“0”，表示不可改變?cè)撐恢玫闹?。最后，得出的位平面JND閾值用于位平面運(yùn)動(dòng)估計(jì)的匹配準(zhǔn)則，如公式(1)所示，S為匹配點(diǎn)數(shù)，A為待匹配塊，B為匹配塊，C為待匹配塊對(duì)應(yīng)的位平面JND閾值矩陣。

(1)

圖2 JND閾值矩陣拆分成子矩陣Fig.2 JND threshold matrix split into sub-matrices

2.2 搜索范圍

在近眼顯示應(yīng)用領(lǐng)域，微顯示器的刷新率和分辨率越來(lái)越高。在高刷新率的顯示器中依然采用傳統(tǒng)的菱形搜索法[12]會(huì)使搜索范圍過(guò)大，造成編碼冗余。如圖3所示，當(dāng)刷新率為30 Hz時(shí)，圓S在相鄰兩幀移動(dòng)距離為l。當(dāng)刷新率為60 Hz時(shí)，圓S在相鄰兩幀的移動(dòng)距離為1/2l。當(dāng)刷新率為90 Hz時(shí)，圓S在相鄰兩幀的移動(dòng)距離為1/3l。當(dāng)刷新率為120 Hz時(shí)，圓S在相鄰兩幀的移動(dòng)距離僅為1/4l。

圖3 不同刷新率下物體運(yùn)動(dòng)的距離Fig.3 Moving distance of the object at different refresh rates

隨著刷新率的成倍提高，物體在相鄰兩幀的移動(dòng)范圍成倍縮小。為消除眩暈感，近眼顯示應(yīng)用刷新率一般可達(dá)120 Hz[13]，所以搜索范圍較傳統(tǒng)搜索范圍可按比例縮小1/4。這時(shí)如果還采用多步搜索，并不會(huì)顯著提升匹配成功率，反而會(huì)造成編碼冗余。因此，本文根據(jù)刷新率自適應(yīng)搜索范圍，對(duì)刷新率高達(dá)120 Hz及以上的情況，對(duì)菱形搜索法搜索范圍內(nèi)的各個(gè)矩陣塊直接編碼以節(jié)約碼字，提升編碼效率。

2.3 匹配閾值

發(fā)送端運(yùn)動(dòng)估計(jì)得出運(yùn)動(dòng)矢量和殘差值之后，接收端會(huì)以此進(jìn)行運(yùn)動(dòng)補(bǔ)償。并不是所有的殘差值都需要傳輸，殘差值中同樣存在冗余。本文設(shè)定匹配閾值以表征冗余度，在閾值內(nèi)的殘差并不傳輸，超出閾值的殘差熵編碼后發(fā)送給接收端。

圖4 Spiderman位平面頻譜圖Fig.4 Spiderman bit-plane spectrogram

圖4為Spiderman各個(gè)位平面頻譜圖?？梢钥闯?，圖片的高位平面總是富含圖像輪廓等低頻信息，低位平面則以圖像細(xì)節(jié)和噪聲等高頻信息為主。文獻(xiàn)[1]介紹了人眼臨界頻率與偏心率的關(guān)系，如圖5所示。視點(diǎn)中心處人眼的臨界頻率最大，隨著偏心率的增加，人眼臨界頻率向兩邊急劇衰減。即非視點(diǎn)區(qū)域的高頻信息，人眼難以察覺(jué)[14]。

圖5 人眼臨界頻率與偏心率的關(guān)系Fig.5 Relationship between critical frequency of human eye and eccentricity

有鑒于此，以圖像細(xì)節(jié)和噪聲等高頻信息為主的低位平面，隨著偏心率的增加，匹配閾值應(yīng)適當(dāng)降低。即在利用公式(1)進(jìn)行匹配的過(guò)程中，視點(diǎn)中心各個(gè)矩陣宏塊的殘差值都應(yīng)發(fā)送給接收端。隨著偏心率的增加，匹配點(diǎn)數(shù)小于匹配閾值的殘差值發(fā)送給接收端，大于匹配閾值的匹配點(diǎn)數(shù)不需發(fā)送給接收端。圖6為本文建立的位平面匹配閾值與偏心率的關(guān)系。

圖6 位平面匹配閾值與偏心率的關(guān)系Fig.6 Relationship between the matching threshold of bit-plane and the eccentricity

3 硬件實(shí)現(xiàn)

基于提出的位平面壓縮方案，本文以FPGA為核心進(jìn)行了各個(gè)模塊的IP核設(shè)計(jì)，控制器主要由幀緩存、運(yùn)動(dòng)估計(jì)、編碼、解碼和顯示5部分構(gòu)成，采用流水線設(shè)計(jì)，如圖7所示。

圖7 基于位平面編碼的數(shù)字驅(qū)動(dòng)微顯示器控制器設(shè)計(jì)Fig.7 Design of digital drive microdisplay controller based on bit-plane coding

幀緩存模塊主要準(zhǔn)備好當(dāng)前幀、參考幀，由JND模型計(jì)算的當(dāng)前幀的各個(gè)像素點(diǎn)的JND閾值數(shù)據(jù)。JND模型的計(jì)算包含大量的卷積和乘除法，對(duì)于結(jié)果取值范圍有限的計(jì)算，可將結(jié)果存儲(chǔ)為查找表。不適于存儲(chǔ)于查找表的，可采用線性擬合的方式進(jìn)行計(jì)算。本文則是預(yù)先用軟件方式算出JND閾值數(shù)據(jù)存儲(chǔ)在RAM中以供使用。

圖8 硬件測(cè)試平臺(tái)Fig.8 Hardware test platform

運(yùn)動(dòng)估計(jì)的過(guò)程采用搜索范圍內(nèi)所有匹配塊并行匹配的方式以滿足時(shí)序要求，3個(gè)模塊同時(shí)計(jì)算并得出結(jié)果，由編碼模塊判斷選取對(duì)應(yīng)匹配方式的結(jié)果編碼后進(jìn)行發(fā)送。接收端根據(jù)掃描顯示的時(shí)序要求，依次取出對(duì)應(yīng)的碼字逐塊還原位平面的數(shù)據(jù)，接收端存有用于熵編碼解碼的查找表。掃描顯示模塊采用子場(chǎng)掃描法。圖8展示了本文使用的硬件測(cè)試平臺(tái)。

4 實(shí)驗(yàn)結(jié)果分析

4.1 圖像質(zhì)量評(píng)價(jià)

本文使用Matlab對(duì)所提出的位平面壓縮方案進(jìn)行軟件實(shí)現(xiàn)，以方便實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)。圖9為6張解碼后的視頻圖像與原圖像的對(duì)比圖，左邊為該幀原圖，右邊為解碼后的圖像。根據(jù)人眼主觀質(zhì)量評(píng)價(jià)，解碼后的圖片與原圖并無(wú)明顯差異。

圖9 圖像質(zhì)量對(duì)比，左邊為原圖，右邊為解碼后的圖像。Fig.9 Image quality comparison, the left is the original image, the right is the decoded image.

為進(jìn)一步驗(yàn)證所提方法的圖像質(zhì)量，本文使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似度(Structural Similarity， SSIM)進(jìn)行客觀質(zhì)量評(píng)價(jià)。平均PSNR經(jīng)大量實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果為22.810 3 dB，部分統(tǒng)計(jì)數(shù)據(jù)如圖10所示。PSNR值較低說(shuō)明所提算法對(duì)視頻幀的實(shí)際改動(dòng)較大，解碼后的圖像與原圖像在客觀數(shù)值方面有著明顯差異。然而，JND模型能有效提升圖片在人眼觀察下的噪聲容限，因此PSNR并不能準(zhǔn)確衡量人眼條件下的客觀圖像質(zhì)量[15]。

SSIM是基于結(jié)構(gòu)相似度的客觀圖像質(zhì)量評(píng)價(jià)方法[16]，通過(guò)計(jì)算圖像亮度，對(duì)比度和結(jié)構(gòu)的相似性來(lái)度量圖像質(zhì)量的好壞，SSIM值越接近1，則圖像的質(zhì)量就越好。通過(guò)統(tǒng)計(jì)計(jì)算，本文提出的算法解碼后的圖像與原圖像平均SSIM值為0.946 6，反映出本文提出的算法解碼后的圖像質(zhì)量較好，符合人眼的直觀感受，如圖11所示。

圖10 PSNR值條形統(tǒng)計(jì)圖Fig.10 PSNR bar graph

圖11 SSIM值條形統(tǒng)計(jì)圖Fig.11 SSIM bar graph

另一方面，PSNR和SSIM值的差異是引入JND模型后會(huì)出現(xiàn)的固有現(xiàn)象[15]，這也恰好反映所提算法JND模型到位平面的映射關(guān)系是正確有效的，所以才會(huì)使兩種評(píng)價(jià)方式產(chǎn)生截然不同的結(jié)果，使固有現(xiàn)象得以復(fù)現(xiàn)。

4.2 壓縮比

本文提出的編碼方式，視頻數(shù)據(jù)不同，壓縮效率不同。因此，本文抽取8段視頻片段對(duì)所提出算法統(tǒng)計(jì)壓縮比，結(jié)果統(tǒng)計(jì)在圖12中。由圖可得，本文提出的算法平均壓縮比為9.328 8，證明該算法可有效對(duì)視頻數(shù)據(jù)進(jìn)行壓縮，緩解數(shù)據(jù)傳輸?shù)膲毫Α?/p>

圖12 壓縮比條形統(tǒng)計(jì)圖Fig.12 Bar chart of compression ratio

5 結(jié) 論

本文根據(jù)數(shù)字驅(qū)動(dòng)微顯示器按位平面子空間掃描的特點(diǎn)，采用位平面壓縮策略，提出了一種基于位平面運(yùn)動(dòng)估計(jì)的視頻壓縮方案。通過(guò)將JND閾值映射至位平面來(lái)指導(dǎo)位平面運(yùn)動(dòng)估計(jì)，有效提升了匹配成功率，進(jìn)而提高了壓縮效率。針對(duì)近眼顯示設(shè)備的特點(diǎn)，改進(jìn)了運(yùn)動(dòng)估計(jì)的搜索范圍，使搜索范圍根據(jù)刷新率自適應(yīng)，進(jìn)一步提高編碼效率。最后，結(jié)合人眼臨界頻率和位平面的關(guān)系設(shè)定匹配閾值，在保證圖像質(zhì)量的前提下消除殘差中的冗余?；谒岢龅姆桨福O(shè)計(jì)了數(shù)字驅(qū)動(dòng)微顯示器控制器并搭建系統(tǒng)驗(yàn)證設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明，提出的算法解碼后的圖像質(zhì)量較好，SSIM值為0.946 6，符合人眼的直觀感受和近眼顯示設(shè)備的實(shí)際要求。平均壓縮比為9.328 8，能有效降低數(shù)據(jù)傳輸量和接收端硬件存儲(chǔ)面積開(kāi)銷(xiāo)。基于位平面壓縮的數(shù)字驅(qū)動(dòng)微顯示器控制器滿足近眼顯示設(shè)備對(duì)于高分辨率、高刷新率和設(shè)備輕量化的要求，對(duì)數(shù)字驅(qū)動(dòng)近眼顯示設(shè)備編解碼模塊設(shè)計(jì)有一定借鑒意義。