唐　麟，朱　晨，黃豫蕾

(上海數(shù)據(jù)分析與處理技術(shù)研究所，上海　201112)

?

基于心理視覺調(diào)制信息顯示的一屏雙顯電視

唐麟，朱晨，黃豫蕾

(上海數(shù)據(jù)分析與處理技術(shù)研究所，上海201112)

隨著顯示技術(shù)的發(fā)展，高性能的顯示設(shè)備對(duì)于人眼在時(shí)域和空域上產(chǎn)生心理視覺冗余。基于近期提出的基于時(shí)域和空域的心理視覺調(diào)制信息顯示技術(shù)，提出了一屏雙顯電視系統(tǒng)。由于之前提出的顯示模型僅考慮相鄰兩幀或兩行之間的影響，顯示效果不佳。對(duì)時(shí)域和空域的心理視覺調(diào)制信息顯示模型進(jìn)行了改進(jìn)，從而使其符合顯示設(shè)備的顯示特性和人眼的感知特性，為裸眼用戶和佩戴輔助觀看裝置的用戶提供更好的顯示效果。同時(shí)，系統(tǒng)也針對(duì)安卓系統(tǒng)進(jìn)行了優(yōu)化，從而能夠更流暢地觀看視頻。

心理視覺調(diào)制；一屏多顯；單屏多通道顯示；構(gòu)圖基；高分辨率；高刷新率

在多媒體技術(shù)主導(dǎo)的信息時(shí)代，信息顯示的重要性日漸體現(xiàn)，成為了信息技術(shù)領(lǐng)域研究與發(fā)展的一個(gè)熱點(diǎn)。隨著顯示技術(shù)的飛速發(fā)展，現(xiàn)代市場(chǎng)上的顯示設(shè)備支持的刷新率可達(dá)60 Hz及以上，主流的主動(dòng)式3D顯示器都支持120 Hz、240 Hz甚至更高的刷新率。然而，研究顯示在通常情況下，人眼最高能夠分辨60 Hz左右的信號(hào)，即人眼融合頻率為60 Hz。故較高刷新率的顯示設(shè)備能夠播放高于人眼閃爍融合頻率的視覺信號(hào)，即造成了在時(shí)域上的心理視覺冗余。同樣，在空域上，目前市場(chǎng)上的主流顯示設(shè)備分辨率都達(dá)到了1 920×1 080。而分辨率為2K(2 048×1 152)、4K(4 096×2 160)的顯示技術(shù)正在迅速發(fā)展。與之對(duì)應(yīng)的，屏幕像素密度也越來越高，蘋果公司提出的視網(wǎng)膜屏幕概念更是將屏幕像素密度提升到了300 pixel/in(像素每英寸)及以上。而研究顯示，人眼的最高空間分辯率約為30 cpd (cycles per degree)，最敏感空間分辨率約為3 cpd，最敏感時(shí)間分辨率約為60 Hz。在一般情況下,更高的像素密度將造成空域上的冗余。

在文獻(xiàn)[1]中，武筱林、翟廣濤提出了基于時(shí)域心理視覺調(diào)制的信息顯示系統(tǒng)及方法(TPVM)。該方法利用輔助觀看裝置通過調(diào)節(jié)從高速顯示裝置的顯示面到人眼的光強(qiáng)傳遞率,實(shí)現(xiàn)對(duì)高速顯示裝置播出的構(gòu)圖基序列的時(shí)域幅度調(diào)制，從而使一個(gè)或多個(gè)用戶通過該輔助觀看裝置或無輔助觀看裝置看到顯示設(shè)備播放不同的信息/圖像。然而現(xiàn)有的技術(shù)并未利用基于空域的心理視覺冗余。在文獻(xiàn)[2]中，心理視覺調(diào)制的信息顯示系統(tǒng)被推廣到了空域上(SPVM)，通過空域調(diào)制的方式充分利用了高分辨率顯示設(shè)備的視覺冗余和顯示信息內(nèi)容的統(tǒng)計(jì)相關(guān)性。本文將一組構(gòu)圖基以特定的空間排列在一個(gè)高分辨率顯示設(shè)備上播出。不同于簡(jiǎn)單的空域復(fù)用顯示方式中在屏幕上同時(shí)顯示多個(gè)完整圖像，任一區(qū)域所播放的 SPVM的構(gòu)圖基只是多幅圖像共有的組成部分或一幅圖像的組成部分。對(duì)于裸眼用戶，所述構(gòu)圖基組直接進(jìn)入人眼，并融合成有意義的圖像。對(duì)于有輔助觀看裝置的，顯示設(shè)備所播放的構(gòu)圖基組輔助觀看裝置進(jìn)行空域幅度調(diào)制，調(diào)制后的信息最終通過用戶人眼視覺系統(tǒng)在人腦中融合成其所需的圖像?；诖思夹g(shù)，還出現(xiàn)了多字幕顯示[3-4]、新型可見光通信系統(tǒng)[5]、2D/3D同時(shí)顯示[6]、隱形二維碼顯示[7]、醫(yī)用多視圖眼鏡[8]、影院防偷拍[9]等應(yīng)用。

1　時(shí)域和空域的心理視覺調(diào)制顯示模型

如前所述，現(xiàn)有高性能顯示設(shè)備的多項(xiàng)性能對(duì)于人眼視覺系統(tǒng)有限的感知能力來說有著巨大冗余。當(dāng)通過這些設(shè)備播出超過人眼視覺系統(tǒng)分辨能力的視覺信號(hào)時(shí)，人眼視覺系統(tǒng)的生理特性決定了其將把這些信號(hào)在時(shí)、空域上進(jìn)行視覺激勵(lì)的積分融合。

基于時(shí)、空域心理視覺調(diào)制的信息顯示方法[1-2]，令高性能顯示設(shè)備以某時(shí)域或空域排列播出構(gòu)圖基序列X1，X2，…，XM，其中M為一個(gè)正整數(shù)。與之對(duì)應(yīng)地，構(gòu)圖基序列經(jīng)過輔助觀看裝置不同權(quán)重的時(shí)域或空域調(diào)制，最終融合成圖像Y1，Y2，…，YN，N是正整數(shù)。而對(duì)于裸眼用戶，未經(jīng)調(diào)制的空域信號(hào)融合成的圖像為Y0。

(1)

對(duì)于無輔助觀看裝置的裸眼用戶，其視圖為所有未調(diào)制的構(gòu)圖基組的疊加，即

(2)

式中：0≤Xj≤255。

在實(shí)際系統(tǒng)實(shí)現(xiàn)過程中，已知需要最終在人眼視覺系統(tǒng)中融合成的目標(biāo)感知圖像Y，根據(jù)佩戴輔助觀看裝置或裸眼用戶的調(diào)制權(quán)重W的約束，求解出在顯示設(shè)備上需要播放的構(gòu)圖基序列X。這一過程即為視覺信號(hào)的分解。

如果用一個(gè)線性加權(quán)模型來模擬視覺融合的積分過程，則顯示信號(hào)及控制信號(hào)的求解問題可以轉(zhuǎn)化為一個(gè)矩陣分解問題。實(shí)際應(yīng)用之中，由于顯示設(shè)備所發(fā)出的光信號(hào)亮度以及觀看設(shè)備的透光率均非負(fù)，上述過程實(shí)際成為一個(gè)非負(fù)矩陣分解(Nonnegative Matrix Factorization，NMF)問題。

故根據(jù)前述的融合特性，此時(shí)的非NMF問題可以表述為

(3)

(4)

得到充分滿足。

目前最經(jīng)濟(jì)適用的透光率控制裝置是液晶(LC)器件，LC材料的物理特性決定了其在室溫狀態(tài)下最高開關(guān)頻率僅為數(shù)百赫茲，大大落后于顯示設(shè)備的工作速率。在此條件下，一種降低調(diào)整速率對(duì)系統(tǒng)不利影響的方法是讓控制LC狀態(tài)切換的同步信號(hào)在時(shí)序上盡可能稀疏，即狀態(tài)改變數(shù)盡可能少，從而縮短主LC開關(guān)的響應(yīng)間隔。這意味著讓調(diào)制權(quán)重矢量盡可能含有少量非零值，因此本文可以進(jìn)一步增加一個(gè)稀疏約束并設(shè)計(jì)NMF目標(biāo)函數(shù)為

(5)

2基于空域心理視覺調(diào)制的一屏雙顯

電視系統(tǒng)

這個(gè)系統(tǒng)是由一個(gè)安卓電視盒、一副偏振眼鏡和一個(gè)偏光式3D電視組成,將能在Android移動(dòng)設(shè)備上運(yùn)行，比如在安卓電視和安卓移動(dòng)設(shè)備。這個(gè)依托于被動(dòng)立體顯示設(shè)備上的信息安全顯示系統(tǒng)是通過偏振光的交錯(cuò)實(shí)現(xiàn)的，系統(tǒng)的硬件是基于LG生產(chǎn)的立體顯示屏。而系統(tǒng)軟件是用Java語(yǔ)言在Android平臺(tái)上開發(fā)的。在這個(gè)系統(tǒng)中，由于偏振眼鏡的鏡片奇數(shù)和偶數(shù)行的掃描行的偏振方向不同，所以通過對(duì)顯示系統(tǒng)中圖像或者視頻每一幀像素的處理，能夠?qū)崿F(xiàn)裸眼用戶群只能看到無意義或者特定的畫面，而佩戴眼鏡被授權(quán)的觀眾可以看到被隱藏起來的畫面和信息。

3　基于安卓系統(tǒng)的性能優(yōu)化

由于該系統(tǒng)中實(shí)現(xiàn)了在一個(gè)屏幕同時(shí)播放兩種視頻的視覺效果，所以需要對(duì)視頻每一幀的所有像素進(jìn)行遍歷和映射的操作，這樣便對(duì)安卓電視盒子系統(tǒng)的處理性能有相對(duì)較高的要求。而現(xiàn)在市場(chǎng)上的安卓電視系統(tǒng)往往不能提供高配置的處理性能，使得這套系統(tǒng)在安卓平臺(tái)上運(yùn)行時(shí)出現(xiàn)卡頓的現(xiàn)象，所以對(duì)系統(tǒng)的優(yōu)化主要有硬件上和軟件上兩個(gè)方面。在硬件上，需要安卓系統(tǒng)提供較高的運(yùn)行內(nèi)存，需要數(shù)據(jù)的存取操作有更為強(qiáng)大的處理器。在軟件系統(tǒng)上，由于需要對(duì)視頻每一幀的像素進(jìn)行處理，所以需要采用特定的textureview的播放控件，textureview控件會(huì)隨著視頻的播放獲得其每一幀像素后會(huì)不斷刷新而渲染新的畫面。軟件系統(tǒng)的設(shè)計(jì)框架也會(huì)影響視頻的播放流暢度，所以需要測(cè)試和比較不同框架對(duì)運(yùn)行性能的影響。初期該項(xiàng)目采用單線程的方法對(duì)像素進(jìn)行遍歷操作，但是在采用雙線程同時(shí)存取數(shù)據(jù)后，視頻播放比單線程更加流暢。

而視頻的視覺顯示效果也是該系統(tǒng)設(shè)計(jì)的一大挑戰(zhàn)，由于視頻播放的效果對(duì)人眼的觀看感受有著直接的影響，所以需要采用多種方法改善系統(tǒng)播放視頻時(shí)的視覺效果。一方面，本文需要用高精度的亮度計(jì)采集系統(tǒng)中3D立體顯示屏的RGB三種顏色通道的亮度值，從而得出亮度值和灰度值的函數(shù)關(guān)系，再根據(jù)灰度值和亮度值的函數(shù)關(guān)系進(jìn)行相應(yīng)像素的映射，這對(duì)加強(qiáng)視覺效果有著顯著的影響。另一方面，需要將裸眼看到的標(biāo)準(zhǔn)視頻和通過佩戴眼鏡觀看的遮蔽視頻進(jìn)行不同的處理，標(biāo)準(zhǔn)視頻所有幀的像素需要映射到[128,255]之間，而遮蔽視頻所有幀的像素需要映射到[0,128]之間，這樣映射后使得雙視頻的像素在運(yùn)算時(shí)不會(huì)產(chǎn)生像素值溢出，使得視頻播放時(shí)不會(huì)出現(xiàn)失真的現(xiàn)象。

4　心理視覺調(diào)制信息顯示模型優(yōu)化

但根據(jù)實(shí)際人眼觀測(cè)模型，現(xiàn)有的TPVM和SPVM顯示系統(tǒng)存在不足：現(xiàn)有的時(shí)域、空域心理視覺調(diào)制顯示模型只是考慮到相鄰兩幀或兩行之間的互相影響，并未考慮到相鄰幀或周圍像素對(duì)中央像素的影響分布。故本文針對(duì)這一問題提出了改進(jìn)的模型，考慮時(shí)域、空域心理視覺調(diào)制的優(yōu)化顯示模型。

在時(shí)域模型中，由于人眼心理視覺特性，對(duì)于一幀圖像，其對(duì)前后的多幀圖像均產(chǎn)生不同權(quán)重的影響，即單幀對(duì)其前后的t時(shí)刻幀的感知亮度影響為

(6)

類似的，在空域模型中，對(duì)于每一像素，其亮度對(duì)其鄰域像素點(diǎn)都產(chǎn)生不同權(quán)重的影響。中央像素亮度對(duì)于周圍像素亮度影響大小為

(7)

然而在實(shí)際實(shí)驗(yàn)中，發(fā)現(xiàn)目前市場(chǎng)上所有的被動(dòng)式3D技術(shù)都是基于隔行偏振技術(shù)，即隔行采用正交方向的偏振光。故在空域心理視覺調(diào)制中僅能實(shí)現(xiàn)在隔行顯示不同構(gòu)圖基。同時(shí)，在主觀實(shí)驗(yàn)中，當(dāng)被試者在距離屏幕50 cm處時(shí)，其觀察時(shí)相鄰兩行的像素對(duì)將空域模型簡(jiǎn)化為不同行像素之間的影響。

由此，對(duì)于隔行播放的構(gòu)圖基Xn-1，Xn和Xn+1，應(yīng)滿足

(8)

式中：λ為相鄰行的影響權(quán)重。

(9)

式中：λ為相鄰幀之間的影響權(quán)重。

在所述的時(shí)域或空域心理視覺調(diào)制信息顯示系統(tǒng)模型中，有一組構(gòu)圖基提供輔助觀看裝置的視圖，不妨設(shè)偶數(shù)行或偶數(shù)幀為

X2n=Y12n

(10)

則可解得

X2n-1=Y02n-1-λY12n-λY12n-2

(11)

即在優(yōu)化后的基于空域心理視覺調(diào)制的信息顯示系統(tǒng)中，奇偶行的構(gòu)圖基分別為

(12)

相似地，在優(yōu)化后的基于時(shí)域心理視覺調(diào)制的信息顯示系統(tǒng)中，奇偶幀的構(gòu)圖基分別為

(13)

在實(shí)驗(yàn)中，可以調(diào)節(jié)λ的值從而達(dá)到更好的顯示效果，其中λ<0.5。

在實(shí)驗(yàn)中，首先對(duì)比了原有的空域心理視覺調(diào)制信息顯示模型和本文改進(jìn)后的模型的顯示效果。如圖1所示，本文設(shè)置裸眼畫面Y0為一常量，從而模擬文獻(xiàn)[2]中的信息隱藏顯示系統(tǒng)，兩種模型的隱藏效果模擬分別如圖1和圖2所示?？梢钥吹?，對(duì)于圖中銳利邊緣等高頻成分的隱藏效果得到了改善。利用改進(jìn)后的模型，戴眼鏡視圖的信息能夠更好地隱藏，裸眼視圖更為平滑，即旁觀者無法看到有用的信息(如圖3、圖4所示)，從而提升了信息安全的效果。

圖1　基于原有模型的模擬隱藏效果(圖中紋理、邊緣等高頻成分隱藏效果差)

圖2　基于改進(jìn)模型的模擬隱藏效果(圖中紋理、邊緣等高頻成分隱藏效果改善)

圖3　基于原有模型的實(shí)際隱藏效果(圖中間仍隱約可看到文字等高頻成分)

圖4　基于改進(jìn)后模型的實(shí)際隱藏效果(隱藏效果得到改善)

在后續(xù)實(shí)驗(yàn)中，本文設(shè)置Y0，Y1為不同的視頻，利用優(yōu)化后的基于空域的心理視覺調(diào)制的一屏雙顯系統(tǒng)的顯示效果如圖5所示。實(shí)驗(yàn)中本文利用了BOE-LE55Z7000被動(dòng)式3D電視機(jī)作為顯示設(shè)備，利用對(duì)應(yīng)的偏振眼鏡作為輔助觀看裝置。從圖5、圖6中可以看到，裸眼視圖和利用輔助觀看裝置視圖的畫面質(zhì)量都非常好。

圖5　一屏雙顯效果圖(戴上眼鏡后看到與裸眼視圖不同的內(nèi)容，兩個(gè)節(jié)目互不影響)

圖6　戴眼鏡視圖

5　小結(jié)

如今的高刷新率、高分辨率顯示設(shè)備對(duì)于人眼在時(shí)域和空域上產(chǎn)生心理視覺冗余。針對(duì)這一現(xiàn)象，本文提出了基于空域的心理視覺調(diào)制信息顯示技術(shù)的雙畫面顯示系統(tǒng)，在高分辨率電視設(shè)備上同時(shí)播放不同構(gòu)圖基，不同用戶可以利用輔助觀看裝置看到不同信息，而裸眼用戶也可以直接看到他所需要的畫面。然而，之前提出的時(shí)域、空域心理視覺調(diào)制顯示技術(shù)模型存在不完善，僅考慮相鄰兩幀或兩行之間的影響。在本文中對(duì)模型進(jìn)行了改進(jìn)，從而符合顯示設(shè)備的顯示特性和人眼的感知特性。同時(shí)本文提出的系統(tǒng)還針對(duì)安卓系統(tǒng)特性進(jìn)行了優(yōu)化，從而獲得更流暢的性能。在之后的工作中，還將突破硬件的限制，針對(duì)實(shí)際的顯示模型作進(jìn)一步的改進(jìn)。

[1]WU X，ZHAI G. Temporal psychovisual modulation: a new paradigm of information display [exploratory DSP][J]. IEEE signal processing magazine，2013，30(1)：136-141.

[2]HU C，ZHAI G，GAO Z，et al. Information security display system based on spatial psychovisual modulation[C]// 2014 IEEE International Conference on Multimedia and Expo (ICME).[S.l.]：IEEE，2014：1-4.

[3]HU C，ZHAI G，GAO Z，et al. Simultaneous dual-subtitles exhibition via spatial psychovisual modulation[C]// 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB).[S.l.]：IEEE，2014：1-4.

[4]HU C，ZHAI G，GAO Z，et al. Simultaneous triple subtitles exhibition via temporal psychovisual modulation[C]// 2014 IEEE 9th Conference on Industrial Electronics and Applications (ICIEA).[S.l.]：IEEE，2014：944-947.

[5]HUC，ZHAIG，GAOZ.Visiblelightcommunicationviatemporalpsycho-visualmodulation[C]//Proceedingsofthe23rdAnnualACMConferenceonMultimediaConference.[S.l.]：ACM，2015：785-788.

[6]WUX，ZHAIG.Backwardcompatiblestereoscopicdisplaysviatemporalpsychovisualmodulation[C]//SIGGRAPHAsia2012EmergingTechnologies.[S.l.]：ACM，2012：4.

[7]GAOZ，ZHAIG，HUC.TheinvisibleQRcode[C]//Proceedingsofthe23rdAnnualACMConferenceonMultimediaConference.[S.l.]：ACM，2015：1047-1050.

[8]GAOZ，ZHAIG，HUC，etal.Dual-viewmedicalimagevisualizationbasedonspatial-temporalpsychovisualmodulation[C]// 2014IEEEInternationalConferenceonImageProcessing(ICIP).[S.l.]：IEEE，2014：2168-2170.

[9]ZHAIG，WUX.Defeatingcamcorderpiracybytemporalpsychovisualmodulation[J].Journalofdisplaytechnology，2014，10(9)：754-757.

[10]WANGL，ZHAIG.ConstrainedNMFformultipleexhibitiononasingledisplay[C]//PictureCodingSymposium(PCS).[S.l.]：IEEE，2015：292-296.

[11]GAOZ，ZHAIG，ZHOUJ.Factorizationalgorithmsfortemporalpsychovisualmodulationdisplay[J].IEEEtransactionsonmultimedia，2016，18(4)：1-1.

唐麟(1985— )，碩士，主研計(jì)算機(jī)圖像處理；

朱晨(1984— )，碩士，主研計(jì)算機(jī)圖像處理；

黃豫蕾(1978— )，碩士，主研計(jì)算機(jī)圖像處理。

責(zé)任編輯：許盈

Improvement of dual-view television via spatial-temporal psycho-visual modulation

TANG Lin, ZHU Chen, HUANG Yulei

(ShanghaiDataAnalyzingandProcessingTechnologyResearch,Shanghai201112,China)

As the development of the display technology, the high technology display systems result in the abundant in both spatial and temporal domains. This paper contains a survey on the recently proposed display technology based on spatio-temporal psycho-visual modulation, which makes the high-tech screens to display several different atom frames, so that different users can use the paired glasses to see different information simultaneously, and those who don't have a glasses can see the meaningful glass-free view also. However, the model proposed earlier just consider the influence of the nearest two lines. In this paper, the existing spatial psycho-visual modulation model is improved to make it conform to the character of the display systems and the perception of the human eyes. The improved model performs better for both the users with glasses and the glass-free view.

psycho-visual modulation; simultaneous display; multi-display on the same screen; atom frame; high resolution; high refresh rate

TN949.6

A

10.16280/j.videoe.2016.08.008

2016-03-25

文獻(xiàn)引用格式：唐麟，朱晨，黃豫蕾. 基于心理視覺調(diào)制信息顯示的一屏雙顯電視[J].電視技術(shù)，2016，40(8)：43-47.

TANG L，ZHU C，HUANG Y L. Improvement of dual-view television via spatial-temporal psycho-visual modulation [J].Video engineering，2016，40(8)：43-47.