［摘 要］圖像增強(qiáng)作為常見顯示處理技術(shù)，受各種原因影響，用戶在家庭場(chǎng)景使用時(shí)，難以體驗(yàn)到實(shí)驗(yàn)室調(diào)校水準(zhǔn)的效果。為解決該問題，文章提出一種閉環(huán)自適應(yīng)的圖像增強(qiáng)方法，該方法以用戶為中心，充分考慮用戶使用環(huán)境及個(gè)人喜好，形成閉環(huán)自適應(yīng)，可讓用戶在家也能體驗(yàn)到實(shí)驗(yàn)室調(diào)教級(jí)別的畫質(zhì)效果，畫面層次感更好，立體感更深。

［關(guān)鍵詞］閉環(huán)自適應(yīng)；圖像增強(qiáng)；環(huán)境自適應(yīng)；內(nèi)容自適應(yīng)

［中圖分類號(hào)］TP391.41 ［文獻(xiàn)標(biāo)志碼］A ［文章編號(hào)］2095–6487（2024）09–0167–03

圖像增強(qiáng)作為常見的顯示處理技術(shù)，當(dāng)前大多為顯示設(shè)備單方面的自我行為，且缺乏個(gè)性化。出廠前其圖像增強(qiáng)雖能夠達(dá)到較好的效果，但到用戶家里，由于所處環(huán)境與試驗(yàn)室的差異，以及其他原因，用戶很難體驗(yàn)到最佳調(diào)教效果。為了解決該問題，提出一種閉環(huán)自適應(yīng)的圖像增強(qiáng)方法。

1 閉環(huán)自適應(yīng)的圖像增強(qiáng)方法

閉環(huán)自適應(yīng)圖像增強(qiáng)方法是一種充分利用設(shè)備本身硬件能力，經(jīng)用戶許可，使設(shè)備廠家在圖像增強(qiáng)上單方面的自我行為，轉(zhuǎn)變?yōu)橐杂脩魹橹行?，充分考慮用戶使用環(huán)境及個(gè)人喜好的閉環(huán)自適應(yīng)的圖像增強(qiáng)方法。該方法可使得每個(gè)用戶都感受到最佳調(diào)教效果，且畫面層次感更好，立體感更深，更接近導(dǎo)演意圖。

該方法包含4 大模塊，即內(nèi)容分析模塊、設(shè)備能力與用戶環(huán)境風(fēng)格分析模塊、實(shí)時(shí)分析與調(diào)整模塊、用戶指令解析與反饋模塊。其中，內(nèi)容分析模塊負(fù)責(zé)輸出與當(dāng)前顯示內(nèi)容相關(guān)的特征數(shù)據(jù)集1 ；設(shè)備能力與用戶環(huán)境風(fēng)格分析模塊負(fù)責(zé)輸出與設(shè)備能力信息及用戶環(huán)境風(fēng)格相關(guān)的特征數(shù)據(jù)集2 ；實(shí)時(shí)分析與調(diào)整模塊作為核心模塊，負(fù)責(zé)根據(jù)用戶實(shí)時(shí)環(huán)境信息及特征數(shù)據(jù)集，實(shí)時(shí)分析并做出相應(yīng)調(diào)整，同時(shí)統(tǒng)籌調(diào)度其他3 個(gè)模塊；用戶指令解析與反饋模塊，負(fù)責(zé)用戶與系統(tǒng)的互動(dòng)與反饋，系統(tǒng)會(huì)根據(jù)用戶的反饋信息持續(xù)對(duì)調(diào)整參數(shù)進(jìn)行修正，直至用戶反饋已接受當(dāng)前狀態(tài)或已到達(dá)調(diào)整極限。閉環(huán)自適應(yīng)圖像增強(qiáng)方法流程框架如圖1 所示。

1.1 內(nèi)容分析模塊

內(nèi)容分析模塊，從顯示內(nèi)容自帶編碼信息挑選特定信息，同時(shí)提取對(duì)應(yīng)的直方圖分布、內(nèi)容類型，得到特征數(shù)據(jù)集1。

（1）片源輸入到顯示器后，經(jīng)過系列編解碼處理后，可獲取對(duì)應(yīng)編碼信息，包含最大顯示亮度DMA、最小顯示亮度DMI、最大信號(hào)幅度CLL。

（2）片源輸入到顯示器后，信號(hào)分析模塊進(jìn)行分析處理，得到對(duì)應(yīng)直方圖分布。圖2 為此時(shí)顯示畫面對(duì)應(yīng)直方圖分布，共32 個(gè)數(shù)值，橫坐標(biāo)為信號(hào)區(qū)間，縱坐標(biāo)為對(duì)應(yīng)統(tǒng)計(jì)值數(shù)量。

（3）內(nèi)容類型，指當(dāng)前顯示內(nèi)容的信號(hào)類型，如HDR10、HLG 或者SDR。

（4）根據(jù)參數(shù)DMA/DMI/CLL/HIST，輸入內(nèi)容分析模塊進(jìn)行系列推導(dǎo)、插值擬合運(yùn)算（3 次方插值、貝塞爾擬合），核心算法模塊將輸出一個(gè)信號(hào)控制曲線M1。圖3為信號(hào)控制曲線。

根據(jù)DMA/DMI/CLL，得到函數(shù)曲線f1（DMA，DMI，CLL，IN），IN 為信號(hào)碼值，取值范圍0～255。具體為：將DMA，DMI，CLL 做數(shù)據(jù)處理得到3 個(gè)點(diǎn)的坐標(biāo)PB1（DMI/DMA，0.001）、PB2（0.5×（CLL+DMA）/DMA，0.8）、PB3（CLL/DMA，0.99）；將PB1、PB2、PB3 作為貝塞爾曲線的控制點(diǎn)， 代入貝塞爾曲線的公式， 即B（t）=PB0×（1–t）3+3×PB1×t×（1–t）2+3×PB2×t2×（1–t）+PB3×t3，t ∈ [0，1]，其中PB0 的坐標(biāo)為（0，0），t 的間隔為0.003906，可得到256 個(gè)點(diǎn)；連線可得分段線性函數(shù)f1。

根據(jù)直方圖分布，生成分段線性函數(shù)f2，共32段，各段的節(jié)點(diǎn)，其橫坐標(biāo)分別為圖2 所列32 個(gè)點(diǎn)的值外加原點(diǎn)0 共33 個(gè)，輸出為對(duì)應(yīng)歸一化統(tǒng)計(jì)累加值。

上述分段線性函數(shù)曲線f2，經(jīng)過分段線性函數(shù)f1的映射，同時(shí)加入P1/P2 的權(quán)重限制，得到新函數(shù)曲線f3（IN）=P1/（P1+P2）×f4（IN）+P2，即信號(hào)控制曲線M1。其中，P1、P2 會(huì)因1.1 中（3） 提到的“當(dāng)前顯示內(nèi)容的信號(hào)類型，如HDR10、HLG 或者SDR”而有所不同。f4（IN）=f1[ f2（IN）]。

1.2 設(shè)備能力與用戶環(huán)境風(fēng)格分析模塊

設(shè)備能力與用戶環(huán)境風(fēng)格分析模塊，根據(jù)設(shè)備能力信息及用戶環(huán)境風(fēng)格信息，分析得到相關(guān)特征數(shù)據(jù)集2。

（1）獲取顯示器各種光學(xué)指標(biāo)（全屏最大亮度TDP，L10/L20/L50 小窗口最大亮度TDP_L10/TDP_L20/TDP_L50）。

（2）經(jīng)用戶許可，通過設(shè)備攝像頭，獲取用戶環(huán)境布局參數(shù)。提示用戶，將對(duì)電視機(jī)所處環(huán)境拍攝系列圖片，分析完成后將進(jìn)行銷毀。用戶許可后，對(duì)周圍環(huán)境以5°為步進(jìn)旋轉(zhuǎn)，抓取系列圖片。

（3）將獲取信息輸入對(duì)應(yīng)分析模塊進(jìn)行處理。將參數(shù)TDP_L10/TDP_L20/TDP_L50 輸入查詢模塊二，查詢模塊二中內(nèi)置11 個(gè)3 維表3D_LUT_2（11 行11 列11 層），加后綴i 為3D_LUT_2_i 以作區(qū)分，根據(jù)輸入?yún)?shù)，可查到一條特定參數(shù)曲線TDP_L_LUT。具體查詢方式：將TDP_L10/TDP_L20/TDP_L50 用TDP歸一化，再分別乘11，結(jié)果分別對(duì)應(yīng)3D_LUT_2_i3 個(gè)維度。每查詢一次， 會(huì)得到一個(gè)值ai（a1/a2/a3……a11）（取值范圍0～1 023），查詢11 次后得到11 個(gè)值，根據(jù)這11 個(gè)值，經(jīng)過線性插值，形成參數(shù)曲線TDP_L_LUT ：f5（13，26，51，77，102，128，153，179，204，230，255，a1，a2……a11）。根據(jù)參數(shù)TDP，將其作為函數(shù)輸出值，反求其輸入值，得到最終的查找值TDP_LUT， 即TDP=TDP_L_LUT（TDP_LUT）。將拍得圖片，輸入到內(nèi)置圖片轉(zhuǎn)3D 模塊，生成3D 模型。結(jié)合TDP_LUT 和3D 模型，與內(nèi)置數(shù)據(jù)庫比對(duì)，對(duì)用戶環(huán)境風(fēng)格做歸類。以裝修色系、寬敞度、方位及向陽位置4 個(gè)維度進(jìn)行分類。

1.3 實(shí)時(shí)分析與調(diào)整模塊

實(shí)時(shí)分析與調(diào)整模塊，根據(jù)用戶實(shí)時(shí)環(huán)境信息及特征數(shù)據(jù)集1、特征數(shù)據(jù)集2，實(shí)時(shí)分析并做出相應(yīng)調(diào)整。

（1）通過設(shè)備自帶的環(huán)境光感探頭，實(shí)時(shí)獲取環(huán)境光感應(yīng)參數(shù)SEN。系統(tǒng)據(jù)此對(duì)設(shè)備背光系統(tǒng)進(jìn)行控制。

（2）經(jīng)用戶許可，通過設(shè)備攝像頭，獲取用戶觀看位置。設(shè)備最佳觀看位置為正中間，系統(tǒng)據(jù)此調(diào)整設(shè)備的畫質(zhì)參數(shù)，使用戶在各方位都能感受到和正中間一樣效果。

1.4 用戶指令解析與反饋模塊

用戶指令解析與反饋模塊，負(fù)責(zé)用戶與系統(tǒng)的互動(dòng)與反饋。系統(tǒng)實(shí)時(shí)調(diào)整后，進(jìn)入待命狀態(tài)，隨時(shí)準(zhǔn)備解析用戶的新指令，根據(jù)用戶的反饋繼續(xù)做出正向調(diào)整。

（1）調(diào)整模塊將根據(jù)設(shè)備能力與用戶環(huán)境風(fēng)格分析模塊、實(shí)時(shí)分析與調(diào)整模塊輸入的信息，對(duì)信號(hào)控制曲線進(jìn)行優(yōu)化，由底層響應(yīng)后呈現(xiàn)給用戶。①設(shè)備能力與用戶環(huán)境風(fēng)格分析模塊輸出：描述設(shè)備能力的參數(shù)，TDP、TDP_L_LUT 及TDP_LUT ；用戶環(huán)境風(fēng)格分析值，裝修色系（DC）、空間寬敞度（SS）、方位（OR）及向陽位置（SP）4 個(gè)維度。②調(diào)整模塊根據(jù)裝修色系（DC）、空間寬敞度（SS）確定優(yōu)化曲線的控制點(diǎn)定位及個(gè)數(shù)。遵循色系越深控制點(diǎn)定位越集中在暗階，空間越寬敞控制點(diǎn)越多的原則。③根據(jù)參數(shù) TDP、TDP_LUT 和方位（OR）及向陽位置（SP），確定優(yōu)化曲線的程度，遵循TDP、TDP_LUT 值越大，優(yōu)化調(diào)整幅度越小的原則，表示為a1=f7（TDP，TDP_LUT）；通過方位（OR）及向陽位置（SP）確定電視機(jī)所在位置受到外界自然光線的影響程度，受影響越大，則優(yōu)化調(diào)整幅度越大，表示為a2=f8（OR，SP）。以a1、a2 加權(quán)計(jì)算最終優(yōu)化幅度。

（2）根據(jù)參數(shù)SEN，調(diào)整模塊，配合圖3，調(diào)整背光控制系統(tǒng)，使用戶看到亮度更適宜、對(duì)比層次更豐富的畫面效果。主要遵循環(huán)境光越亮，系統(tǒng)背光控制越高原則。

（3）根據(jù)用戶方位信息，調(diào)整模塊進(jìn)一步調(diào)整可視角參數(shù)，將最佳視角轉(zhuǎn)移到用戶位置，使用戶在任一個(gè)方位都感受到最佳觀看效果。由于電視機(jī)本身的可視角有限，傳統(tǒng)技術(shù)上通常只有正對(duì)著屏幕才能獲得最佳視角，而通過獲取到用戶的方位后，調(diào)試系統(tǒng)的可視角調(diào)整參數(shù)，使得系統(tǒng)的最佳視角轉(zhuǎn)移到用戶當(dāng)前所在位置，讓用戶可在任一個(gè)方位都感受到最佳觀看效果。

（4）經(jīng)用戶許可，提示用戶對(duì)當(dāng)前顯示效果進(jìn)行評(píng)價(jià)，解析用戶的新指令，從不同維度對(duì)上述調(diào)整做正向調(diào)整，直到用戶滿意當(dāng)前設(shè)定或已到達(dá)調(diào)整極限。例如，用戶發(fā)出“畫面太朦朧”指令，針對(duì)該指令相應(yīng)調(diào)整系統(tǒng)對(duì)比度及背光控制，通過拉伸畫面層次的同時(shí)降低系統(tǒng)漏光得到預(yù)期的效果。

2 試驗(yàn)結(jié)果與分析

邀請(qǐng)20 名受試者針對(duì)3 種類型各10 個(gè)視頻片段進(jìn)行測(cè)試。其中，測(cè)試環(huán)境涵蓋了3 種裝修風(fēng)格的家庭環(huán)境，且每種家庭環(huán)境都測(cè)試了4 種照度（暗室、70lx、140lx、210lx），測(cè)試角度則分別是與水平屏幕成90°、60°和30°，觀看距離分別為1.5 倍屏幕高度、3 倍屏幕高度。3 種環(huán)境、4 種照度、3 個(gè)觀看角度、2 個(gè)觀看距離，共有72 種組合，在每個(gè)組合下，每個(gè)受試者先根據(jù)自己的喜好應(yīng)用本方法進(jìn)行調(diào)整，調(diào)整后，開始對(duì)上述的30 個(gè)視頻片源進(jìn)行測(cè)試，統(tǒng)計(jì)結(jié)果見表1。表1 中，以第3 行第1 列的63.9 為例，表示3 個(gè)（19～24 歲）的男受試人員，對(duì)“宣傳”類型的10 個(gè)視頻在72 種組合下進(jìn)行調(diào)整后，最終有63.9%的比例選擇增強(qiáng)后的效果。

試驗(yàn)結(jié)果顯示，不同年齡段不同性別的受試者，雖然選擇比例有差異，但都傾向于增強(qiáng)后的效果，認(rèn)為應(yīng)用本方法后，能在一定程度上以自身使用環(huán)境及個(gè)人喜好，進(jìn)行更有效地參數(shù)調(diào)整，體驗(yàn)到畫面層次感更好，立體感更深的畫質(zhì)體驗(yàn)。

3 結(jié)束語

文章提出一種閉環(huán)自適應(yīng)的圖像增強(qiáng)方法。通過提取挑選特定編碼信息及內(nèi)容直方圖分布等信息，結(jié)合設(shè)備能力信息及用戶環(huán)境風(fēng)格信息，同時(shí)根據(jù)用戶實(shí)時(shí)環(huán)境信息分析并調(diào)整，調(diào)整后與用戶互動(dòng)反饋形成閉環(huán)，最終使用戶體驗(yàn)到預(yù)期效果。該方法以用戶為中心，充分考慮用戶使用環(huán)境及個(gè)人喜好，形成閉環(huán)自適應(yīng)。讓用戶在家也能體驗(yàn)到試驗(yàn)室調(diào)教級(jí)別的畫質(zhì)效果，畫面層次感更好，立體感更深。

參考文獻(xiàn)

[1] 國家廣播電視產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心，TCL 多媒體科技控股有限公司GPC 研發(fā)中心. 數(shù)字電視與平板電視中的色度學(xué)[M]. 北京：人民郵電出版社，2010.

[2] 國家廣播電視產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心，中國電子科技集團(tuán)公司第三研究所，天津大學(xué)電子信息工程學(xué)院. 數(shù)字電視原理與檢測(cè)技術(shù)[M]. 北京：人民郵電出版社，2011.

[3] ROBERT S，DEVIN W.Algorithms[M]. 北京：人民郵電出版社，2012.

[4] 廖寧放. 高等色度學(xué)[M]. 北京：理工大學(xué)出版社出版，2020.

[5] 姚啟鉤. 光學(xué)教程[M]. 北京：高等教育出版社，2002.