張 晶 薛澄岐 沈張帆 王海燕 周 蕾 周小舟 陳曉皎

(東南大學機械工程學院, 南京 211189)

?

基于認知分層的圖像復(fù)雜度研究

張 晶 薛澄岐 沈張帆 王海燕 周 蕾 周小舟 陳曉皎

(東南大學機械工程學院, 南京 211189)

為揭示圖像屬性與圖像復(fù)雜度之間的編碼規(guī)律，從認知分層角度對圖像復(fù)雜度進行了研究.基于由淺入深的認知加工次序，將圖像復(fù)雜度分為呈現(xiàn)復(fù)雜度(CP)、語義復(fù)雜度(CS)和記憶復(fù)雜度(CM)，分別對應(yīng)圖像的視覺屬性、語義屬性和解碼屬性，并建立復(fù)雜度分層映射模型.以地鐵交通圖為例，提取圖像中3種復(fù)雜度后按低、中、高水平重新編碼，并結(jié)合眼動追蹤技術(shù)進行了視覺搜索實驗.實驗結(jié)果表明：高記憶復(fù)雜度編碼的反應(yīng)時最短，對認知績效的影響最大；高語義復(fù)雜度編碼易造成視覺干擾，需結(jié)合高記憶復(fù)雜度來提高認知績效；高呈現(xiàn)復(fù)雜度編碼能有效降低被試的認知負荷，提高搜索效率.實驗結(jié)果證實了圖像復(fù)雜度分層的合理性，為信息化圖像的復(fù)雜度設(shè)計提供了參考.

圖像復(fù)雜度;認知分層;人機交互;圖像屬性;映射方法

隨著近年來多媒體與網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,復(fù)雜度在信息理論、計算機科學和心理學等許多研究領(lǐng)域已成為一個備受關(guān)注的研究熱點．圖像復(fù)雜度不僅是對圖像中內(nèi)在價值信息的復(fù)雜程度的描述,也包含了呈現(xiàn)形式和內(nèi)容數(shù)量的復(fù)雜程度．在人機交互過程中,用戶對于信息的感知分層是大腦信息解碼的一個重要引導(dǎo)階段,通過對圖像復(fù)雜度的屬性分層和關(guān)聯(lián)構(gòu)建,可以有效幫助用戶在認知過程中快速高效地獲取圖像信息,并進行準確地預(yù)測和判斷．圖像復(fù)雜度與人的認知效率有密切的關(guān)系,圖像復(fù)雜度編碼的混亂容易造成用戶在信息認知時的混亂感,從而導(dǎo)致用戶認知負荷增加和績效低劣等問題,同時在很大程度上影響著人的閱讀速度和認知效率．

目前,從信息分類等角度,已經(jīng)建立了基于圖像視覺復(fù)雜度的算法和模型,例如Perimeter 檢測和Canny檢測等．Rigau等[1]基于信息理論對圖像進行分割,根據(jù)計算像素點的分布關(guān)聯(lián)性定義圖像復(fù)雜度．Mario等[2]基于模糊評價法根據(jù)圖像邊緣百分數(shù)把圖像分為微小復(fù)雜、中度復(fù)雜和非常復(fù)雜3個程度．在心理學領(lǐng)域,Silva等[3]提出了基于注意力的認知復(fù)雜性定義,認為注意力行為可以有效評估攝影圖像的復(fù)雜性．Huo等[4-5]基于視覺工作記憶提出一種將照片圖像目標對象和實際顯著對象的錯配比作為復(fù)雜度的衡量方法．Corchs等[6]提出了一種基于空間、頻率和色彩3種屬性的圖像復(fù)雜度感知評估方法．Chen等[7]基于神經(jīng)網(wǎng)絡(luò)技術(shù)把圖像復(fù)雜度初步分為圖像紋理、邊緣信息和重要區(qū)域．綜上所述,目前圖像復(fù)雜度的研究主要集中在計算機領(lǐng)域,通常采用信息論、組成論等計算機分類方法表征圖像復(fù)雜性,研究對象以攝影、繪畫和圖形圖像為主,包含大量數(shù)據(jù)的可視化信息圖像尚未涉及,且鮮有學者從認知角度對圖像屬性的復(fù)雜度展開研究．

本文基于前人提出的圖像復(fù)雜度度量方法和主觀實驗測評方法,發(fā)現(xiàn)圖像復(fù)雜度是伴隨著人在認知過程中不同階段的認知行為出現(xiàn)的,對基于圖像屬性和認知過程的圖像復(fù)雜度進行分類,建立了圖像屬性到復(fù)雜度的映射關(guān)系,并采用眼動實驗研究信息圖像復(fù)雜度的分層感知行為．

1 基于認知分層的圖像復(fù)雜度映射

本文中的圖像復(fù)雜度與計算機領(lǐng)域的界定不同,只研究認知加工角度的圖像視覺復(fù)雜度問題．圖像屬性是描述一幅圖像的基本性質(zhì)．Al-Khatib等[8]將圖像屬性分為3類:文件屬性、視覺屬性和語義屬性．其中,圖像復(fù)雜度的自身內(nèi)容屬于視覺屬性和語義屬性．基于前人對圖像屬性的分類,本文從認知過程中圖像各個屬性在認知處理時的加工次序,建立對應(yīng)的復(fù)雜度映射．

1.1 基于認知負荷的復(fù)雜度

認知的理論基礎(chǔ)主要是資源有限理論和圖式理論,分別對應(yīng)圖像屬性的內(nèi)因和外因．從認知角度分析,信息加工過程中,隨著時間變化所獲取信息的動態(tài)性和空間結(jié)構(gòu)連通的不確定性造成了認知的復(fù)雜性,用戶的認知階段包含刺激—察覺—識別—理解、預(yù)測、判斷—反應(yīng)5個階段[9]．其中,刺激—察覺—識別屬于用戶對圖像的淺層次認知,識別—理解、預(yù)測、判斷—反應(yīng)階段屬于用戶對圖像信息的深層次獲取階段.因此,結(jié)合圖像認知過程的內(nèi)因和外因,可以假設(shè)圖像復(fù)雜度是伴隨著人在認知過程中不同階段的認知行為出現(xiàn)的,可以分為圖像外在復(fù)雜度和內(nèi)在復(fù)雜度.圖像的外在復(fù)雜度主要呈現(xiàn)圖像的基本信息,內(nèi)在復(fù)雜度讓用戶去理解、提取圖像的內(nèi)在信息,如圖1所示．

圖1 用戶認知過程的圖像復(fù)雜度示意圖

1.2 認知層面的復(fù)雜度分類

認知層面的信息加工系統(tǒng)一般包含4個重要的組成部分:知覺、思維、注意和記憶．在知覺層面,Lin等[10]和Harper等[11]證實了圖像的布局、結(jié)構(gòu)及背景色對比度都對圖像視覺復(fù)雜度認知有一定影響．在記憶層面,前人的研究證明用戶的熟悉度也是影響認知層面圖像復(fù)雜度的因素,即圖像信息與用戶記憶信息的相關(guān)性、符合程度[12-13]．因此,將內(nèi)、外在復(fù)雜度進一步分為呈現(xiàn)復(fù)雜度 (CP)、語義復(fù)雜度 (CS)和記憶復(fù)雜度 (CM),如圖2所示．

圖2 認知層面的圖像復(fù)雜度分類

1.3 圖像屬性到復(fù)雜度的映射

從認知規(guī)律角度，CP主要存在于用戶對圖像的淺層次認知階段，是影響認知的外部因素，對應(yīng)圖像信息中的視覺屬性，即顏色、紋理、形狀、位置等直觀信息；CS對應(yīng)圖像的語義屬性，指需要用戶通過理解、預(yù)測和判斷來獲取的信息，即主題意義、事件、時空關(guān)系等信息內(nèi)容；CM對應(yīng)圖像的解碼屬性，與用戶自身的長時記憶和心理資源容度相關(guān)，需要激活記憶對內(nèi)外信息匹配性進行熟悉度、關(guān)聯(lián)度及相似度的判斷.圖像復(fù)雜度與圖像屬性的映射模型如圖3所示.

2 圖像復(fù)雜度認知分層實驗

2.1 實驗材料

實驗采用辨別任務(wù)范式,以生活中常見的地鐵交通信息圖作為實驗對象,重新設(shè)計后從3種復(fù)雜度分類中各選取了1～2種典型屬性作為實驗刺激:色彩屬性、形狀屬性代表CP;主題屬性、場景屬性代表CS;熟悉度屬性代表CM.分別設(shè)置由低、中、高3個復(fù)雜等級作為檢測刺激,如圖4所示．為了降低視覺搜索的干擾,所有刺激均呈現(xiàn)在屏幕中央的矩形范圍內(nèi),視角為距視線水平±15°內(nèi),垂直±10°內(nèi),視距550～600 mm．為避免不同圖像中同類任務(wù)之間差異太大,任務(wù)設(shè)計由專家評審得出,控制各圖像中所有元素的大小、顏色、結(jié)構(gòu)及線路數(shù)量的一致性．

圖3 圖像復(fù)雜度與圖像屬性的映射模型

圖4 3種復(fù)雜度的高中低層級編碼

2.2 實驗設(shè)計

實驗為3×3×3被試內(nèi)設(shè)計．因素1為呈現(xiàn)復(fù)雜度,色彩和形狀編碼3個水平分別為高、中、低;因素2為語義復(fù)雜度,主題和場景總數(shù)分別為2,4,6個;因素3為記憶復(fù)雜度,分為熟悉、一般熟悉和完全陌生,所有圖像不會重復(fù)出現(xiàn)．實驗分為2組,實驗1圖片采用9張被試完全陌生的地鐵信息圖,每幅圖有4個任務(wù),共計36個實驗項目;實驗2圖片采用4張新圖以及2張實驗1的圖,記憶復(fù)雜度分為熟悉、一般熟悉和完全陌生,結(jié)合呈現(xiàn)復(fù)雜度和語義復(fù)雜度的高、低2個水平,4個任務(wù),共計24個實驗項目．實驗包括1個瀏覽任務(wù)和3個從簡單到困難的搜索任務(wù):搜索某一站點、搜索某2條地鐵線的換乘信息、查找2個站點并計算換乘數(shù)．圖5為簡單搜索任務(wù)“請找到石門站”和隨后出現(xiàn)的高呈現(xiàn)高語義低熟悉復(fù)雜度組合編碼的搜索界面．

2.3 實驗設(shè)備與程序

實驗采用Tobii T120眼動儀呈現(xiàn)刺激材料并記錄被試的眼動行為,目標刺激呈現(xiàn)在21.5英寸(54.61 cm)顯示器中央,屏幕分辨率為1 920×1 080 像素,亮度為92 cd/m2,采樣頻率為300 Hz．實驗室內(nèi)照明條件正常(40 W日光燈);被試與屏幕中心的距離為550～600 mm;實驗在東南大學人機交互實驗室進行, 被試為20名在校研究生,10名男生和10名女生,年齡在22～28歲,視力或矯正視力正常,無色盲或色弱．實驗前,要求被試在登記表上填寫相關(guān)信息,包括姓名、性別、年齡、專業(yè)、視力等,并使其熟悉實驗規(guī)則,隨后指導(dǎo)被試熟悉實驗規(guī)則并進行眼校準．實驗流程如圖6所示,在完成搜索任務(wù)時被試做出按鍵反饋,并告知主試答案,主試則坐在一旁記錄答案是否正確．每組實驗完成后休息1 min,每人完成全部實驗約0.2 h．

圖5 高呈現(xiàn)高語義低熟悉復(fù)雜度組合編碼(CP3CS3CM3)的搜索界面

圖6 實驗流程圖

3 實驗數(shù)據(jù)分析及討論

3.1 不同圖像復(fù)雜度編碼的正確率和反應(yīng)時

對正確率和反應(yīng)時數(shù)據(jù)進行統(tǒng)計分析,排除極端數(shù)據(jù),簡單搜索任務(wù)和稍復(fù)雜搜索任務(wù)的正確率約99.84%,出錯率集中在最復(fù)雜搜索任務(wù)中,被試在最復(fù)雜搜索任務(wù)中識別3種復(fù)雜度編碼的正確率和反應(yīng)時如圖7所示．

對正確率進行多因素方差分析(F表示顯著性差異水平,P表示檢驗水平)表明,3類復(fù)雜度編碼在低復(fù)雜度時的主效應(yīng)(F=6.503,P=0.035<0.05)和高復(fù)雜度時的主效應(yīng)(F=7.549,P=0.041<0.05)顯著,中復(fù)雜度編碼時的主效應(yīng)(F=6.453,P=0.216>0.05)不顯著．對反應(yīng)時的方差分析表明,低復(fù)雜度編碼時圖標特征的主效應(yīng)(F=11.335,P=0.032<0.05)和高復(fù)雜度編碼時圖標特征的主效應(yīng)(F=12.431,P=0.031<0.05)顯著,中復(fù)雜度的主效應(yīng)(F=9.371,P=0.679>0.05)不顯著．可見,當3種復(fù)雜度為低層級或高層級時,呈現(xiàn)復(fù)雜度、語義復(fù)雜度和記憶復(fù)雜度對被試的認知速度都有顯著性影響;當復(fù)雜度層級為中等時,沒有顯著影響．

(a) 正確率

(b) 反應(yīng)時

由圖7可看出,當呈現(xiàn)復(fù)雜度和記憶復(fù)雜度單一存在時,隨著復(fù)雜度層級的增加,圖像屬性越詳細,被試認知負荷減小,正確率上升,反應(yīng)時降低;而語義復(fù)雜度的正確率降低,說明在圖像的主題屬性和場景屬性中的干擾項更多．當3類復(fù)雜度采用低層級編碼時,語義編碼的正確率明顯高于記憶編碼和呈現(xiàn)編碼,記憶編碼的反應(yīng)時間最短,呈現(xiàn)編碼的反應(yīng)時間最長;當3類復(fù)雜度采用高層級編碼時,記憶編碼的正確率最高,呈現(xiàn)編碼的正確率稍高于語義編碼,記憶編碼的反應(yīng)時間最短,語義編碼的反應(yīng)時間最長．因此,在實際的圖像復(fù)雜度編碼過程中,當圖像自身語義屬性不多時,從圖像的語義復(fù)雜度屬性上進行設(shè)計的搜索績效更好,當圖像自身屬性數(shù)量較多時,采用已有的或者用戶熟悉的相似元素進行設(shè)計可以提高認知績效．

3.2 不同圖像復(fù)雜度的視覺搜索效率分析

被試搜索目標過程中注視范圍反映了圖像的易理解性,視網(wǎng)膜透明圖(gaze opacity)的可見區(qū)域越小,說明只需輸入很少的信息量就可以完成任務(wù),認知效率高;相反,則認知效率低．本次實驗中根據(jù)視網(wǎng)膜透明圖中視覺清晰的地鐵站點數(shù)N來劃分視覺范圍廣度,如圖8所示．

圖8 實驗結(jié)果中視網(wǎng)膜透明圖的清晰廣度劃分標準

根據(jù)圖8的標準進行劃分后，所有實驗圖片的平均總訪問時間和視覺清晰廣度如表1和圖9所示．實驗圖片命名采用1,2,3對應(yīng)高、中、低3個等級,例如P1S2M1代表低呈現(xiàn)中語義低記憶編碼組合．分析表明,被試的視野清晰范圍廣且訪問時間短的搜索界面主要集中在簡單搜索任務(wù)中的中呈現(xiàn)和中、高熟悉記憶編碼圖像,說明呈現(xiàn)和記憶復(fù)雜度越高的圖像績效較優(yōu);被試的視野清晰范圍窄且訪問時間長的搜索界面主要集中在低呈現(xiàn)高語義低熟悉記憶編碼的圖像,說明隨著圖像語義屬性的增加,用戶的搜索效率降低,采用較低呈現(xiàn)和記憶復(fù)雜度編碼的績效較差．

表1 各實驗項目平均總訪問時間和視覺清晰廣度

圖9 實驗中各搜索界面的總訪問時間和視覺清晰廣度關(guān)系

3.3 討論

本研究從認知分層的角度,采用生活中常見的地鐵交通信息圖進行實驗,結(jié)果說明在組合編碼搜索任務(wù)中,隨著呈現(xiàn)復(fù)雜度和記憶復(fù)雜度的增加,正確率上升,反應(yīng)時下降,采用熟悉編碼時的反應(yīng)時下降更快;當組合復(fù)雜度為低層級或高層級時,呈現(xiàn)復(fù)雜度、語義復(fù)雜度和記憶復(fù)雜度都有顯著性影響,中等復(fù)雜度層級沒有顯著影響．

通過分析3類復(fù)雜度的組合關(guān)系發(fā)現(xiàn),呈現(xiàn)復(fù)雜度對應(yīng)認知過程中的早期加工階段,低呈現(xiàn)復(fù)雜度組合編碼的正確率最低,結(jié)合中呈現(xiàn)、高記憶編碼后認知效率顯著提高,證實了在認知加工過程中,人對圖像的視覺屬性和語義屬性的加工次序是有先后的．其中,高記憶復(fù)雜度對圖像的搜索績效影響最大,語義復(fù)雜度越高對視覺干擾最大,語義復(fù)雜度的認知加工難度和信息解碼層級均高于呈現(xiàn)復(fù)雜度．由此,實驗論證了本文對圖像復(fù)雜度分層研究的合理性,以及圖像屬性的映射模型的有效性,為進一步研究圖像復(fù)雜度的認知提供了基礎(chǔ)．

4 結(jié)語

本文基于認知分層提出了基于圖像屬性和認知過程的圖像復(fù)雜度分類,將圖像復(fù)雜度分為呈現(xiàn)復(fù)雜度、注意復(fù)雜度和記憶復(fù)雜度,并建立了圖像屬性到復(fù)雜度的映射關(guān)系．通過眼動跟蹤實驗研究3種復(fù)雜度的內(nèi)在交互關(guān)系并驗證了圖像屬性和圖像復(fù)雜度的映射關(guān)系.同時，實驗結(jié)果顯示，呈現(xiàn)復(fù)雜度和記憶復(fù)雜度對圖像復(fù)雜度的認知影響最大,高語義復(fù)雜度編碼的干擾性最大,實際設(shè)計時可以通過提高呈現(xiàn)復(fù)雜度和記憶復(fù)雜度來提升認知效率．

References)

[1]Rigau J, Feixas M, Sbert M. An information-theoretic framework for image complexity [C]//ComputationalAesthetics2005:EurographicsWorkshoponComputationalAestheticsinGraphics,VisualizationandImaging. Girona, Spain, 2005: 177-184.

[2]Mario I, Chacon M, Alma D, et al. Image complexity measure: A human criterion free approach[C]//IEEEFuzzyInformationProcessingSociety. Ann Arbor, Michigan, USA, 2005: 241-246.

[3]Silva M P D, Courboulay V, Estraillier P. Image complexity measure based on visual attention[C]//IEEEImageProcessing. Brussels, Belgium, 2011: 3281-3284.

[4]Huo J. Image complexity and visual working memory capacity[J].EmergingTrendsandAdvancedTechnologiesforComputationalIntelligence, 2016, 647: 301-314. DOI:10.1007/978-3-319-33353-3-16.

[5]Huo J. An image complexity measurement algorithm with visual memory capacity and an EEG study[C]//SAIComputingConference. London, UK,2016: 264-268. DOI:10.1109/sai.2016.7555993.

[6]Corchs S E, Ciocca G, Bricolo E, et al. Predicting complexity perception of real world images[J].PLoSOne, 2016, 11(6): e0157986. DOI:10.1371/journal.pone.0157986.

[7]Chen Y Q, Duan J, Zhu Y, et al. Research on the image complexity based on neural network[C]// 2015InternationalConferenceonMachineLearningandCybernetics. Hangzhou, China, 2015:285-300. DOI:10.1109/icmlc.2015.7340938.

[8]Al-Khatib W, Day Y F, Ghafoor A, et al. Semantic modeling and knowledge representation in multimedia databases[J].IEEETransactionsonKnowledgeandDataEngineering, 1999, 11(1):64-80. DOI:10.1109/69.755616.

[9]李晶, 薛澄岐, 王海燕, 等. 均衡時間壓力的人機界面信息編碼[J]. 計算機輔助設(shè)計與圖形學學報, 2013, 25(7): 1022-1028. Li Jing, Xue Chengqi, Wang Haiyan, et al. Encoding information of human-computer interface for equilibrium of time pressure[J].JournalofComputer-AidedDesign&ComputerGraphics, 2013, 25(7):1022-1028.(in Chinese)

[10]Lin S W, Lo Y S, Huang T K. Visual complexity and figure-background color contrast of E-commerce websites: Effects on consumers’ emotional responses[C]//49thInternationalConferenceonSystemSciences. Hawaii,USA, 2016: 3594-3603. DOI:10.1109/hicss.2016.449.

[11]Harper S, Jay C, Michailidou E, et al. Analysing the visual complexity of web pages using document structure[J].Behaviour&InformationTechnology, 2012, 32(5): 491-502. DOI:10.1080/0144929x.2012.726647.

[12]Reder L M, Liu X L, Keinath A, et al. Building knowledge requires bricks, not sand: The critical role of familiar constituents in learning[J].PsychonomicBulletin&Review, 2016, 23(1): 271-277. DOI:10.3758/s13423-015-0889-1.

[13]Dewitt M R, Knight J B, Hicks J L, et al. The effects of prior knowledge on the encoding of episodic contextual details[J].PsychonomicBulletin&Review, 2012, 19(2):251-257. DOI:10.3758/s13423-011-0196-4.

Study on image complexity based on cognitive layering method

Zhang JingXue ChengqiShen ZhangfanWang HaiyanZhou LeiZhou XiaozhouChen Xiaojiao

(School of Mechanical Engineering, Southeast University, Nanjing 211189, China)

To investigate the encoding rules between image attributes and image complexity, the image complexity was studied from the perspective of the cognitive layering theory. Based on the gradual order of the cognitive process, the image complexity was divided into CP (complexity of presentation), CS(complexity of semantics)and CM(complexity of memory), mapping to the visual attributes, semantic attributes and decoding attributes. Then, a layering mapping model of image complexities was presented. Taking the metro map image as example, three complexities in the image were extracted and recoded into three levels as low, medium, high and then a visual search experiment was conducted by the eye-tracking technique. Experimental results show that the three complexities have many obvious corresponding features in layering encoding. The reaction time of high level CM encoding is the shortest, suggesting that the CM has the greatest effect on the cognitive efficiency. According to the large visual noise in high level CS encoding, the CS should be encoded with high level CM to improve the cognitive efficiency. The high level CP encoding can decrease subjects’ cognitive load, which favors the improvement of search efficiency. Experimental results confirm the rationality of layering image complexity, thus providing a reference for the complexity design of information images.

image complexity; cognitive layering;human computer interaction; image attributes; mapping method

10.3969/j.issn.1001-0505.2016.06.007

2016-02-17. 作者簡介: 張晶(1988—),女,博士生;薛澄岐(聯(lián)系人),男,博士,教授,博士生導(dǎo)師, ipd-xcq@seu.edu.cn.

國家自然科學基金資助項目(71471037, 71271053)、江蘇省普通高校研究生科研創(chuàng)新計劃資助項目(KYLX15-0062).

張晶,薛澄岐,沈張帆,等.基于認知分層的圖像復(fù)雜度研究[J].東南大學學報(自然科學版),2016,46(6):1149-1154.

10.3969/j.issn.1001-0505.2016.06.007.

TP-391

A

1001-0505(2016)06-1149-06