范成佳

湖南師范大學(xué)美術(shù)學(xué)院 湖南 長(zhǎng)沙 410012

1 概述

情感表達(dá)=55%面部表情+38%聲音+7%其它，語(yǔ)音信號(hào)及面部表情是人類(lèi)傳遞信息及表達(dá)情感的主要模態(tài)，即聽(tīng)覺(jué)模態(tài)與視覺(jué)模態(tài)。視聽(tīng)覺(jué)雙模態(tài)融合下，以格式塔完形心理學(xué)及卷積神經(jīng)網(wǎng)絡(luò)（CNN）信息識(shí)別處理模式與擴(kuò)展現(xiàn)實(shí)（XR）技術(shù)為依托，對(duì)空間虛實(shí)融合斷裂問(wèn)題及完形心理學(xué)視角下空間不連貫體驗(yàn)彌合進(jìn)行分析，探究雙模態(tài)下信息處理及識(shí)別較之于單模態(tài)下識(shí)別性能優(yōu)劣，基于此基礎(chǔ)上，分析研究其對(duì)于“參與式建筑”未來(lái)發(fā)展的影響。

2 視聽(tīng)覺(jué)融合下的信息甄別及處理

2.1 視聽(tīng)覺(jué)一致性融合

情感心理學(xué)研究表明信息傳遞及情感表達(dá)多半通過(guò)面部表情完成，其余則主要依靠聽(tīng)覺(jué)進(jìn)行，聲音通常被用來(lái)強(qiáng)化信息主題性或起到視覺(jué)輔助功能。同一對(duì)象同時(shí)輸出視覺(jué)及聽(tīng)覺(jué)信息時(shí)傳播速度不同，則其到達(dá)人眼及人耳時(shí)間不同，人腦在處理此類(lèi)信息時(shí)自動(dòng)進(jìn)行信息時(shí)間同步性校正，予人視知覺(jué)同步性錯(cuò)覺(jué)。

2.2 信息傳遞及處理

視覺(jué)聽(tīng)覺(jué)系統(tǒng)傳遞及處理信息進(jìn)行分層處理，光電信號(hào)及聲波信號(hào)由感受器轉(zhuǎn)換為電信號(hào)，后經(jīng)下丘腦及側(cè)膝體傳至大腦皮層或初級(jí)聽(tīng)皮層，各種細(xì)胞協(xié)同合作及大量神經(jīng)元細(xì)胞組合構(gòu)成視聽(tīng)覺(jué)感知系統(tǒng)。人腦基于記憶及反饋機(jī)制，對(duì)于視聽(tīng)覺(jué)系統(tǒng)所獲得信息進(jìn)行識(shí)別處理，判斷實(shí)時(shí)情感狀態(tài)。

情感隨時(shí)間變化，大腦對(duì)于動(dòng)態(tài)信息處理機(jī)能至關(guān)重要。視覺(jué)系統(tǒng)因“視覺(jué)暫留效應(yīng)”，可觀(guān)察到動(dòng)態(tài)視覺(jué)信息，聽(tīng)覺(jué)系統(tǒng)聲波連續(xù)刺激及聽(tīng)覺(jué)神經(jīng)傳導(dǎo)通路延時(shí)性同樣存在時(shí)序性表現(xiàn)。大腦連續(xù)不斷通過(guò)視覺(jué)聽(tīng)覺(jué)系統(tǒng)接收信息，進(jìn)行判別，接收下一信息前調(diào)整反饋先前判別，循環(huán)往復(fù)，得出結(jié)論。

3 基于CNN及XR技術(shù)下的三維空間信息整合

3.1 XR及CNN技術(shù)

XR （擴(kuò)展現(xiàn)實(shí)技術(shù)）指通過(guò)計(jì)算機(jī)技術(shù)創(chuàng)建一個(gè)虛實(shí)融合的人機(jī)交互環(huán)境，其包括 VR、AR、MR、HR等多種形式。卷積神經(jīng)網(wǎng)絡(luò)（CNN），深度前饋人工神經(jīng)網(wǎng)絡(luò)，三維卷積神經(jīng)網(wǎng)絡(luò)則常用于醫(yī)學(xué)圖像及視頻類(lèi)數(shù)據(jù)識(shí)別。

3.2 XR&CNN

三維卷積神經(jīng)網(wǎng)絡(luò)冗余參數(shù)數(shù)量較小，基于多時(shí)序影像的研究與發(fā)展具備更多優(yōu)勢(shì)。稠密三維語(yǔ)義建圖，以結(jié)構(gòu)化語(yǔ)義信息數(shù)字化重構(gòu)現(xiàn)實(shí)世界，其對(duì)于其應(yīng)用領(lǐng)域包括了機(jī)器人感知和基于視覺(jué)交互（XR）相應(yīng)的經(jīng)典實(shí)現(xiàn)，利用經(jīng)典計(jì)算機(jī)視及部分卷積神經(jīng)網(wǎng)絡(luò)（CNNs）作為分類(lèi)的輔助感知理解。

3.3 三維場(chǎng)景空間語(yǔ)義信息融合

三維場(chǎng)景下的信息整合，全局化對(duì)于空間幾何信息的提取及感知場(chǎng)景的語(yǔ)義信息提取，實(shí)現(xiàn)局部視圖深度圖及完整視圖結(jié)合的完整場(chǎng)景構(gòu)建，并對(duì)三維空間構(gòu)建進(jìn)行優(yōu)化及修正。

3.4 深度神經(jīng)網(wǎng)絡(luò)語(yǔ)義信息整合下的參與式建筑

3.4.1 參與式場(chǎng)景搭建

深度神經(jīng)網(wǎng)絡(luò)（CNN）語(yǔ)義信息整合下的參與式建筑場(chǎng)景搭建，視聽(tīng)覺(jué)融合，基于模型進(jìn)行測(cè)算整合，用以判斷主體即時(shí)情感狀態(tài)及意向選擇。

3.4.2 參與式住宅設(shè)計(jì)

甲乙方合作式住宅設(shè)計(jì)，因知識(shí)背景等差異性存在，二者意見(jiàn)無(wú)法短期達(dá)成一致。基于共識(shí)區(qū)域及矛盾區(qū)域通過(guò)視聽(tīng)覺(jué)信息整合分析搭建平臺(tái)對(duì)于提高溝通效率十分重要。擴(kuò)展現(xiàn)實(shí)的參與式設(shè)計(jì)平臺(tái)ModRuleke即可滿(mǎn)足以上需求，基于WebGl 構(gòu)架下的物聯(lián)網(wǎng)三維可視化平臺(tái)，可為用戶(hù)生成各種個(gè)性化選項(xiàng)。

4 基于格式塔心理學(xué)下的交互模式分析

4.1 格式塔心理學(xué)完形認(rèn)知原理

格式塔心理學(xué)（完形心理學(xué)），考夫卡等學(xué)者認(rèn)為人類(lèi)對(duì)于某事物的視覺(jué)整體感知不是各部分簡(jiǎn)單聯(lián)合，是由視覺(jué)認(rèn)知的經(jīng)驗(yàn)組成的整體。主體通過(guò)視覺(jué)感知外物后進(jìn)行視覺(jué)形象再組織，使其具備完整性及有序性。

4.2 完形心理學(xué)與交互設(shè)計(jì)

4.2.1 虛實(shí)融合空間體驗(yàn)斷裂

個(gè)人終端沉浸式體驗(yàn)?！按蟪叨鹊兔芏取?，如CAVE 沉浸體驗(yàn)，虛擬攝影機(jī)需與觀(guān)眾視角進(jìn)行配合，計(jì)算機(jī)需在主體改變運(yùn)動(dòng)狀態(tài)時(shí)進(jìn)行三維場(chǎng)景的刷新與優(yōu)化，間隔若變化不當(dāng)則會(huì)“出戲”，同樣若大尺度空間，數(shù)字影響投影覆蓋比例與體驗(yàn)節(jié)奏搭配不當(dāng)，同樣會(huì)導(dǎo)致體驗(yàn)連貫性被打斷。

4.2.2 格式塔彈性“粘合”不連貫體驗(yàn)

阿恩海姆提出視知覺(jué)形式的“力”貫穿其美學(xué)思想，在進(jìn)行虛擬場(chǎng)景搭建時(shí)，主體的知覺(jué)力，可彌合不連貫體驗(yàn)，將斷裂的元素有序組織，構(gòu)建“完形”格式塔。[7]格式塔理論多二維平面對(duì)于“力”進(jìn)行討論，因空間三維性質(zhì)，其定位定向與體驗(yàn)感知更為重要。聽(tīng)覺(jué)信息對(duì)于參與式建筑空間定向感知起到重大作用，眼動(dòng)信息也能不同程度地加強(qiáng)耳間時(shí)間差與聲級(jí)差分辨，從而提高聽(tīng)覺(jué)空間信息分辨率?！耙曋X(jué)”“聽(tīng)知覺(jué)”結(jié)合的參與式建筑場(chǎng)景搭建及場(chǎng)景體驗(yàn)更具完整性。

5 視覺(jué)聽(tīng)覺(jué)雙模態(tài)下的融合銜接

5.1 RECOLA數(shù)據(jù)集視聽(tīng)覺(jué)融合

視覺(jué)及聽(tīng)覺(jué)融合模型性能驗(yàn)證，RECOLA數(shù)據(jù)集進(jìn)行試驗(yàn)，基于 Arousal 及Valence 維度，利用原信號(hào)及圖像，不進(jìn)行人工提取幾何紋理及特征，消除因特征識(shí)別對(duì)結(jié)果的影響。（圖1）

圖1 聲音特征提取模型及RECOLA 數(shù)據(jù)集圖像模型結(jié)構(gòu)

5.2 視聽(tīng)覺(jué)獲取信息融合渠道對(duì)比

完形心理學(xué)基于心理學(xué)及人類(lèi)視覺(jué)特性角度對(duì)空間體驗(yàn)進(jìn)行分析，提出在進(jìn)行虛擬場(chǎng)景搭建時(shí)主體知覺(jué)力可彌合不連貫體驗(yàn)，構(gòu)建“完形”格式塔。卷積神經(jīng)網(wǎng)絡(luò)（CNN）及擴(kuò)展現(xiàn)實(shí)（XR）技術(shù)則基于人類(lèi)視覺(jué)及聽(tīng)覺(jué)系統(tǒng)捕捉信息原理，進(jìn)行信息整合處理，模擬主體角度進(jìn)行情感即時(shí)判斷識(shí)別，提升其舒適度及易操作性，彌合虛實(shí)空間斷裂，且后者雙模態(tài)下對(duì)主體情感意向判斷識(shí)別準(zhǔn)確率更高。

6 結(jié)語(yǔ)

未來(lái)“參與式建筑”沉浸式的理想場(chǎng)景體驗(yàn)會(huì)更完善，數(shù)據(jù)及算法支撐下情感識(shí)別及判斷模式可作為輔助工具提升生活舒適性及便捷性，單方面唯數(shù)據(jù)論，提倡數(shù)據(jù)中心主義，會(huì)導(dǎo)致思維及標(biāo)準(zhǔn)的固定化，在設(shè)計(jì)領(lǐng)域積極開(kāi)發(fā)應(yīng)用新技術(shù)的同時(shí)，注重個(gè)性化、實(shí)用性及直接性表現(xiàn)，重視主體與對(duì)象直接溝通。