由于采用沉浸式音畫展現(xiàn)方式,觀眾可隨心所欲地瀏覽800年前的古代歷史。
北宋畫家張擇端的《清明上河圖》是我國古代藝術(shù)瑰寶,歷來被人們所重視,不同時期的藝術(shù)家都曾嘗試借助不同的表現(xiàn)手法詮釋該圖。前不久,在上海世博會中,12臺投影機顯示出該畫卷的全貌,可謂纖毫畢現(xiàn); 同期,又有香港的藝術(shù)家自編自導,用歌舞劇形式還原距離我們800年前的歷史。
作為館藏《清明上河圖》的故宮博物院更是利用最新的IT手段“原汁原味”地再現(xiàn)該圖。從去年開始,故宮博物院歷經(jīng)一年時間,與微軟亞洲研究院、北京大學成功開發(fā)了“走進清明上河圖”沉浸式數(shù)字音畫展示項目。
何為沉浸式?就是當觀眾在超大屏幕觸摸欣賞畫卷時,符合場景的各類音響隨之變化,市井喧囂以及多達700多段對話,會讓徐徐展開的畫卷生動起來,觀眾猶如沉浸在古代歷史中。這些鮮活的音樂和對話,再次向世人展示了《清明上河圖》的魅力。
原汁原味再現(xiàn)
《清明上河圖》是藝術(shù)珍品,出于保護的原因,一般的參觀者很難一窺真跡,更談不上詳細觀看局部大圖了。故宮博物院在制作這個沉浸式數(shù)字音畫展示項目時,唯一的想法就是盡可能地還原歷史,保護畫卷?!皩τ跉v史文化,我們要盡量再現(xiàn),不能破壞,不可隨意添加現(xiàn)代人的想法,讓觀眾自己在欣賞經(jīng)過漫長時間淘洗而保留下來的文化珍品時,慢慢品味傳統(tǒng)文化的真諦。但文物在展示時,是需要我們引導觀眾加深理解的。”故宮博物院資料信息中心主任胡錘介紹說,他們抱著尊重原作、精確還原的態(tài)度,最大程度地再現(xiàn)了畫卷的原貌,包括畫卷上的折痕、圖章以及殘缺等。
該項目采用超高清晰的數(shù)字影像還原原作的所有細節(jié)。根據(jù)畫卷情節(jié),故宮在畫面上安排了51個場景,在著名文物專家研究成果的指導下模擬設(shè)計了700多段人物對話。結(jié)合場景聲效和優(yōu)美的音樂,以影院立體聲音響的音質(zhì),通過最自然的人機交互方式,觀眾可根據(jù)自己的興趣在多點觸控的熒屏上進行操作,觀賞畫面的任意細節(jié),并且隨著畫面位置的變換,所有聲音平滑過渡。
胡錘介紹說: “這個項目是我們對文物表達理念的一次創(chuàng)新性嘗試。過去傳統(tǒng)的博物館只是把藏品放在那里讓觀眾觀看。但是普通觀眾怎么能得到深度的解讀信息,還像過去靠講解員和文字說明牌嗎?在今天的數(shù)字時代下,應該運用新的手段幫助觀眾讀懂文物。為此,我們?yōu)楫嬀砼渖狭艘魳?、現(xiàn)場音響和700多段對話。這些對話都是在多位資深學術(shù)專家研究的基礎(chǔ)上,由文博業(yè)務人員和IT技術(shù)人員共同深入探討,確保在高保真地瀏覽畫面時實現(xiàn)的?!?/p>
從今年6月開始,寸土寸金的故宮博物院特地在西南崇樓數(shù)字體驗館建造了一間展室,展示《走進清明上河圖》項目。通過觸摸超大的多點觸摸屏,觀眾可在大投影的顯示效果中仔細觀賞畫卷。同時,故宮還在位于武英殿的書畫館里也擺放了一套耳機版的“走進清明上河圖”的展示設(shè)備,供觀眾觀賞。
突破空間定位
觀眾在欣賞《清明上河圖》時,感覺畫面栩栩如生,音樂隨著場景時遠時近,高清晰畫面載入平滑流暢。為了實現(xiàn)這種效果,開發(fā)用了將近一年時間。故宮博物院與微軟亞洲研究院、北京大學三方共同研究該項目,在甚于微軟ICE、Silverlight等技術(shù)及平臺的基礎(chǔ)上,取得了一些創(chuàng)新性的突破。
西洋繪畫普遍采用焦點透視的技法,一幅畫只有一個焦點,就如照片那樣,通過畫面內(nèi)容的近大遠小營造空間感。中國傳統(tǒng)國畫則大多采用散點透視的技法,也就是說,整個畫面沒有固定的焦點,所有畫面內(nèi)容都是平攤在畫面上的,看哪里都是中心。
“中國傳統(tǒng)繪畫沒有焦點,怎樣對聲音進行準確的聲音定位,這是項目的最大難點。”微軟亞洲研究院主管研究員徐迎慶說,之前,對于散點透視的計算模型,業(yè)內(nèi)也有一些優(yōu)秀的做法,但都不適合該項目的展現(xiàn)。該項目必須建立新的散點透視數(shù)學模型,實現(xiàn)全局連貫的三維空間的快速計算。
項目組研發(fā)人員通過建立計算公式,根據(jù)畫面場景,給定聲源; 同時,將畫面分為不同的表現(xiàn)層,讓聲音隨著畫面而變化。
徐迎慶說,《清明上河圖》的數(shù)據(jù)量是3.15G,如果按照常規(guī)載入方式,不便于實時調(diào)用畫面。為此,他們采用了橫向分塊和縱向分層的方法,將畫面分為1800個圖像塊。這些圖像塊隨著操作而實時載入,同時調(diào)入700M相關(guān)的3D音頻。
由于該圖的顯示效果采用交互接口設(shè)計,整個畫卷分為畫卷層、場景層、故事層和以具體事務為單位的對象層,按照瀏覽的分辨率最低,局部放大的分辨率最高的原則,確保了觀眾具有良好的觸摸和觀看體驗。
徐迎慶總結(jié)說: “這個項目最大的優(yōu)點是,合理空間和時序上的聲源組織保證了實時顯示和實時混音。接下來,需要提高標注系統(tǒng)自動化的程度,讓項目更完美。”