“哎哎哎，這橋啊！擠得越來越不像樣了……難為我這瞎老頭子，過趟橋真不容易��！” 

 

　　一老一少的對白，夾著些許河南口音的普通話，伴隨著盲人用竹杖探地聲、驢子受驚后的嘶鳴聲、和著橋上小販的吆喝聲、橋下船工的喊話聲、看熱鬧的起哄聲、橋下嘩嘩的河水聲……800多年前汴京虹橋上的繁華盛景撲面而來，北宋張擇端精心繪制的《清明上河圖》中一角市井風(fēng)情躍然眼前。 

 

　　這不是在做夢，更不是在拍電視劇。而是由故宮博物院、微軟亞洲研究院和北京大學(xué)合作研發(fā)、精心打造的“走進(jìn)清明上河圖”沉浸式數(shù)字音畫展示項(xiàng)目。6月23日，這一項(xiàng)目正式完成，今后觀眾在參觀故宮時(shí)，可以通過數(shù)字音畫的方式欣賞到北宋汴京的社會盛況。 

 

　　《清明上河圖》是北京故宮博物院收藏的國寶級藏品，是現(xiàn)存的唯一把北宋的城市生活面貌、生活狀態(tài)清晰描繪的畫作，具有很高歷史價(jià)值和考證價(jià)值。它猶如一個(gè)長長的電影鏡頭般，從早春的郊野一直搖到城內(nèi)市井中的深宅大院。泛黃的絹，細(xì)膩的筆觸，我們曾經(jīng)聽說過它，可能看到過它的復(fù)制品，卻從來沒有真正去感受過它。 

 

　　“走進(jìn)清明上河圖”項(xiàng)目以觀眾體驗(yàn)為核心，以視覺和聽覺沉浸的方式，采用超高清晰的數(shù)字影像最大程度地再現(xiàn)了原作的所有細(xì)節(jié)。穿越時(shí)空，置身市井繁華，讓我們一起“走進(jìn)”清明上河圖，體驗(yàn)背后同樣富有魅力的技術(shù)細(xì)節(jié)。 

 

　　原味歷史 

　 

　　《清明上河圖》橫528.7厘米、縱24.8厘米。5米多長的畫卷中畫有500多個(gè)人物，各種牲畜60多匹，大小船只20多只，房屋樓閣30多棟，推車乘轎也有20多件，在方寸之間，重現(xiàn)歷史、讓觀眾感受歷史、且不改變原作一分一毫，這并不容易。 

 

　　“數(shù)字清明上河圖”的研發(fā)過程始終以故宮博物院內(nèi)、外的文物專家的研究為指引。微軟亞洲研究院首先按照史學(xué)專家的建議，把整幅圖畫分成了51個(gè)場景，700多段人物對話，并請專業(yè)配音演員配音，基于對歷史的遵循，配音演員在對場景的詮釋過程中，人物普通話中略帶河南口音。 

 

　　在微軟亞洲研究院主管研究員徐迎慶的介紹中，數(shù)字化的經(jīng)典畫卷在眼前徐徐展開：在無用戶交互時(shí)，數(shù)字清明上河圖會在雄壯交響樂的烘托下從右向左打開，引人入境，此為畫卷層；隨著畫面的播放，進(jìn)入交互瀏覽的部分，生動(dòng)的自然環(huán)境音效描繪了村野、田園、集市、街巷、大河、激流、險(xiǎn)灘等場景音讓人仿佛置身其中；進(jìn)入故事層，一個(gè)個(gè)生動(dòng)詼諧的對話講述一個(gè)個(gè)有趣的故事，所點(diǎn)之處，就像在看一場情景��；具體到對象層，聲音就能關(guān)聯(lián)到故事層中的每個(gè)任務(wù)或?qū)ο蟆?nbsp;

 

　　據(jù)徐迎慶介紹，基于散點(diǎn)透視的繪畫展示系統(tǒng)主要采用四項(xiàng)核心技術(shù)：基于散點(diǎn)透視的空間幾何模型、基于層次圖結(jié)構(gòu)的立體聲時(shí)空標(biāo)注模型、千兆級圖像及其多媒體數(shù)據(jù)的實(shí)時(shí)呈現(xiàn)、以及視聽覺感知一致的交互多媒體展示系統(tǒng)。 

 

　　 

 

　　音畫汴京 

　　 

 

　　與西方畫很大的不同是，中國畫中有許多個(gè)消失點(diǎn)，畫面中，畫家的視角是隨意移動(dòng)的，因而產(chǎn)生了多個(gè)消失點(diǎn)，即散點(diǎn)透視。這樣，畫家可以打破空間的局限，從多個(gè)角度描繪客觀景物。清明上河圖卷就是中國繪畫中散點(diǎn)透視的運(yùn)用的典范，如何還原《清明上河圖》所描繪的人間百態(tài)呢？ 

 

　　“作者在畫中的視角并不是連貫的，而是會隨時(shí)變換視點(diǎn)。首先，會通過把握不同物體的相對位置，來營造一種向后退縮的錯(cuò)覺。同一場景中的人物、動(dòng)物、樹木、建筑按照一個(gè)統(tǒng)一的傾斜度來排列，確保任何一處畫面本身的地面是連貫的。同時(shí)，對于前后物體之間形成迭壓關(guān)系，會利用筆墨的濃淡加強(qiáng)兩者之間的距離感，使人產(chǎn)生兩者位于同一縱深方向但遠(yuǎn)、近不同的錯(cuò)覺。”微軟亞洲研究院主管研究員徐迎慶解釋道。 

 

　　研究計(jì)算機(jī)的人首先要講究算法，而算法都是基于幾何、基于數(shù)學(xué)的。但是，散點(diǎn)透視是沒有一個(gè)數(shù)學(xué)模型的，怎么辦？ 

 

　　必須提出新的散點(diǎn)透視幾何模型，實(shí)現(xiàn)全局的、連貫的三維空間和快速計(jì)算。“音畫系統(tǒng)希望讓人身臨其境，而在幾何關(guān)系上就難以實(shí)現(xiàn)聲音的淡入淡出等三維效果。我們必須提出一個(gè)新的散點(diǎn)透視的解決方案，能夠重建出全圖的連貫的三維空間來；另外，還要快速計(jì)算。我們的目的主要是在散點(diǎn)透視的空間，得到圖像上每一個(gè)聲源的幾何空間位置，這樣當(dāng)參觀者走近的時(shí)候，就能夠精確的知道，應(yīng)該走到哪了，聲音在哪里。”徐迎慶對記者介紹。 

 

　　原作者的不同視角就是對畫中立體聲進(jìn)行空間定位的前提。先確定畫家對局部場景的仰角，然后，通過把畫中不同視角的對象投影在統(tǒng)一的地平面，進(jìn)而確定物體的空間位置和場景間距離。為了實(shí)現(xiàn)場景和對應(yīng)音樂的實(shí)時(shí)調(diào)用，又在不同層次的畫中分為1800多塊，進(jìn)行交互式操作的時(shí)候，系統(tǒng)就會把它最臨近的一些圖像都調(diào)進(jìn)來，而不是所有的圖像，這有效地保障了效率。對于音頻文件，分別規(guī)定播放的順序和停留時(shí)間，這樣用戶在交互的時(shí)候就可以聽到根據(jù)層次圖結(jié)構(gòu)而組織的故事了。 

 

　　數(shù)字化生存 

 

　　走進(jìn)清明上河圖項(xiàng)目提供了一種身臨其境的體驗(yàn)方式和對文化遺產(chǎn)的理解渠道。 

 

　　以虹橋片段為例，《走進(jìn)清明上河圖》項(xiàng)目中使用了百余條聲音素材來再現(xiàn)這一場景。在聲音布局的整體節(jié)奏上，一方面著力渲染虹橋場景緊張、熱鬧的氛圍，一方面盡量貼近原作緊湊中猶帶從容的感覺，遵循畫面內(nèi)斂的、“勁發(fā)而不露”的古典品質(zhì)。在人物對白中，盡可能在簡短的語言中將圖中的歷史信息表達(dá)出來。 

 

　　“‘走進(jìn)清明上河圖’項(xiàng)目，不僅用高精度的數(shù)字圖像如實(shí)再現(xiàn)其藝術(shù)觀賞魅力，更融入了數(shù)字技術(shù)的新內(nèi)涵：交互性與沉浸感。古老文化與現(xiàn)代技術(shù)完美結(jié)合在了一起，觀眾可以在多點(diǎn)觸摸屏上瀏覽高清晰的《清明上河圖》影像，任意放大、縮小和移動(dòng)。同時(shí)，配合畫面實(shí)時(shí)合成的聲音素材，構(gòu)建出逼真的立體空間環(huán)境，使觀眾猶如置身北宋時(shí)期的汴梁城，聆聽市井喧嘩、人物故事。”故宮博物院常務(wù)副院長李季表示。 

 

　　微軟亞洲研究院和北京大學(xué)從技術(shù)上提供支持，從采集圖像到考慮方案，接下來的實(shí)施、測試和安裝，項(xiàng)目用了一年時(shí)間完成，當(dāng)最終匯報(bào)的時(shí)候，故宮博物院的項(xiàng)目負(fù)責(zé)人難耐激動(dòng)之情，“這個(gè)就是我們想要的，我們這么多年一直想要這樣一個(gè)系統(tǒng)。” 

 

　　“此次與故宮博物院和北京大學(xué)展開合作是博物館、企業(yè)以及高校依托各自優(yōu)勢共同推動(dòng)文化遺產(chǎn)保護(hù)與傳承的有益嘗試。我深信，這一科技與人文交匯、多方協(xié)作創(chuàng)新的有益嘗試會為今后文化遺產(chǎn)的保護(hù)工作開啟一個(gè)新的篇章，希望在不久的將來我們能看到更多故宮的傳世珍寶以數(shù)字方式呈現(xiàn)給大家。”微軟亞洲研究院院長洪小文說。 

 

　　“這只是一個(gè)起點(diǎn)。”徐迎慶對記者表示，他們的后續(xù)工作就是把應(yīng)用于清明上河圖的技術(shù)推廣至其他散點(diǎn)透視古畫，并進(jìn)一步完善和提高標(biāo)注系統(tǒng)的自動(dòng)化程度。文化遺產(chǎn)的數(shù)字化生存讓更多的人接觸到古人的智慧、民族經(jīng)典。而對于一個(gè)專注與創(chuàng)新的公司來說，技術(shù)此刻的價(jià)值不僅意味著顛覆，在某些方面，它讓人類更好地感知當(dāng)下的、過去的和未來的世界。