空間記憶：NYU IDM 碩士論文

概述

一個在 Meta Quest 3 上的 VR 體驗，裡面收錄了八個用 3DGS 捕捉的、來自我生命中的真實空間。每一個空間都疊加了設計過的光、環境音、與我親自配音的旁白。觀者用手勢瀏覽弧形排列的照片卡片，選一張，相簿就會溶解成被那個空間環繞的視野。他們不再是在「看」一段記憶，而是站在記憶之中，旁邊有我的聲音告訴他們這個地方為什麼重要。

為什麼做這件事

我是一名舞台燈光設計師。我感知世界的方式是透過空間：光線如何充滿一個房間，站在一個地方的感覺是什麼。我發現自己記得人的方式是這樣的：我不一定記得我們聊了什麼，但我記得那個場景、那個光、身在其中的感覺。照片和影片捕捉了一個地方看起來的樣子，但它們始終少了什麼，那種被空間包圍的感受。

3D Gaussian Splatting 可以保存一個真實的空間，連同它的氛圍與光線。VR 把人實際放進那個空間。兩者一起做到了平面媒體做不到的事。但 Demo Day 那天，一位觀者戴著頭盔還在裡面就一直問我：「這是哪裡？為什麼是這裡？」單純的存在感（presence）只能產生一個房間。讓它變成一段記憶的，是那些我們不會把它想成空間一部分、卻在每一段空間記憶裡都帶著的東西。

轉變：從保存到分享

這個論文起初是關於「保存」的問題。最後它變成了關於「分享」。一個被捕捉的空間是技術展示。多個被捕捉的空間，疊加上讓它感覺被居住過的元素（光、聲音、聲音裡的人），就成為一種媒介。問題從「你能重訪一段記憶嗎？」轉變為「別人能不能走進你的記憶，感受它對你的意義？」

八個空間

相簿收錄了八個精選空間，每一個的選擇標準不是視覺上的吸引力，而是它承載的東西。

台南三合院 — 三合院，台南。爺爺的老家，2019 年捕捉，那是颱風吹掉屋頂前最後的紀錄。

台北國家音樂廳 — 國家音樂廳，台北。學生時代我在前面的廣場練街舞，後來作為燈光設計師在裡面工作。

這些不是可以互換的背景。每一個被選進來，是因為它跟我的人生有一個別的空間無法取代的特定關係。

個人化的三層設計

每個空間在 3DGS 之上，疊加三層設計元素。三者合在一起，是空間記憶的設計語言：那些我們不會把它想成空間一部分、卻在每一段空間記憶裡都帶著的東西。

設計過的光線

3DGS 把捕捉當下的光線凍結住了。為了讓空間對應「被記得的樣子」，我在 Unreal Engine 裡重建了光場：directional light 模擬太陽，sphere light 補光，spotlight 做重點。沖繩海灘是溫暖的低角度夕陽。廟的庭院是午後線香煙霧裡的柔光。這部分的設計直接拉了我十年的舞台燈光經驗進來。

環境音

3DGS 是無聲的。每個空間我都加了環境音，把凍結時失去的聲音找回來：海灘有海浪、城市有遠處的車流、夜裡的房間有那種安靜。光跟聲音一起重建被記得的氛圍。

個人旁白

每個空間都有一段旁白，用 ElevenLabs 配自己寫的稿。語氣不是博物館導覽，而是更像站在朋友旁邊跟他介紹一個你在乎的地方。

「看夕陽的時候，我總會把手抬起來接住光，看著橘色和粉紅色在皮膚上流動。」 — 沖繩場景的旁白

VR 中的沖繩海灘，雙手抬起接住夕陽 — 沖繩海灘內部。雙手抬起接住夕陽，旁白描述的那個動作。

每段旁白依照那個空間承載的東西，採取不同的形式。在南鯤鯓廟，旁白變成互動式的：VR 沒辦法拿香，所以觀者被邀請雙手合十、跟玉皇上帝報名字，依照我家族世代的拜拜流程做一遍。

布魯克林公寓的旁白比較安靜。它指向桌面，那裡放著過去吃過的食物照片，因為翻舊照片的時候，我發現對那間公寓的記憶大部分都是我在那張桌子吃過的飯。

觀者的體驗

四個段落，依序發生。

1. 歡迎。 黑暗中浮出一塊文字 panel，我的聲音介紹這個體驗：「Hello，歡迎，我是 Dazai。我想帶你走進一些對我有意義的地方。這是我的空間記憶相簿。」

2. 教學影片。 VR 裡播一段引導影片，把整個操作流程當成一個連續的動作示範：滑鼠標到卡片、捏指選擇、進入空間、打開手掌選單、回到相簿。取代了原本「一個手勢一個教學」的四步驟版本，那個版本對第一次戴 VR 的人來說太碎了。

3. 相簿。 八張照片卡片排成一個弧。把游標移到上面，捏指進入。

4. 記憶。 相簿溶解。3DGS 空間在你周圍載入。光、聲音、我的聲音。你站在那個地方裡。

技術架構

捕捉。 iPhone 影片、Insta360 X5 的 360 影片，或單張照片。先抽 frame、在 RealityScan 裡做空間對位、再進 PostShot 訓練 3DGS。對那些只剩單張照片的舊記憶，我用 Sharp（Mescheder et al., 2025）從一張圖生成 3DGS 場景。

執行環境。 Unreal Engine 5，加上我自己寫的開源插件（SplatRenderer），在 Quest 3 上即時 render 3D 跟 4D Gaussian Splatting。互動邏輯用 TypeScript 透過 PuerTS 寫，手勢偵測交給 Blueprint。

手勢追蹤。 Meta Interaction SDK on Quest 3。捏指選擇，左手抬起、手掌朝臉就會召喚出手掌選單。

反思

被捕捉的空間是一塊畫布，不是一件完成的作品。捕捉技術可以保留幾何、光線、氛圍，VR 可以把人實際放進去。但一個陌生人站在被忠實捕捉的房間裡，不會感覺到曾經住在那裡的人感覺到的東西。他們感覺到的是一個房間。讓它變成一個「地方」的，是個人圖層：對應記憶的光、環境音、一個聲音告訴你這裡為什麼重要、以及一份不是按視覺、而是按個人意義來篩選的策展。

媒介本身也呼應這件事。3D Gaussian 是半透明的、柔軟的、不固定的。靠近看，它有一種接近煙霧的質感。邊緣會溶解。這個「不完美」最後反而是對的。記憶本來就不是固定的，它隨著時間變化、隨著經驗改變。媒介本身的質感，跟它承載的東西是一致的。

在 Showcase 現場

為了 IDM Showcase 展位(2026 年 5 月 7 日),我做了一個 16:9 的 attract-loop poster,跟 VR 實機一起在攤位上播。它會在「主視覺標題」跟「可上下滾動的觀展流程」兩種狀態之間切換,visitor 可以掃 QR 進來看更多。

打開 showcase poster →

(建議全螢幕觀看。按 F 切換全螢幕,方向鍵手動切換 hero / slide。)

過程與文件

這個頁面是 project profile。完整的過程留在底下的子頁面裡。

Concept Statement — 最初的框架
每週紀錄 — 一整個學期的過程紀錄
Tech Dev — 系統架構與實作筆記
課堂筆記 — 包括 Demo Day 之後的方向轉折

NYU IDM 碩士論文,2026 春季。Demo Day:3/11。論文定稿:3/29。