空間記憶:NYU IDM 碩士論文
ENVR 空間記憶相簿:用手勢追蹤微操作在 Meta Quest 3 上瀏覽並走入 3DGS 捕捉的個人空間。
概述
我的論文探索一種保存與重訪空間記憶的新格式:一本由多個 3DGS 捕捉的真實場所組成的個人空間相簿,在 Meta Quest 3 上以 VR 體驗。每一個條目都是我生命中的一個真實空間,被保存為可導航的 3D 環境。觀者戴上頭盔後,透過引導式教學學習手勢操作,接著瀏覽按類別整理的照片卡片。選擇一張卡片,平面預覽便溶解為環繞你的完整 3D 空間。從「看著一段記憶」到「站在記憶之中」,這個轉換就是核心時刻。
為什麼做這個
我是一名舞台燈光設計師。我感知世界的方式是透過空間:光線如何充滿一個房間,站在一個地方的感覺是什麼。
我發現自己記憶的方式是這樣的:我不一定記得跟某人聊了什麼,但我記得那個場景、那個空間、那個光線、身在其中的感覺。照片和影片捕捉了一個地方看起來的樣子,但它們始終少了什麼:被一個空間包圍的那種感受。
3D Gaussian Splatting 可以保存空間本身。VR 讓你走進去。一個保存,一個讓你回去。這個專案從這個缺口開始,也從一個個人的需求出發:留住那些平面媒體無法承載的空間記憶質感。
核心探問
一個被捕捉的空間是技術展示。多個被捕捉的空間,透過瀏覽與轉場系統串聯在一起,就成為一種媒介。
問題從「你能重訪一段記憶嗎?」轉變為「空間記憶能否像翻閱相簿一樣被收藏、歸檔、重訪,只是每一頁都是一個你可以走進去的地方?」
空間相簿
相簿目前收錄了 19 個空間,分為三個類別:
旅行(15 個空間)
| 空間 | 地點 |
|---|---|
| 城市廣場 | 阿姆斯特丹 |
| 海灘 | 沖繩 |
| 海灘 | 聖莫尼卡 |
| 自由廣場 | 台北 |
| 濱海灣金沙 | 新加坡 |
| 鏡球建築 | 阿姆斯特丹 |
| 溪谷 | 新北 |
| 國家音樂廳 | 台北 |
| 台大校園 | 台北 |
| 淺草寺 | 東京 |
| 鹽田日落 | 台南 |
| 林蔭大道 | 台大 |
| 水鄉運河 | 烏鎮 |
| 高線公園 | 紐約 |
| 南鯤鯓廟 | 台南 |
個人(3 個空間)
| 空間 | 地點 |
|---|---|
| 公寓 | 布魯克林 |
| 屋頂 | 布魯克林 |
| 家 | 台北 |
動態(1 個條目)
| 空間 | 類型 |
|---|---|
| 駱駝 | 4DGS 序列 |
體驗流程
- 引導教學:4 步驟的引導流程,搭配影片教學和語音旁白,介紹手勢操控(手掌選單、滑動瀏覽、滑動切換類別)
- 瀏覽相簿:照片卡片以弧形排列出現。左右滑動瀏覽,上下滑動切換類別。開啟相簿時 3DGS 場景會變暗,方便閱讀卡片。
- 轉場:選擇一張卡片,相簿淡出,場景轉換,新的 3DGS 空間載入並環繞你。
- 探索:四處張望,在空間中走動。空間記憶包圍著你。
文件紀錄
技術方法
捕捉: iPhone / 360 相機 → RealityScan(點雲)→ PostShot(3DGS 訓練)
執行環境: Unreal Engine 5 + PuerTS(TypeScript)+ Meta ISDK(手勢追蹤)→ Meta Quest 3
互動方式: 透過 Meta Interaction SDK 的手勢追蹤微操作。手掌選單切換、拇指滑動導航、射線式卡片選擇。所有互動邏輯以 TypeScript 透過 PuerTS 撰寫;Blueprint 負責手勢偵測。
NYU IDM 碩士論文,2026 春季
最近更新
第 6 週:從 Blueprint 到程式碼
3月9日透過 PuerTS 將檔案環形選單從 Blueprint 遷移到 TypeScript,取得佈局、透明度、縮放和手勢互動的程式化控制。
第 5 週:從空間到相簿
3月2日將計畫重新框架為空間記憶檔案庫,建構瀏覽與進入捕捉空間的互動模型。
第 4 週:重新框架論文
2月23日Annotated outline、文獻研究,以及一次根本性的重新框架:從衰變到空間記憶。