DAZAI CHEN
← 返回作品

空間記憶:NYU IDM 碩士論文

EN

VR 空間記憶相簿:用手勢追蹤微操作在 Meta Quest 3 上瀏覽並走入 3DGS 捕捉的個人空間。

3D Gaussian Splatting Unreal Engine Meta Quest 3 PuerTS PostShot RealityScan ElevenLabs

概述

我的論文探索一種保存與重訪空間記憶的新格式:一本由多個 3DGS 捕捉的真實場所組成的個人空間相簿,在 Meta Quest 3 上以 VR 體驗。每一個條目都是我生命中的一個真實空間,被保存為可導航的 3D 環境。觀者戴上頭盔後,透過引導式教學學習手勢操作,接著瀏覽按類別整理的照片卡片。選擇一張卡片,平面預覽便溶解為環繞你的完整 3D 空間。從「看著一段記憶」到「站在記憶之中」,這個轉換就是核心時刻。


為什麼做這個

我是一名舞台燈光設計師。我感知世界的方式是透過空間:光線如何充滿一個房間,站在一個地方的感覺是什麼。

我發現自己記憶的方式是這樣的:我不一定記得跟某人聊了什麼,但我記得那個場景、那個空間、那個光線、身在其中的感覺。照片和影片捕捉了一個地方看起來的樣子,但它們始終少了什麼:被一個空間包圍的那種感受。

3D Gaussian Splatting 可以保存空間本身。VR 讓你走進去。一個保存,一個讓你回去。這個專案從這個缺口開始,也從一個個人的需求出發:留住那些平面媒體無法承載的空間記憶質感。


核心探問

一個被捕捉的空間是技術展示。多個被捕捉的空間,透過瀏覽與轉場系統串聯在一起,就成為一種媒介

問題從「你能重訪一段記憶嗎?」轉變為「空間記憶能否像翻閱相簿一樣被收藏、歸檔、重訪,只是每一頁都是一個你可以走進去的地方?」


空間相簿

相簿目前收錄了 19 個空間,分為三個類別:

旅行(15 個空間)

空間地點
城市廣場阿姆斯特丹
海灘沖繩
海灘聖莫尼卡
自由廣場台北
濱海灣金沙新加坡
鏡球建築阿姆斯特丹
溪谷新北
國家音樂廳台北
台大校園台北
淺草寺東京
鹽田日落台南
林蔭大道台大
水鄉運河烏鎮
高線公園紐約
南鯤鯓廟台南

個人(3 個空間)

空間地點
公寓布魯克林
屋頂布魯克林
台北

動態(1 個條目)

空間類型
駱駝4DGS 序列

體驗流程

  1. 引導教學:4 步驟的引導流程,搭配影片教學和語音旁白,介紹手勢操控(手掌選單、滑動瀏覽、滑動切換類別)
  2. 瀏覽相簿:照片卡片以弧形排列出現。左右滑動瀏覽,上下滑動切換類別。開啟相簿時 3DGS 場景會變暗,方便閱讀卡片。
  3. 轉場:選擇一張卡片,相簿淡出,場景轉換,新的 3DGS 空間載入並環繞你。
  4. 探索:四處張望,在空間中走動。空間記憶包圍著你。

文件紀錄


技術方法

捕捉: iPhone / 360 相機 → RealityScan(點雲)→ PostShot(3DGS 訓練)

執行環境: Unreal Engine 5 + PuerTS(TypeScript)+ Meta ISDK(手勢追蹤)→ Meta Quest 3

互動方式: 透過 Meta Interaction SDK 的手勢追蹤微操作。手掌選單切換、拇指滑動導航、射線式卡片選擇。所有互動邏輯以 TypeScript 透過 PuerTS 撰寫;Blueprint 負責手勢偵測。


NYU IDM 碩士論文,2026 春季

最近更新

查看所有更新 →