第 1 週：技術實驗

概述

這週的重點是進行技術實驗，驗證 3DGS → Unreal Engine → VR 的工作流程，並探索可能的互動機制。測試場景使用南鯤鯓代天府。

進度

1. 3DGS 重新打光測試（XVerse 插件）

使用 Unreal Engine 5.5 + XVerse Plugin 測試 3DGS 的動態重新打光功能。

主要發現：

PostShot 輸出的 PLY 格式無法直接相容 XVerse，因此建立了一個格式轉換工具
重新打光可以在不重新拍攝的情況下改變場景的氛圍與情緒
霧氣與體積光效果與 3DGS 配合良好

遇到的問題：

XVerse 插件會更改格式，導致 PostShot 訓練出的品質流失
啟用重新打光功能後，模型會出現破碎
效能不穩定
存在取捨：重新打光的能力 vs. 視覺品質

Original

Relight + Postprocess

對論文的潛在價值：

重新打光是否能用來呈現記憶中不同的情緒狀態？
透過改變時段的光線（晨光 vs. 黃昏）來喚起不同的感受？

2. VR 整合與微手勢互動

為 Meta Quest 3 建立了一個搭配手部追蹤互動的 VR 體驗。

實作內容：

Unreal Engine 5 + Meta Quest 3
啟用手部追蹤（不使用控制器）
微手勢：左手拇指捏合即可傳送至預設位置

主要發現：

傳送移動對於探索已捕捉的空間來說感覺很自然
手部追蹤增加了臨場感，同時不會打破沉浸體驗
對於引導式體驗，預設位置比自由傳送更有效

產生的問題：

導覽應該完全自由，還是引導式的？
互動方式如何影響「重返」一個空間的感受？

啟發： 這個實驗直接催生了「記憶編輯器與回放系統」的構想。如果微手勢可以控制導覽，那是否也能用來控制時間？

3. 第三人稱漫遊

測試以第三人稱視角探索 3DGS 場景。

觀察：

第三人稱營造出一種「觀看自己身處空間中」的感覺
與第一人稱 VR 帶來的情感質地截然不同
可用於記錄或分享體驗

下一步探索：

與 VR 中的第一人稱視角進行比較
哪種視角更像是「重返一段記憶」？

4. 粒子效果測試

嘗試加入粒子效果（灰塵、光線）來強化場景氛圍。

初步想法：

粒子可以強調「記憶」的質感，營造出不完美、如夢似幻的感覺
需要在增強氛圍與造成干擾之間取得平衡

技術流程驗證

照片/影片 → PostShot（3DGS 訓練）→ PLY 匯出
                                        ↓
                                    格式轉換器
                                        ↓
                     Unreal Engine 5 ← XVerse Plugin（重新打光）
                                        ↓
                                Meta Quest 3（VR）

重要洞察

關於重新打光

重新打光不只是一種視覺效果，它可以是一種表達方式：同一個空間在我們記憶中的不同時刻，感覺是不一樣的。

關於互動

最簡單的互動（傳送移動）或許就是最合適的。過多的互動可能會分散注意力，讓人無法單純地「身處」一個空間之中。

關於視角

第一人稱 VR＝「我又回到這裡了」第三人稱＝「我正在看著自己回到這裡」兩者都有價值，但喚起的感受截然不同。

浮現的構想：記憶編輯器與回放系統

基於這週的實驗，一個新的方向正在成形：

核心概念： 如果我們能像操作影片一樣與空間記憶互動呢？播放、暫停、倒轉、快轉。

研究問題

1. 記憶空間中的互動

人們在自己的空間記憶中，自然會想要怎樣互動？
用微手勢來播放/暫停，「暫停」一段記憶意味著什麼？
暫停會帶來一個反思的片刻，還是會打破沉浸感？

2. 4D Gaussian Splatting（4DGS）的可能性

4DGS 捕捉的不只是空間，而是空間隨時間的變化
微手勢是否能控制時間軸？（滑動手指來快速瀏覽時間）
快轉和倒轉記憶，在體驗上會是什麼感覺？

多感官整合

除了視覺之外，其他感官如何增強空間記憶的體驗？

觸覺（熱感）

記憶往往帶有溫度感，例如陽光的溫暖、香火的熱度
熱感回饋是否能觸發更深層的情感回憶？
硬體方面：熱感觸覺裝置、加熱手持控制器？

聲音

一個空間的環境音景也是記憶的一部分
VR 中的空間音訊，聲音定位在它們在現實中的位置
聲音是否能隨著 4DGS 的時間軸一起「拉動」？

需要研究的技術項目

主題	問題
4DGS 工作流程	如何捕捉與訓練 4DGS？有哪些現有工具？
時間軸控制	4DGS 的播放能否在 UE5 中即時控制？
手勢對應	哪些手勢對於時間導覽來說是直覺的？
情感影響	控制時間是否會改變我們與記憶的關係？
熱感觸覺	有哪些裝置？如何與視覺體驗同步？
空間音訊	如何捕捉與回放 3D 音景？

概念框架

傳統記憶：固定的、被動的，我們只是接收
        ↓
記憶編輯器：主動的、可控的，我們在其中導覽
        ↓
問題：控制感會增強連結，還是讓我們更疏離？
      記憶是否應該被編輯？

下一步

研究 4DGS 的工具與工作流程（Nerfies、D-NeRF、4DGS 論文）
在 VR 中建立時間軸拉動手勢的原型
使用更具個人意義的空間進行測試（不只是廟宇）
嘗試音訊/音景的整合
記錄被動觀看與主動控制之間的情感差異

概述

進度