NOVA | 虛擬製作
結合 LED 牆、Unreal Engine、動態捕捉、3D 掃描與 AI 預視覺化的 ICVFX 虛擬製作專案。
概覽
NOVA 是一個在 LED Volume 棚內拍攝的 ICVFX（In-Camera VFX）虛擬製作專案。影片融合了 LED 牆上拍攝的實拍畫面與 Unreal Engine 中渲染的全 CG 角色。實拍鏡頭主要捕捉真人演員的上半身表演，而全身及遠景鏡頭則使用 3D 掃描的數位替身直接放入引擎中。這種物理與虛擬之間的交織，正是本專案混合現實製作方式的核心。
在這個專案中，我擔任技術基礎設施與創意視覺之間的橋樑。我的職責包括：
- 系統整合：設定與校準現場工作流程，整合 OptiTrack 動態捕捉與 LED 牆至 Unreal Engine。
- 環境與電影運鏡：在 Unreal Engine 中設計沉浸式 3D 環境並導演電影序列。
- 技術美術：開發自定義 HLSL 著色器和 Niagara VFX，優化即時渲染的視覺品質。
- 素材管線：在 Blender 中進行角色綁定（Rigging），確保資料無縫轉入 Unreal 管線。
前期製作
概念與故事
NOVA 設定在一個反烏托邦世界，主角正在尋找最後一個時間膠囊容器的所在地，穿越一座科技高度發達的實驗室。廣角鏡頭在寫實影像與夢境般的序列之間交替切換。
故事跟隨一位獨行旅者降落在霧氣瀰漫的海岸線，並深入一座沿海研究站。在那裡，她發現了一個巨大的生物有機穹頂密室，內部存放著時間容器（Time Vessel），一個連結物理與虛擬現實的膠囊。當她試圖修復時間線中斷裂的因果律時，密室爆發出碎形光與量子代碼構成的重力風暴。透過數據碎片與全息記憶，她必須決定：修復時間線是否意味著抹除建立在其上的一切。
「我在這裡儲存的每一段記憶都建構了一個不再需要我的宇宙。沒有人有權改寫你的起源。」
故事探索時間、記憶，以及物理與數位存在之間的邊界，透過虛擬製作、即時渲染與混合現實電影製作的融合而得以呈現。
AI 驅動預視覺化
利用 Midjourney 將 30 多個鏡頭清單從靜態概念 Shot List 轉化為高保真視覺原型，大幅提升預視覺化效率與團隊溝通。
使用 Midjourney 從鏡頭描述生成視覺原型
現場拍攝
LED 牆實拍
LED Volume 現場拍攝
在 LED 牆上拍攝的實拍畫面
後期製作
虛擬攝影與合成
LED 牆實拍的畫面主要捕捉上半身表演。需要全身鏡頭時，我們則使用 3D 掃描的角色直接放入 Unreal Engine 中。透過將 LED Volume 上實拍的真人演員與引擎內渲染的數位替身交織穿插，我們打造了物理與虛擬的無縫融合，實現真正的混合現實電影製作。
合成鏡頭：LED 牆 + 全 CG
將 LED 牆拍攝的實拍畫面與 Unreal Engine 中渲染的全 CG 角色進行串接。由於 LED 牆只能拍攝上半身表演，全身鏡頭則透過 3D 掃描的數位替身直接放入引擎中完成。這種合成方式正是我們創造混合現實影片的核心手法。
合成鏡頭：LED 牆實拍畫面與全 CG 渲染交互剪接
3D 掃描與綁定
為了克服 LED 牆和實體地板的取景限制，我們掃描了演員並在 Blender 中綁定 3D 化身。這使得全身整合與真實的地面互動成為可能，這在標準 ICVFX 設置中是難以實現的。
動態捕捉與動畫
為了讓數位替身以自然的動作活起來，我建立了自定義的動畫管線。我們使用 OptiTrack 動態捕捉系統錄製高保真動作資料，並整合 Mixamo 和 Blender 進行高效的綁定與重定向，確保虛擬環境中生動且真實的角色表演。
將 Mixamo 動畫套用至 3D 掃描角色
動態捕捉錄製客製化動畫
技術美術：Niagara VFX
螺旋粒子
利用螺旋的數學方程式，在 Niagara 中以程序化方式定位粒子形成螺旋路徑。這個設置將數學函數轉化為運動，允許動態控制半徑、圈數和高度，實現生成式粒子效果。
碎形樹（自定義 HLSL）
建構了一個使用自定義 HLSL 的 GPU Niagara 模組，以迭代式堆疊系統生長分支碎形，對每個分支套用旋轉、縮放、長度衰減和 hub-noise 抖動。開放了深度、展開度和隨機性的控制參數，實現即時的程序化樹木變化。
螺旋粒子形成
碎形樹生成
粒子結尾畫面
使用 Niagara 粒子效果製作的結尾畫面（rendered in Unreal Engine）
系統整合與技術
燈光與實體特效
為了在硬體限制下最大化效率，我們實施了嚴謹的預燈光策略。透過事先規劃每個鏡頭的燈光強度、色溫和位置，確保有限資源被充分利用。除了數位燈光外，我們也運用了煙霧機、風扇等實體特效，讓虛擬環境與現實場景更加融合。虛擬製作的核心在於實體與數位元素的無縫整合；沒有精確的現場燈光與真實的氛圍效果，即使最精美的虛擬環境也會失去真實感。
各場景燈光配置圖
實體特效：煙霧機與風扇
系統架構
虛擬製作管線需要多個系統同步運作：Render Node 透過 nDisplay 將 Unreal Engine 內容投射到 LED 牆上，Control PC 運行 Switchboard 管理渲染節點，Mocap PC 則負責處理 OptiTrack 攝影機追蹤資料。
OptiTrack 攝影機追蹤搭配 Blackmagic 攝影機在 LED Volume 棚內拍攝
系統連接
Render Node
- Switchboard Listener
- 透過 nDisplay 驅動 LED 牆
Control PC
- 運行 Switchboard
- 管理所有渲染節點
Mocap PC
- OptiTrack 攝影機追蹤
- 將追蹤資料傳送至渲染節點
幕後花絮
現場紀錄
地板配置沙包與舞台板，提升演員高度以解決拍攝時底部縫隙問題
現場拍攝工作紀錄
其他製作過程紀錄
Blender 綁定過程
Niagara 系統樹製作過程
樹與粒子效果
動態捕捉錄製
製作團隊
| 姓名 | 職位 |
|---|---|
| Ava Kling | Creative Director, Compositor, Unreal Artist (Environment & Cinematics) |
| Dazai Chen | Technical Director, Technical Artist, Unreal Artist (Environment & Cinematics) |
| Moira Zhang | Sound Director, Original Score Composer |
| Nini Li | C4D Artist |
| Woo Young Kim | Principal Designer, 2D Animator, Cinematographer |
虛擬製作專案，2025
聯繫我
有問題或想合作？歡迎聯繫！