隨著虛擬技術的發展和對內容制作高質量的追求，數字人頻頻出圈，XR（擴展現實）被頻繁的應用在各種大型節目或電影廣告等視頻制作上，但由于實時直播對穩定性要求高，而XR虛擬制作涉及眾多復雜的軟硬件，再加上數字人的參與增加了復雜度與風險，因此XR+數字人+實時+直播帶貨，一直很難相遇。本次數字人XR實時直播帶貨成功的背后都有哪些技術支撐呢？
首先要講的是虛擬制作，它是將計算機中虛擬場景與攝像機實景視頻進行實時合成，使人物與虛擬場景能夠同步變化，從而輸出高真實感合成畫面的視頻制作方式，XR虛擬制作必須以LED大屏為背景且有屏外擴展畫面。2021年春節晚會節目《牛起來》便是虛擬制作的典型案例。
本次直播，將攝像機跟蹤、數字人、動作捕捉、LED大屏、UE5實時渲染等前沿技術或工具，有機結合到了一起。其中凌云光自主研發的FZMotion光學運動捕捉系統部署在場地中，保障了現場“中之人"的動作捕捉與真實攝像機的跟蹤，是連接虛擬與現實世界的橋梁。
為了讓真實攝像機在運動的時候，LED大屏上的畫面以及屏外拓展畫面能夠發生相應的準確變化，FZMotion快速精準的跟蹤真實攝像機6自由度（6DoF, 6 degree of freedom）變化，結合鏡頭信息，傳輸至UE5虛擬攝像機實時渲染引擎。不同于機械跟蹤或機身上安裝相機（InSide-Out）的跟蹤方式，當舞臺周圍多臺真實攝像機同時需要被跟蹤時，一套FZMotion系統便能搞定，無需根據被跟蹤攝像機數量來增加跟蹤系統數量。
為了讓沐嵐動起來，FZMotion實時捕捉 “中之人"的動作，并融合面部捕捉與手指捕捉設備，將“中之人"的表情、手指動作、身體動作傳遞給沐嵐并對其進行驅動。
一套動捕，多種跟蹤
觀眾看到的包含沐嵐的圖像，其實由多個畫面組合而成。一是真實攝像機拍攝到的，包含LED屏上的表演者、基于真實攝像機視角渲染而成的LED屏上畫面。二是數字人沐嵐，她被以AR前景的方式疊加到了畫面一上。當攝像機拍攝到LED屏外的時候，還需要渲染屏外拓展畫面，同畫面一和二拼接。多個畫面虛實融合，呈現給觀眾。而這一切，都離不開FZMotion的攝像機跟蹤與真人動作捕捉。
由于系統復雜、存在不穩定風險，XR制作與數字人未能在實時直播中普及應用，本次FZMotion持續100多分鐘的穩定表現，為數字人XR直播及時注入了一針“強心劑"。同時，FZMotion “一套動捕，多種跟蹤"的優勢，能夠實現多人、多攝像機以及道具的跟蹤，更是XR虛擬制作的神兵利器與高性價比選擇。
【彩蛋】
沐嵐與FZMotion同框解密直播黑科技，下期再會~
