Next3D 將實境影片帶進 Oculus Rift 頭戴式立體顯示器,提供身歷其境的沈浸式立體觀賞體驗


Oculus Rift 將更輕便易戴的頭戴式 3D 眼鏡帶至遊戲體驗裡的目標已經逐步實現,但還有更多的應用似乎正等著被發掘。Next3D 的創始人 David Cole 預見了將此裝置應用在實境電視節目、電影與現場比賽轉播的可能未來,並且已經著手經由 3 月便開始發送的 Oculus Rift 開發工具,來幫助創作者與內容供應商製作他們相關的 3D 內容,將此技術帶進現代的電視電影領域當中。該公司藉由其動態影像的處理與壓縮技術,將產生的內容應用在這部立體頭戴式顯示器上,並將其命名為 Full-Court(應該就是籃球術語的「全場」,這名字還真有感覺)。

Next3D 期望能加強與現有創作者與內容商的關係,幫助他們一起投身製作更多即時動態的 VR 實境內容 -- 這其中包括預錄的影片甚至是現場轉播的內容等。對此,我們自然是抱著滿滿的好奇與期待,所以找到了個機會直接一睹該公司目前的技術進展。目前還在試驗階段的 Next3D 實境影片,是透過 180 度超廣角相機所擷取,並且透過前段所述的後製技術來將影像轉檔用作 VR 實境影片的用途。現在甚至也已經被探討超自然現象的電視節目所採用 -- 雖然多少有點打寒顫的感覺... 但我們的主站編輯還是直擊了這些實際應用的拍片器材,並且實際觀賞體驗了他們的拍攝成果,跳轉以後就請觀看我們所帶來的動眼看介紹吧。

它是如何運作的

Full-Court 身為 Next3D 公司在 VR 應用上的新技術,旨在帶給觀賞者一種置身影片當中的直接感受。他們藉由裝載在兩部 Red 4K 攝影機上的魚眼鏡頭,搭配模擬人耳的 3Dio 立體聲麥克風,錄製出範圍達 180 度視角的拍攝角度範圍,讓觀賞者最終可用 3D 的視角,觀看這樣超廣角範圍中的所有影片角度。而要提供這樣的觀賞體驗,則要仰賴具備頭部追蹤(Head-tracking)的 VR 立體眼鏡,才能讓觀看者能夠自由地改變角度進行即時觀看 -- 由下圖可以看得出來,此技術採用的是類似數位變焦的技術,而 Red 的 4K 解析度則是絕對是超過 Oculus Rift 本身所需。

為了帶來猶如親臨運動賽事的感受,在範例的影片當中,Next3D 選擇將這組搭載雙 Red 攝影機的拍攝設備給放在了觀賞席中央。採用定點式拍攝的這部設備,將可透過 180 度的拍攝視角來完整記錄欲拍攝的景物。而一旦設備固定了,便不再需要執行任何實際運鏡的動作,便能透過他們的 3D 技術來提供觀賞者多角度觀賞立體影片的體驗。它們亦提供了多拍攝點的鏡位設置可能。事實上,Cole 告訴我們將會提供觀賞者切換觀賞點的選項,讓使用者可以在不同的拍攝點進行控制切換,以避免產生強制移動鏡位的不適感。


魚眼鏡頭與 4K 攝影機的硬體配置方面,都只能算是 Next3D 在此領域付諸努力的一小部分而已。他們在後製階段所帶來的更是如魔法一般的技術 -- 他們正打造可以即時處理觀看 3D 影片的轉播技術。該系統仰賴的是特殊的編碼與解碼技術,將來自兩部攝影機的原始檔案經由快速處理後,立即顯示於 VR 虛擬實境的頭戴式顯示器之中。在目前的技術下,他們只需要將一部裝好 QuickTime plugin、播放軟體與 Oculus Rift 開發工具的 PC 連接攝影機,便能達成這樣的轉播功能,而未來是否會有更系統化的轉播套件就端看此系統的後續開發進程了。

3D 攝影機所擷取的原始影像



經後製過後的影像截圖,已經是可以放進 VR 眼鏡顯示的狀態(原始影像被 Next3D 給變焦放大)



即時的 Live 虛擬實境內容

Next3D 的願景不僅止於單一應用,他們對於創作生產虛擬實境影片的夢想,引起了資深紀錄片導演兼 3DigitalVision 公司創辦人 Michael Watchulonis 的注意,希望可以將此技術運用在目前正在製播的超自然現象電視節目 Anomaly 中。他們將此技術應用在節目的體驗紀錄上,不過,相較於 Red 4K 的配置,Next3D 在 Anomaly 配置的是雙 1080p 的雙攝影機(由前滾輪配置與外型看來,應該是兩台轉接魚眼鏡頭的 Panasonic DMC-GH1)。重點是,因應「超自然」的拍攝需求這組配置的相機是紅外線的改裝版本。


看似提供了不錯創作方式的虛擬實境影片製片技術,留下了一個疑慮。就是在錄製影片的當下,似乎不太能夠移動鏡位來做運鏡,改變拍攝涵蓋範圍或角度 -- 根據 Cole 所述,除了簡單的前後 Dolly 外,其他的運鏡方式都會讓觀看者感到迷失(編按:整體感覺會有點像是鏡頭防手震補償時的暈眩感吧?)。

所以在基本的拍攝守則中,固定相機拍攝角度變成必要 -- 頭部追蹤歸零觀賞者的觀賞角度即是與攝影機平行置中為基準,這也為導演在拍攝工作上帶來了諸多限制。不過上述的幾點都沒讓 Watchulonis 感到卻步,他對於理出一套新的實境拍攝系統感到十分興奮。甚至跟我們談到了希望能將所有的實境內容,在 Oculus Rift 眼鏡最終市售時準備好的殷切期盼 -- 這與 Cole 的夢想可說是一拍即合。

我們動手玩

主站編輯有機會直接體驗到他們目前的工作成果。撇除目前開發工具仍僅支援較低解析度,並且伴隨著一些可見的小瑕疵(像是紗門效果、動態模糊以及數位擴圖所帶來的柔化等問題),在 Oculus Rift 眼鏡與耳機的沈浸式虛擬實境體驗上,的確是十分令人躍躍欲試的體驗。第一時間感覺到的是 Oculus Rift 實境眼鏡令人驚訝的輕量表現,接著便是來自耳機的優異環繞音效體驗。此時,穿戴整套裝置的你將深陷於寂靜的黑暗當中,不過這一切很快便跳至調整眼位的影像畫面。體驗的過程其實很難用言語描述,但整體的觀賞體驗,比起一般的電視與電腦螢幕要來得更像是在真實世界中的觀賞事物感覺。


這次的動眼看體驗中我們嘗試了三個虛擬實境影片的場景;一場球賽、在沙灘上觀看動力飛行傘及 Anomaly 節目的實境體驗。三者都用單一鏡位記錄了完整片段,而觀賞者則是可以透過頭戴裝置即時追蹤到欲觀看的視角。環繞音效對實境體驗的效果亦有諸多幫助,讓主站編輯得到了前所未有的沈浸式虛擬實境體驗。這感覺有點像是戴上了面罩一般,即代表你將只能在有限的周邊視野觀看內容。正當 3D 影片與環繞音效即將讓你感到猶如身歷其境震撼的同時;可見的影像瑕疵、狹小的視野範圍與必須保持原位(鏡位)的限制,都讓你一再地被拉回現實。不過 Full-Court 在提供新鮮的虛擬參訪體驗方面來說倒算是真的相當成功。

儘管我們無法如遊玩遊戲時一樣,自行移動到下個房間繼續參訪的行程。事實上,目前看來 180 度的拍攝角度,雖然在觀看時會有一點點受限的感覺,但這樣的廣度也會影響到未來多攝影機設定的鏡位配置,而很容易讓觀賞者看到場景中出現別台攝影機的窘境發生。當然,若拍攝的是運動賽事與記錄片等題材影響較小,但如果你是希望提供更精緻的觀賞體驗,那麼這反而將會讓一切的變得複雜。是說,畢竟這套拍攝系統還只是在早期的試做階段,所以未來是否能排除一切困難讓我們體驗到在各房間或觀賞點切換,就還有待他們的繼續努力了。

未來展望

自此之後,Next3D 將持續尋求如何將此技術運用在內容即時播送媒體的合作夥伴。除了硬體配置外,他們也希望能藉此增進把原始影片轉成可用 Oculus Rift 觀賞虛擬實境內容的影像後製效率。Cole 現階段也表示已有幾間內容商對此科技的測試感到興趣,而目前僅有 Watchulonis 宣布與 Next3D 的合作關係。不過我們並不確定是否沒有其他廠商也對於開發此市場感到興趣,或甚至早已著手進入,但對一般消費者而言,似乎 Oculus Rift 到貨了沒的消息還是比較令人關心啦。

總結


這次所體驗的影片內容長度其實都並不是很長,也沒有看完整場的運動賽事,但此技術的實際效果表現倒是相當足以說服我們了。現階段的 3D 內容還不足以滿足大家對於置身虛擬實境的要求,但這次我們所嘗試到與擁有頭部追蹤技術的 3D 頭戴式立體顯示器的結合,則是讓我們體驗到與以往截然不同的沈浸式觀賞經驗。這個驚奇的新格式給予電影製片更多令人興奮的創作空間,但反過來講,也是個需要耗費投注更多資源探索的一個全新領域。我們非常期待這樣的虛擬實境技術的未來潛能,讓它而不僅僅只是是個用做遊戲用途的頭戴式立體裝置而已。


引用來源:Engadget