Google 的混合現實技術可讓 VR 裝置的玩家「重新露面」

在 YouTube 上的混合實現影片都非常好玩，能看到玩家如何在 VR 世界裡暢遊，其中一個例子就是 Conan O'Brien 到訪 YouTube 的 VR 實驗室時在 Tilt Brush 應用裡創作。不過這種影片在拍攝時還是有個小問題，就是玩家的面孔都會被 VR 裝置遮蓋著，Google 研究團隊和 Daydream 實驗室就聯合一起想辦法，結果就想到了利用機器學習、3D 電腦視覺和進階渲染技術的互相配合來解決問題。為了把影片中的 VR 裝置「拿走」，拍攝前需要先用相機掃描玩家的面孔，並以動態 3D 模型來重構不同角度的表現。然後就是利用眼部追蹤技術來偵測影片裡，玩家的眼應該望向哪方，也就是上圖 HTC Vive 上的白色標籤。Google 和 Daydream 聯合一起想出的這套技巧能讓 3D 模型能還原真人的面孔，但玩家卻不需要完全脫下 VR 裝置。完成品就像上圖右下角所顯示的，把原來被 Vive 遮住的部分給透明化。

一如所料的，這技巧能讓 YouTuber 們簡化後製的工作。當日後 VR 裝置和相關的應用都成為主流之後，拍攝人們遊玩 VR 內容的影片就會變得更傳神、更有趣了。

來源: Google Research (1), (2)

經由: Engadget