NVIDIA 用深度學習將普通影片轉為慢動作影片

擁有超越傳統補插影格法的細膩表現。

NVIDIA 用深度學習將普通影片轉為慢動作影片

不僅是深度學習的硬體,在研究與應用上也走在了很前面的 NVIDIA,稍早公開了一個可以將 30fps 影片轉換為 240fps 的深度學習系統。目前可以拍攝 240fps 的相機與手機市面上並不少,但受限於慢動作影片的巨大資料流,大多都有拍攝時長,或是解析度方面的限制。但更重要的,是慢動作模式通常都要預先開啟,但真正重要的精彩鏡頭常常都是意外之下一瞬間發生的事,能拍到都是萬幸了,就別說還要事先做好準備了。

過去類似讓一般 30fps 影片也能做出 240fps 慢動作的效果的技術,都是用補插影格的方式,從前後兩個影格中畫素的位移,來推算出中間影格畫素的位置。問題是,這樣做常常會顯得動作很僵硬,並且轉向會很突然,不滑順。NVIDIA 在這當中導入了深度學習的技術,讓 AI 比較過 11,000 部真正用慢動作攝影機拍下來的日常生活及運動影片以及它們的普通速度版,來學習如何自然地產生過渡。


這結果如何,可以參考上面的影片。小編覺得除了頭髪的飄動略微有點不自然(原始的影片就無法追蹤每根髮絲的位置了,要無中生有大概有困難)之外,其他各種場景好像效果都還蠻擬真的呢?說不定再過幾年,手機上就能有「事後慢動作」模式,就像現在的虛擬散景一樣呢。

來源: NVIDIA