Adobe 當年推出透過四週的畫素來自動填補空洞的「Content Aware Fill」功能時,根本可以用黑科技來形容,但真正應用時,還是免不了會有一些限制。如果填補的內容是固定的色塊或材質(例如天空或草地),Content Aware Fill 可以做出還算不錯的結果,但如果是人臉或是材質複雜的話,那就不一定有好的效果了。

NVIDIA 這次發表的研究結果,是在 Content Aware Fill 的概念之上再引入了 AI 深度學習,除了單純尋找填補之外,還會試著去理解畫面的內容,來判斷應該加入什麼東西。例如,將原始圖片的一隻眼睛「擦」掉的時候,NVIDIA 的系統會判斷這是一張臉,而臉的這個位置就應該要有一隻眼睛,所以會從圖庫中找一隻眼睛來補上位置。

自然,這樣的系統不會總是完美的,畢竟從圖庫裡隨便補上的眼睛看起來會有些突兀,而且洞太大的時候,AI 也會判斷不太出來該做什麼。但從示範影片來看,小範圍的修正已經可以達到肉眼不至於一眼就能看出有修圖的程度,對於破損照片的修復應該也有不錯的效果。研究學者們也希望這個技術可以在圖片放大時自動「腦補」細節,讓放大的圖片也能保持銳利呢。