Google 火力展示 Pixel 2 的影片穩定技術到底威在哪裡

進入了 Pixel 世代的 Google 手機產品的相機，初代我們就已經注意到了它超神奇的強悍電子穩定表現，但感覺歸感覺，卻又說不出到底是厲害在哪裡。如今隨著 Pixel 2 的推出，Google 終於選擇了炫耀說明他們的影像技術到底有何獨到之處。例如先前我們已經看到了原廠對 Pixel 2，是如何透過 Dual Pixel 技術，在沒有雙鏡頭的輔助之下達成模擬景深拍攝的功能。

談完了這個「黑科技」，Google 則是在最近再針對這次更加強悍的影片防震功能加以透析 -- 其實不僅是「光學＋電子防手震」撐腰所帶來的效果，更多的是機器學習所提供的更自然更先進的前瞻過濾（Lookahead filtering）功能所發揮的威能。往下閱讀更近一步介紹。其實早在初代 Pixel 手機，我們便已經見識過 Google 電子防手震的強悍，所以這次結合了 OIS 規格的 Pixel 2 的表現將更好，原本也是預料之中的事情（預料之外的大概就是除了相機以外的各種問題了吧）。不過在 Google 的技術解釋之下，我們才知道透過機器學習在演算法上的幫助，到底手機攝影，不... 該說是整個相機產業也許都將會因此有所顛覆。

影片、Google Pixel 2 的影像穩定效果比較。

Google 在 Pixel 2 上影像技術所主要參考的資訊有二個重點，其一是搜集光學防震與對焦資訊與手機陀螺儀回傳的動態資訊，並透過機器學習分析來獲得更好的影像結果；其二則是透過緩衝影像序列來處理影像以達成「預測」動態的效果 -- 有點像是那種可以之後再選擇最佳瞬間的連拍照相功能，只是它把這個緩衝空間都用在了分析未來的影格來修正目前正在處理的影格之上。

在獲得這些資訊之後，Google 的影像技術將會分析這些動態並透過合成的方式，有效減少各種不自然的影像問題，包括預測拍攝動作以不必要的防震效果（平行運鏡就只需要套用垂直的穩定），透過 Lookahead 技術來緩衝影格偏移以避免影片邊界露餡等。

說真的，現有各大手機乃至於相機廠的 EIS 電子防震其實已經有了一定的穩定效果了，但透過機器學習 Google 則是展現影像的各種可能性以及提供更自然的瑕疵修正方式。筆者認為這次 Pixel 2 在動態影像穩定技術上最威的地方有兩點，其一是懂得在 OIS 抑制瞬間大幅度相機震動發生影像抖動問題時，加上動態模糊效果來騙過人類的眼睛，讓人以為那是影片的自然動態效果。

另一個則是可藉由影像分析合成技術來有效抑制「滾動快門」變形問題的應用（如下），一整個讓原本必須要靠全域快門，或是必須不斷加快感光元件讀出速度來抑制問題的方式，有了軟體方向的解法 -- 重點是效果看起來很不錯啊！

當然，講起來 Pixel 2 所利用的技術雖然能夠帶來更好的影像效果，但畢竟主要還是透過軟體修正，所以依然還是會對影像品質有所犧牲。不過筆者以為，本來影片這種東西也算是從一開始就在「欺騙」人類的眼睛，讓人以為是真正動態或真實的人事物出現在眼前。Google 這樣利用深度學習等技術來達成更自然的防震乃至於變形問題的修正技術，實在是很值得當下所有的手機廠乃至於相機廠可以好好學習一下。

試想，假若能將此技術套用在畫質更高的攝影機或片幅更大的相機上，理應可獲得更大的補償彈性並提供更好的影像品質。然而這其中的最關鍵 AI 人工智慧與機器學習技術，到了行動裝置與軟體大都已經主打這些技術的現在，卻好像還未有搭載類似技術的專門 / 專業相機產品誕生 -- 例如：Canon 擁有 Dual Pixel 技術，卻因為缺少深度學習與 HDR+ 技術而讓 Google Pixel 2 搶先提供了景深模擬功能（還是相機廠比較希望賣大光圈鏡？）。

這也讓人感嘆以往應該是引領影像技術的各大老相機廠，怎麼到了行動為先的時代卻似乎只仗著自己影像品質較好，並有著專業用戶的擁戴 -- 別忘了，現在大部分的載體也都是行動裝置了，要看出行動裝置與專門相機的影像品質差別已經越來越難了，如何讓使用者輕鬆拍出精彩的照片應該也是創作工具的重點之一吧。

講起來，單是那相機上存在已久的場景判斷功能，如果能連網並透過雲端 AI 分析就能開啟多少可能的應用了？只希望在 Google 透過行動裝置的示範之下，能夠點醒這些相機廠推出些更有意思的次世代產品了，不然一昧追求超快速連拍、超專業功能乃至於超強硬體技術，卻忽略了新的軟體與雲端技術所能帶來的各種可能，那真的是十分可惜的一件事啊。

來源: Google Research Blog

經由: Engadget