Google 解釋 Pixel 4 手勢雷達背後的技術

Soli 動作感應系統是 Pixel 4 系列的一大賣點，理論上它可以快速地識別用戶手勢然後執行相應的操作。不過這套方案背後的工作原理可能未必如許多人所想像，而在日前發佈的一篇部落格中 Google 專門對此進行了一番解釋。首先，Soli 的短距離雷達主要是被用來做兩件事，其一是探測到人的存在從而讓面部辨識組件迅速做好掃描人臉的準備，其二則是認清滑動之類的隔空手勢。這第二項是體現 Soli 功能性的核心，而為了讓相關組件小到可以被塞進手機，Google 在雷達識別傾向上的優先級是將動作放在形狀前面的。

這種做法還帶來了一項額外的好處，那就是 Soli 相對來說不容易對用戶的隱私構成侵犯。因為它沒有辦法記錄清楚的圖像，因此 Google 就「沒有足以辨別出人臉或身體的照片可供利用」了。而為了能在各種使用場景下更快更準確地捕捉使用者一閃而過的動作，Soli 是以一種 3D 視圖的方式來觀察周圍的世界。如下圖所示，它會用縱軸來代表對象的距離，同時以橫軸來代表對象靠近或遠離手機的速度。而每個畫素的亮度反映的是探測對象的相對尺寸，下圖左中右分別是用戶走近裝置、用手伸向裝置和在裝置上方做滑動動作時 Soli 看到的景象。

Google 以此為基礎建立了 AI 模型，並招募了大量志願者結合 TensorFlow 機器學習框架來幫助 Soli 進行手勢識別的訓練。由此得來的成果還需要經過專門的最佳化，最終才能依靠 Pixel 4 訂製的低功耗 DSP 直接在手機上加以運用。雖然就目前的情況來看，Soli 還只能認出一些相對簡單的動作，但在 Google 眼中這項技術未來還有相當大的潛力可挖。他們相信 Soli 日後也有望被整合到諸如智慧型手錶這樣尺寸更小，因而更適合透過手勢來操作的裝置之中，另外在保安、娛樂、教育等領域它或許也能起到更多的作用。

來源: Google

經由: Engadget