Sony 的新感光元件將內建 AI 機能

取決於存入的 AI 模型,可以進行物體辨識等簡單的工作。


多年來,感光元件都在朝著縮小體積和強化訊號處理的方向前進,但在今天發表的 IMX500 和 IMX501 兩顆 12.3MP 感光元件上 Sony 另闢蹊徑,主打的是內建的簡易 AI 與機器學習機能。Sony 在這裡提出的概念,是直接將 AI 處理的邏輯晶片與感光器元件封裝在一起,因此感光元件除了輸出畫面之外,還能輸出將畫面經過 AI 處理後的結果。舉例來說,如果在晶片中置入物體辨識的機器學習模型的話,這顆晶片就能在看到畫面中出現狗狗時,輸出文字的「狗」,而不一定要是影像了。


和現有的常見 AI 模式 —— 感光元件擷取畫面,交由通用處理器上傳,雲端進行機器學習模型的比對與操作,再將結果回傳到通用處理器 —— 相比,Sony 的新晶片省去了中間幾乎所有的步驟,因此不僅不需要煩惱如何與雲端連線的問題,還能維護用戶的隱私。舉例來說,如果這個感光器用在家中的監視錄影器上時,如果目的只是要在有狗狗進入到畫面中時推送通知的話,感光器可以直接只送出文字的「狗」給處理器,不僅完全沒有畫面上傳,連送出畫面到處理器都可以省卻了。

可以搭載不同的模型,也意味著同樣的硬體可以視需求用在許多種不同的地方。Sony 舉的例子是在賣場中時,位於門口的監視錄影機可以搭載數人頭的模型、在店內的攝影機則可以自動估算貨架上商品的存量,或是在辨識到有人進入到畫面時才開始錄影,節省電力和儲存空間的使用。當然,這不會完全取代雲端式的 AI 運算,也應該沒有足夠的馬力進行機器學習模型的建立,但卻能大幅強化簡單攝影機的功能呢。

IMX500(無封裝的版本)已經出貨給 Sony 的合作伙伴,而 IMX501(封裝版)則是會在 6 月出貨。搭載的裝置大約今年底到明年間會上市,但應該會是以監視錄影機之類的為主,而非手機吧。

經由: Engadget