研究專家開發出可以偵測臉部動作的聲納眼鏡

眼鏡可以以 95% 的準確度「讀取」你的無聲指令。

Sonar Glasses
Sonar Glasses

雖然說智能眼鏡似乎就在轉角不遠處,但其實還有一些技術上的難題要克服。這當中之一就是如何對它下指令 —— 雖然說語音輸入大概是最簡單的辦法,但要在大庭廣眾之下把你的操作說出來讓所有人聽到,還是有些尷尬的吧?

康乃爾大學的博士生張瑞東就想到了一個好方法,開發出了可以用聲納來「讀」你的臉部動作的眼鏡。這讓你可以「說」出指令,但不用真的發出聲音來。這是研究團隊一系列類似計畫中,最新一代的產品,在之前也就究過用相機來進行偵測,或是裝在無線耳機裡的版本。但相機系統體型臃腫,而耳機又很難長時間佩戴,因此這個可以裝入眼鏡下邊框的聲納系統,就成為了比較實用的方案。

Sonar Glasses
Sonar Glasses

研究專家們稱,這個系統只要幾分鐘的訓練(例如,讀一串數字),就能掌握你在說話時的臉部動作,並且由動作轉譯為文字,供系統使用。他們開發的深度學習演算法是在手機上進行運算,進一步降低眼鏡的重量,並且可以有 95% 以上的準確度。目前實驗用的眼鏡就已經能有 10 小時的使用時長,並且可以完全在眼鏡和手機間完成運算,不用傳送任何東西到雲端。

除了做為輸入的手段外,這對有言語障礙的人來說也有可能帶來極大的便利,可以即時地將想說的話轉譯後,再用合成語音說出,減少溝通上的障礙。

該團隊目前正使用康乃爾大學的資金援助計畫,尋找將該技術商用化的可能。他們並且在進一步研究如何使用同樣的聲納技術,來將眼部追蹤,甚至是整個上半身動作的追蹤,都做到眼鏡內了。