康奈尔大学团队开发全新声纳眼镜,无声动动嘴形就能解锁手机、播放音乐

不久的未来,可看到智能眼镜将成为继智能手机之后最重要的个人运算平台。为了加速这一天到来,各大厂商莫不卯足全力寻求各种与AR智能眼技术突破。康奈尔大学(Cornell University)博士生Ruidong Zhang开发全新声纳眼镜(Sonar Glasses),通过设备麦克风及音箱,能识别并读取用户“无声”念出某个字或指令的嘴形,用户只需动动嘴就能解锁手机、播放音乐,甚至操控CAD绘图软件。

康奈尔大学研究团队曾执行类似项目,但之前项目基于采用无线耳塞与摄影机的模型。项目就像多数无声语音识别(Silent-Speech Recognition)技术,会采用一组预选命令,并要求用户面对或戴着摄影机,设计的设备既不可行也不实用。

全新声纳眼镜虽然是基于大学研究团队之前项目打造,但用户既不需面对镜头,也不需在耳朵里塞东西。只需读取几分钟训练资料(如一串数字),就可让系统学习并创建用户语音模型。系统会发送和接收音波至用户脸部,传感嘴形动作,同时通过深度算法即时分析回声曲线属性,整体准确率可达约95%。

所有资料会发送到用户智能手机处理,而不会传到云计算,消除泄漏隐私疑虑,同时确保眼镜整体体积更精巧。最新版声纳眼镜功耗极低,可为音学传感提供约10小时电池续航力。

实际应用,用户不需动手、只需动动嘴就可操控应用,包括图书馆等安静环境,通过下达无声指令给眼镜以播放、暂停、前/下一首及音量控制音乐。抑或在嘈杂环境无声录制语音备忘录。用户还能无声念出密码解锁手机,甚至不用键盘就能用CAD绘图软件尽情作业。对有语音障碍的人,可无声通过眼镜将对话输入语音合成器,再由合成器大声说话,与任何人沟通。

康奈尔大学未来互动智能计算机接口(SciFi)实验室研究团队正通过康乃尔资助计划全面推动技术商业化。团队也投入运用智能眼镜关注脸部、眼睛及上半身动作等相关应用研究。

(首图来源:视频截屏)