脑波沟通成真,科学家用AI将脑波转为文本

加州大学旧金山分校(UCSF)研究人员开发了语音神经义肢(Speech Neuroprosthesis),能够将大脑的信号翻译成为文本显示在屏幕上,让重度瘫痪的人,也可以使用句子来与其他人进行交流,研究人员提到,这是第一次直接从瘫痪者的大脑活动,成功解码出完整的单词。该系统能以每分钟18个字的速度,从大脑神经活动中解码单词,准确度可达93%。

过去沟通神经义肢的研究重点,在于试图以拼字的方式,一个一个字母地拼凑出完整的文本,但是UCSF这项新研究方法与过去的方向不同,研究团队尝试翻译控制发声系统肌肉的信号,而不是移动手臂来进行打字的大脑信号,研究团队提到,这种方法利用了语音自然与流畅的特性,有望更快实现基本的沟通。

使用语音来交换消息,每分钟可以高达150到200个单词,比使用打字、书写和控制光标,这些基于拼写的方法快得多,也不那么费力,这个新方法更接近一般说话的方式。这项研究的部分贡献,来自于UCSF癫痫中心的患者,这些患者在接受神经外科手术时,医生在大脑表面放置电击数组,来查明癫痫发作的原因,这同时也促进了研究人员的进展。由于这些癫痫患者都具有正常的语言能力,研究人员对他们的大脑进行记录与分析,借以找到大脑信号和语言相关活动的关系。

研究人员对应每个辅音和元音,在声道(Vocal Tract)运动与相关的皮层活动模式,开发出即时解码系统以及统计语言模型,来提高解码的准确度。不过,即便有了这些成果,可以在能够说话的参与者身上成功解码语音,但并不保证同样技术应用在声道瘫痪的人身上也有相同效果,研究人员提到,模型需要学习复杂的大脑活动模式,对应瘫痪者想说的话,而且研究团队也无法确定,常年无法控制声道肌肉的人,其大脑在控制声带的信号,是否依然正常。

研究团队找来代号为BRAVO1的受试者,BRAVO1是一位30多岁脑干中风的男性,其大脑、声道和四肢的神经连接遭到破坏,过去仅能通过棒球帽上的箭头,以有限的颈部活动,在屏幕上触摸字母与其他人沟通。BRAVO1与研究人员合作,使用50个单词的字汇表,创建数百个适用日常概念的句子。

借由在BRAVO1的语音运动皮层,植入高密度电极数组,记录BRAVO1尝试说出这50个单词时,说话语音皮层的大脑神经活动。接着再利用人工智能神经网络模型,区分大脑活动的模式,以侦测BRAVO1尝试说出的单词。

BRAVO1被要求尝试说出由50个单词所组成的短句,系统会解析大脑活动,并且在屏幕上显示短句。该系统每分钟可以解码18个单词,在应用类似打字校正等自动更正语言模型,准确率更可高达93%。

研究人员提到,这项成果证明,以该方法促进交流具可行性,且拥有在对话环境中应用的潜力。

发表评论