一项语言神经假体研究的参与者使用连接到她的皮层的数字链接与化身接口。诺亚·伯杰/加州大学旧金山分校
杰米·亨德森博士在整个童年时期只有一个愿望:希望他的父亲能够与他交谈。现在,亨德森是斯坦福医学院的科学家和神经外科医生,他和他的同事们正在开发大脑植入物,这种植入物可能能够为其他瘫痪或语言障碍患者实现类似的愿望。
周三发表在《自然》杂志上的两项研究表明,大脑植入物(称为神经假体)如何在一个人试图自然说话时记录一个人的神经活动,然后大脑活动可以通过音频语音解码为计算机屏幕上的单词,甚至使用动画化身进行交流。
“当我5岁的时候,我父亲卷入了一场毁灭性的车祸,使他几乎无法移动或说话。我记得嘲笑他试图讲的笑话,但他的言语能力受损,我们无法理解其中的笑点,“其中一项研究的作者、斯坦福大学教授亨德森在新闻发布会上说。
“所以我长大后希望我能认识他并与他交流,”他说。“我认为早期的经历激发了我个人对理解大脑如何产生运动和语言的兴趣。
亨德森和他在斯坦福大学和其他美国机构的同事研究了68岁的帕特·贝内特(Pat Bennett)植入大脑传感器的使用。她在2012年被诊断出患有肌萎缩侧索硬化症,这影响了她的言语。
研究人员在他们的研究中写道,贝内特可以做出一些有限的面部动作并发声,但由于ALS而无法产生清晰的语音,ALS是一种影响大脑和脊髓神经细胞的罕见神经系统疾病。
2022 年 3 月,亨德森进行了手术,在贝内特大脑的两个区域植入电极阵列。植入物记录了贝内特试图做出面部动作、发出声音或说出单个单词时的神经活动。
阵列连接到从头骨出来的电线上,并连接到计算机。软件解码神经活动,将活动转换为实时显示在计算机屏幕上的单词。当贝内特说完后,她按下了一个按钮来完成解码。
研究人员评估了这种脑机接口,贝内特试图用发声说话,只用没有发声的“嘴”词说话。
研究了68岁Pat Bennett的植入大脑传感器,他的言语受到ALS的影响。史蒂夫·菲施/斯坦福医学
研究人员发现,对于50个单词的词汇量,贝内特发声的解码错误率为9.1%,沉默日为11.2%。当使用125,000个单词的词汇表时,所有发声日的单词错误率为23.8%,沉默日的单词错误率为24.7%。
“在我们的工作中,我们表明,当使用大量125,000个可能的单词时,我们可以破译尝试的语音,单词错误率为23%。这意味着大约每四个单词中有三个被正确破译,“该研究的作者,隶属于神经假肢转化实验室的霍华德休斯医学研究所工作人员科学家弗兰克威利特在新闻发布会上说。
“通过这些新研究,现在可以想象一个未来,我们可以恢复瘫痪者的流利对话,使他们能够自由地说出他们想说的任何东西,其准确性足够高,可以可靠地理解,”他说。
研究人员说,解码是高速进行的。贝内特的平均说话速度为每分钟62个单词,这比以前的脑机接口的速度“增加了三倍多”,以前的脑机接口每分钟大约有18个单词。
“这些初步结果已经证明了这个概念,最终技术将迎头赶上,使那些不会说话的人更容易获得它,”贝内特在一份新闻稿中写道。“对于那些不会说话的人来说,这意味着他们可以与更大的世界保持联系,也许可以继续工作,维持朋友和家庭关系。
然而,就目前而言,研究人员写道,他们的发现是一个“概念证明”,即解码具有大量词汇的说话动作是可能的,但在考虑用于临床之前,需要在更多人身上进行测试。
“这些都是非常早期的研究,”威利特说。“而且我们没有来自其他人的庞大数据数据库。
▊“有希望”
周三发表的另一项研究涉及一名妇女,她在2005年中风后因瘫痪而无法清晰说话,当时她30岁。2022 年 9 月,在旧金山的加州大学旧金山分校医疗中心,她的大脑中植入了一个电极装置,没有出现手术并发症。
植入物记录神经活动,并将其解码为屏幕上的文本。研究人员在研究中写道,他们发现“准确快速的大词汇解码”,中位数为每分钟78个单词,中位数单词错误率为25%。
另外,当患者试图默默说话时,她的神经活动被合成为语音。研究人员还根据患者尝试的面部动作,开发了一个面部化身的动画,以伴随合成语音。
“更快,更准确,更自然的沟通是严重瘫痪后失去说话能力的人最想要的需求之一,”来自加州大学旧金山分校以及美国和英国其他机构的研究人员在他们的研究中写道。“在这里,我们已经证明,所有这些需求都可以通过语音神经修复系统来解决,该系统可以实时将关节皮质活动解码为多种输出模式。
这两项新的脑植入物研究在他们的发现和恢复瘫痪者沟通的“长期目标”上“重叠”,加州大学旧金山分校神经外科医生兼该研究的作者爱德华·张博士在新闻发布会上说。
“这两项研究的结果 - 每分钟60到70个单词 - 总的来说是我们领域的一个真正的里程碑,我们对此感到非常兴奋,因为它来自两个不同的患者,两个不同的中心,两种不同的方法,”Chang说。“最重要的信息是,有希望在未来几年继续改善并提供解决方案。
尽管两篇新论文中描述的设备正在作为概念验证进行研究 - 并且目前尚未商业化 - 但它们可能为未来的科学铺平道路,并可能为未来的商业设备铺平道路。
“我实际上对脑机接口领域的商业活动感到非常兴奋,”亨德森说。“从希望我小时候能和我父亲交流到看到这真的有效,我已经走了一圈。这是难以形容的。