大脑活动解码器可以揭示人们脑海中的故事

一种称为语义解码器的新型人工智能系统可以将一个人在听故事或静静地想象讲故事时的大脑活动转化为连续的文本流。德克萨斯大学奥斯汀分校的研究人员开发的系统可能会帮助那些有精神意识但无法用身体说话的人，比如那些因中风而虚弱的人，再次进行清晰的交流。

研究人员 Alex Huth（左）、Jerry Tang（右）和 Shailee Jain（中）准备在德克萨斯大学奥斯汀分校的生物医学成像中心收集大脑活动数据。研究人员使用 fMRI 扫描仪收集的来自实验室成员的数十小时大脑活动数据来训练他们的语义解码器。

这项研究由计算机科学博士生 Jerry Tang 和 UT Austin 神经科学和计算机科学助理教授 Alex Huth 领导。这项工作部分依赖于变压器模型，类似于为 Open AI 的 ChatGPT 和谷歌的 Bard 提供动力的模型。

与开发中的其他语言解码系统不同，该系统不需要受试者进行手术植入，从而使该过程无创。参与者也不需要只使用规定列表中的单词。在对解码器进行大量训练后，使用 fMRI 扫描仪测量大脑活动，其中个人在扫描仪中收听数小时的播客。之后，如果参与者愿意解码他们的想法，他们听一个新故事或想象讲一个故事就可以让机器仅从大脑活动中生成相应的文本。

“对于一种非侵入性方法，与之前通常是单个单词或短句的方法相比，这是一个真正的飞跃，”Huth 说。“我们正在让模型用复杂的想法长时间解码连续的语言。”

结果不是逐字逐句的成绩单。相反，研究人员将其设计为捕捉所说或所想内容的要点，尽管并不完美。大约一半的时间，当解码器被训练来监控参与者的大脑活动时，机器会生成与原始单词的预期含义密切（有时精确）匹配的文本。

例如，在实验中，一位参与者在听演讲者说“我还没有驾照”时，他们的想法会被翻译成“她甚至还没有开始学开车”。听着这句话，“我不知道是该尖叫、哭泣还是逃跑。相反，我说，'别管我！'”被解码为，“开始尖叫和哭泣，然后她只是说，'我告诉过你别管我。'”

这张图片显示了解码器根据用户听四个故事时收集的大脑记录做出的预测。示例片段是手动选择和注释的，以演示典型的解码器行为。解码器准确地再现了一些单词和短语，并抓住了更多的要点。

从作为在线预印本出现的论文的早期版本开始，研究人员解决了有关该技术可能被滥用的问题。该论文描述了解码如何仅与自愿参与训练解码器的合作参与者一起工作。对于解码器没有接受过训练的人来说，结果是难以理解的，如果接受过解码器训练的参与者后来提出抵抗——例如，通过思考其他想法——结果同样无法使用。

“我们非常重视它可能被用于不良目的的担忧，并努力避免这种情况，”唐说。“我们希望确保人们只在他们想要的时候使用这些类型的技术，并且这对他们有帮助。”

除了让参与者聆听或思考故事外，研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动准确描述视频中的某些事件。

该系统目前不适合在实验室外使用，因为它依赖于 fMRI 机器的时间需求。但研究人员认为这项工作可以转移到其他更便携的大脑成像系统，例如功能性近红外光谱 (fNIRS)。

“fNIRS 测量大脑中不同时间点的血流量或多或少的位置，事实证明，这与 fMRI 正在测量的信号完全相同，”Huth 说。“因此，我们的确切方法应该转化为 fNIRS，”尽管他指出，fNIRS 的分辨率会更低。

玩

02:46

沉默的

设置

Alex Huth 和 Jerry Tang 在这些简短的音频引述中讨论了他们的发现和意义，包括测试用户如何保护他们的心理隐私。

该研究的其他合著者是 Huth 实验室的前研究助理 Amanda LeBel 和 UT Austin 的计算机科学研究生 Shailee Jain。Alexander Huth 和 Jerry Tang 已经提交了与这项工作相关的 PCT 专利申请。

经常问的问题

这项技术是否可以在某人不知情的情况下用于审讯政治犯的专制政权或监视雇员的雇主？不可以。该系统必须在配备大型、昂贵设备的设施中针对自愿主题进行广泛培训。“一个人需要在核磁共振扫描仪上躺上 15 个小时，保持完全静止，并在这对他们真正起作用之前非常注意他们正在听的故事，”Huth 说。

培训可以完全跳过吗？没有。研究人员在没有接受过培训的人身上测试了该系统，发现结果令人费解。

有没有什么方法可以防止人们的思想被解码？是的。研究人员测试了一个以前参加过训练的人是否可以积极抵抗随后的大脑解码尝试。像动物一样思考或安静地想象讲述自己的故事等策略让参与者轻松而完全地阻止系统恢复该人所接触到的语音。

如果技术和相关研究发展到有一天能够克服这些障碍或防御，会怎样？“我认为现在，虽然这项技术还处于早期阶段，但通过制定保护人们及其隐私的政策来积极主动是很重要的，”唐说。“规范这些设备的用途也非常重要。”