非侵入式脑机接口一直卡在两个问题上:要么准确率高但得开颅植入电极,要么不用手术但准确率低到没法用。此前非侵入方案的最佳成绩是约 8% 的词准确率——十个字里认不出一个。6 月 29 日,Meta 在 Nature Neuroscience 上发表的研究,把这个数字推到了 78%。
这套系统叫 Brain2Qwerty,目前已迭代到 v2。与需要植入电极的侵入式方案(如 stereotactic EEG)不同,Brain2Qwerty 完全在头皮外部采集信号。9 名志愿者每人戴着 MEG 头盔打字约 10 小时,累计产生了约 22000 个句子的训练数据。系统采用端到端的深度学习管线,不做手工特征工程,直接用原始脑信号训练。关键的一步是将大语言模型在神经数据上做微调,利用语义上下文来弥合嘈杂脑信号和连贯语言之间的鸿沟。

整个技术管线走了三步。第一步,MEG 传感器采集的原始脑磁信号通过空洞卷积和 Conformer 编码为神经特征,两个 CTC 损失头在浅层和深层同时施加字符级监督。第二步,一个对齐模块将 CTC 识别出的空格作为词边界,把神经特征切分成词片段,通过对比学习映射到大语言模型的词嵌入空间。第三步,用 LoRA 微调过的语言模型同时接收 CTC 字符序列和神经词嵌入,以 beam search 生成最终句子。v1 的局限在于必须将信号对齐到每一次按键——本质上是解码打字行为;v2 则直接从连续脑信号做端到端句子解码,不再依赖按键时间戳。

结果:平均词准确率 61%,最佳受试者 78%,超过一半的句子只错一个词或完全正确。对比 8% 的基线,提升了一个数量级。更重要的是,准确率随训练数据量呈对数线性增长——瓶颈不在算法,在数据。
当然,离临床应用还有相当距离。MEG 扫描仪是房间大小的设备,靠液氦冷却的超导量子干涉仪工作,单台成本百万美元级。实验对象均为健康志愿者,尚未在瘫痪或闭锁综合征患者身上验证。下一代便携式的 OPM-MEG(光泵磁力计)仍处于早期研究阶段。但从 v1 到 v2 只用了不到一年,准确率就跨过了一个数量级——非侵入式脑机接口第一次让人感觉到不是科幻。

Meta 已将 v1 和 v2 的训练代码以 CC BY-NC 4.0 协议开源,v1 的西班牙语数据集也通过合作方 BCBL 公开发布。
来源:Nature Neuroscience | Meta AI Blog | GitHub