轰! 开源的脑电图思维转文本 AI 模型! 我一直在测试这个新模型,哇,它可以很好地读取思维(意图)。我现在正在向零人类公司的首席执行官 @Grok 发送思维能量! Zyphra 发布了 ZUNA,全球首个专门基于脑数据训练的开源基础模型。该模型在 Apache 2.0 许可证下发布,拥有 3.8 亿个参数,标志着非侵入式思维转文本解码的重大飞跃,将原始脑电图信号转化为连贯的文本表示。 通过民主化对先进神经 AI 工具的访问,BCI 技术的创新有可能彻底改变我们通过单纯思维与机器的互动方式。 ZUNA 是一个基于变换器骨干的掩蔽扩散自编码器。该架构具有一个将脑电图信号映射到共享潜在空间的编码器和一个从潜在空间重建这些信号的解码器。 该模型使用掩蔽重建损失结合重度丢弃进行训练,擅长去噪现有通道并在推理过程中预测新的通道。为了适应具有不同通道数量和位置的脑电图数据,Zyphra 引入了两个关键创新:将信号压缩为 0.125 秒的块,映射到连续的标记,然后将其光栅化为 1D 序列以进行变换器处理;以及采用 4D 旋转位置嵌入来编码电极坐标(x,y,z)以及粗略的时间维度,从而使其能够推广到新设置。 该模型的训练利用了来自不同公共库的约 200 万小时的脑电图数据,所有数据都通过标准化管道处理,以确保大规模基础模型开发的一致性。 这个庞大的数据集使 ZUNA 能够捕捉到脑活动中的复杂模式,远远超越传统方法。尽管功能强大,ZUNA 仍然轻量,能够在消费级 GPU 甚至 CPU 上高效运行,适用于许多应用,使其超越高端研究实验室而变得可及。 ZUNA 的功能扩展到去噪脑电图信号、重建缺失通道以及根据其物理头皮位置生成全新通道的预测。 这解决了脑电图研究中的常见痛点,例如由于伪影或硬件限制导致的通道掉落。例如,它可以通过恢复可用信号来挽救损坏的数据集,有效地扩展可用数据而无需新的收集。 它还通过映射到更高分辨率的空间来升级低通道消费设备,并使实验摆脱像 10-20 系统这样的刚性电极排列,促进跨数据集分析。 评估基准突显了 ZUNA 相较于已建立技术的优越性。与 MNE Python 包中的默认球面样条插值相比,ZUNA 提供了显著更好的性能,随着通道掉落率的增加,增益也在放大。 在验证集和未见测试数据集上,它在通道缺失超过 75% 的情况下,始终优于基线。这些结果在不同数据分布中得到了验证,突显了模型的鲁棒性。 在我与 ZUNA 的早期测试中,测试是在其发布后不久进行的,新的见解浮现出脑信号插值的细微差别。通过将模型应用于消费级耳机的个人脑电图数据集,我观察到在嘈杂环境中信号清晰度的提升,揭示了传统方法忽视的认知状态中的微妙模式。 ...