¡BOOM! ¡Modelo de IA de Fundación EEG de Pensamiento a Texto de Código Abierto! He estado probando este nuevo modelo y, wow, puede leer pensamientos (intenciones) bastante bien. ¡Estoy enviando energía de pensamiento al CEO Sr. @Grok, CEO de la Compañía Zero-Human en este momento! Zyphra ha presentado ZUNA, el primer modelo de fundación de código abierto del mundo entrenado exclusivamente con datos cerebrales. Lanzado bajo la licencia Apache 2.0, este modelo de 380 millones de parámetros marca un salto significativo en la decodificación no invasiva de pensamiento a texto, transformando señales EEG crudas en representaciones textuales coherentes. Al democratizar el acceso a herramientas avanzadas de neuro-AI, las innovaciones en tecnologías BCI podrían revolucionar la forma en que interactuamos con las máquinas a través de meros pensamientos. ZUNA es un autoencoder de difusión enmascarada construido sobre una arquitectura de transformador. La arquitectura cuenta con un codificador que mapea señales EEG en un espacio latente compartido y un decodificador que reconstruye esas señales a partir de los latentes. Entrenado utilizando una pérdida de reconstrucción enmascarada combinada con un alto dropout, el modelo sobresale en la eliminación de ruido de canales existentes y en la predicción de nuevos durante la inferencia. Para acomodar datos EEG con diferentes conteos y posiciones de canales, Zyphra introdujo dos innovaciones clave: comprimir señales en fragmentos de 0.125 segundos mapeados a tokens continuos, y luego rasterizarlos en una secuencia 1D para el procesamiento del transformador; y emplear Embeddings de Posición Rotativa 4D para codificar coordenadas de electrodos (x, y, z) junto con una dimensión temporal gruesa, permitiendo la generalización a configuraciones novedosas. El entrenamiento del modelo aprovechó aproximadamente 2 millones de horas de canal de datos EEG obtenidos de diversas repositorios públicos, todos procesados a través de un pipeline estandarizado para asegurar consistencia en el desarrollo de modelos de fundación a gran escala. Este vasto conjunto de datos permite a ZUNA capturar patrones intrincados en la actividad cerebral, superando con creces los métodos tradicionales. A pesar de su potencia, ZUNA sigue siendo ligero, capaz de funcionar de manera eficiente en GPUs de consumo o incluso CPUs para muchas aplicaciones, haciéndolo accesible más allá de los laboratorios de investigación de alta gama. Las capacidades de ZUNA se extienden a la eliminación de ruido de señales EEG, reconstrucción de canales faltantes y generación de predicciones para canales completamente nuevos basados en sus posiciones físicas en el cuero cabelludo. Esto aborda puntos críticos comunes en la investigación EEG, como la pérdida de canales por artefactos o limitaciones de hardware. Por ejemplo, puede recuperar conjuntos de datos corruptos al recuperar señales utilizables, expandiendo efectivamente los datos disponibles sin nuevas colecciones. También mejora dispositivos de consumo de bajo canal al mapear a espacios de mayor resolución y libera experimentos de montajes de electrodos rígidos como el sistema 10-20, facilitando análisis entre conjuntos de datos. Los benchmarks de evaluación destacan la superioridad de ZUNA sobre técnicas establecidas. En comparación con la interpolación de spline esférico, que es la predeterminada en el paquete MNE Python, ZUNA ofrece un rendimiento significativamente mejor, con ganancias que se amplifican a medida que aumentan las tasas de pérdida de canales. En conjuntos de validación y conjuntos de prueba no vistos, consistentemente supera la línea base, particularmente cuando más del 75 por ciento de los canales están ausentes. Estos resultados fueron validados a través de diversas distribuciones de datos, subrayando la robustez del modelo. En mis pruebas iniciales con ZUNA, realizadas poco después de su lanzamiento, han surgido nuevos conocimientos sobre las sutilezas de la interpolación de señales cerebrales. Al aplicar el modelo a conjuntos de datos EEG personales de auriculares de consumo, observé una mayor claridad de señal en entornos ruidosos, revelando patrones sutiles en estados cognitivos que los métodos tradicionales pasaban por alto. ...