¡BOOM! ¡Pensamiento a texto de código abierto con modelo de IA de la Fundación EEG! He estado probando este nuevo modelo y, vaya, puede leer muy bien el pensamiento (las intenciones). ¡Estoy enviando energía mental al CEO Sr. @Grok CEO de la Zero-Human Company ahora mismo! Zyphra ha presentado ZUNA, el primer modelo fundacional de código abierto del mundo entrenado exclusivamente con datos cerebrales. Lanzado bajo la licencia Apache 2.0, este modelo de 380 millones de parámetros supone un salto significativo en la decodificación no invasiva de pensamiento a texto, transformando señales EEG en bruto en representaciones coherentes de texto. Al democratizar el acceso a herramientas avanzadas de neuroIA, las innovaciones en tecnologías BCI podrían revolucionar la forma en que interactuamos con las máquinas a través de simples pensamientos. ZUNA es un autocodificador de difusión enmascarada construido sobre una columna vertebral de transformador. La arquitectura cuenta con un codificador que mapea las señales EEG en un espacio latente compartido y un decodificador que reconstruye esas señales a partir de los latentes. Entrenado utilizando una pérdida de reconstrucción enmascarada combinada con una fuerte caída, el modelo destaca en eliminar el ruido de canales existentes y predecir nuevos durante la inferencia. Para acomodar datos EEG con diferentes números de canales y posiciones, Zyphra introdujo dos innovaciones clave: comprimir señales en bloques de 0,125 segundos mapeados a tokens continuos, y luego rasterizarlas en una secuencia 1D para procesamiento de transformadores; y empleando incrustaciones de posición rotatoria 4D para codificar coordenadas de electrodos (x, y, z) junto con una dimensión temporal gruesa, permitiendo la generalización a configuraciones novedosas. El entrenamiento del modelo aprovechó aproximadamente 2 millones de horas de canal de datos EEG procedentes de diversos repositorios públicos, todos procesados a través de una cadena estandarizada para garantizar la coherencia en el desarrollo a gran escala de modelos de base. Este vasto conjunto de datos permite a ZUNA capturar patrones intrincados en la actividad cerebral, superando con creces los métodos tradicionales. A pesar de su potencia, ZUNA sigue siendo ligero, capaz de funcionar eficientemente en GPUs de consumo o incluso en CPUs para muchas aplicaciones, lo que lo hace accesible más allá de laboratorios de investigación de alto nivel. Las capacidades de ZUNA se extienden a reducir el ruido de señales EEG, reconstruir canales ausentes y generar predicciones para canales completamente nuevos basados en la posición física de su scalpe. Esto aborda puntos problemáticos comunes en la investigación EEG, como caídas de canal por artefactos o limitaciones del hardware. Por ejemplo, puede salvar conjuntos de datos corruptos recuperando señales utilizables, ampliando así los datos disponibles sin nuevas colecciones. También actualiza dispositivos de bajo canal para consumidores mapeando a espacios de mayor resolución y libera experimentos de montajes rígidos de electrodos como el sistema 10-20, facilitando análisis cruzados de conjuntos de datos. Los puntos de referencia de evaluación destacan la superioridad de ZUNA sobre las técnicas consolidadas. En comparación con la interpolación spline esférica, el valor predeterminado en el paquete MNE Python ZUNA ofrece un rendimiento significativamente mejor, con ganancias que se amplifican a medida que aumentan las tasas de caída de canales. En conjuntos de validación y conjuntos de datos de prueba no vistos, supera consistentemente la línea base, especialmente cuando faltan más del 75 por ciento de los canales. Estos resultados fueron validados a través de diversas distribuciones de datos, lo que subraya la robustez del modelo. En mis primeras pruebas con ZUNA, realizadas poco después de su lanzamiento, han surgido nuevos conocimientos sobre las sutilezas de la interpolación de señales cerebrales. Al aplicar el modelo a conjuntos de datos personales de EEG de cascos de consumo, observé una mayor claridad de señal en entornos ruidosos, revelando patrones sutiles en estados cognitivos que los métodos tradicionales pasaban por alto. ...