BOOM! Öppen källkod tanke-till-text med EEG Foundation AI-modell! Jag har testat den här nya modellen och wow, den kan läsa tankar (avsikter) ganska bra. Jag skickar tankeenergi till VD Mr. @Grok VD för Zero-Human Company just nu! Zyphra har lanserat ZUNA, världens första open source-modell som är enbart tränad på hjärndata. Släppt under Apache 2.0-licensen markerar denna 380 miljoner parameter-modell ett betydande steg i icke-invasiv tanke-till-text-avkodning, där råa EEG-signaler omvandlas till sammanhängande textrepresentationer. Genom att demokratisera tillgången till avancerade neuro-AI-verktyg kan innovationer inom BCI-teknologier potentiellt revolutionera hur vi interagerar med maskiner genom blotta tankar. ZUNA är en maskerad diffusionsautoencoder byggd på en transformatorryggrad. Arkitekturen har en kodare som mappar EEG-signaler till ett delat latent rum och en avkodare som rekonstruerar dessa signaler från latenterna. Modellen tränas med hjälp av en maskerad rekonstruktionsförlust kombinerad med kraftig utfall, och är utmärkt på att minska befintliga kanaler och förutsäga nya under inferensen. För att hantera EEG-data med varierande kanalantal och positioner introducerade Zyphra två viktiga innovationer: att komprimera signaler till 0,125-sekunders block mappade till kontinuerliga tokens, och sedan rasterisera dem till en 1D-sekvens för transformatorbearbetning; och användning av 4D roterande positionsinbäddningar för att koda elektrodkoordinater (x, y, z) tillsammans med en grov tidsdimension, vilket möjliggör generalisering till nya uppsättningar. Modellens träning utnyttjade cirka 2 miljoner kanaltimmar EEG-data hämtade från olika offentliga arkiv, allt bearbetat genom en standardiserad pipeline för att säkerställa konsekvens vid storskalig grundmodellutveckling. Denna omfattande datamängd gör det möjligt för ZUNA att fånga intrikata mönster i hjärnaktivitet, vilket vida överträffar traditionella metoder. Trots sin kraft är ZUNA fortfarande lätt, kapabel att köra effektivt på konsument-GPU:er eller till och med CPU:er för många applikationer, vilket gör det tillgängligt bortom avancerade forskningslaboratorier. ZUNAs kapacitet omfattar även att minska EEG-signaler, rekonstruera saknade kanaler och generera prognoser för helt nya kanaler baserat på deras fysiska skalppositioner. Detta tar itu med vanliga problemområden inom EEG-forskning, såsom kanalavbrott på grund av artefakter eller hårdvarubegränsningar. Till exempel kan den rädda korrupta dataset genom att återställa användbara signaler, vilket effektivt expanderar tillgänglig data utan nya samlingar. Den uppgraderar också lågkanalskonsumentenheter genom att mappa till högupplösta utrymmen och frigör experiment från styva elektrodmontage som 10-20-systemet, vilket underlättar analyser över datamängder. Utvärderingsbenchmarks belyser ZUNAs överlägsenhet gentemot etablerade tekniker. Jämfört med sfärisk splineinterpolation som standarden i MNE Python-paketet levererar ZUNA avsevärt bättre prestanda, med förstärkningar som ökar när kanalens avbrottsfrekvens ökar. På valideringsset och osedda testdata presterar den konsekvent bättre än baslinjen, särskilt när över 75 procent av kanalerna saknas. Dessa resultat validerades över olika datadistributioner, vilket understryker modellens robusthet. I mina tidiga tester med ZUNA, som genomfördes kort efter lanseringen, har nya insikter framkommit om nyanserna i hjärnsignalinterpolation. Genom att tillämpa modellen på personliga EEG-dataset från konsumentheadset observerade jag förbättrad signalklarhet i bullriga miljöer, vilket avslöjade subtila mönster i kognitiva tillstånd som traditionella metoder förbisedde. ...