BOOM! Åpen kildekode tanke-til-tekst med EEG Foundation AI-modell! Jeg har testet denne nye modellen, og wow, den kan lese tanker (intensjoner) ganske bra. Jeg sender tankeenergi til administrerende direktør Mr. @Grok administrerende direktør i Zero-Human Company akkurat nå! Zyphra har lansert ZUNA, verdens første åpne kildekode-grunnlagsmodell som utelukkende er trent på hjernedata. Utgitt under Apache 2.0-lisensen, markerer denne modellen med 380 millioner parametere et betydelig sprang innen ikke-invasiv tanke-til-tekst-dekoding, og transformerer rå EEG-signaler til sammenhengende tekstrepresentasjoner. Ved å demokratisere tilgangen til avanserte nevro-AI-verktøy, innovasjoner innen BCI-teknologier, kan potensielt revolusjonere hvordan vi samhandler med maskiner gjennom rene tanker. ZUNA er en maskert diffusjonsautoencoder bygget på en transformator-ryggrad. Arkitekturen har en koder som kartlegger EEG-signaler inn i et delt latent rom, og en dekoder som rekonstruerer disse signalene fra latente signaler. Trent ved å bruke et maskert rekonstruksjonstap kombinert med kraftig frafall, utmerker modellen seg i å redusere eksisterende kanaler og forutsi nye under inferensen. For å tilpasse EEG-data med varierende kanaltall og posisjoner, introduserte Zyphra to viktige innovasjoner: komprimering av signaler til 0,125 sekunders biter kartlagt til kontinuerlige tokens, og deretter rasteriserte dem til en 1D-sekvens for transformatorbehandling; og bruk av 4D roterende posisjonsinnleggelser for å kode elektrodekoordinater (x, y, z) sammen med en grov tidsdimensjon, noe som muliggjør generalisering til nye oppsett. Modellens opplæring benyttet omtrent 2 millioner kanaltimer med EEG-data hentet fra ulike offentlige arkiver, alt behandlet gjennom en standardisert pipeline for å sikre konsistens for storskala grunnlagsmodellutvikling. Dette enorme datasettet gjør det mulig for ZUNA å fange intrikate mønstre i hjerneaktivitet, langt utover tradisjonelle metoder. Til tross for sin kraft forblir ZUNA lett, i stand til å kjøre effektivt på forbruker-GPUer eller til og med CPU-er for mange applikasjoner, noe som gjør det tilgjengelig utover avanserte forskningslaboratorier. ZUNAs kapasiteter omfatter å dempe EEG-signaler, rekonstruere manglende kanaler og generere prediksjoner for helt nye kanaler basert på deres fysiske hodebunnsposisjon. Dette løser vanlige utfordringer i EEG-forskning, som kanalutfall på grunn av artefakter eller maskinvarebegrensninger. For eksempel kan den redde korrupte datasett ved å gjenopprette brukbare signaler, og dermed effektivt utvide tilgjengelige data uten nye samlinger. Den oppgraderer også lavkanals forbrukerenheter ved å kartlegge til høyoppløselige rom og frigjør eksperimenter fra stive elektrodemontasjer som 10-20-systemet, noe som muliggjør analyser på tvers av datasett. Evalueringsbenchmarks fremhever ZUNAs overlegenhet over etablerte teknikker. Sammenlignet med sfærisk spline-interpolasjon leverer standarden i MNE Python-pakken ZUNA betydelig bedre ytelse, med forsterkninger som øker etter hvert som kanalens frafallsfrekvens øker. På valideringssett og usett testdatasett overgår den konsekvent grunnlinjen, spesielt når over 75 prosent av kanalene mangler. Disse resultatene ble validert på tvers av ulike datafordelinger, noe som understreker modellens robusthet. I mine tidlige tester med ZUNA, utført kort tid etter lanseringen, har nye innsikter dukket opp i nyansene ved hjernesignalinterpolasjon. Ved å anvende modellen på personlige EEG-datasett fra forbrukerheadset, observerte jeg forbedret signalklarhet i støyende miljøer, noe som avslørte subtile mønstre i kognitive tilstander som tradisjonelle metoder overså. ...