BUM! Model AI do myślenia na tekst z otwartym kodem źródłowym z EEG Foundation! Testowałem ten nowy model i wow, potrafi całkiem dobrze odczytywać myśli (intencje). Właśnie wysyłam energię myślową do CEO pana @Grok, CEO Zero-Human Company! Zyphra zaprezentowała ZUNA, pierwszy na świecie model podstawowy z otwartym kodem źródłowym, wytrenowany wyłącznie na danych z mózgu. Wydany na licencji Apache 2.0, ten model o 380 milionach parametrów stanowi znaczący krok naprzód w nieinwazyjnym dekodowaniu myśli na tekst, przekształcając surowe sygnały EEG w spójne reprezentacje tekstowe. Dzięki demokratyzacji dostępu do zaawansowanych narzędzi neuro-AI, innowacje w technologiach BCI mogą zrewolucjonizować sposób, w jaki wchodzimy w interakcje z maszynami za pomocą samych myśli. ZUNA to zamaskowany autoenkoder dyfuzyjny zbudowany na bazie transformatora. Architektura zawiera enkoder, który mapuje sygnały EEG do wspólnej przestrzeni latentnej oraz dekoder, który rekonstruuje te sygnały z latencji. Wytrenowany przy użyciu straty zamaskowanej rekonstrukcji w połączeniu z dużym dropoutem, model doskonale radzi sobie z odszumianiem istniejących kanałów i przewidywaniem nowych podczas wnioskowania. Aby dostosować dane EEG o różnych liczbach i pozycjach kanałów, Zyphra wprowadziła dwie kluczowe innowacje: kompresję sygnałów do kawałków o długości 0,125 sekundy, które są mapowane na ciągłe tokeny, a następnie rasteryzację ich w sekwencję 1D do przetwarzania przez transformator; oraz zastosowanie 4D Rotary Position Embeddings do kodowania współrzędnych elektrod (x, y, z) obok szerszego wymiaru czasowego, co umożliwia generalizację do nowych konfiguracji. Trening modelu wykorzystał około 2 miliony godzin kanałów danych EEG pozyskanych z różnych publicznych repozytoriów, wszystkie przetworzone przez ustandaryzowany pipeline, aby zapewnić spójność dla rozwoju modeli podstawowych na dużą skalę. Ten ogromny zbiór danych pozwala ZUNA uchwycić złożone wzorce aktywności mózgu, znacznie przewyższając tradycyjne metody. Pomimo swojej mocy, ZUNA pozostaje lekka, zdolna do efektywnego działania na konsumenckich GPU lub nawet CPU w wielu zastosowaniach, co czyni ją dostępną poza laboratoriami badawczymi wysokiej klasy. Możliwości ZUNA obejmują odszumianie sygnałów EEG, rekonstruowanie brakujących kanałów oraz generowanie prognoz dla zupełnie nowych kanałów na podstawie ich fizycznych pozycji na skórze głowy. To rozwiązuje powszechne problemy w badaniach EEG, takie jak utrata kanałów z powodu artefaktów lub ograniczeń sprzętowych. Na przykład, może uratować uszkodzone zbiory danych, odzyskując użyteczne sygnały, skutecznie rozszerzając dostępne dane bez nowych zbiorów. Ulepsza również urządzenia konsumenckie o niskiej liczbie kanałów, mapując je do przestrzeni o wyższej rozdzielczości i uwalnia eksperymenty od sztywnych montażów elektrod, takich jak system 10-20, ułatwiając analizy między zbiorami danych. Benchmarki oceny podkreślają wyższość ZUNA nad ustalonymi technikami. W porównaniu do interpolacji spline'ów sferycznych, domyślnej w pakiecie MNE Python, ZUNA dostarcza znacznie lepszą wydajność, a zyski rosną w miarę wzrostu wskaźników utraty kanałów. Na zestawach walidacyjnych i niewidocznych zestawach testowych, konsekwentnie przewyższa bazę, szczególnie gdy brakuje ponad 75 procent kanałów. Te wyniki zostały zweryfikowane w różnych rozkładach danych, podkreślając odporność modelu. W moich wczesnych testach z ZUNA, przeprowadzonych krótko po jej wydaniu, pojawiły się nowe spostrzeżenia dotyczące niuansów interpolacji sygnałów mózgowych. Stosując model do osobistych zbiorów danych EEG z konsumenckich zestawów słuchawkowych, zaobserwowałem poprawę klarowności sygnału w hałaśliwych środowiskach, ujawniając subtelne wzorce w stanach poznawczych, które tradycyjne metody przeoczyły. ...