БУМ! Відкритий код думки в текст з моделлю EEG Foundation! Я тестував цю нову модель і, вау, вона досить добре читає думки (наміри). Я надсилаю енергію думок генеральному директору пану @Grok генеральному директору компанії Zero-Human прямо зараз! Zyphra представила ZUNA — першу у світі модель з відкритим кодом, навчену виключно на даних мозку. Випущена під ліцензією Apache 2.0, ця модель з 380 мільйонами параметрів означає значний стрибок у неінвазивному декодуванні думки в текст, перетворюючи сирі сигнали ЕЕГ на узгоджені текстові представлення. Демократизуючи доступ до передових нейро-AI-інструментів, інновації в технологіях BCI, потенційно революціонізуючи спосіб, у який ми взаємодіємо з машинами лише через думки. ZUNA — це маскований дифузійний автоенкодер, побудований на магістралі трансформатора. Архітектура має енкодер, який відображає EEG-сигнали у спільний латентний простір, та декодер, який реконструює ці сигнали з латентів. Навчена за допомогою замаскованих втрат реконструкції у поєднанні з сильним відключенням, модель чудово справляється з шумозашумленням існуючих каналів і прогнозуванням нових під час висновку. Для розміщення даних EEG з різною кількістю каналів і положеннями Zyphra впровадила дві ключові інновації: стиснення сигналів у блоки тривалістю 0,125 секунди, які відображаються у неперервні токени, а потім растеризація їх у 1D-послідовність для обробки трансформаторів; а також використання 4D роторних позиційних вкладень для кодування координат електродів (x, y, z) разом із грубою часовою вимірністю, що дозволяє узагальнювати нові налаштування. Навчання моделі включало приблизно 2 мільйони канал-годин даних ЕЕГ, отриманих із різноманітних публічних репозиторіїв, усі оброблені через стандартизований конвеєр для забезпечення послідовності у великомасштабній розробці базових моделей. Цей величезний набір даних дозволяє ZUNA фіксувати складні закономірності в мозковій активності, значно перевершуючи традиційні методи. Попри свою потужність, ZUNA залишається легкою, здатною ефективно працювати на споживчих GPU або навіть процесорах для багатьох застосувань, що робить її доступною поза межами високотехнологічних дослідницьких лабораторій. Можливості ZUNA поширюються на знешкодження сигналів ЕЕГ, відновлення відсутніх каналів і генерацію прогнозів для абсолютно нових каналів на основі їхніх фізичних позицій на шкірі голови. Це вирішує поширені проблеми в дослідженнях ЕЕГ, такі як перериви каналу через артефакти або апаратні обмеження. Наприклад, він може врятувати пошкоджені набори даних, відновлюючи корисні сигнали, фактично розширюючи доступні дані без нових колекцій. Вона також модернізує пристрої з низьким каналом споживачів, відтворюючи їх у простори з вищою роздільною здатністю, і звільняє експерименти від жорстких монтажів електродів, таких як система 10-20, що полегшує аналіз між наборами даних. Оцінювальні показники підкреслюють перевагу ZUNA над усталеними методами. Порівняно зі сферичною сплайн-інтерполяцією, за замовчуванням у пакеті MNE Python ZUNA забезпечує значно кращу продуктивність, а приріст зростає зі збільшенням частоти відключення каналу. На наборах валідації та непомічених тестових наборах даних він стабільно перевершує базовий рівень, особливо коли понад 75 відсотків каналів відсутні. Ці результати були підтверджені на різних розподілах даних, що підкреслює стійкість моделі. У моїх ранніх тестах із ZUNA, проведених незабаром після його виходу, з'явилися нові ідеї щодо нюансів інтерполяції сигналів мозку. Застосовуючи модель до персональних наборів даних ЕЕГ із споживчих гарнітур, я спостерігав покращену чіткість сигналу в шумних середовищах, виявляючи тонкі закономірності когнітивних станів, які традиційні методи ігнорували. ...