tasty aaai-26 papers 🔹 MindSight: Bio-Inspired Neural Architecture for Visual Restoration via Cortical Electrical Stimulation tl;dr: система учится генерировать паттерны напряжений на электродах чтобы создавать нужные зрительные образы через стимуляцию коры. Протестировано на реальных макаках. Запись с 1280 каналов V1, декодирование из 50мс окон MUA, предсказание тока на каждый электрод. Два пути обучения: через MUA декодер и через симулятор фосфенов. Минимум 16 каналов должны активироваться вместе на электрод (нашли через эксперименты с саккадами). Макаки с завязанными глазами различают формы на уровне нормального зрения и обходят препятствия. 💬 Пожалуй самая необычная работа с конференции. Не симуляция, не "мы показали что в принципе можно", а реальная штука, которая работает на приматах. 1280 каналов это серьёзный масштаб, и то что макаки реально навигируют и различают формы, это уже чуть больше чем proof of concept. 🔹 Multi-dimensional Neural Decoding with Orthogonal Representations tl;dr: регуляризация через ортогональность латентного пространства для декодирования движений. Utah array, моторная кора макак, декодируют направление, позицию, скорость и ускорение одновременно. Orthogonality loss разделяет латент на куски под каждый параметр движения. Голова классификации сессии, при переносе её веса используют чтобы выкинуть сессионные фичи. Cross-session 2-shot точность направления 72.6% -> 80.2%, cross-subject R2 скорости 0.592 -> 0.653. Ablation: только комбинация ортогонализации и головы сессии даёт эффект, по отдельности почти ноль. 💬 Пообщался с Kaixi на конфе, но всё равно не до конца понял зачем классифицировать сессию. По мне логичнее анти-классифицировать, то есть явно убирать всю инфу о сессии из представлений и стараться делать это во время обучения, а не после. В любом случае направление правильное, session drift одна из главных проблем в BCI. 🔹 MindCross: Fast New Subject Adaptation for Cross-subject Video Reconstruction from Brain Signals tl;dr: реконструкция видео из мозговых сигналов с быстрой адаптацией на нового субъекта. Разделяют латент на subject-specific и subject-agnostic части. Один shared encoder + N subject-specific энкодеров. Specific часть отвечает за особенности пациента, shared за семантику видео. При адаптации на нового субъекта обучают только его specific encoder. 💬 Я бы сделал ровно наоборот. Shared encoder должен давать session-specific информацию, а individual энкодеры, session-invariant фичи. У каждого человека мозг уникален, и именно индивидуальный энкодер должен маппить эту уникальную топологию в общее семантическое пространство. А ещё лучше, использовать LoRA для каждого участника и обучить мета-модель которая генерирует LoRA веса по resting state нового субъекта. 🔹 New Synthetic Goldmine: Hand Joint Angle-Driven EMG Data Generation tl;dr: генерация синтетических ЭМГ данных по движениям пальцев для улучшения классификации жестов. Модель решает обратную задачу, придумывает активность мышц под заданный жест. Прирост 2-3% по точности. 💬 Я пробовал заводить синтетику несколько раз, и для ЭМГ и для МЭГ. Генерировать получалось, но прироста по качеству это не давало. Эта работа очередной раз доказывает что у меня просто руки не оттуда росли и надо пробовать ещё!