Greenruff

Пока готовится статья по спайковым нейронам, решил поделиться промежуточным наблюдением. В основной работе будет показано, как из эмпирических данных (на примере речи) можно получить ранговое пространство состояний и синтетически его аппроксимировать. Этот шаг необходим для демонстрации переноса ранговой теории на динамику нейрона. Исходя из этого, я решил проверить: возникает ли аналогичное ранговое пространство при анализе финансовых временных рядов? В качестве метода использовался анализ град...

🔥 Трансформеры можно сделать в 5 раз эффективнее — без увеличения размера модели Пока я шлифую статью про спайковые сети, удалось собрать архитектуру, которая ломает привычные ограничения LLM. И это не “ещё один attention”. Коротко: • убираем глобальный attention • вводим иерархию • меняем геометрию пространства И получаем совсем другую динамику обучения. 👇 🚀 1. Контекстное окно → практически бесконечное В классических моделях: • 8k–32k — нормально • 100k — уже дорого Здесь: • каждый уровень ...

В прошлом посте я написал, что удалось: — уменьшить сложность внимания — ускорить сходимость — и улучшить качество Но объяснение получилось сумбурным. Попробую объяснить проще. 📌 Ключевая идея Классический механизм внимания решает задачу в лоб: он сравнивает каждый токен с каждым → получаем квадратичную сложность (O(n^2)) Это похоже на то, как цивилизация майя тысячелетиями записывали положение каждой звезды вручную. Это огромные ресурсы, огромные таблицы, но без понимания закона 🧠 Что изменил...