Унарный код || прунинг

Небольшой отчет с PML conf от 📱. Даже мне, как человеку достаточно далекому от LLM и мультимодальности, конференция показалась одной из самых занятных и сильных за год. На мероприятии было много интересных спикеров, включая лауреата премии Филдса и профессора Колумбийского университета Андрея Окунькова, CTO Yandex R&D Алексей Колесов и руководителя Sber AI Павла Гуляева, чей доклад о памяти в языковых моделях, по моему мнению, оказался лучшим, тем более в свете недавно вышедшей TernFS от XTX Ma...

Последние пару месяцев были довольно насыщенными, и времени на написание постов не оставалось. Чтобы телеграм-канал не пустовал между крупными постами, я буду выкладывать интересные работы и материалы по теме машинного обучения, особенно по временным рядам.…

This paper establishes the theoretical foundations of the online scaled gradient methods (OSGM), a framework that utilizes online learning to adapt stepsizes and provably accelerate first-order methods. OSGM quantifies the effectiveness of a stepsize by a feedback function motivated from a convergence measure and uses the feedback to adjust the stepsize through an online learning algorithm. Consequently, instantiations of OSGM achieve convergence rates that are asymptotically no worse than the o...

Только что наткнулся на интересную статью с разбором квантового алгоритма для обнаружения torsion (компонент гомологии, который раскрывает более детальную и структурную информацию) в симплициальных комплексах, что может обеспечивать ощутимое ускорение по сравнению с классическими методами Topological data analysis (TDA) has become an attractive area for the application of quantum computing. Recent advances have uncovered many interesting connections between the two fields. On one hand, complexit...

Скоро расскажу про новый цикл статей про TDA, а пока что хотел поделиться папкой с дружественными каналами созданную совместно с @asisakov_channel! С некоторыми знаком лично, кого-то просто читаю, кого-то только недавно узнал, но ребята 🔥 Каналов много, все они разные, все рекомендую, так как кругозор важно расширять. Тогда можно и новые идеи применять в те же временные ряды. Вот несколько примеров: - Датасеты — моя отдельная слабость 🫠 Про Time Series это ко мне, а вот про другие области - к ...

Последние пару месяцев были довольно насыщенными, и времени на написание постов не оставалось. Чтобы телеграм-канал не пустовал между крупными постами, я буду выкладывать интересные работы и материалы по теме машинного обучения, особенно по временным рядам. А пока предлагаю ознакомиться с кодом из моего нового репозитория с TDA в KAN модели(это не итоговая версия кода и некоторые функции могут не работать): https://github.com/Kaizer1917/KAN_TDA/tree/main

При анализе категориальных временных рядов диаграммы устойчивости, использующие преобразование Уолша-Фурье, демонстрируют отчетливые закономерности(показано на первом рисунке). Например, в исследовании категориальных временных рядов активности путешествий, проведенном в рамках Национального обследования путешествий (Chen et al., 2019), длина каждого временного ряда составляет T = 1440 , что соответствует количеству минут в течение дня. Ответ имеет три уровня для каждого взрослого: 0 - пребывание...

🔵Топологический анализ данных (TDA) с помощью ландшафтов устойчивости и его применение к временным рядам TDA на функциях может быть использован для построения представлений признаков при анализе временных рядов. Ландшафты устойчивости особенно полезны в качестве топологических представлений для анализа сходства/несходства временных рядов. В литературе используются различные представления временных рядов, такие как взвешенное преобразование Фурье в Wang et al. (2018) или преобразование Уолша-Фур...

Всем привет, выложил пост на HN о разработке direct to silicon DLinear с 3.3ns задержки на 7nm техпроцессе. В итоге получилось clean LVS/DRC дизайн на 86k ячеек. Главной слабостью в такой компоновке, является вопрос синхронизации потоков на чипе, на Sky130 сигнал не успевает пройти расстояние от входной шины до сумматора за один такт(10ns), из за чего возникает setup slack в -7.88ns, что крайне критично при такой скорости вычислений. Для начала разберем исходную цепочку: Ввод -> Вычитание -> Умн...