До ReLU или после?

Здравствуйте, дорогие подписчики! Уже в это воскресенье (26 мая) мы организуем секцию OptimalDL на DataFest2024. Секция будет в онлайне, чтобы можно было поприсутствовать на докладах, где бы вы ни находились! На секции планируются следующие доклады: Докладчик: Дмитрий Раков Описание Расскажет о своем опыте ускорения нейронной сети SegFormer для задачи сегментации в ЖД домене. Докладчик разработал собственный фреймворк для data aware прунинга данной архитектуры, и смог получить ускорение в 1,5 ра...

Здравствуйте, дорогие подписчики! Сделали для вас обзор 2 методов квантования. Особенно рекомендуем обратить внимание на QuIP, так как в будущем сделаем обзор на его наследника, QuIP#. Да и вообще, метод incoherence processing станет стандартом при квантовании по нашему мнению, типа как руки после улицы вымыть. https://deepschool-pro.notion.site/LLM-Part-1-e30fecd9f73a4bfa8c09020cc1726e1d?pvs=74

Здравствуйте, дорогие подписчики! Выложили на HF ускоренную модельку для удаления шумов MP-SENet. Мб потом выложим DeepFilter какой-нибудь. https://huggingface.co/ENOT-AutoDL/MP-SENet

Здравствуйте, дорогие подписчики! В последний день лета предлагаем вам почитать про современное состояние дел в области бинарных трансформеров: https://before-relu-or-after.notion.site/522f887ad1ea4dc08ad33573269fea3b

Дорогие подписчики! Администрация канала от всей души поздравляет вас с Новым Годом! 🎅 В новом году желаем вам карьерного роста, физического и ментального здоровья, а также всего хорошего! ⛄️ Stay hydrated and sleep well! HNY!!! 🌲

Здравствуйте, дорогие подписчики! Сегодня разберем одну из базовых статей в современном NLP. https://before-relu-or-after.notion.site/On-Layer-Normalization-in-the-Transformer-Architecture-8aff9b96c85e408da32b85aad787aced

Здравствуйте, дорогие подписчики! Представляем вам прикольную статью: https://t.me/before_relu_or_after/33 ➡️ 🤡 Представляем вам прикольную статью: https://t.me/before_relu_or_after/26 ➡️ 🤡 Представляем вам прикольную статью: https://before-relu-or-after.notion.site/Why-Can-GPT-Learn-In-Context-Language-Models-Impicitly-Perform-Gradient-Descent-as-Meta-Optimizers-db84c3a14fbd46208067322f46ad5391?pvs=4 ⬇️

Искуфственный интеллект 🌚

Здравствуйте, дорогие подписчики! Делимся с вами прошедшим вебинаром по "Эффективным механизмам внимания". Рекомендуем почитать дискуссию, которая возникла в комментариях к трансляции, там можно найти парочку интересных моментов к размышлению. Слайды, видео.

Дорогие подписчики! Администрация канала от всей души поздравляет вас с Новым Годом! 🎅 В новом году желаем вам карьерного роста, физического и ментального здоровья, а также всего хорошего! ⛄️ Stay hydrated and sleep well! HNY!!! 🌲