DeepSchool | Ускорение

Стартовал курс «Ускорение нейросетей»🎉 Вчера была вводная встреча со студентами первого потока! Мы проводим такие встречи в начале каждого курса, чтобы познакомиться, рассказать, как будет проходить курс, и зарядить ребят на обучение 🔥 Уже завтра пройдёт первая лекция “Distillation” Разберём, что такое дистилляция и DarkKnowledge, функции потерь, дистилляцию для уменьшения архитектуры, дистилляцию в классических CV-задачах, также затронем и NLP. В качестве практики в этой лекции студенты будут...

🎞 Выложили запись интервью с Александром Гончаренко Саша — CTO стартапа по ускорению моделей enot.ai, автор статей (в том числе про low-power/precision вычисления) и хэдлайнер нашего курса по ускорению сетей. На встрече с Сашей мы обсудили - сколько денег ускорение сетей экономит компаниям - может ли навык ускорения повысить оклад инженеру - где и почему важно ускорять сети - как будет выглядеть инференс будущего - что делать инженерам и командам: практические советы здесь и сейчас Смотрит...

DISTIL-WHISPER: Robust knowledge distillation via large-scale pseudo labeling В этой статье поговорим про задачу Speech2Text и расскажем, как ускоряли Whisper от OpenAI при помощи дистиляции. В Distil-Whisper авторы сделали довольно много трюков: от интересной инициализации модели-ученика до различных методов дистилляции. Из статьи вы узнаете: — Как получить ускорение x6 при уменьшении модели в 2 раза — Почему важно уменьшать декодер и не уменьшать енкодер — Про различные техники дистилляции: Wo...

От нейросетей на FPGA до CTO стартапа Знакомьтесь с хэдлайнером нашей программы и СТО ENOT.ai, Сашей Гончаренко. В этом посте он расскажет, как участвовал в разработке тензорного процессора, как из инженера в Expasoft стал СТО стартапа и в чём победил Qualcomm и Amazon. Вот что Саша говорит о себе: Когда поступал в университет, хотел стать физиком-теоретиком, как Ландау 😀 Поэтому поступил в НГУ на кафедру физики элементарных частиц, но позже сменил её на автоматизацию физико-технических исследо...

Ускорение нейросетей на практике Ускорение — важный навык в DL-индустрии: - растёт потребность инференса нейросетей на смартфонах и edge-устройствах - DL-сервисов становится больше - растёт и нагрузка на эти сервисы - всё чаще приходится работать с LLM, которые довольно требовательны к ресурсам - и в целом, чем быстрее ваши модели, тем лучше и вам, и вашим пользователям Мы подготовили лекцию по ускорению сетей, чтобы вы узнали, какие методы ускорения существуют и смогли задать свои вопросы. 🗓 1...

Лекция по ускорению нейросетей во вторник в 18:00 МСК! Ранее мы рассказывали, почему в индустрии все чаще поднимается тема ускорения нейросетей: ➡️ становится больше веб-сервисов и приложений на девайсах ➡️ для первых надо улучшать latency и throughput ➡️ вторые ограничены в ресурсах и могут работать только с легкими и быстрыми моделями И чтобы помочь вам разобраться в этой теме, мы подготовили для вас лекцию-погружение в ускорение сетей. В этот вторник 20 февраля Саша Гончаренко, СТО стартапа e...

Ускорим инференс трансформера на открытой лекции Ещё и на ноунейм-плате! 🤯 Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса…

Ускорение нейросетей на практике Ускорение — важный навык в DL-индустрии: - растёт потребность инференса нейросетей на смартфонах и edge-устройствах - DL-сервисов становится больше - растёт и нагрузка на эти сервисы - всё чаще приходится работать с LLM,…

Мы начинаем! 🔥 Пишите ваши вопросы в комментарии 👇

Это было круто! Спасибо, что пришли вчера на лекцию! Вы молодцы! Потому что вечером рабочего дня образовывались, были включены и задавали интересные вопросы!🎓 Отдельное спасибо за доверие к нашей команде тем, кто уже присоединился к курсу “Ускорение нейросетей”, который мы представили вчера на встрече! Если вы тоже хотите повысить свою экспертизу и ценность как DL-инженера, научиться ускорять нейросети, экономить компаниям ресурсы и создавать приложения для edge-девайсов и смартфонов — присоеди...