razinkov.ai

Коллеги, всем привет! Во втором потоке школы у нас начинается третья часть – трансформеры. В эту часть входит детальный разбор архитектуры Transformer, как для NLP, так и для компьютерного зрения. Если вы комфортно себя чувствуете в PyTorch, имеете опыт обучения глубоких нейронных сетей, но трансформеры прошли мимо вас, вы можете присоединиться ко второму потоку сейчас. У нас осталось 3 месяца практических вебинаров, где мы будем вместе реализовывать и обучать трансформеры на чистом PyTorch. Сра...

Добрый вечер! Обещанные полезные ссылки по следам лекции про временные ряды) Архитектура Informer, здесь мне понравилось про position embeddings: https://arxiv.org/abs/2012.07436 Статья про foundation models с предсказании временных рядов, мне понравилась скорее обзором задач: https://arxiv.org/abs/2504.04011 Это про архитектуру PatchTST, где вход представляется вектором вещественных значений: https://arxiv.org/abs/2211.14730 Это про Chronos, где вход представляется токенами: https://arxiv.org/a...

Всем доброго вечера! Завтра в 13:00 планирую стрим с разбором одной из лучших статей NeurIPS 2024 (best paper award) — "Not All Tokens Are What You Need for Pretraining" Ссылка на статью: https://arxiv.org/abs/2404.07965 Ссылка на стрим будет в этом канале…

Всем привет! Небольшой апдейт и сейчас будет опрос. На данный момент я не вижу смысла в постоянной доработке курсов онлайн-школы. Главный курс по AI получился фундаментальный, и поэтому с эволюцией сочетается не очень хорошо. К остальным курсам тоже применимо (особенно к математике), исключение составляет, пожалуй, только Decision making for AI (здесь всё быстро меняется). В общем, больше потоков не планируем, но, скорее всего, будет возможность приобрести доступ к материалам. Как будет определе...

Всем привет! Видео по LLM intelligence так или иначе отсылало к некоторым вполне техническим моментам. Если кто-то хочет понимать глубже, что я всячески приветствую, вот мои видео (где-то с конкретными таймстемпами) для погружения. А я заодно буду меньше переживать, что у меня была лекция без технической глубины 🥲 Positional encodings: https://www.youtube.com/live/s8uzBNSmyMU?si=zJ08uvz9TaMK7nHP&t=3647 Transformer decoder: https://youtube.com/live/oJ0zAgqNx00?feature=share Метод токенизации Byt...

Всем привет! Я начинаю серию семинаров с разбором Qwen 3 – главной опенсорсной модели на сегодняшний день. Будем продвигаться, постепенно собирая полную картину по кусочкам. В первом видео мы обсуждаем известную модель CLIP (Contrastive Language-Image Pre-Training), на базе которой строится Qwen-VL 2.5, которая используется в Qwen 2.5 Omni, которая легла в основу Qwen 3 Omni в доме, который построил Джек. https://youtu.be/nhtWZGy_hU8 А если вы хотите лучше понимать архитектуру трасформеров, я пр...

Всем привет! Я задумал новый курс про свойства intelligence, который мы получаем от LLM. Курс менее технический, менее формальный. Понятия не имею, как пойдет и пойдет ли. Собственно, об этой идее я рассказывал в недавнем подкасте. Первое видео: https://youtu.be/h40pJqIF9hE Видео будут собираться в этом плейлисте: https://www.youtube.com/playlist?list=PL6-BrcpR2C5RyWDmcaS2r8DM2_iLvwuMl Буду очень признателен за любую обратную связь)

Всем привет! Вышло второе видео из курса LLM intelligence: обсуждаем влияние токенизации на способности LLM) https://youtu.be/PPjlRwrGrko P. S. Карта моих открытых курсов. Если хотите стать ML-инженером в сильном смысле этого слова, приходите в нашу онлайн-школу.

Всем привет! Записал еще одно видео по LLM intelligence, продолжаем обсуждать основы инференса – распределение выходных токенов, температуру и стратегии семплирования) https://youtu.be/pe8lieFrP_k