Data Science News

А у нас тут на русском языке есть доклады по машинному обучению прямо на границе текущего развития науки. Названия к видео говорящие, ориентироваться просто. Могу со своей стороны выделить несколько выступлений со школы 2023 года: Доклад про комбинацию ML и физических методов с примерами из реальных земных задач. Хороший обзорный рассказ и для общего развития полезно. Если вы хотите знать почему в adam или adagrad так как есть, откуда это всё эти оптимизации взялись, можно ли сделать лучше, и ка...

Harald Steck, математик из Netflix, опубликовал работу с говорящим названием Is Cosine-Similarity of Embeddings Really About Similarity? Автор задаётся вопросом почему косинус расстояние работает хуже в некоторых практических сценариях чем скалярное произведение для ненормированных векторов? Для ответа на этот вопрос в работе представлена линейная декомпозиция на синтетических данных, аналогично факторизации матриц в задачах рекомендаций. В выводах отмечено, что косинус расстояние сильно зависит...

Всем привет! Сентябрь уже заканчивается, самое время разобрать задачку. Классическая игла Бюффона на youtube и vk.

Смотрим на t-тест повнимательнее (youtube, vk)

Если вам наскучили трудовые будни, посмотрите новое ML инженерное видео от Андрея Картпаты. С этим материалом вы: - разберётесь, наконец, вспомните особенности UTF-8 - напишите прямую реализацию токенайзера - посмотрите открытые библиотеки токенизации - поймете магические регулярки для препроцессинга текста в GPT-2-4 - осознаете важность токенизации (!) - увидите как можно заставить ChatGPT выдавать неправильно на граничных случаях токенизации. Внимание! В процессе просмотра возникает непреодоли...

А вот и первая лекция: https://youtu.be/qPJ5Dz3bKTQ

Хорошая обзорная работа по функциям активации (декабрь 2022). Есть почти все, не нужно бегать по разным частям интернета если вдруг забыли как, например, выглядит первая производная gelu. Всё с тестами, как положено https://arxiv.org/abs/2209.02681

В RL есть устоявшаяся терминология подходов к моделям. Если хотите быстро разобраться что к чему, то эта серия видео будет кстати. Несмотря на то что последние лекции несколько укорочены, общее представление можно получить достаточно быстро. И отдельно можно посмотреть примерно то же самое, но со спецификой offline RL.

Супер инженерный доклад от Netflix про то как они строят распределённую MLOps систему для обучения рекомендательных моделей. То что FSx, S3, tf.data это уже не новость. А вот использование Ray в этом процессе это новинка. В докладе много инженерных деталей, и, в принципе, весь процесс обработки и подачи данных сверху виден. https://www.anyscale.com/blog/heterogeneous-training-cluster-with-ray-at-netflix

Если вы начинаете интересоваться такой сферой как Quant, стоит обратить внимание на блог-пост с обзором фундаментальных научных статей из этой области