Deep RecSys Course IV. 1. На четвертой неделе курса мы продолжили обсуждение двухбашенных моделей и нейросетевой генерации кандидатов. Если на прошлом занятии речь шла про базовую архитектуру и обучение двухбашенных моделей, то в этот раз детально разбрали архитектуру башен: Обучаемые эмбеддинги, плюсы и минусы Контентное кодирование и inductive bias Unsupervised representation learning как альтернатива для выучивания векторных представлений Методы кодирования пользователей Также немного поговорили про методы нейросетевого кандгена, которые выходят за рамки двухбашенных моделей — multi-interest модели, mixture of logits, generative retrieval. Получилось за две лекции рассказать всю базу про нейросетевой кандген, за исключением деталей про трансформеры и генеративный ретривал. Но про них будут отдельные лекции. Для сравнения, в прошлом году в ШАДе была всего одна сжатая лекция про нейросетевой кандген (слайды). Я уставший, но довольный :) 2. На семинаре Артём Матвеев рассказывал про практические аспекты обучения нейросетевых моделей для рекомендаций — какими инструментами для обучения мы пользуемся, на какие принципы опираемся и какой код пишем. Артём, кстати, для семинара написал целый небольшой фреймворк для обучения нейросетей, который переиспользует многие наши лучшие практики, к которым мы пришли когда делали последнюю итерацию внутреннего яндексового фреймворка. На гитхабе код тоже есть. Github | YouTube P.S: суммарное время просмотра курса на ютубе — уже 400 часов. Это можно было бы один раз почти весь One Piece посмотреть :)