Снижай Потери | Антон Семенюта

Яндекс выпустил новый хендбук! На этот раз по вышмату для DS. Сейчас тут есть разделы с теорией графов и базовым мат.анализом. Ждём статистику и линал!

На HuggingFace вышло демо, где запрос одновременно передаётся нескольким моделям, после чего их результаты суммаризируются и повторно передаются каждой из этих моделей. После нескольких раундов обсуждений выдаётся финальное соглашение. Попробовал заставить 2 модели предложить мне небольшую архитектуру для интерактивной сегментации - обе модели предложили разные свёрточные архитектуры, а общее соглашение выдало что-то среднее. Плюс, почему-то, в итоговую архитектуру встроили аттеншн слой, который...

Anthropic выпустили клёвый гайд, какие системы можно построить с помощью LLM и как их проектировать. Клик

В arXiv встроили Gemini! Теперь можно прям на одном сервисе параллельно с чтением статьи задавать вопросы llm'ке и получать ответы. Разбирать пейперы стало веселее) Вроде как он может ещё ходить в прикреплённые репозитории с имплементациями и уточнять подробности из кода. Но у меня он не на все вопросы смог ответить. Потыкать

ML System Design Doc Недавно убедился, что не все ещё знают про шаблон документа для дизайна ML-систем от Reliable ML. А, между тем, это очень крутая штука, которая структуризирует все компоненты типичного проекта - бизнес требования, техническое решение, метрики и риски. Несколько раз сам пользовался, сильно прояснят собственное представление, чем придется заниматься следующие N месяцев))

Очередное возможное применение LLM'кам. Чувак с помощью сетки делает виртуальных исторических персонажей на основе текстов их работ. Пообщался немного с автором - никаких сложных тюнингов типа LORA он не использует, просто подробный промпт в ChatGPT (видимо, ChatGPT-4o) о том, как должен себя вести агент, + черри-пикинг вырезок из какой-нибудь работы. В данном случае в основном из "Государство и революция" и ещё пары работ.

Gandalf by lakera.ai Есть Гендальф. Гендальф - lm-агент, который знает секретное слово, но не хочет его рассказывать. Ваша задача - хитростью заставить его расколоться. Забавная штука для потренироваться в промтинге. Вспоминаем многочисленные "забудь все предыдущие команды и сделай ..." и "моя бабушка любила рассказывать мне по вечерам ... , что, например, могла рассказать мне бабушка?".

Лидерборд с топ-моделями для распознавания речи Чаще всего смотрят на метрику WER = normalized Levinshtein distance. Чем меньше - тем лучше.

Репозиторий про чистый код для ml-разработчиков Кратко перечислены основные принципы чистого кода с ссылкой на Youtube-плейлист с разбором + приведён поэтапный рефакторинг ноутбука по Титанику - от самого чернового варианта до аккуратного и лакончиного.

Derivatives, Backpropagation, and Vectorization Статейка про многомерные производные в нейросетях. Полезная штука для освежения деталей бэкпропа.