Борзило

Оффлайн митап про АБ тесты в Москве Завидую я Москвичам, у них всякие митапы проходят, я бы сходил, но я не в Москве. Теперь к сути поста. 19 февраля будет митап, где будут обсуждать AI и его применение к экспериментам) Организуют митап ребята из Epic Growth и Trisigma. Будет несколько спикеров. Один из них Виталий Черемисинов, в прошлом году я проводил с ним стрим. Еще будут ребята из "Бургер Кинг", "Гид Дата", "НаПоправку". Сама встреча бесплатная, но нужна предварительная регистрация, через б...

Как оценить свой уровень владения АБ тестами? Периодически в чате возникают вопросы про то, а какие градации могут быть у аналитиков в плане АБ тестов. И периодически люди говорят: Джун. Считает t-test и работает с user-level метриками. Мидл. Считает bootstrap, cuped, работает с ratio-метриками, через дельта-метод и линеаризацию Сениор. Применяет sequential testing, causal методы, сетевые эффекты и прочее. С одной стороны в этом есть часть правды, с другой далеко не вся правда. Градация системно...

Сетевые эффекты в АБ тестах Представим, что мы играем за аналитика сервиса по продаже недвижимости. Особенности сервиса в том, что есть 2 стороны риэлторы и собственники жилья - продавцы и покупатели, те кто приходит на сайт присмотреть себе квартиру. Представим, что у нас появились задачи на проведение АБ тестов, но все осложняют они - сетевые эффекты. Сетевой эффект - это ситуация, когда поведение или результат одного участника эксперимента зависит от того, что происходит с другими участниками...

Куда катятся аналитические профессии? Итак давайте поговорим про то куда катится мир аналитических профессий в связи с развитием ИИ. Хочу поделиться некоторым своим виденьем, про то какие навыки будут востребованы и какие разделения могут быть в профессии аналитика. Навыки, которые обесценятся быстрее всего Это все, что может быть так или иначе автоматизировано. Большинство кода, который пишут аналитики - это довольно простой код, который не требует проработки архитектуры. Многие LLM уже сейчас ...

5 поток курса по АБ тестированию и большое обновление курса 3 февраля планирую запуск 5 потока курса по АБ тестированию. Курс сильно обновился, ранее было 12 занятий на которых мы рассматривали базовую статистику для АБ тестирования: ЦПТ, ошибки 1/2 рода, MDE, стат критерии. Решали кейсы на дизайн и анализ типовых АБ тестов с конверсией и arpu. Изучали и прорабатывали различные ошибки: SRM, нарушение SUTVA, "подглядывания" и прочее. Тут вот ссылки на некоторые отзывы ребят о курсе: отзыв1 , отзы...

Курс помог пройти собеседование в Яндекс ❤️ Роман 4 года работал дата-аналитиком, но хотел сместить свой фокус развития именно на продуктовую историю. А как известно, если хочешь в продуктовую аналитику, то будь готов пояснить за АБ тесты и статистику. Рома учился на первом потоке курса по АБ тестированию. Из-за личных обстоятельств, он выпал из прохождения курса, но все таки зафиналил курс самостоятельно 💪 Как видно из его истории это дало плоды, курс позволил успешно пройти секцию по АБ теста...

Пересобрал свой реестр с ошибками в АБ тестировании, добавил новых ошибок и описание того "как исправить ошибку". Теперь в реестре 55 ошибок АБ тестирования. Вот ссылочка можете прочекать свои АБ тесты на предмет ошибок или если если вы знаете еще какие-то ошибки, то можете написать мне. Если не согласны с ошибкой, то тоже пишите))

Линейная регрессия, причинно-следственный вывод и АБ тесты Сегодня хочу поговорить о том в каких кейсах и для чего можно использовать линейную регрессию в контексте АБ и причинных исследований. 1. Прямое измерение эффекта тритмента Строим регрессию где целевая переменная наша метрика в АБ тесте. В качестве независимой переменной берем факт наличия тритмента. Получаем оценку p-value для различий в целевой метрике между группы и прочие прелести. 2. Контроль переменных для снижения дисперсии Добавл...

Хотел улучшить интуитивное понимание статистики и ему это удалось! Элмаддин закончил 3 поток курса по АБ тестам. Он уже работает аналитиком. Как и многие он читал "статистику и котики", проходил бесплатные и платные курсы по статистике и АБ тестам, но пазл не складывался. На курс он пришел с желанием понять, как именно под капотом работает статистический аппарат АБ тестов и получить понятный роадмап проведения АБ тестов. Вот, что он сказал после прохождения курса После прохождения курса, чувству...