Сетевые эффекты в АБ тестах Представим, что мы играем за аналитика сервиса по продаже недвижимости. Особенности сервиса в том, что есть 2 стороны риэлторы и собственники жилья - продавцы и покупатели, те кто приходит на сайт присмотреть себе квартиру. Представим, что у нас появились задачи на проведение АБ тестов, но все осложняют они - сетевые эффекты. Сетевой эффект - это ситуация, когда поведение или результат одного участника эксперимента зависит от того, что происходит с другими участниками, а не только от того, в какую группу он сам попал. Особенно часто такая история может происходить когда у нас модель двухстороннего маркетплейса, есть продавцы и покупатели, также сетевые эффекты могут часто быть при попытках тестирования разных аукционов и алгоритмов ранжирования. Перетекание людей между группами Например, риэлтор может работать сразу на несколько агентств. Если мы рандомизируем агентства, но даём разные интерфейсы, то он может начать пользоваться тем аккаунтом, где интерфейс удобнее. В итоге контроль загрязняется, и мы нарушаем SUTVA. Общая лента для покупателей Мы можем тестировать изменения на стороне риэлторов, дать кому-то "премиум карточки", которые выделяются, но метрику считать на покупателях - например, ctr просмотры карточек. Проблема в том, что покупатель одновременно видит объекты из теста и контроля. В таком дизайне мы не можем корректно атрибутировать эффект конкретной группе риэлторов, т.к. на клиента влияли сразу карточки 2 групп риэлторов. Сетевые эффекты через общий ресурс Например, тестируем 2 рекламных алгоритма продвижения объявлений на сайте, реклама для продавцов платная. Сделали 2 группы покупателей, одним будут показывать объявления нового алгоритма, другой старого. Даже если алгоритмы работают на разных группах покупателей, бюджет у риэлтора или агентства общий. Контрольный алгоритм может выесть большую часть бюджета в одно время суток, и тестовый окажется в условиях дефицита ресурса. Тогда мы измеряем не качество алгоритма, а последствия конкуренции за бюджет. В таких ситуациях мы не можем просто запустить классический АБ тест, т.к. нарушается важно предположение о независимости, поэтому требуются другие планы экспериментов, которые бы позволили изолировать тестовое влияние от контроля. P.S Сегодня стартует мой курс по АБ тестам, еще есть время успеть, пишите @borzilo_y