Multivariate Testing (MVT) MVT = тот же ABтест, но когда вариантов больше чем 2. Представим на примере РК DV360, что мы тестим одновременно в рамках одного insertion order'а - форматы видео (3 варианта nonskip, bumper, shorts) - аудитории (2 варианта) - креативы (2 варианта) Получается 3 x 2 x 2 = 12 вариантов на тест! ➡️ Как проводить такое тестирование? По-старинке создаем 12 разных line item'ов, с нужными изменениями, накладываем равный бюджет, bid cost, frequency cap. Далее льем трафик, смотрим разницу в результатах, считаем стат значимость KPI, выключаем то, что точно не работает, оставляем то, что работает. Такой метод называется факторный дизайн. Способ явно неудобный из-за возни с копиями line item'ов. Если добавим еще один срез с 3 вариантами, то придется тестировать 36 line item'ов. ➡️ Как реализовать MVT? Чтобы оптимизировать выбор лучшей связки можем применить один из способов MVT адаптивное тестирование или epsilon-жадный метод - в начале случайным образом выбираем связку с некоторой вероятностью epsilon (например 10%). Делаем так 6-8 итераций - далее из уже проверенных связок выбираем с 90% вероятностью тот вариант, который показал наилучший KPI - при этом оставляем все те же 10% на поиск (exploration), чтобы снизить риск попадания в локальный минимум Главным препятствием такого MVT является сама предварительная настройка алгоритма, но как только это сделано, то тестировать многочисленные связки становится проще