АБ-тесты или не АБ? Когда экспериментировать по правилам, а когда действовать быстро? Привет! Сегодня хочу обсудить тему, с которой мы в Skyeng сталкиваемся каждый день, — подходы к экспериментам. АБ-тесты — это стандартный инструмент продакта, но далеко не всегда они нужны, а иногда даже мешают. Рассказываю, как мы это решаем и какие уроки вынесли. 💡 Когда АБ, а когда нет? Если видите очевидное решение, которое прямо сейчас приносит эффект, не тратьте время на тесты. Например, у вас была только внутренняя рассрочка, добавили банковскую. Это делают все бизнесы, вы понимаете, что в случае с банком, весь кэш вы получили себе это большой аплифт во всём и риски минимальны. Такие изменения можно запускать без лишних шагов и АБ. Большая Change история. Когда не хватает трафика для значимого результата, мы делаем качественный ресерч: тестируем на небольшой группе, собираем ОС от пользователей, изучаем сигналы. Иногда используем прокси-метрики — более чувствительные показатели, которые коррелируют с главными. Тоже помогает быстрее ловить смыслы и потом не допускать ошибок. 🚨 Проблемы экспериментов 1. Метрики как палка о двух концах. Подняли конверсию? Отлично! Но что с другими метриками? Если они просели, выстрел в одну сторону не оправдает себя. Поэтому в любом тесте количественном, мы смотрим весь букет метрик по воронке. Чтобы 360 видеть картинку. Прям без шуток, Понятно, что сдвиг и ред флаги смотрим на одну метрику, но тотал оцениваем 50-100. Как минимум там можно будет найти доп сигналы. 2. Тесты без границ. Когда нет координации, эксперименты накладываются друг на друга. Одна команда катит редизайн рассрочек, другая меняет ЛК. А что в итоге? ХЗ. Без единого управления такие пересечения создают хаос. И большое-кол-во фокусов. 🔥 Подход: как сделать лучше Мы перестроили процессы и отказались от 20 мелких экспериментов ради 2-3 больших. Сфокусировались на решениях, которые дают мощный аплифт, без пересечений и потерь. Если гипотеза и аплифт кажется небольшим - в топку. Это фокусирует команду на поиске сильных гипотез и смыслов. Мы всегда связываем продуктовые метрики с бизнесовыми, операционными смотри не 2-5 метрик а берем максимально широкий букет. Даже если деньги сложно измерить напрямую, мы ищем косвенные сигналы и корреляции. Где уверены в ценности — запускаем быстрее, где нужно больше данных — тестируем. Главное это не кол-во проведенных АБ, а итоговый аплфит в P&L вашего продукта по итогу фин года. Сделали 1000 зелёных АБ, а y2y бизнес упал, или вырос не так, как мы собирали в тестах. Тогда вопросы... Если понравилось, ставь ❤️ Душнить буду меньше и в следующий раз поделюсь чем-нибудь из жизни, а то смотрю на последние посты, одна душната.. Нужно больше жизни