Тут про AБ-тесты наболело Плацебо продуктового подхода Когда последний раз A/B тест в продукте (или его маркетинге) изменил что-то существенное — не кнопку, не цвет, а саму логику или стратегию и при этом дало эффект? Скорее всего, довольно редко. Потому что тест изначально задан так, что существенного результата быть не может. Тест не отвечает на вопрос «что лучше». Он отвечает на «что лучше из того, что ты предложил». Если оба варианта посредственные — он выберет наименее плохой и назовёт это результатом. Кнопка растёт с 12% до 14%, команда праздует. Никто не спрашивает: а почему обе версии работают так слабо? Статистическая значимость тут же превращается в безусловный аргумент. p < 0.05 звучит убедительно, но при низком трафике посетителях в день, доверительный интервал настолько широкий, что результат ни о чём не говорит. Просто есть цифра. И она успокаивает — ровно как плацебо. И вот самый опасный момент: если тест показал эффект, его принимают безоговорочно. Хотя за каждым тестом стоит десяток скрытых переменных — сезонность, контекст кампании, конкуренты или просто рандом. Мы берём инструмент, который смотрит в очень узкое окно реальности, и делаем из него фундамент решения. Нормально это может сработать разве что при тестировании креативов в рекламе, и то — со своими приколами. Всё остальное просто слишком широко для такого инструмента. Мой поинт в том, что A/B тест стал неприкосновенным стандартом и в этом проблема, практически сакральная приверженность. «Мы провели A/B» — и это уже аргумент, который не нужно доказывать. Принимается как константа. Но стандартный инструмент не обязан быть правильным. Задайте себе простой вопрос перед следующим тестом: а зачем? Если ответ — потому что так принято или а как же ещё, у вас не тест, а ритуал.