Неловкий разговор учёного и продакта о гипотезах В продукте слово «гипотеза» используют часто. Звучит научно, но чаще всего у науки заимствуют форму, а не логику. Конечно, в продукте нельзя заниматься наукой в чистом виде, слишком много ограничений. Но это не оправдывает логические ошибки. 1. Гипотеза как формальность Продакт: мы работаем гипотезами и экспериментами. Учёный: отлично. А в чём ваша гипотеза? Продакт: ну… давайте протестируем и посмотрим. Ошибка: гипотеза — формальный шаг перед тестом. Почему: она нужна, чтобы легитимно начать эксперимент. В науке: гипотеза объясняет поведение, а эксперимент проверяет это объяснение. 2. Прогноз вместо объяснения Продакт: если мы добавим кнопку «Продолжить», конверсия вырастет. Учёный: почему? Продакт: пользователям будет удобнее. Учёный: что именно изменится в их поведении? Продакт: метрика. Ошибка: ожидание роста называют гипотезой. Почему: прогноз описывает желаемый результат, а не причину поведения. В науке: гипотеза описывает механизм изменения поведения, а не целевую метрику. 3. Гипотеза без точки опровержения Продакт: ладно, проверим экспериментом. Учёный: а при каком результате вы скажете, что гипотеза неверна? Продакт: если не сработает — попробуем ещё. Ошибка: нет момента, когда мы готовы признать ошибку. Почему: любой результат можно объяснить задним числом. В науке: заранее фиксируется, какой результат означает «мы ошиблись». 4. Объяснение после результата Продакт: но у нас же будут данные. Учёный: объяснение у вас уже есть или появится после результатов? Продакт: конечно после. Ошибка: объяснение появляется постфактум. Почему: такие объяснения нельзя проверить и опровергнуть. В науке: сначала формулируется объяснение, потом оно проверяется данными. 5. Рост метрики ≠ подтверждение гипотезы Продакт: но, если метрика выросла статистически значимо, это же успех? Учёный: это значит, что разница не случайна. Продакт: значит, гипотеза подтвердилась. Учёный: нет. Это значит, что что-то произошло. Ошибка: рост считают подтверждением гипотезы. Почему: статистика не отвечает на вопрос «почему». В науке: эффект должен совпасть с ожидаемым механизмом поведения, а не просто с целевой метрикой. 6. Эксперимент без роста — провал Продакт: если роста нет — эксперимент неудачный. Учёный: в науке провал — это когда ты ничего не понял. Ошибка: отсутствие роста считают бесполезным результатом. Почему: это учит угадывать, а не понимать. В науке: результат ценен, если он уточнил или опроверг объяснение. 7. Имитируем научный подход Продакт: но мы же используем гипотезы, A/B-тесты и статистику. Учёный: да. Вы используете форму науки. Но не её логику. Ошибка: научность подменяется терминами и инструментами. Почему: эксперименты без объяснений причин поведения и точки опровержения выглядят научно, но остаются аккуратно оформленной угадайкой. В науке: важна логика причин и следствий: объяснение → проверка → готовность признать ошибку. Научная логика продуктовых гипотез Продакт: окей, а как тогда работать с гипотезами? Учёный: если убрать форму и оставить логику причинности, гипотеза должна содержать: • сегмент пользователей, • контекст или ситуацию, • наблюдаемое поведение, • предполагаемый механизм изменения поведения клиента, • вмешательство / изменение, • ожидаемое изменение поведения, • точку опровержения (при каком результате мы готовы признать ошибку). Как именно это сформулировано: в одном предложении, в нескольких или устно, не так уж критично. Важно, чтобы все эти смыслы существовали до эксперимента, а не появлялись после. Серж Лукас