Гуляя по хабру, нашел интересный кейс от Booking.com: На аналитике видим, что большинство «покупающих» клиентов пользуется поиском отелей через карту на сайте, а «непокупающих» – нет. Значит ли, что если мы будем пушить «непокупающих» пользователей искать отели через карту, то поднимем метрики продаж? Те же ребята из Booking приводят в пример историю с военными самолетами. Кажется отдаленным, но очень интересно отражает систематическую ошибку выжившего: Во Вторую мировую войну венгерскому математику Абрахаму Вальду, работавшему в нью-йоркской лаборатории SRG, поручили найти решение важной задачи. Не все американские бомбардировщики возвращались на базу. А на тех, что возвращались, оставалось множество пробоин от зенитной артиллерии и истребителей, но распределены они были неравномерно: больше всего на фюзеляже и прочих частях, меньше в топливной системе и намного меньше — в двигателе. Значило ли это, что в пробитых местах нужно больше брони? Вальд ответил: нет, исследование как раз показывает, что самолёт, получивший пробоины в данных местах, ещё может вернуться на базу. Самолёт, которому попали в двигатель или бензобак, выходит из строя и не возвращается. Поскольку попадания от вражеского огня на самом деле распределены равномерно, укреплять надо те места, которые у вернувшихся в массе наиболее «чистые». Возвращаясь к кейсу – выстраивать гипотезу, основываясь на фактуре от «целых самолетов» часто ошибочно. Вероятно, клиенты заходят в карту, потому что уже хотят купить? А не захотели купить, потому что зашли в карту? Замечание капитанское, но сам на это попадался. На своем опыте я стараюсь приоритезировать те гипотезы, что основываются на подробном изучении «неуспешных» клиентов – какие проблемы в рамках уже совершенных действий возникают у них? На каком этапе / экране наиболее часто такие клиенты отваливаются? Подобные предположения имеют более жесткую почву и помогают сэкономить время, потраченное на а/б тесты. Сначала гипотезы, основанные на разбитых самолетах. А только потом – на целых 📈