🔥Прожарка AB-платформы Trisigma от Авито Тех После встречи с Витом мы решили сделать небольшой коллаб. Ребята показали мне интерфейс их платформы для экспериментов, а я нашёл, что можно улучшить с точки зрения дизайна и визуализации данных. Делюсь с вами результатами того, что получилось. Подробности на скриншотах или в миро, а ниже — текстовое описание. 1. Страница со списком экспериментов Это таблица, где собраны все эксперименты и их статусы. Серьёзных проблем тут нет — скорее есть идеи, что можно развить: например, выводить сразу статзначимые приросты/падения по одной-двум ключевым метрикам прямо в таблицу, а не только количество «прокрасов». 2. Страница описания эксперимента Здесь есть вся базовая информация: описание, ключевые метрики, комментарии и статусы, очень круто. При этом в эту страницу буквально просится отдельный блок с результатами. В этом блоке можно было бы показывать, что произошло с основными метриками, сколько было «прокрасов», а также давать краткое текстовое резюме эксперта-аналитика для бизнес-пользователей. Такой блок нужен, чтобы тем, кому не важны детали, не приходилось проваливаться в отчёт — всё будет в одном месте: и постановка, и итог. А уже за подробностями можно переходить в детальный отчёт. 3. Страница отчёта по эксперименту Это фактически дашборд с результатами, и здесь уже есть пространство для улучшений. Во-первых, есть сложности в терминологии: что именно считается «сегментом», «разрезом» или «брейкдауном» — неочевидно и без пояснений разобраться сложно. Тут было бы здорово дать какие-то подсказки про это и попробовать причесать названия. Во-вторых, визуализации пока очень мало — всё сводится к большой таблице с метриками и подсветкой статзначимости. Что можно добавить: — Добавить отдельные таблицы с бар-чартами для сравнения сегментов между собой — чтобы не «щёлкать» каждый сегмент вручную. Если ключевых метрик одна-две — выводить их сразу в эту таблицу; если больше — сделать переключатель. — Сделать таблицу кликабельной, чтобы её можно было использовать как фильтр для основной таблицы метрик. — Добавить маленькие спарклайны ко всем метрикам — чтобы быстро замечать аномалии, а не наводить на каждую метрику по очереди. Также я бы посмотрел на использование пространства — сейчас местами пустовато — и поменял порядок столбцов: сначала прирост/падение, потом уже цифры про статзначимость 4. Графики во всплывающих подсказках Графики появляются только при наведении — я бы добавил хотя бы часть графиков в основной интерфейс. Например для основных метрик В подсказках есть что улучшить: у части графиков отсутствует ось Y, и без неё сложно понять масштаб и динамику. Точки графика лучше выравнивать по вертикали на одной линии, а в начале и конце оси X (дни) можно добавить реальные даты — это даст больше контекста. Про продукт и команду Важно, несмотря на то, что я «прожариваю» платформу, сам продукт классный. Он закрывает большую часть задач для запуска и анализа экспериментов и у ребят офигенная команда, многих знаю лично. Если вы планируете проводить много A/B-тестов — однозначно обратите внимание на платформу (сайт). Пару моих знакомых CDO очень хвалили платформу после её использования. И отдельный респект ребятам за смелость: не каждый продукт готов прийти и сказать «давай посмотрим, что можно улучшить» да ещё и рассказать об этом публично. Это говорит о зрелости, открытости и реальном желании развивать платформу. #прожарка