На дворе лето. Самое время расслабиться, греться на солнышке и ни о чём не думать) Хотя нет, падаждите))) Совсем недавно была TechLead Conf X 2025, на которой присутствовал наш специальный кореспондент) Заметки из его блокнота будут выходить под тэгом #TechLeadConf2025, а сейчас ловите первую из них. Проблема. Как оценить, на сколько надёжно работает система? Важно понимать, что происходит как со всей системой, так и с отдельными её частями, для своевременного принятия мер, способных реально улучшить ситуацию. В противном случае, можно либо до бесконечности улучшать то, что и так работает вполне надёжно, либо тратить силы на то, что никак не улучшает ситуацию. Первый подход. Оценивается надёжность работы входящих точек системы. Под входящими точками понимаются урлы, по которым переходит пользователь, достаточно долго, либо вообще никогда ранее, не взаимодействовавший с системой. Этот подход прост в реализации и в целом хорош, как отправная точка, но, увы, не даёт полноё картины для хоть сколько-то сложной системы. Второй подход. Оценивается работа отдельных сценариев, реализуемых системой. Для этого пошагово описываются все сценарии и указывается их критичность для системы. Для каждого шага задаётся: - критерии успешности/неуспешности и соответствующие метрики; - ссылка на активность Opentelemetry; - ссылка на элемент системы, реализующий шаг сценария; - ссылки на алерты, порождаемые при возникновении ошибок. Наличие такого описания позволило: - автоматически оценивать надёжность каждого из сценариев; - дорабатывать элементы системы исходя не только из частоты их поломок, но и из количества и критичности поломанных сценариев. В масштабах всего Avito (~4000 микросервисов) реализация описанного подхода потребовала порядка двух лет работы команды из трёх человек. Подписаться | Чат