#экспертиза Типичный сервис: чиним одно, «ломаем» другое и решаем две проблемы сразу К нам обратились с инцидентом в объектном хранилище Hitachi Content Platform: файловые системы индексов начали стремительно приближаться к 100% заполнения. Стандартная документация не помогала, поэтому инженеры Инфосистемы Джет начали разбирать архитектуру системы и экспериментировать на стенде. В процессе выяснилось, что пересоздание индексов можно спровоцировать через ребаланс метаданных — например, временно «выведя» ноду из кластера. На практике это позволило снизить заполненность индексов с 96% до 20%. Но на третьей ноде метод не сработал — и расследование вывело на более глубокую проблему: одна из нод фактически выпала из схемы хранения данных, хотя в консоли система продолжала показывать ее «зеленой». В статье подробно разбираем расследование, особенности работы Protection Sets и Data Protection Level, а также то, как одна инженерная гипотеза помогла выявить сразу две проблемы в инфраструктуре. 🔹🔹Читать на Хабре 💎 Инфосистемы Джет | 🔥 За новые статьи 💙 Комьюнити-чат IT Elements | 💬 Мы в MAX