🎃 Хеллоуинская история о воскрешении мертвых (данных) Ночь с 31 октября на 1 ноября. Все нормальные люди смотрят хорроры или идут на вечеринки. А я? Я занимаюсь настоящим некромантством — восстанавливаю метрики Prometheus Я веду учет количества токенов, сетевых запросов и заявок в тильду по каждому проекту и недавно я начал замечать, что каким-то мистическим образом старые метрики Multify стали исчезать, хотя у меня и настроен режим сохранения на диск ⚡️ И вот, почему-то именно в эту ночь, меня, как Франкенштейна, молнией озарило: А что если у Prometheus установлено ограничение на срок хранения? ... Так и оказалось! По-умолчанию --storage.tsdb.retention.time равен 15 дней И вот я пошел, откопал запылившийся бэкап сервера, чтобы вытащить из него старые данные... Однако, оказалось это не так-то просто: SSH молчит, как склеп. Пароли не подходят, а ключи игнорируются. Сервер превратился в настоящий заколдованный дом. Видишь его, но попасть внутрь не можешь На помощь пришла загрузка в rescue mode, т.н. «режиме спасения» сервера — это когда сервер загружается с отдельного образа, а зайдя в него можно смонтировать диски вручную Я буквально лезу в файловую систему как археолог в древнюю гробницу: ищу данные Prometheus, копирую их и переношу на живой сервер И вот, момент истины... я запускаю docker compose start prometheus и вижу...