Инструмент недели. xGitGuard (Comcast) - масштабный secret scanning с ML-фильтром xGitGuard - Python-фреймворк для массового обнаружения утекших секретов в GitHub (API-ключи, токены, пароли и т.п.). Он рассчитан на большие организации и умеет работать и с GitHub Enterprise, и с публичным GitHub, закрывая сценарии внутренние репозитории + внешний периметр. 👨‍🦽👨‍🦽👨‍🦽 Ключевая ценность xGitGuard (на первый взгляд) - снижение ложных срабатываний через ML. В классическом secret scanning основная боль - огромный поток совпадений, где значительная часть выглядит похожей на секрет, но секретом не является (тестовые строки, примеры, мок-данные, хэши, куски документации и т.д.). xGitGuard предлагает решить это не только эвристиками, а обучаемым классификатором, который подстраивается под ваш код и вашу культуру хранения конфигов. Где здесь ML на самом деле? Важно правильно понимать формулировку “built-in ML classifier”: 😃 встроено - ML-пайплайн (фичи, обучение, применение модели в сканере), структура данных, скрипты и workflow; 😃 не встроено - готовая предобученная модель «из коробки». То есть xGitGuard - это ML-enabled фреймворк, который становится ML-решением после того, как вы обучили модель на своих данных 😩. Это логично для enterprise-контекста, так как что считать секретом и что считать нормой сильно зависит от компании, репозиториев и практик. Архитектура как ML-конвейера В описании воркфлоу у xGitGuard фактически классический продакшн ML-pipeline: 🔭 Data Collector Собирает кандидатов: вытаскивает строки/фрагменты кода, которые похожи на секреты (по ключевым словам/паттернам/контексту) из GitHub (Enterprise или Public). На выходе - CSV с “сырыми” примерами. 🔭 Feature Engineering Преобразует строки в вектор признаков (формат, энтропия, длины, алфавит, контекстные токены, шаблоны и др. - всё, что помогает модели отличать реальный секрет от похожей строки). На выходе - готовые признаки для обучения. 🔭Model (Training) Обучает классификатор на размеченных данных и сохраняет артефакт модели (.pickle). На выходе - модель-фильтр ложных срабатываний. 🔭 Scanner (Inference) Сканирует репозитории и прогоняет кандидатов через обученную модель, выдавая вердикт (секрет/не секрет) и тем самым существенно разгружая triage. Отдельная сильная кастомизируемая фича - Custom Keyword Search Помимо «стандартных секретов», xGitGuard позволяет искать специфичные для компании маркеры: кодовые имена проектов, внутренние домены, названия систем, префиксы токенов, внутренние идентификаторы и т.д. 🙂 Это полезно для обнаружения нестандартных утечек, которые не попадают в типовые детекторы. Это не plug-and-play ML, а мотивация запилить под себя модель для поиска секретов с инструментарием для feature engineering, инфраструктурой для обучения и интеграцией модели в сканер. Очень важно подчеркнуть, что ML не заменяет сигнатурный поиск, а работает поверх него: Broad candidate generation (high recall) ↓ ML classification (precision boost) ↓ Actionable alerts Именно эта архитектура делает систему production-ready. Да, установка зависимостей и первый запуск могут выбесить 🍤 Да, без разметки ценность ограничена. Но если смотреть стратегически - это фундамент, который можно усилить своим ML и получить адаптивный secret scanning под конкретную организацию Все 🏋️‍♀️