Полный пайплайн по профилю/никнейму Инструменты • Maltego (CE/Classic/XL) - графовый анализ, трансформации, интеграции API. • SpiderFoot HX / SpiderFoot CLI - автоматизированный сбор, enrichment, дедубликация. • Recon‑NG - модульный фреймворк для сбора данных (API ключи). • theHarvester - сбор email/поддоменов/публичных упоминаний. • Amass - discovery, passive/active subdomain enumeration, graph output. • Shodan / Censys - поиск устройств и баннеров. • OSINT Framework / Intelligence X - карты источников, архивы утечек. • FOCA / Metagoofil / ExifTool - извлечение метаданных из документов и изображений. • WhoisXML / RiskIQ / Whois, URLScan.io - enrichment доменов и URL-сканирование. • Google Dorks / Bing operators / Yandex - ручные точечные запросы. • Pipl / Spokeo / SocialSearcher (коммерческие) - поиск по PII (если есть доступ). • Grep / jq / csvkit / pandas - обработка и фильтрация результатов. • Elastic Stack / Neo4j - хранение и визуализация больших объёмов данных. • GitHub/GitLab API - поиск секретов и упоминаний в коде. • OSQuery / Zeek (внутренний аудит) - если есть лог-доступ в среде. Подготовка окружения 1. VM или контейнер, snapshot перед началом. 2. Переключение сети через отдельный VPN/proxy/Tor (в соответствии с задачей). 3. Создать структуру проекта: workspace/<target>/raw/, workspace/<target>/parsed/, workspace/<target>/reports/. 4. Собрать API‑ключи: HIBP, Shodan, VirusTotal, WhoisXML, GitHub, Google CSE (если нужно). Хранить в .env (зашифровать). Рабочие практики и anti‑noise • Помечать источники и confidence score для каждой записи (0.1–0.9). • Фильтровать импостеров: совпадение никнейма ≠ та же личность - всегда проверять дополнительные атрибуты. • Дедупликация по хешу сущности (email, phone, IP). • Лимит запросов и backoff (sleep between requests) - избегать бана/скаута. Форматы вывода и отчётность • Хранить «сырые» данные в raw/ (JSON, CSV). • Парсить и нормализовать в parsed/ (CSV/NDJSON). • Итоговый отчёт - PDF + JSON с секциями: summary, indicators (IOC), timeline, risk assessment, remediation. • Метаданные отчёта: дата, IP источника сбора, используемые API и ключи.