Добавил в скиллы ИИ-краулер Вчера в комментариях под постом про скилл для Яндекс.Вебмастера кинули ссылку на Crawl4AI — open-source краулер, заточенный под работу с LLM. Типа чтобы дополнительно валидировать аудит сайтов. Я тут же натравил на него OpenClaw и попросил сделать для себя скилл. Получилось неплохо: агент сам забирает sitemap.xml, обходит страницы через Playwright, парсит title/H1/мета-теги/хлебные крошки/внутренние ссылки — и строит навигационный отчёт. 🔍 Что нашлось за первый день Прогнал несколько клиентских сайтов — и сразу посыпались находки: 🔸 У одного проекта в карте сайта XML не было ни одной продуктовой страницы. Тысячи товаров просто невидимы для поисковика. 🔸 У другого — баннер на главной вёл на 404. Судя по коду, он там висел годами. 🔸 Куча быстрых ссылок в навигации вела на технические страницы. 🔸 Страницы без навигации: есть в sitemap, но ни одна другая страница на них не ссылается. Это то, что стоило бы поймать руками — но руками до этого годами никто не добирался. 🔭 Натравил на ВкусВилл, там бот нашел незакрытые от индексации страницы результатов поиска. Подумал, что ошибка — нет, реально открыты в robots.txt Правда я уверен, что так и задумано и это не ошибка, а наверняка открытие такие страниц привело много трафика. ⚙️ Технические ограничения Скилл требует бинарник Chromium для Playwright, поэтому запускается из Codex, Claude Code, OpenClaw — но не из нативного приложения Claude App. 🚀 Главная радость — параллелизм OpenClaw с этим скиллом работает прекрасно. Можно кинуть пять клиентских сайтов, он запустит их аудит в пять агентов и получить пять отчётов. Каждый процесс изолирован в своём кэше, конфликтов нет. Скилл уже в моём репо: crawl4ai-seo Если у меня в подписчиках есть СЕО-спецлиалисты, кидайте правки и предложения, я открыт к пулл-реквестам и доработкам. ---- Поляков считает — AI, код и кейсы