Наткнулся на очень интересный цикл статей о современном веб парсинге от Lalit Mishra. 1-10 Части про обод блокировок парсеров Автор рассказывает как Cloudflare, Akamai, WAF и пр. анализируют трафик уже на транспортном уровне и вычисляют автоматизированные запросы. Как автоматизированный трафик отличается при анализе порядка запросов. И конечно же как сделать так чтобы ваш питон скрипт делал запросы в точности такие как у хрома или лисы. Как пройти капчу любой сложности. 11-15 Инфраструктура и оптимизация Рассказывается как построить хорошо скейлящуюся архитектуру для скрапера, от микро оптимизаций flask до работы с Bigdata. 16-18 Использование LLM в парсинге Любопытные заметки о том как максимально дешево и эффективно парсить html c помощью LLM, как снижать нагрузку, писать промпты для парсера, экономить токены, нормализовать вывод llm в строгую форму. Как собрать аналитику и агрегировать и строить RAG пайплайны по собранным данным 19-22 Легальность Про мониторинг работы пауков, как обнаруживать и избегать "токсичных" данных в датасетах чтобы ваc не засудили, что значат все эти сложные юридические термины, что и как скрапить можно а что нет. разбор судебных исков Reddit против Anthropic, и Meta против Bright Data