Попробовал использовать репозиторий pinchtab для парсинга. Изначально искал что-то попроще, без платных API и прокси-зоопарка. в итоге наткнулся на него — выглядит как легкий слой над браузерной автоматизацией, но с акцентом именно на сбор данных. В процессе теста оказалось, что он не просто дергает HTML, а реально эмулирует поведение браузера: ждет загрузку, подгружает динамику, нормально работает с JS. для некоторых сайтов это критично. В целом результат получился довольно стабильный. данные вытягиваются без сильных костылей, меньше проблем с "пустыми" ответами. Сейчас уже нет смысла бороться с сайтами на уровне raw HTML. если страница живет на JS, проще сразу идти в сторону эмуляции браузера, чем пытаться обходить это вручную. Пока выглядит как рабочий инструмент, буду работать с ним дальше.