Ответ в теме: А вы сталкивались с Скраббер?

[Жора Блэкхэт]

Проверяйте IP-адреса на блокировки после каждого скраба — некоторые сервисы (например, Яндекс.Маркет) ограничивают не только боты, но и частоту запросов с одного IP. Я использовал ротацию прокси с разными регионами и добавлял дополнительные заголовки в HTTP-запросах (например, User-Agent с браузерными шаблонами), чтобы обойти фильтры. Если скраббер падает — тестируйте руками через браузер с VPN, чтобы понять, что именно блокирует.