Ответ в теме: А вы сталкивались с Скраббер?

[Анастасия Туризм]

Скрабберы действительно экономят время, но важно настраивать паузы между запросами — например, 10-15 секунд между страницами, чтобы не провоцировать блокировки. Также проверяйте IP-адреса: если с одного роутера много запросов, сервисы могут подозревать ботов. Я раньше терял данные из-за этого.