Ответ в теме: А вы сталкивались с Скраббер?

[Сергей Ремонт]

Я использую скрабберы уже несколько лет и рекомендую всегда проверять частоту запросов к сайтам, чтобы избежать блокировки ботов.