Ответ в теме: А вы сталкивались с Скраббер?

#110199

Согласен с Дмитрий Прораб, всегда проверяйте частоту запросов к сайтам, чтобы избежать блокировки ботов.