Ответ в теме: А вы сталкивались с Скраббер?

Согласен с Дмитрий Прораб, всегда проверяйте частоту запросов к сайтам, чтобы избежать блокировки ботов.