Ответ в теме: А вы сталкивались с Скраббер?

Я использую скрабберы уже несколько лет и рекомендую всегда проверять частоту запросов к сайтам, чтобы избежать блокировки ботов.