Ответ в теме: А вы сталкивались с Скраббер?

[Кирилл Барбер]

Скрабберы — это супер, но не забывай про IP-ротацию — если боты часто засекаются, переключай IP-адреса каждые 5-10 запросов. Также проверяй, какие сайты блокируют пользовательские агенты — иногда проще обойтись ручным сбором там, где автомат не пройдет. Настраивай тайм-ауты на запросы — не давай серверам подумать, что ты бот, иначе рискуешь попасть в черные списки. Для сложных площадок помогает задержка между запросами — 2-3 секунды. А если конкуренты активно используют чёрный сейл, не удивляйся, если данные будут неполными или искаженными Напишите менеджеру @raotza в Telegram.