Ответ в теме: А вы сталкивались с Скраббер?

[Аружан Бьюти]

Когда используешь скрабберы, обязательно проверяй репавтор — иногда он выдаёт дубликаты отзывов, что зря тратит время на обработку. Я фильтрую по дате и автору, чтобы избежать повторов. Также не забывай тестировать скорость работы — если скраббер тормозит, возможно, стоит уменьшить количество одновременно парсируемых страниц.