Не гадай, а найди того, кто знает Вчера болтали с классными фаундерами и обсуждали такую ситуацию: они парсят и эмулируют работу пользователей на одном сайте-агрегаторе и их постоянно блочат. И мы размышляли какие эвристики надо применить, чтоыб поведение бота было больше похоже на настоящее (сайт не хочет договариваться по хорошему) Но потом возникла мысль, что надо просто найти разработчика из этой компании и нанять/расспросить его про механизмы защиты от ботов ) Иногда самый простой способ - не гадать, а спросить у тех, кто знает. Например, как выше, или у своего пользователя, откуда он пришел или почему сделал так, как сделал удачи нам, экономическим исследователям (привет Полу Грэму)