防爬虫

来源:互联网 发布:什么软件可以写软文 编辑:程序博客网 时间:2024/06/09 16:48

一些爬虫的弱智小问题

  • 通过agent去判断,如本应该是ios/android的请求,却携带windows、linux系统的useragent
  • 仅仅访问某个页面且频繁的用户可能是爬虫
  • 访问有频率
  • honeypots陷阱,一般是设置一些隐藏链接,如果有访问到这些链接的均不会是正常用户
0 0