反爬研究

反爬研究

文章目录

• • 1. 时间戳防盗链
  • • 1.1 时间戳防盗链原理
    • 1.2 时间戳防盗链鉴权过程(七牛云)
    • 1.3 时间戳防盗链处理方案(无CDN)
  • 2. referer防盗链
  • • 2.1 防盗链
    • 2.2 使用场景
    • 2.3 访问链接来源
    • 2.4 防盗链过滤器处理
  • 3. 防盗链其他方案
  • 4. 参考文档

1. 时间戳防盗链

1.1 时间戳防盗链原理

1. 时间戳防盗链的目的是使得每个请求的 url 都具有一定的 “时效性”，所以 url 本身需要携带过期时间相关的信息，同时还需要确保这个过期时间不能被恶意修改，因此采用 md5 算法，将 key、过期时间、文件路径等信息进行加密得到签名加入 url，并在 CDN 节点进行验证。

1.2 时间戳防盗链鉴权过程(七牛云)

1. 客户端：负责发送原始请求给客业务服务器以及发送带时间戳加密的 url 给 CDN 节点进行验证；
2. 源站业务服务器：根据约定的算法生成带签名参数的 url 返回给客户端；
3. CDN 节点：负责对客户端进行时间、签名校验。

1.3 时间戳防盗链处理方案(无CDN)

1. 前端根据参数key、过期时间T、url访问路径实现

2. 流程方案

1、前端定义key并获取key值。
2、前端获取当前时间戳并+2000s
3、获取URL(一般写死)
4、前端根据key、url、过期时间t使用md5生成签名
5、前端发起请求，增加sign参数和过期时间t
6、后端获取url和商定的key和时间t生成签名，并与前的传递的sign进行比较。
7、如果相同且时间没有过期，则通过校验，否则校验失败

3. 时间戳防盗链的好处

1、存在时间有效期，防止爬虫爬取
2、增加爬虫的破解成本

2. referer防盗链

2.1 防盗链

1. 所谓防盗链是指防止其他web站点页面通过连接本站点的页面来访问本站点内容，这样对于本站点来说侵犯了本站点的版权

2.2 使用场景

1. 图片、音频、等文件防止其他网站引用，譬如CSDN无法直接引用语雀的图片等
2. 提升爬虫的爬取成本

2.3 访问链接来源

1. 地址栏输入链接地址。如地址栏上输入=1001.2014.3001.5502
2. 其他站点上的应用程序的页面上通过链接本站点页面资源，如(www.123/content.jsp页面上有一链接指向=1001.2014.3001.5502)；
3. 本站点上的页面资源连接到本站点的另外的页面资源。如(=1001.2014.3001.5502页面上有一链接指向=1001.2014.3001.5502)；

其中这三种用户的第一种和第二种属于非法用户，需要防止这些用户

2.4 防盗链过滤器处理

1. 防盗链过滤器

public class RefererServlet extends HttpServlet {//防盗链public void doGet(HttpServletRequest request, HttpServletResponse response)throws ServletException, IOException {//referer为客户端带来的请求头       String referer = Header("Referer");System.out.println(referer);//如果链接出自地址栏的输入，则跳转至本站点RequestAndResponse应用的首页if (referer==null) {System.out.println("由于您访问的内容版权所有，您是地址栏上输入的链接，即将跳转至本站首页...");response.sendRedirect("/RequestAndResponse/index.jsp");return ;}//如果链接出自本站点的RequestAndResponse应用的页面，则正常显示，如果是出自其他站点或本站点的其他应用，则跳转至本站点RequestAndResponse应用的首页if(!referer.startsWith("/")){System.out.println("由于您访问的内容版权所有，您是其他网站页面的链接，即将跳转至本站首页...");response.sendRedirect("/RequestAndResponse/index.jsp");return ;}else {System.out.println("来自本站页面的链接,合法用户");RequestDispatcher("content.jsp").forward(request, response);}}public void doPost(HttpServletRequest request, HttpServletResponse response)throws ServletException, IOException {doGet(request, response);}}

3. 防盗链其他方案

1. 使用登录验证
2. 使用动态cookie
3. 使用图形验证码
4. 使用动态文件名
5. 擅改资源内容
6. 打包下载

4. 参考文档

1. CDN和DNS的区别：.html
2. CDN和DNS区别：
3. 时间戳防盗链：