爬虫与反爬是一对相生相克的死对头,道高一丈魔高一尺。
作为爬虫的一方,如果知道了某个站点的数据自增 ID,那么就能轻而易举把整个站点都爬下来。
是不是有点耸人听闻,你去看很多大站例如油管、P 站等,他们都不会轻易把业务的自增 ID 暴露出来,而是用一种可逆的 hash 字符串替代。
其中,最常用的 ID 混淆就是 Hashids。
Hashids 是一个小型的开放源代码库,可以将数字生成很短的、唯一的、非顺序的字符 ID。
例如可以数字 347 转换为 “yr8” 字符串,你还可以将字符串 ID 进行解码恢复成数字。
下面就来看看咋使用的
pip install hashids
首选初始化一个 hashids 实例
from hashids import Hashids hashids = Hashids()
>>> id = h
本文发布于:2024-02-08 19:49:10,感谢您对本站的认可!
本文链接:https://www.4u4v.net/it/170739308068480.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
留言与评论(共有 0 条评论) |