python ip动态代理

python ip动态代理

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

动态代理IP，简单来说这个IP会随时随机发生变化，不是固定的，就是动态代理IP。动态代理IP一般会有网络爬虫用户使用。

动态IP分为长效代理和短效代理：

长效代理代理IP：支持采集数据或者游戏挂机等许多业务，由于网络爬虫采集的数据量比较大，很少会选择长效代理，长效代理IP就相当于本地IP一样，访问一个网站久了自然IP也会被限制，而且采集的量非常小。不利于爬虫使用。

短效代理IP：支持数据抓取、seo优化、 APP刷量，问答推广等许多业务。一般是网络爬虫用户选择动态短效代理IP的比较多。爬虫的业务量大，使用动态短效代理IP去进行数据采集的话，能大大提高业务效率。

爬虫用户使用动态代理IP好处：

1、解决了工作中的各种问题

2、降低了成本，提高了业务效率

动态代理IP分为透明代理，匿名代理，高匿代理。以此可以看出代理IP的质量强度。对于网络爬虫来说可以根据自己的需求来购买定制需要动态IP。

高匿代理自然也是动态代理IP类型中质量最好的一种，不少的企业爬虫用户都会选择隧道转发的高匿爬虫代理IP来给业务提供需要，保证自己的业务效果和质量。

透明代理和匿名代理虽然也是代理IP，但是大大降低的爬虫业务的进展和效率，所以网络爬虫选择隧道转发的爬虫代理才是正确选择。

对于网络爬虫来说，动态ip代理是非常合理的出现，也是因为有需求，才会选择高质量的爬虫代理IP

const http = require("http");

const url = require("url");

// 要访问的目标页面

const targetUrl = "";

const urlParsed = url.parse(targetUrl);

// 代理服务器(产品官网 )

const proxyHost = "t.16yun";

const proxyPort = "36600";

// 生成一个随机 proxy tunnel

var seed = 1;

function random() {

var x = Math.sin(seed++) * 10000;

return x - Math.floor(x);

}

const tunnel = random()*100;

// 代理验证信息

const proxyUser = "username";

const proxyPass = "password";

const base64 = new Buffer.from(proxyUser + ":" + proxyPass).toString("base64");

const options = {

host: proxyHost,

port: proxyPort,

path: targetUrl,

method: "GET",

headers: {

"Host": urlParsed.hostname,

"Proxy-Tunnel": tunnel,

"Proxy-Authorization" : "Basic " + base64

}

};