百度新闻正确采集方式

百度新闻正确采集方式

如果要抓取新闻数据，必须要确定要抓取的新闻目标网站。国内有许多新闻网站，大大小小有几千家新闻网站。百度就收录差不多两千多个新闻网站。其实我们可以先采集百度新闻。
百度新闻就是一个新闻聚集网页，里面有许多新闻的标题和链接。我们只需要通过百度新闻提取新闻的数据下载。

通过这个流程，我们可以做个简单的爬虫代码：
使用requests下载百度新闻首页，提取标题，也就是网页中的链接，然后提取新闻链接，然后下载新闻链接保存到数据库。
#! -- encoding:utf-8 --

import requests
import random# 要访问的目标页面
targetUrl = ""# 要访问的目标HTTPS页面
# targetUrl = ""# 代理服务器(产品官网 www.16yun)
proxyHost = "t.16yun"
proxyPort = "31111"# 代理验证信息
proxyUser = "username"
proxyPass = "password"proxyMeta = "%(user)s:%(pass)s@%(host)s:%(port)s"