爬虫中教你如何爬取自己喜欢博主所写文章标题及网址

爬虫中教你如何爬取自己喜欢博主所写文章标题及网址

每日分享：

怎么判断一个人是否合适呢？我觉得，一个合适的人会让你看到和得到全世界，而一个不合适的人会让你失去全世界

博主页面例如下：

1. 在该页面抓包，并找到如下包：

 2. 复制它的网址url，观察每一页的网址，发现url的前面都一样，就最后的数字不同；并复制user-agent，请求为get请求。

3. 找到网页中的a标签（包括title和link），方便抓取标题和链接：

注意：本来应该40个结果，而text()之后有80个（如下图）：（所以爬虫代码中列表索引为1，（0没有内容））

 观察网址，不缺东西且是40个，没有问题：（爬虫代码中列表索引正常写为0即可）

 源码如下：（博主博客页数决定循环数）

import requests
from lxml import etreei = 1
# 我访问的博主博客一共23页，观察每一页的网址发现前面都一样，就最后的数字不同
for i in range(24):url = '/{}'.format(i)headers = {'user-agent': '填自己的user-agent内容'}response = (url, headers=headers)data = t# 去除注释（浏览器给你的内容会注释很多有用代码）data = data.decode().replace('<!--', '').replace('-->', '')html = etree.HTML(data)# 找到网页中的a标签（包括title和link）el_list = html.xpath('//*[@id="articleMeList-blog"]/div[2]/div/h4/a')# 输出一页有多少个print(len(el_list))# 每一页爬取的结果放到列表里data_list = []for el in el_list:data_list.append(el.xpath('./text()')[1])data_list.append(el.xpath('./@href')[0])# 写入txt文件中f = open(&#', 'a', encoding='utf-8')for j in data_list:f.write(j)f.close()print(data_list)

结果部分截图如下：