Python爬虫：re解析

Python爬虫：re解析

Python爬虫：re解析

• 数据解析
• re解析
• python的re模块

数据解析

数据解析的三种方式

1. re解析
2. bs4解析
3. xpath解析

re解析

re:regular expression，正则表达式，一种使用表达式的方式对字符串进行匹配的语法规则。抓取的页面源代码本质是一个很长的字符串，因此可以用正则表达式。

元字符：具有固定含义的特殊字符，默认只匹配一个字符串。

常见的元字符：

量词：用来控制元字符出现的次数

贪婪匹配和惰性匹配

python的re模块

1.findall用于匹配字符串中所有的符合正则的内容

import re
lst = re.findall(r"d+","我的电话是：10086，你的电话是：10088")
print(lst)

结果：

['10086', '10088']

2.finditer匹配字符串中所有的内容，返回的是迭代器，从迭代器中拿到内容需要.group()

import re
it = re.finditer(r"d+","我的电话是：10086，你的电话是：10088")
for i in it :up())

结果：

10086
10010

3.search返回的是match对象，找到一个结果就返回，拿数据需要.group()

import re
s = re.search(r"d+","我的电话是：10086，你的电话是：10088")
up())

结果：

10086

4.match是从头开始匹配

import re
s = re.match(r"d+","我的电话是：10086，你的电话是：10088")
up())s = re.match(r"d+","10086，你的电话是：10088")
up())

结果：

第一个报错：nonetype第二个：10086

5.预加载正则表达式

import re
obj = repile(r"d+")it = obj.finditer("我的电话是：10086，你的电话是：10088")
for i in it :up())

结果：

10086
10088

6.单独获取正则中的内容

（?P<分组名字>正则）进一步提取正则中的内容

import re
s = """
<div class='jay'><span id='1'>周杰伦</span></div>
<div class='jj'><span id='2'>林俊杰</span></div>
<div class='jolin'><span id='3'>蔡依林</span></div>
"""
#re.S：让.能匹配换行符
obj = repile(r"<div class='.*?'><span id='(?P<id>d)+'>(?P<singer>.*?)</span></div>",re.S)result = obj.finditer(s)
for it in result:up("singer"))up("id"))

结果：

周杰伦
1
林俊杰
2
蔡依林
3