urllib库的使用（三）

urllib库的使用（三）

异常处理

urllib的error模块定义了由request模块产生的异常。如果出现了问题，request模块便会抛出error模块中定义的异常。

1. URLError：

（1）来自urllib库的error模块，他继承自OSError类，是error异常模块的基类，由request模块产生的异常都可以通过它处理
（2）reason属性，返回错误原因

from urllib import request,error
try:response = request.urlopen('')
except error.URLError as e:ason)

运行结果：

[Errno 11001] getaddrinfo failed

异常处理：避免程序异常终止，同时异常得到了有效处理。

2. HTTPError：

（1）是URLError的子类，专门用来处理HTTP请求错误，比如认证请求失败等
（2）三个属性：
　　　　code：返回http状态码,比如404表示网页不存在，500表示服务器内部错误等。
　　　　reason：返回错误的原因
　　　　headers：返回请求头

HTTPError的父类，所以可以先选择捕获子类的错误，再去捕获父类的错误。

from urllib import request, errortry:response = request.urlopen('')
except error.HTTPError as e:ason, e.code, e.headers)   # 输出reason、code、headers属性# 这是一个比较好的异常处理方法
# 可以先捕获子类异常再捕获父类异常
from urllib import request, errortry:response = request.urlopen('')
except error.HTTPError as e:ason, e.code, e.headers)
except error.URLError as e:ason)
else:print('Request Successfully')

解析链接

urllib库里还提供了parse模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取、合并以及链接转换。它支持如下协议的URL处理：file、ftp、gopher、hd、http、https、imap、mailto、mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、sip、sips、snews、svn、svn+ssh、telnet和wais。

urlparse：将网址拆分成不同意义的字典

urllib.parse.urlparse(urlstring, scheme=’’, allow_fragments=True)

• url: 必填项，即待解析的URL
• scheme: 它是默认的协议（比如http和https）,假如这个链接没有带协议信息，会将这个作为默认的协议。
• allow_fragments: 即是否忽略fragment,如果它被设置为False，fragment部分就会被忽略，它会被解析为path、parameters或者query的一部分，而fragment部分为空。

#网址，协议类型，锚点链接

from urllib.parse import urlparse
#解析网址
result = urlparse('.html;user?id=5#comment')
print(type(result), result)from urllib.parse import urlparse
result = urlparse('www.baidu/index.html;user?id=5#comment', scheme='https')
print(result)from urllib.parse import urlparse
result = urlparse('.html;user?id=5#comment', scheme='https')
print(result)from urllib.parse import urlparse
result = urlparse('.html;user?id=5#comment', allow_fragments=False)
print(result)from urllib.parse import urlparse
result = urlparse('.html#comment', allow_fragments=True)

urlunparse：urlparse的反编译

它接受的参数是一个可迭代对象，但是*它的长度必须是6，*否则会抛出参数数量不足或者过多的问题。

from urllib.parse import urlunparse
#urlparse的反函数
data = ['http', 'www.baidu', 'index.html', 'user', 'a=6', 'comment']  # 长度必须为6
print(urlunparse(data))

运行结果：

.html;user?a=6#comment

urlsplit()

urlsplit()方法和urlparse()方法非常相似，只不过它不再单独解析params这一部分，而将params会合并到path中，只返回5个结果。

urlunsplit()

urlunsplit()与urlunparse()类似，它也是将链接各个部分组合成完整链接的方法，传人的参数也是一个可迭代对象，例如列表、元组等，唯一的区别是长度必须为5。

urljoin：拼接网址， 实现链接的解析、拼合与生成。

提供一个base_url（基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析base_url的scheme、netloc和path这3个内容并对新链接缺失的部分进行补充，最后返回结果。可以发现，base_url（提供了三项内容scheme、netloc和path。如果这3项在新的链接里不存在，就予以补充。如果新的链接存在，就使用新的链接的部分。而base_url（中的params、query和fragment是不起作用的）。
【注】两个都有取最新的，不全的话互补

from urllib.parse import urljoin
#用来拼接url
print(urljoin('', 'FAQ.html'))
print(urljoin('', '.html'))
print(urljoin('.html', '.html'))
print(urljoin('.html', '.html?question=2'))
print(urljoin('=abc', '.php'))
print(urljoin('', '?category=2#comment'))
print(urljoin('www.baidu', '?category=2#comment'))
print(urljoin('www.baidu#comment', '?category=2'))

运行结果：

.html
.html
.html
.html?question=2
.php
=2#comment
www.baidu?category=2#comment
www.baidu?category=2

urlencode：把一个字典对象转换成get请求参数

在构造GET请求参数的时候很有用，将字典序列化为GET请求参数。有时为了更加方便地构造参数，我们会事先用字典来表示。要转化为URL的参数时，只需要调用该方法即可。

from urllib.parse import urlencode
#把一个字典对象转换成get请求参数
params = {'name': 'germey','age': 22
}
base_url = '?'
url = base_url + urlencode(params)
print(url)

运行结果：

=germey&age=22

parse_qs() 将一串GET请求参数，转为字典

from urllib.parse import parse_qs
query = 'name=germey&age=22'
print(parse_qs(query))

运行结果：

{'name': ['germey'], 'age': ['22']}

parse_qsl() 将参数，转为元组组成的列表

from urllib.parse import parse_qsl
query = 'name=germey&age=22'
print(parse_qsl(query))

运行结果：

[('name', 'germey'), ('age', '22')]

quote()

将内容转化为URL编码的格式，因为URL有中文编码格式时，可能会出现乱码，用它可以转化
　　
unquote()

进行URL解码

分析Robots协议

Robots协议

也称网络爬虫协议，机器人协议，它的全称叫做：网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以爬取，哪些不可以爬取，它通常是一个叫文本文件，一般放在网站的根目录下

robotparse()

botparser import RobotFileParser
robotparser = RobotFileParser()#首先创建RobotFileParser对象，然后通过set_url()方法设置了“”的链接
# 或 robotparser = RobotFileParser('.txt')
robotparser.set_url('.txt')
ad()
print(robotparser.can_fetch('*', ''))  # 判断是否可以被爬取
print(robotparser.can_fetch('*', "=python&page=1&type=collections"))

运行结果：
False
False

看一个“”的样例：

User-agent: *
Disallow: /
Allow: /public/

• User-agent:描述了搜索爬虫的名称，User-agent: *则代表该协议对任何爬取爬虫有效，
  User-agent:Baiduspider我们设置的规则对百度爬虫是有效的，如果有多条User-agent记录，则就会有多个爬虫会受到爬取限制，但至少需要指定一条。

• Disallow指定了不允许抓取的目录，比如上例子中设置为/则代表不允许抓取所有页面。

• Allow一般和Disallow一起使用，一般不会单独使用，用来排除某些限制。对所有搜索爬虫，设置为/public/，则表示所有页面不允许抓取，但可以抓取public目录。

将上述内容保存成“”文件，放在网站的根目录下，和网站的入口文件（比如index.php、index.html和index.jsp等）放在一起。

禁止所有爬虫访问任何目录的代码如下：

User-agent:*
Disallow:/

允许所有爬虫访问任何目录的代码如下：

User-agent:*
Disallow：

禁止所有爬虫访问网站某些目录的代码如下：

User-agent:*
Disallow:/private/
Disallow:/tmp/

只允许某一个爬虫访问的代码如下：

User-agent:webCrawler Disallow：User-agent:*
Disallow:/

obotparser模块，该模块提供了一个RobotFileParser类
声明

botparser.RobotFileParser(url='')

在声明时不传入，默认为空，最后再使用set_url()方法设置一下
　
此类的常用方法：

• set_url()　　设置文件的链接，如果在创建RobotFileParser对象时传入了链接，那么就不需要再用这个方法。
• read()　　读取文件并分析，不会返回任何内容，但是执行了读取和分析操作。，如果不调用这个方法，后面的判断都会为False，一定要调用这个方法。
• parse()　　解析文件，如果传入的参数是“”某些行的内容，那么它会按照“”的语法规则去分析。
• can_fetch()　　传入两个参数，第一个是User-Agent，第二个是抓取的URL，返回是否可抓取，返回值为True或False。
• mtime()　　返回上回抓取和分析“”的时间，如果想要长时间分析和抓取的搜索爬虫的话，要用 mtime() ，此时就需要定期检查来抓取最新的“”。
• modified()　　想要长时间分析和抓取的搜索爬虫的话，，将当前时间设置为上次抓取和分析“”文件的时间