教你如何用python来爬取电影天堂上面的电影

教你如何用python来爬取电影天堂上面的电影

1.首先导入需要的模块

import requests
from bs4 import BeautifulSoup
import csv
2.获取网页，并解析结果

def html_parser(url_start):
#获取html
try:
headers={‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36’} #模拟浏览器登入
(url_start,headers=headers,timeout=10) #获取网页
except:
pass
#print(r.status_code)
else:
html = r.content.decode(‘gb2312’,‘ignore’) #解码gb2312，忽略其中有异常的编码，仅显示有效的编码

    #print(len(html))          #解析网页
soup = BeautifulSoup(html,'lxml')                                
for li in soup.select('.co_area2 li'):