Selenium抓取百度首页TOP6新闻标题链接

Selenium抓取百度首页TOP6新闻标题链接

注意点：

1. 安装chromedriver

在淘宝镜像上下载一个和自己Google浏览器版本一样的Chromedriver, 推荐放在 同一目录下

2.提取标签中的属性内容

    -- .get_attribute('标签属性')

3.提取标签中的text内容

    -- text

4.使用 unquote() 对URL进行解码

    -- link = unquote(link)

from selenium import webdriver
import time
from urllib.parse import  unquote# 计算机中的绝对位置
# "C:Program Files (x86)GoogleChrome"
driver = webdriver.Chrome("C:")
# 请求网站
("")
# 最大化窗口
driver.maximize_window()
# 获取当前访问的url
url = driver.current_url
print('现在的网址是:', url)
# 显示网页源码
html = driver.page_source
# 将源码保存以便观察
with open('html.html','w', encoding='utf-8') as f:f.write(html)
# 获取cookie
# cookie = _cookies()
# cookie = {i['name']:i['value'] for i in cookie}
# print('获取到的cookie：n', cookie)
time.sleep(5)
# 用selenium自带的定位功能定位信息
url = driver.find_elements_by_xpath('//a[@class="title-content c-link c-font-medium c-line-clamp1"]')
# 创建个空字典准备存放信息
item = {}
# 遍历获取到的信息进行清洗
for i in url:item_news = {}# element返回的是一个对象，不能直接在xpath中使用.text方法,要在结尾使用number = i.find_element_by_xpath('.//span').textnews = i.find_element_by_xpath('.//span[@class="title-content-title"]').text# 同理，获取属性标签的时候不能直接//href，要用.get_attribute('href')方法link = i.get_attribute('href')# url解码item_news[news] = unquote(link)item[int(number)] = item_news
# 将字典排序
item_list = sorted(item.items())
# 输出结果
for i in item_list:print('热度排名:', i[0], end='t')print(list(i[1].keys())[0])print(list(i[1].values())[0])
# print('首页新闻', text)
time.sleep(3)