selenium爬取苏宁易购平台某产品的评论

目录

selenium的介绍

1、 selenium是什么？ 

2、selenium的工作原理

3、如何使用selenium？

webdriver浏览器驱动设置

关键步骤

代码

运行结果

注意事项

---

selenium的介绍

1、 selenium是什么？ 

    用于Web应用程序测试的工具。可以驱动浏览器执行特定操作，自动按照脚本
    代码做出点击，输入，打开，验证等操作，就像真实用户所做的一样。
    支持的浏览器包括IE，Firefox，Safari，Chrome，Opera等。

2、selenium的工作原理

    浏览器具有webdriver驱动,这个驱动是根据不同的浏览器开发的，
    不同的浏览器使用不同的webdriver驱动程序且需要对应相应的浏览器版本，
    webdriver驱动程序可以通过浏览器内核控制浏览执行指定命令

3、如何使用selenium？

使用前准备： a、安装selenium库  b、驱动浏览器的内核驱动
a、安装selenium，使用pip install selenium -i pypi.mirrors.ustc.edu/simple/
                或在pycharm中安装
b、chrome内核驱动地址    360浏览器使用的就是chrome的内核，QQ浏览器使用IE，IE，
leapis/index.html  

首先确定你的浏览器是使用哪个内核？？
    windows系统：下载下来的文件解压后放置在python安装地址的Scripts中
    Linux和Mac系统：同上，注意：系统存在2个Python版本，确定当前运行的python
                    版本配置在环境变量中

爬取苏宁易购平台某款产品的优质评论与差评

webdriver浏览器驱动设置

webdriver具备多种不同浏览器的驱动，
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser= webdriver.Safari()
其中.chrome.webdriver import WebDriver as Chrome定义了别名，Chrome代表WebDriver

关键步骤

1. 初始化浏览器驱动：

   • 使用 selenium 的 Options 对象配置 Edge 浏览器，例如可以设置无界面模式。
   • 初始化 webdriver.Edge，启动浏览器。

2. 抓取优质评价：

   • 打开优质评价的 URL。
   • 使用 find_elements 查找所有评价内容，并将其保存到文件 优质评价1.txt。
   • 点击“下一页”按钮，循环抓取所有页的评论内容。

3. 抓取差评：

   • 打开差评的 URL。
   • 使用 find_elements 查找所有差评内容，并将其保存到文件 差评.txt。
   • 点击“下一页”按钮，循环抓取所有页的差评内容。

4. 关闭浏览器：

   • 完成抓取后，调用 driver.quit() 关闭浏览器。

代码

from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdrivermon.by import By
import time

# 创建 Edge 浏览器选项对象
options = Options()
# 在这里可以添加各种选项，例如：
# options.add_argument('--headless')  # 无界面模式

# 使用修改后的参数传递方式初始化 Edge 浏览器驱动
driver = webdriver.Edge(options=options)

# 抓取优质评价
('review.suning/cluster_cmmdty_review/cluster-38249278-000000012389328846-0000000000-1-good.htm?originalCmmdtyType=general&safp=d488778a.10004.loverRight.166')

# 打开文件，用于保存优质评价内容
yzpj_file = open('优质评价1.txt', 'w', encoding='utf-8')

def get_py_content(file):
    # 查找所有包含评价内容的元素
    pj_elements_content = driver.find_elements(By.CLASS_NAME, 'body-content')
    # 遍历每个元素，将文本内容写入文件
    for i in range(len(pj_elements_content)):
        file.write(pj_elements_content[i].text + 'n')

# 获取第一页的评论内容
get_py_content(yzpj_file)

# 查找下一页按钮
next_elements = driver.find_elements(By.XPATH, '//*[@class="next rv-maidian "]')
print(next_elements)

# 循环点击下一页，获取所有页的评论内容
while next_elements:
    next_element = next_elements[0]
    time.sleep(1)  # 等待页面加载
    next_element.click()  # 点击下一页
    get_py_content(yzpj_file)  # 获取当前页的评论内容
    next_elements = driver.find_elements(By.XPATH, '//*[@class="next rv-maidian "]')  # 重新查找下一页按钮

# 关闭优质评价文件
yzpj_file.close()

# 抓取差评
('review.suning/cluster_cmmdty_review/cluster-38249278-000000012389328846-0000000000-1-bad.htm?originalCmmdtyType=general&safp=d488778a.10004.loverRight.166')

# 打开文件，用于保存差评内容
cpj_file = open('差评.txt', 'w', encoding='utf-8')

def get_cp_content(file):
    # 查找所有包含差评内容的元素
    pj_elements_content = driver.find_elements(By.CLASS_NAME, 'body-content')
    # 遍历每个元素，将文本内容写入文件
    for i in range(len(pj_elements_content)):
        file.write(pj_elements_content[i].text + 'n')

# 获取第一页的差评内容
get_cp_content(cpj_file)

# 查找下一页按钮
next_elements = driver.find_elements(By.XPATH, '//*[@class="next rv-maidian "]')
print(next_elements)

# 循环点击下一页，获取所有页的差评内容
while next_elements:
    next_element = next_elements[0]
    time.sleep(2)  # 等待页面加载
    next_element.click()  # 点击下一页
    get_cp_content(cpj_file)  # 获取当前页的差评内容
    next_elements = driver.find_elements(By.XPATH, '//*[@class="next rv-maidian "]')  # 重新查找下一页按钮

# 关闭差评文件
cpj_file.close()

# 关闭浏览器
driver.quit()

运行结果

1）优质评价

2）差评

注意事项

1. 浏览器驱动：

   • 确保已安装正确版本的 Microsoft Edge 驱动程序，并将其路径添加到系统环境变量中。

2. 网页动态加载：

   • 使用 time.sleep() 等待页面加载，避免因页面未完全加载而导致错误。

3. 文件编码：

   • 打开文件时指定 encoding='utf-8'，避免写入内容时出现乱码。

4. XPath 定位：

   • 确保 XPath 表达式正确，能够定位到“下一页”按钮。如果网页结构发生变化，需要调整 XPath。

5. 无界面模式：

   • 如果需要无界面运行，可以取消注释 options.add_argument('--headless')。