pyspider框架使用方法——以爬取樱花动漫网为例。

阅读: 评论:0

pyspider框架使用方法——以爬取樱花动漫网为例。

pyspider框架使用方法——以爬取樱花动漫网为例。

本篇文章内容:
1.pyspider框架使用方法
2.爬取樱花动漫网url,存到数据库。
3.源代码。

1.pyspider框架使用方法
安装和配置的过程,就不介绍了。参考官方文章。
如果你是在window下安装就直接下载源码就好。gthub源码。

安装好后运行,在linux下命令行执行

python3 run.py

window下运行安装包的 run.py
如果在命令行下反馈没有报错,就成功使用默认配置运行了pyspider。
你可以用浏览器访问 127.0.0.1:5000或者localhost:5000 ,也就是本机端口5000,如果是在云端服务上配置的,需要确保你对应的端口已经开启。
以阿里云服务器为例,你可以在

添加打开5000端口

在pyspider正常启动的情况下,浏览器访问超时,多数是因为上述端口没有打开。
到此,如果都没问题即可看到pyspider的网页界面。

你可以在这管理你正在运行的项目。
点击create,填写项目名称和起始站点就完成了项目的创建。

项目的删除方法
将要删除项目的group改为delete,status改为stop,等待24小时,即可删除。
快速删除可以修改配置文件 config.json,路径一般在/etc/pyspider/config.json
vim config.json
在scheduler下,修改delete_time,下面是3秒即删。

{   "scheduler":{"delete-time":3}
}

创建完项目后,即可以看到默认的项目格式。

左边是显示界面,右边是编写的项目代码。
crawl_config是配置参数,你可以参照官方文档添加自己配置参数。

def on_start(self):
awl(‘START_URL’, callback=self.index_page)
on_start是执行项目时第一个被调用的函数,__START_URL__是项目起始的url,这里即是樱花动漫的索引目录。awl这里表示将项目起始的url代入index_page函数中执行。

def index_page(self, response):
for each in response.doc(‘a[href^=“http”]’).items():
awl(each.attr.href, callback=self.detail_page)

index_page是项目的第二次筛选工具,即从__START_URL__获取更多更详细的url进行爬取。
上述表示将当前url中所有的链接返回给detail_page

def detail_page(self, response):return {"url": response.url,"title": response.doc('title').text(),}

def detail_page是最后把要爬取的页面进行处理,返回爬取的内容。

2.爬取樱花动漫网url,存到数据库。

这个就是我们需要爬取的页面 起始的url,你可看到他一共有7000多条记录,592页。
所以我们的爬取思路就是将每一页翻页的url反馈给index_page,每一个番剧页面的url反馈给detail_page做进一步处理。
再打开数据库将爬取内容保存。
你可用pypider提供的标签提取工具,提取url的标签。
点击 run 在follow里,选择执行的页面点击绿色箭头,选择wed表示方式,即可看到当前页面,再选择enable css sellector helper 选择你要爬取的标签,即可在页面上看到标签路径,点击 前进键 即可输出目标路径。你也可以用自己熟悉的提取方法,有时候enable css sellector helper 会失效。


3.源代码。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-08-20 12:50:04
# Project: dilidilifrom pyspider.libs.base_handler import *
import re
import pymysqlclass Handler(BaseHandler):crawl_config = {}#连接数据库def __init__(self):config = {'host':'你的数据库地址','port':3306,'user':'你的数据库用户名','password':'你的数据库密码','database':'你的数据库名','charset':'utf8mb4',}# 连接数据库self.db = t(**config)def add_Mysql(self,url, title):try:cursor = self.db.cursor()sql = 'insert into dilidili_db(url, title) values ("%s","%s")' % (url, title);   #插入数据库的SQL语句print(ute(sql)print(cursor.lastrowid)self.dbmit()except Exception as e:print(e)llback()@every(minutes=24 * 60)def on_start(self):awl('.asp?page=3&fl=0&pl=time', callback=self.index_page)@config(age=10 * 24 * 60 * 60)def index_page(self, response):for each in response.doc('.l h2 > a').items():awl(each.attr.href, callback=self.detail_page)for each in response.doc('.pages > a').items():print(awl(each.attr.href, callback=self.index_page)@config(priority=2)def detail_page(self, response):url = response.urltitle = response.doc('title').text()self.add_Mysql(url, title)  #插入数据库return {"url": response.url,"title": response.doc('title').text(),}

如果不需要保存数据,将相关代码删除即可。
保存后返回管理界面,将status设置为running或debug,点击run,如果项目没有保存即可在Results看到爬取内容


如果想要pyspider 24小时运行,循环爬取网页,就需要用Supervisor监控进程管理pyspider。
Supervisor也是pyspider推荐的管理程序,你可理解为专门管理软件的软件,它能保持pyspider一直运行在它停止时重新启动pyspider,就像保姆一样。
你可以参考这篇文章关于Supervisor的配置,不过,这里并不是分布式部署,所以没有将pyspider的功能分开管理。更详细的方法,你可看Supervisor的说明文档。
在网页端,我们可以用将对数据库搜索返回爬取内容。

本文发布于:2024-02-04 19:53:48,感谢您对本站的认可!

本文链接:https://www.4u4v.net/it/170715234459047.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:樱花   为例   使用方法   动漫网   框架
留言与评论(共有 0 条评论)
   
验证码:

Copyright ©2019-2022 Comsenz Inc.Powered by ©

网站地图1 网站地图2 网站地图3 网站地图4 网站地图5 网站地图6 网站地图7 网站地图8 网站地图9 网站地图10 网站地图11 网站地图12 网站地图13 网站地图14 网站地图15 网站地图16 网站地图17 网站地图18 网站地图19 网站地图20 网站地图21 网站地图22/a> 网站地图23