Python爬虫入门教程 84

Python爬虫入门教程 84

写在前面

本篇博客内容其实和上一篇涉及的内容类似，都是爬虫管理平台。你可以通过搜索引擎找到爬虫管理平台的定义：

爬虫管理平台是一个一站式管理系统，集爬虫部署、任务调度、任务监控、结果展示等模块于一体，通常配有可视化 UI 界面，可以在 Web 端通过与 UI 界面交互来有效管理爬虫。爬虫管理平台一般来说是支持分布式的，可以在多台机器上协作运行。

目前在市场上流通的一些开源爬虫管理平台如下

• Scrapydweb 上篇博客介绍的，采用Flask+VUE实现，UI比较美观，支持scrapy日志解析、节点管理、定时任务、邮件提醒等功能，但是不支持scrapy以外的其他爬虫，比较遗憾。
• SpiderKeeper 本篇博客待介绍的，基于scrapyd，开源版的scrapyhub，同样不支持scrapy以外的爬虫。
• Gerapy 采用Django+VUE实现，该平台国内大佬开发，UI美观，支持的功能与Scrapydweb类似，后面单独写一篇博客给大家介绍一下。
• Grawlab 采用Golang+VUE 实现，该平台不局限于scrapy了，可以运行各种爬虫，不过部署比较复杂，后面依旧单独写一篇博客给大家分享。

spiderkeeper官网

github地址：