ScrapydWeb(爬虫管理平台)是一个用于Scrapyd集群管理的web应用,支持Scrapy日志分析和可视化,支持Scrapyd集群管理、日志可视化、定时任务、邮件通知、移动端UI! 功能介绍 Scrapyd 集群管理 支持所有 Scrapyd JSON API 支持通过分组和过滤来选择若干个节点 一次操作, 批量执行 Scrapy 日志分析 数据统计 进度可视化 日志分类 增强功能 自动打包项目 集成 LogParser 定时器任务 监控和警报 移动端 UI web UI 支持基本身份认证 使用编程语言写的程序,由于每条指令都对应计算机一个特定的基本动作,所以程序占用内存少、执行效率高。 |