pyspider 介绍 - pycon2014@北京
- 2. 来源于真实的垂搜引擎 100个站点 • 脚本驱动 • 任务管理、模板失效监控 • 运行状态监控 5分钟内更新 • 定时任务 • 根据最近更新时间调度
- 3. pyspider 功能架构 • Python脚本驱动 • WebUI • MySQL，MongoDB，SQLite持 久化后端 • 组件可替换、单机/分布式、 Docker • 强大的调度机制 • 支持JavaScript页面
- 5. processor - 脚本执行 • 完全的python • Web下编写，Web下调试 • 通过API完全控制调度、抓取 • 脚本间通信、调用
- 6. fetcher - 抓取器 • 基于 tornado 的异步抓取 • 完整的抓取控制，从 method 到 timeout • 支持JavaScript执行渲染（ 通过 phantomjs ）
- 7. scheduler - 调度器 • 任务优先级 • 流量控制 • 周期定时任务 • 按照过期时间调度 • 按照前链标记调度（例如更新时间） • 失败重试
- 8. 脚本编辑和调试
- 9. Dashboard • 任务列表 • 任务状态 • 流量配额 • 最近5分钟、1小时、1天、总任务计数
- 10. • 最近活动的任务 • 任务历史 • 产出结果