Luigi是一个Python软件包,帮助你建立复杂的批处理作业管道,它可以处理依赖性解决、工作流管理、可视化、处理失败、命令行集成等等,Luigi的目的是解决通常与长期运行的批处理过程相关的所有管道问题。 功能介绍建立复杂的批处理作业管道 很容易建立起由成千上万个任务组成的长期运行的流水线。 Luigi帮助你把许多任务连接起来 Luigi负责大量的工作流程管理 你的数据管道不会在包含部分数据的状态下崩溃 使用Luigi的可视化器,你可以对工作流的依赖关系图有一个很好的可视化概述。
使用编程语言写的程序,由于每条指令都对应计算机一个特定的基本动作,所以程序占用内存少、执行效率高。
|
[温馨提示]:
点下面下载:(推荐使用"迅雷"进行下载,系统下载大全QQ交流群:)