Apache DolphinScheduler

分布式易扩展的可视化工作流任务调度平台

分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

特性一览

  • 高可靠性

    去中心化的多Master和多Worker服务对等架构, 避免单Master压力过大,另外采用任务缓冲队列来避免过载

  • 简单易用

    DAG监控界面,所有流程定义都是可视化,通过拖拽任务完成定制DAG,通过API方式与第三方系统集成, 一键部署

  • 丰富的使用场景

    支持多租户,支持暂停恢复操作. 紧密贴合大数据生态,提供Spark, Hive, M/R, Python, Sub_process, Shell等近20种任务类型

  • 高扩展性

    支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worker支持动态上下线

事件 & 新闻

Apache DolphinScheduler 董事会报告:社区健康运行,Commit 增长 123%

自 2021 年 3 月 17 日从 Apache 孵化器毕业以来,Apache DolphinScheduler ...

2022-1-13

WorkflowAsCode 来了,Apache DolphinScheduler 2.0.2 惊喜发布

千呼万唤中,WorkflowAsCode 功能终于在 2.0.2 版本中如约上线...

2022-1-13

恭喜 Apache DolphinScheduler 入选可信开源社区共同体(TWOS)预备成员!

近日,可信开源社区共同体正式宣布批准 6 位正式成员和 3 位预备成员加入。其中...

2022-1-11