Apache DolphinScheduler

分布式易扩展的可视化工作流任务调度平台

分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

特性一览

  • 高可靠性

    去中心化的多Master和多Worker服务对等架构, 避免单Master压力过大,另外采用任务缓冲队列来避免过载

  • 简单易用

    DAG监控界面,所有流程定义都是可视化,通过拖拽任务完成定制DAG,通过API方式与第三方系统集成, 一键部署

  • 丰富的使用场景

    支持多租户,支持暂停恢复操作. 紧密贴合大数据生态,提供Spark, Hive, M/R, Python, Sub_process, Shell等近20种任务类型

  • 高扩展性

    支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worker支持动态上下线

事件 & 新闻

Wenjun Ruan:如何成为Apache DolphinScheduler Committer

7.29,来自 eBay 的 Wenjun 同学正式成为Apache DolphinSchedulerCommitter,此文将为大家分享他的开源旅程,以及他是如何成为DolphinScheduler的Committer

2021-07-29

Apache DolphinScheduler(Incubating) 1.3.0新特性及Roadmap路线直播

Apache DolphinScheduler(Incubating) 1.3.0新特性及Roadmap路线在线直播,700多人在线

2020-05-26

Apache ShardingSphere & DolphinScheduler联合Meetup成功举行

Apache ShardingSphere & DolphinScheduler联合Meetup 2019年12月8日在北京成功举行。

2019-12-13

Apache Dolphin Scheduler(Incubating) Meetup 成功举行

Apache Dolphin Scheduler(Incubating) Meetup 2019年10月26日在上海成功举行。

2019-9-27

一个分布式易扩展的可视化DAG工作流任务调度系统

一个分布式易扩展的可视化DAG工作流任务调度系统

May 12nd,2018

DolphinScheduler 开发者大会在北京成功举行

DolphinScheduler 开发者大会在北京成功举行

May 12nd,2018

我们的用户

用户评论

  • 提供了一个优秀的调度产品,节省了近百人月的开发成本。友好的社区沟通环境,提供了强大的后援支持。

    —— 联通数字科技 架构师 尹正军