Apache DolphinScheduler

分布式易扩展的可视化工作流任务调度平台

分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

特性一览

  • 高可靠性

    去中心化的多Master和多Worker服务对等架构, 避免单Master压力过大,另外采用任务缓冲队列来避免过载

  • 简单易用

    DAG监控界面,所有流程定义都是可视化,通过拖拽任务完成定制DAG,通过API方式与第三方系统集成, 一键部署

  • 丰富的使用场景

    支持多租户,支持暂停恢复操作. 紧密贴合大数据生态,提供Spark, Hive, M/R, Python, Sub_process, Shell等近20种任务类型

  • 高扩展性

    支持自定义任务类型,调度器使用分布式调度,调度能力随集群线性增长,Master和Worker支持动态上下线

事件 & 新闻

金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化

在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数。...

2022-5-25

3.0.0 alpha 重磅发布!九大新功能、全新 UI 解锁调度系统新能力

2022 年 4 月 22 日,Apache DolphinScheduler 正式宣布 3.0.0 alpha 版本发布!...

2022-4-25

极速开发扩充 Apache DolphinScheduler Task 类型 | 实用教程

目前在大数据生态中,调度系统是不可或缺的一个重要组件..

2022-4-14