一、项目简介

分布式易扩展的可视化工作流任务调度系统

二、实现功能

易于部署

DolphinScheduler提供四种部署方式，以满足不同场景下的部署需求：

Standalone：适用于单节点环境，快速部署，无需复杂的配置。

Cluster：支持在多节点环境下部署，可以实现高可用和负载均衡。

Docker：提供Docker镜像，可以轻松在Docker容器中部署。

Kubernetes：支持在Kubernetes集群中部署，利用Kubernetes的优势实现自动化部署和管理。

易于使用

DolphinScheduler提供多种创建和管理工作流的方式，确保用户可以选择最适合自己的方式：

Web UI：提供直观友好的Web界面，用户可以通过图形化界面轻松创建和管理工作流。

Python SDK：支持使用Python SDK进行编程式创建和管理工作流，方便开发人员集成到自己的应用程序中。

Yaml文件：用户可以通过编写Yaml文件定义工作流，实现对工作流的版本控制和复用。

Open API：提供开放的API接口，支持通过编程方式进行工作流的创建和管理，与其他系统集成更加方便。

高可靠高可用

DolphinScheduler采用多主多从的去中心化架构，具有高可靠性和高可用性，保证系统稳定运行：

多主多从架构：采用去中心化的架构设计，避免单点故障，提高系统的可靠性和可用性。

原生支持横向扩展：支持根据需求动态扩展集群规模，保证系统在负载增加时依然能够提供稳定的性能和服务。

高性能

DolphinScheduler具有出色的性能表现，比其他编排平台快N倍，可以轻松应对大规模任务调度需求：

每天可支持千万级任务：经过性能优化和调整，DolphinScheduler能够稳定高效地执行大规模任务，保证任务调度的及时性和准确性。

Cloud Native

DolphinScheduler是一个Cloud Native的工作流调度系统，具有跨云和数据中心的能力，满足多云环境下的工作流编排需求：

支持编排多云/数据中心工作流：无论是在公有云、私有云还是混合云环境下，DolphinScheduler都能够灵活地管理和调度工作流，实现跨平台的工作流编排。

支持自定义任务类型：用户可以根据自己的需求扩展和定制任务类型，满足不同场景下的任务调度需求。

版本控制和状态控制

DolphinScheduler提供丰富的工作流和任务管理功能，包括版本控制和状态控制：

对工作流和工作流实例进行版本控制：用户可以随时查看和管理工作流的历史版本，方便进行回滚和恢复。

多种状态控制：支持对工作流和任务的多种状态控制，包括随时暂停、停止和恢复，确保任务的执行受到有效管理和控制。

多租户支持

DolphinScheduler支持多租户管理，确保不同用户或组织之间的资源隔离和权限控制：

支持对项目、资源和数据源进行权限控制：用户可以灵活地设置不同用户或组织对项目、资源和数据源的访问权限，保障系统安全和稳定运行。

其他功能

除了上述主要特性外，DolphinScheduler还提供一系列其他功能，包括：

回填支持：提供Web UI原生支持，方便用户查看和分析任务执行的历史记录和日志。

完善的项目、资源和数据源管理：用户可以对项目、资源和数据源进行细粒度的管理和配置，确保系统的资源得到有效利用和管理。

三、技术选型

Spring Boot

mybatis

Redis

docker

主页：项目和工作流概览，包括最新的工作流实例和任务实例状态统计。

工作流定义： 通过拖拉拽创建和管理工作流，轻松构建和维护复杂的工作流。

工作流树状图： 抽象的树形结构可以更清晰地理解任务之间的关系

数据源： 支持管理多种外部数据源，为MySQL、PostgreSQL、Hive、Trino等，并提供统一的数据访问能力。

监控：实时查看master、worker和数据库的状态，包括服务器资源使用情况和负载情况，无需登录服务器即可快速进行健康检查。

私信回复：69