前言

本文系统梳理 Apache DolphinScheduler 3.3.2 各服务（master/worker/api/alert/standalone）目录、JVM、数据源、注册中心、存储、Quartz、环境变量及日志等关键配置项、默认值与作用，为部署调优提供一站式参考。

目录结构

├── LICENSE
│
├── NOTICE
│
├── licenses                                    # licenses存放目录
│
├── bin                                         # DolphinScheduler命令和环境变量配置存放目录
│   ├── dolphinscheduler-daemon.sh              # 启动/关闭DolphinScheduler服务脚本
│   ├── env                                     # 环境变量配置存放目录
│   │   ├── dolphinscheduler_env.sh             # 当使用`dolphinscheduler-daemon.sh`脚本起停服务时，运行此脚本加载环境变量配置文件 [如：JAVA_HOME,HADOOP_HOME, HIVE_HOME ...]
│
├── alert-server                                # DolphinScheduler alert-server命令、配置和依赖存放目录
│   ├── bin
│   │   └── start.sh                            # DolphinScheduler alert-server启动脚本
│   │   └── jvm_args_env.sh                     # DolphinScheduler alert-server jvm参数配置脚本
│   ├── conf
│   │   ├── application.yaml                    # alert-server配置文件
│   │   ├── bootstrap.yaml                      # Spring Cloud 启动阶段配置文件, 通常不需要修改
│   │   ├── common.properties                   # 公共服务（存储等信息）配置文件
│   │   ├── dolphinscheduler_env.sh             # alert-server环境变量配置加载脚本
│   │   └── logback-spring.xml                  # alert-service日志配置文件
│   └── libs                                    # alert-server依赖jar包存放目录
│
├── api-server                                  # DolphinScheduler api-server命令、配置和依赖存放目录
│   ├── bin
│   │   └── start.sh                            # DolphinScheduler api-server启动脚本
│   │   └── jvm_args_env.sh                     # DolphinScheduler api-server jvm参数配置脚本
│   ├── conf
│   │   ├── application.yaml                    # api-server配置文件
│   │   ├── bootstrap.yaml                      # Spring Cloud 启动阶段配置文件, 通常不需要修改
│   │   ├── common.properties                   # 公共服务（存储等信息）配置文件
│   │   ├── dolphinscheduler_env.sh             # api-server环境变量配置加载脚本
│   │   └── logback-spring.xml                  # api-service日志配置文件
│   ├── libs                                    # api-server依赖jar包存放目录
│   └── ui                                      # api-server相关前端WEB资源存放目录
│
├── master-server                               # DolphinScheduler master-server命令、配置和依赖存放目录
│   ├── bin
│   │   └── start.sh                            # DolphinScheduler master-server启动脚本
│   │   └── jvm_args_env.sh                     # DolphinScheduler master-server jvm参数配置脚本
│   ├── conf
│   │   ├── application.yaml                    # master-server配置文件
│   │   ├── bootstrap.yaml                      # Spring Cloud 启动阶段配置文件, 通常不需要修改
│   │   ├── common.properties                   # 公共服务（存储等信息）配置文件
│   │   ├── dolphinscheduler_env.sh             # master-server环境变量配置加载脚本
│   │   └── logback-spring.xml                  # master-service日志配置文件
│   └── libs                                    # master-server依赖jar包存放目录
│
├── standalone-server                           # DolphinScheduler standalone-server命令、配置和依赖存放目录
│   ├── bin
│   │   └── start.sh                            # DolphinScheduler standalone-server启动脚本
│   │   └── jvm_args_env.sh                     # DolphinScheduler standalone-server jvm参数配置脚本
│   ├── conf
│   │   ├── application.yaml                    # standalone-server配置文件
│   │   ├── bootstrap.yaml                      # Spring Cloud 启动阶段配置文件, 通常不需要修改
│   │   ├── common.properties                   # 公共服务（存储等信息）配置文件
│   │   ├── dolphinscheduler_env.sh             # standalone-server环境变量配置加载脚本
│   │   ├── logback-spring.xml                  # standalone-service日志配置文件
│   │   └── sql                                 # DolphinScheduler元数据创建/升级sql文件
│   ├── libs                                    # standalone-server依赖jar包存放目录
│   └── ui                                      # standalone-server相关前端WEB资源存放目录
│  
|
├── tools                                       # DolphinScheduler元数据工具命令、配置和依赖存放目录
│   ├── bin
│   │   └── upgrade-schema.sh                   # DolphinScheduler元数据创建/升级脚本
│   ├── conf
│   │   ├── application.yaml                    # 元数据工具配置文件
│   │   └── common.properties                   # 公共服务（存储等信息）配置文件
│   ├── libs                                    # 元数据工具依赖jar包存放目录
│   └── sql                                     # DolphinScheduler元数据创建/升级sql文件
│  
|
├── worker-server                               # DolphinScheduler worker-server命令、配置和依赖存放目录
│   ├── bin
│   │   └── start.sh                        # DolphinScheduler worker-server 启动脚本
│   │   └── jvm_args_env.sh                 # DolphinScheduler worker-server jvm参数配置脚本
│   ├── conf
│   │   ├── application.yaml                # worker-server配置文件
│   │   ├── bootstrap.yaml                  # Spring Cloud 启动阶段配置文件, 通常不需要修改
│   │   ├── common.properties               # 公共服务（存储等信息）配置文件
│   │   ├── dolphinscheduler_env.sh         # worker-server环境变量配置加载脚本
│   │   └── logback-spring.xml              # worker-service日志配置文件
│   └── libs                                # worker-server依赖jar包存放目录
│
└── ui                                          # 前端WEB资源目录

启动脚本配置

dolphinscheduler-daemon.sh

dolphinscheduler-daemon.sh 脚本负责 DolphinScheduler 的启动&关闭。start-all.sh/stop-all.sh 最终也是通过 dolphinscheduler-daemon.sh 对集群进行启动/关闭操作。目前 DolphinScheduler 只是做了一个基本的设置，JVM 参数请根据各自资源的实际情况自行设置。

默认简化参数如下：

export DOLPHINSCHEDULER_OPTS="
-server
-Xmx16g
-Xms1g
-Xss512k
-XX:+UseConcMarkSweepGC
-XX:+CMSParallelRemarkEnabled
-XX:+UseFastAccessorMethods
-XX:+UseCMSInitiatingOccupancyOnly
-XX:CMSInitiatingOccupancyFraction=70
"

注意事项：

• 不建议设置 "-XX:DisableExplicitGC"，DolphinScheduler 使用 Netty 进行通讯，设置该参数可能会导致内存泄漏。
• 如果设置 "-Djava.net.preferIPv6Addresses=true" 将会使用 ipv6 的 IP 地址
• 如果设置 "-Djava.net.preferIPv4Addresses=true" 将会使用 ipv4 的 IP 地址
• 如果都不设置，将会随机使用 ipv4 或者 ipv6

数据库连接配置

在 DolphinScheduler 中使用 Spring Hikari 对数据库连接进行管理，配置文件位置：

默认配置

注意： DolphinScheduler 同样可以通过设置环境变量进行数据库连接相关的配置，将以上小写字母转成大写并把.换成_作为环境变量名，设置值即可。

注册中心配置

DolphinScheduler 默认使用 Zookeeper 进行集群管理、容错、事件监听等功能，配置文件位置：

默认配置

注意：

• DolphinScheduler 同样可以通过 bin/env/dolphinscheduler_env.sh 进行 Zookeeper 相关的配置
• 如果使用 etcd 作为注册中心，详细请参考链接
• 如果使用 jdbc 作为注册中心，详细请参考链接

common.properties 配置

common.properties 配置文件目前主要是配置 hadoop/s3/yarn/applicationId 收集相关的配置，配置文件位置：

默认配置

Api-server 相关配置

位置： api-server/conf/application.yaml

Master Server 相关配置

位置： master-server/conf/application.yaml

Worker Server 相关配置

位置： worker-server/conf/application.yaml

Alert Server 相关配置

位置： alert-server/conf/application.yaml

Quartz 相关配置

这里面主要是 quartz 配置，请结合实际业务场景&资源进行配置，本文暂时不做展开，配置文件位置：

默认配置

Quartz 线程池配置差异

Master Server 的 Quartz 线程池默认配置：

Api Server 的 Quartz 线程池配置：

因为 Api Server 不会启动 Quartz Scheduler 实例，只会作为 Scheduler 客户端使用，因此它的 Quartz 线程池将会使用 QuartzZeroSizeThreadPool。QuartzZeroSizeThreadPool 不会启动任何线程。

dolphinscheduler_env.sh 环境变量配置

通过类似 shell 方式提交任务的的时候，会加载该配置文件中的环境变量到主机中。涉及到的 JAVA_HOME 任务类型的环境配置，其中任务类型主要有：Shell 任务、Python 任务、Spark 任务、Flink 任务、Datax 任务等等。

# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/opt/soft/java}

# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER=${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER=${DATAX_LAUNCHER:-/opt/soft/datax/bin/datax.py}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH

# applicationId auto collection related configuration, the following configurations are unnecessary if setting appId.collect=log
export HADOOP_CLASSPATH=`hadoop classpath`:${DOLPHINSCHEDULER_HOME}/tools/libs/*
export SPARK_DIST_CLASSPATH=$HADOOP_CLASSPATH:$SPARK_DIST_CLASS_PATH
export HADOOP_CLIENT_OPTS="-javaagent:${DOLPHINSCHEDULER_HOME}/tools/libs/aspectjweaver-1.9.7.jar":$HADOOP_CLIENT_OPTS
export SPARK_SUBMIT_OPTS="-javaagent:${DOLPHINSCHEDULER_HOME}/tools/libs/aspectjweaver-1.9.7.jar":$SPARK_SUBMIT_OPTS
export FLINK_ENV_JAVA_OPTS="-javaagent:${DOLPHINSCHEDULER_HOME}/tools/libs/aspectjweaver-1.9.7.jar":$FLINK_ENV_JAVA_OPTS

日志相关配置