新手教程：用外部 PostgreSQL 和 Zookeeper 启动 Dolphinscheduler

本文将带你一步步通过外部PostgreSQL和Zookeeper来启动Apache DolphinScheduler。无论你是新手还是有经验的开发者，都能轻松跟着这些步骤在Linux/Unix环境中完成安装和配置。除了常见的安装步骤，我们还会分享一些集群部署的技巧，让你轻松扩展系统规模。

当然，如果遇到数据库连接、Zookeeper连接或者启动服务的问题，不用担心，文中也有详细的排查方案，帮你轻松搞定！

系统要求

• 操作系统：Linux/Unix (推荐CentOS 7+或Ubuntu 16.04+)
• Java环境：JDK 1.8+
• 数据库：PostgreSQL 9.6+
• 分布式协调服务：Zookeeper 3.4.6+
• 内存：建议至少4GB
• 磁盘空间：建议至少10GB

准备工作

1. 安装和配置PostgreSQL

# 安装PostgreSQL (以CentOS为例) sudo yum install -y postgresql-server postgresql-contrib # 初始化数据库 sudo postgresql-setup initdb # 启动服务 sudo systemctl start postgresql sudo systemctl enable postgresql # 创建DolphinScheduler数据库和用户 sudo -u postgres psql -c "CREATE USER dolphinscheduler WITH PASSWORD 'yourpassword';" sudo -u postgres psql -c "CREATE DATABASE dolphinscheduler OWNER dolphinscheduler;" sudo -u postgres psql -c "GRANT ALL PRIVILEGES ON DATABASE dolphinscheduler TO dolphinscheduler;" # 修改pg_hba.conf配置 sudo vi /var/lib/pgsql/data/pg_hba.conf # 添加或修改以下行： host all all 0.0.0.0/0 md5 # 修改postgresql.conf配置 sudo vi /var/lib/pgsql/data/postgresql.conf # 修改listen_addresses为： listen_addresses = '*' # 重启PostgreSQL sudo systemctl restart postgresql 

2. 安装和配置Zookeeper

# 下载Zookeeper wget https://downloads.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar -xzf apache-zookeeper-3.7.1-bin.tar.gz mv apache-zookeeper-3.7.1-bin /opt/zookeeper # 配置Zookeeper cd /opt/zookeeper/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg # 修改数据目录和添加服务器配置(如果是集群) dataDir=/opt/zookeeper/data # 单机模式不需要修改server配置 # 创建数据目录 mkdir /opt/zookeeper/data # 启动Zookeeper /opt/zookeeper/bin/zkServer.sh start 

安装和配置DolphinScheduler 3.1.9

1. 下载和解压

wget https://downloads.apache.org/dolphinscheduler/3.1.9/apache-dolphinscheduler-3.1.9-bin.tar.gz tar -xzf apache-dolphinscheduler-3.1.9-bin.tar.gz mv apache-dolphinscheduler-3.1.9-bin /opt/dolphinscheduler 

2. 修改配置文件 修改common.properties

vi /opt/dolphinscheduler/conf/common.properties 

修改以下配置：

# 数据库配置 spring.datasource.driver-class-name=org.postgresql.Driver spring.datasource.url=jdbc:postgresql://your-postgresql-server:5432/dolphinscheduler spring.datasource.username=dolphinscheduler spring.datasource.password=yourpassword # Zookeeper配置 registry.plugin.name=zookeeper registry.plugin.type=zookeeper registry.servers=your-zookeeper-server:2181 

修改环境变量(可选)

vi /opt/dolphinscheduler/conf/env/dolphinscheduler_env.sh 

添加或修改Java环境变量：

export JAVA_HOME=/usr/java/jdk1.8.0_291 export PATH=$JAVA_HOME/bin:$PATH 

3. 初始化数据库

/opt/dolphinscheduler/script/create-dolphinscheduler.sh 

4. 启动服务 启动Master Server

/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start master-server 

启动Worker Server

/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start worker-server 

启动API Server

/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start api-server 

启动Alert Server

/opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start alert-server 

验证安装

1. 检查进程状态：

ps -ef | grep dolphinscheduler 

2. 访问Web UI： 默认端口：12345 访问URL：http://your-server-ip:12345/dolphinscheduler 默认用户名/密码：admin/dolphinscheduler123

集群部署指南

集群模式部署步骤

如果需要部署为集群模式，需要按照以下步骤进行操作：

1. 多节点部署Worker Server

节点要求

• 在至少3个节点（建议奇数个）上重复Worker Server的安装过程
• 每个节点需要相同的安装包版本，确保组件版本一致性
• 服务器硬件配置建议：
  • CPU: 4核以上
  • 内存: 8GB以上
  • 磁盘: 100GB以上（根据业务数据量调整）

示例部署方案

• 节点1（主节点）：Master Server + Worker Server
  • IP: 192.168.1.101
  • 角色: 主控节点+工作节点
• 节点2（工作节点）：Worker Server
  • IP: 192.168.1.102
  • 角色: 工作节点
• 节点3（工作节点）：Worker Server
  • IP: 192.168.1.103
  • 角色: 工作节点

安装注意事项 1. 在每个节点上执行相同的安装脚本 2. 确保所有节点的安装路径一致 3. 检查各节点间的网络连通性（建议使用ping/telnet测试）

2. 配置registry.servers

详细配置步骤

1. 修改所有节点上的common.properties配置文件
   • 文件路径：/opt/your_app/conf/common.properties
2. 将registry.servers设置为Zookeeper集群地址
3. 格式示例：

registry.servers=zk1:2181,zk2:2181,zk3:2181 

配置验证

1. 使用zkCli.sh连接Zookeeper验证配置是否正确

./zkCli.sh -server zk1:2181 

2. 检查节点注册情况：

ls /your_app/nodes 

3. 时间同步配置

详细时间同步方案

所有节点必须保持时间同步（误差不超过1秒），建议配置如下：

NTP服务配置步骤

1. 安装NTP服务：

yum install -y ntp 

2. 配置NTP服务器（以阿里云NTP为例）：

ntpdate ntp.aliyun.com 

3. 设置自动同步：

# 设置开机启动 systemctl enable ntpd # 启动服务 systemctl start ntpd 

4. 验证时间同步：

ntpq -p date 

备选时间同步方案

如果无法连接外网NTP服务器，可配置内网时间服务器：

1. 指定一台服务器作为时间服务器
2. 其他节点同步该服务器时间
3. 配置示例：

ntpdate 192.168.1.100 

时间同步注意事项

• 建议配置crontab定期同步时间

*/5 * * * * /usr/sbin/ntpdate ntp.aliyun.com >/dev/null 2>&1 

• 对于金融等对时间敏感的系统，建议误差控制在100毫秒以内

常见问题解决方案

数据库连接失败排查

1. PostgreSQL远程连接配置

• 检查pg_hba.conf文件，确保包含类似配置：

host all all 0.0.0.0/0 md5 

• 修改后需重启PostgreSQL服务

2. 验证凭据

• 使用psql命令行测试连接：

psql -h [host] -U [username] -d [database] 

• 确认密码输入正确

3. 防火墙检查

• 检查节点间5432端口是否开放：

firewall-cmd --list-all 

• 如需开放：

firewall-cmd --zone=public --add-port=5432/tcp --permanent firewall-cmd --reload 

Zookeeper连接问题排查

1. 基础连接测试

   • 使用telnet测试连接：

   * telnet your-zookeeper-server 2181 

   • 成功应显示"Connected to your-zookeeper-server"

2. 日志检查

   • 查看Zookeeper日志：

   tail -f /var/log/zookeeper/zookeeper.log 

   • 常见问题：
     • 磁盘空间不足
     • 内存配置过低
     • 集群节点未正确配置

服务启动失败排查

1. 日志分析

   • 检查主日志文件：

   tail -n 100 /opt/dolphinscheduler/logs/dolphinscheduler-api.log 

   • 检查各组件日志：

   /opt/dolphinscheduler/logs/ ├── dolphinscheduler-alert-server.log ├── dolphinscheduler-api-server.log ├── dolphinscheduler-master-server.log └── dolphinscheduler-worker-server.log 

2. Java环境验证

   检查Java版本：

   java -version 

   • 要求：JDK 1.8+
   • 检查JAVA_HOME配置：

   echo $JAVA_HOME 

   检查内存配置：

   jmap -heap <pid> 

3. 端口冲突检查

   • 查看端口使用情况：

   netstat -tunlp | grep [port] 

   • 默认端口：
     • Master Server: 5678
     • Worker Server: 1234
     • API Server: 12345

原文链接：https://blog.csdn.net/NIIT0532/article/details/149217318