Ubuntu 22 下 DolphinScheduler 3.x 伪集群部署实录
本文记录了在 Ubuntu 22.04 上部署 Apache DolphinScheduler(伪集群模式)的完整过程,涵盖环境准备、安装配置、数据库初始化、用户创建及服务启动等步骤。适合个人学习、功能验证或测试使用。
环境准备
1. 安装 Java 8
DolphinScheduler 目前仅支持 Java 8 或 Java 11,不兼容 Java 17 及以上版本。这里选择安装 OpenJDK 8:
sudo apt update
sudo apt install openjdk-8-jdk -y
配置环境变量,可写入/etc/profile.d/java.sh或用户 .bashrc文件:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
验证 Java 安装:
java -version
2. 安装 ZooKeeper
ZooKeeper 是 DolphinScheduler 的注册中心组件,所有 Master 和 Worker 节点都依赖它进行调度与注册。
建议先单机部署一个 ZooKeeper 服务。
简单步骤如下:
# 下载并解压
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.9.3/apache-zookeeper-3.9.3-bin.tar.gz
tar -xzf apache-zookeeper-3.9.3-bin.tar.gz
mv apache-zookeeper-3.9.3-bin /opt/zookeeper
# 创建配置文件
cp /opt/zookeeper/conf/zoo_sample.cfg /opt/zookeeper/conf/zoo.cfg
# 启动服务
/opt/zookeeper/bin/zkServer.sh start
3. 安装PostgreSQL
使用官方 APT 源在 Ubuntu 22.04 上安装 PostgreSQL。
部署 DolphinScheduler
1. 下载并解压安装包
从官网下载对应版本的二进制安装包,也可以直接使用命令:
wget https://dlcdn.apache.org/dolphinscheduler/3.2.1/apache-dolphinscheduler-3.2.1-bin.tar.gz
tar -xzf apache-dolphinscheduler-3.2.1-bin.tar.gz
mv apache-dolphinscheduler-3.2.1-bin dolphinscheduler
cd dolphinscheduler
2. 修改配置文件
DolphinScheduler 启动时会读取 bin/env/dolphinscheduler_env.sh中的环境变量配置。根据你的环境修改以下内容:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# 数据库配置
export DATABASE=postgresql
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME=dolphinscheduler
export SPRING_DATASOURCE_PASSWORD=dolphinscheduler
# ZooKeeper 注册中心
export REGISTRY_TYPE=zookeeper
export REGISTRY_ZOOKEEPER_CONNECT_STRING=localhost:2181
# 其他通用配置
export SPRING_CACHE_TYPE=none
export SPRING_JACKSON_TIME_ZONE=UTC
Hadoop、Spark、Flink 等任务相关配置可按需注释或保留默认值。
3. 创建部署用户
为 DolphinScheduler 创建独立的系统用户:
sudo useradd -m -d /home/dolphinscheduler -s /bin/bash dolphinscheduler
echo "dolphinscheduler:dolphinscheduler" | sudo chpasswd
设置 sudo 免密权限(推荐用 sudoers.d 方式):
echo "dolphinscheduler ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/dolphinscheduler
chmod 440 /etc/sudoers.d/dolphinscheduler
给当前安装目录授权:
sudo chown -R dolphinscheduler:dolphinscheduler dolphinscheduler
初始化数据库(PostgreSQL)
DolphinScheduler 默认不会自动初始化数据库结构,因此推荐手动执行 SQL 脚本。否则在首次启动时会因为表不存在而报错。
数据库创建步骤如下:
sudo -u postgres psql
-- 创建用户与数据库
CREATE USER dolphinscheduler WITH PASSWORD 'dolphinscheduler';
CREATE DATABASE dolphinscheduler OWNER dolphinscheduler;
\q
然后执行初始化脚本:
psql -U dolphinscheduler -d dolphinscheduler -f tools/sql/postgresql/dolphinscheduler_postgresql.sql
如果你找不到 SQL 文件,可在源码或 GitHub release 分支中找到,路径通常是:
dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sql
启动服务
切换到部署用户,进入 DolphinScheduler 安装目录后,依次启动以下模块:
su - dolphinscheduler
cd ~/dolphinscheduler
# 启动各模块
bash bin/dolphinscheduler-daemon.sh start master-server
bash bin/dolphinscheduler-daemon.sh start worker-server
bash bin/dolphinscheduler-daemon.sh start api-server
bash bin/dolphinscheduler-daemon.sh start logger-server
验证部署
- 打开浏览器访问:http://<服务器IP>:12345/dolphinscheduler
- 默认账号密码:admin / dolphinscheduler123
- 查看日志排错:日志文件在 logs/ 目录下,包含所有模块的启动与运行信息。
总结
参考链接:
- DolphinScheduler 官网 https://dolphinscheduler.apache.org/zh-cn/
- 3.2.2 安装文档(伪集群) https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/guide/installation/pseudo-cluster
- PostgreSQL 官方文档 https://www.postgresql.org/docs/
- ZooKeeper 官方下载 https://zookeeper.apache.org/releases.html
- GitHub SQL 初始化路径示例 https://github.com/apache/dolphinscheduler/blob/3.2.2-release/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sqlhttps://github.com/apache/dolphinscheduler/blob/3.2.2-release/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_postgresql.sql
原文链接:https://blog.csdn.net/kaka_buka/article/details/149511194
关注公众号
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
超节点架构创新,开源开放共筑全场景算力底座
[中国,上海,2025年9月18日] 在华为全联接大会2025期间,华为董事、ICT BG CEO杨超斌发表了“超节点架构创新,开源开放共筑全场景算力底座”的主题演讲,宣布推出创新的超节点架构,发布标卡、模组、服务器、集群等多款最新的超节点产品,与产业界共筑坚实全场景算力底座。 杨超斌表示:“基于灵衢互联协议,华为开创了超节点架构,可将多台物理机器深度互联,实现逻辑层面像一台机器一样学习、思考与推理,重新定义了高效、稳定、可扩展的大规模有效算力新范式。昇腾围绕超节点架构持续创新,打造全系列超节点产品,满足大型数据中心、企业级数据中心和小型工作站等全场景算力需求,让超节点技术惠及每个行业。同时,华为坚持硬件开放、软件开源,支持伙伴打造面向行业的超节点场景化解决方案,加速开发者高效自主创新,共建繁荣生态。” 华为董事、ICT BG CEO杨超斌发表主题演讲 开创超节点架构,释放集群规模算力的潜能 AI技术与应用快速迭代演进,对算力有效性和时延的要求不断提升。传统服务器堆叠的模式,可能带来集群规模越大,算力利用率越低,训练中断越频繁的困境。 依托灵衢,华为开创的超节点架构具备资源池化、规模扩...
-
下一篇
从“分散”到“统一”,中控技术利用SeaTunnel构建高效数据采集框架,核心数据同步任务0故障运行!
作者 | 崔俊乐 引言:对企业而言,数据采集的核心挑战从来不仅仅是“同步”,而是如何在大规模、多元异构的复杂环境下,保障数据的准确性、完整性和时效性。本文将深入探讨中控技术基于 Apache SeaTunnel 构建企业级数据采集框架的实践,重点分享集群高可用配置、性能调优、容错机制及数据质量监控等方面的具体思考与方案。 1、困境:烟囱林立的采集架构与高昂的运维代价 作为深度赋能流程工业的工业AI平台型公司,中控技术的全球业务不断发展,目前已拥有近40多家全球子公司,服务超35000家全球客户。业务的不断扩张对数据工作提出了更高要求:数据不仅要“算得快”,更要“落得准”。为此,我们搭建了流批分离的大数据平台以应对复杂场景。然而,平台本身的复杂度却反向加剧了数据采集、开发和运维的难度,特别是在数据采集这一源头环节,我们面临着严峻挑战: (1)架构复杂,烟囱林立:我们过去长期依赖多种工具拼凑的方案(如使用Sqoop进行批式数据同步至HDFS,借助Maxwell/StreamSets处理数据库增量日志并写入Kafka/Kudu)。这种“打补丁”式的架构使得技术栈碎片化,维护成本高昂。 (2)...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker容器配置,解决镜像无法拉取问题
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题


微信收款码
支付宝收款码