一文教会你基于 Rainbond 部署 DolphinScheduler 高可用集群
本文描述通过 Rainbond 云原生应用管理平台 一键部署高可用的 DolphinScheduler 集群,这种方式适合给不太了解 Kubernetes、容器化等复杂技术的用户使用,降低了在 Kubernetes 中部署 DolphinScheduler 的门槛。
前提条件
可用的 Rainbond 云原生应用管理平台,请参阅文档Rainbond 快速安装。
DolphinScheduler 集群一键部署
- 进入 Rainbond 的平台管理 -> 应用市场 -> 开源应用商店中搜索 dolphinscheduler 即可找到 DolphinScheduler 应用。
- 点击 DolphinScheduler 右侧的安装进入应用安装页面,填写对应的信息,点击确定即可开始安装,自动跳转至应用视图。
- 等待几分钟后,DolphinScheduler 集群就会安装完成,并运行起来。
- 点击应用内的访问按钮,即可通过 Rainbond 默认提供的域名访问 DolphinScheduler-API 组件,默认的用户密码是 admin/dolphinscheduler123。
API Master Worker 节点伸缩
DolphinScheduler API、Master、Worker 都支持伸缩多个实例,多个实例可以保证整个集群的高可用性。
以 Worker 为例,进入组件内 -> 伸缩,设置实例数量。
验证 Worker 节点,进入 DolphinScheduler UI -> 监控中心 -> Worker 查看节点信息。
配置文件
API 和 Worker 服务共用 /opt/dolphinscheduler/conf/common.properties
,修改配置时只需修改 API 服务的配置文件。
常见问题
如何支持 Python 3?
Worker 服务默认安装了 Python3,使用时可以添加环境变量 PYTHON_LAUNCHER=/usr/bin/python3
。
如何支持 Hadoop, Spark, DataX 等?
以 Datax 为例:
- 安装插件。Rainbond 团队视图 -> 插件 -> 从应用商店安装插件 -> 搜索 通用数据初始化插件 并安装。
- 开通插件。进入 Worker 组件内 -> 插件 -> 开通 通用数据初始化插件 ,并修改配置
- FILE_URL:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
- FILE_PATH:/opt/soft
- LOCK_PATH:/opt/soft
- 更新组件,初始化插件会自动下载 Datax 并解压到 /opt/soft目录下。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【直播预约】天翼云如何通过 DolphinScheduler 实现大数据自动化与全链路血缘,探索实践亮点!
在快速发展的云计算和大数据时代,如何打造一个高效、可靠、易扩展的分布式调度平台?天翼云给出了一个完美答案!在本期技术分享中,我们将邀请天翼云研发专家,带来关于天翼云翼MR加载Apache DolphinScheduler的实践经验和社区贡献的精彩演讲。 和很多用户一样,天翼云选择Apache DolphinScheduler 作为其核心调度平台,是看中了 DolphinScheduler 的易用性、高可靠性与扩展性,以及背后高质量社区的支持。 在天翼云的实践与计划中,DolphinScheduler 与翼MR大数据组件将无缝集成,为天翼云提供了更强的自动化调度能力和更精细的监控与运维功能。通过这一集成,天翼云不仅提升了业务流程的效率,还优化了大数据处理的自动化程度。 为了更好地满足客户需求,天翼云还针对DolphinScheduler 进行了多项二次开发,如结果集标准化、全链路血缘、第三方系统集成等,未来也将计划对 DolphinScheduler 进行进一步优化,持续提升平台的灵活性与智能化水平。 讲师介绍 本次活动的讲师是陆小龙,天翼云研发专家。Apache Linkis Comm...
- 下一篇
新手教程:用外部 PostgreSQL 和 Zookeeper 启动 Dolphinscheduler
本文将带你一步步通过外部PostgreSQL和Zookeeper来启动Apache DolphinScheduler。无论你是新手还是有经验的开发者,都能轻松跟着这些步骤在Linux/Unix环境中完成安装和配置。除了常见的安装步骤,我们还会分享一些集群部署的技巧,让你轻松扩展系统规模。 当然,如果遇到数据库连接、Zookeeper连接或者启动服务的问题,不用担心,文中也有详细的排查方案,帮你轻松搞定! 系统要求 操作系统:Linux/Unix (推荐CentOS 7+或Ubuntu 16.04+) Java环境:JDK 1.8+ 数据库:PostgreSQL 9.6+ 分布式协调服务:Zookeeper 3.4.6+ 内存:建议至少4GB 磁盘空间:建议至少10GB 准备工作 安装和配置PostgreSQL # 安装PostgreSQL (以CentOS为例) sudo yum install -y postgresql-server postgresql-contrib # 初始化数据库 sudo postgresql-setup initdb # 启动服务 sudo system...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题