首页 文章 精选 留言 我的

Azkaban3.81.x部署+坑

2020-05-02 825

Azkaban3.81.x部署+坑

目录

一、前提安装
1.1 Java1.8环境搭建
1.2 MySQL安装
1.3  git安装
1.4 下载azkaban
1.5 编译
 二、azkaban部署
2.1 在MySQL中创建azkaban数据库：
2.2 创建SSL配置：
2.3 部署 azkaban-web-server
2.4 部署 azkaban-exec-server
2.5 启动web-server和exec-server
2.6 访问https://ip:8443打开azkaban的web页面
 2.7 测试
三、遇到的问题
3.1、 找到guava-*.jar包版本过低，但在/lib/下的是0.21版本，不低了，根据排除可知找到系统中版本过低的而使用。
3.2 解决executor非active的问题

回到顶部
一、前提安装

1.1 Java1.8环境搭建
1) 下载jdk1.8并解压：

tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local

2) 添加Java环境变量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
3) 保存后刷新环境变量：

source /etc/profile

4) 检查Java是否配置成功，成功配置会有如下图所示。

java -version

1.2 MySQL安装
Ubuntu可以参考我的MySQL安装博文。

1.3  git安装

sudo apt-get install git

1.4 下载azkaban
从github选取版本下载azkaban：

https://github.com/azkaban/azkaban/releases
在这里我选取了azkaban-3.18.4版本：

wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz

解压：

tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/

cd /mnt/addDisk1/BigData/azkaban-3.84.4

1.5 编译
执行gradlew编译命令，跳过测试：

./gradlew distTar -x test

它会一下编译，直到编译成功，运行之后会生成5个压缩包，分别放在在azkaban-*/build/distributions/目录下：

azkaban-db-3.47.0-10-gdd67b02.tar.gz
azkaban-exec-server-3.47.0-10-gdd67b02.tar.gz
azkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gz
azkaban-solo-server-3.47.0-10-gdd67b02.tar.gz
azkaban-web-server-3.47.0-10-gdd67b02.tar.gz

接着把五个包分别解压在另外的目录下(/mnt/addDisk1/BigData/azkaban)，并重命名：

cd /mnt/addDisk1/BigData
tar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/
mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-server
mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server
mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server
mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db
mv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin

 二、azkaban部署

2.1 在MySQL中创建azkaban数据库：
create database azkaban;
grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';
flush privileges;
use azkaban;

将azkaban sql表结构导入mysql

source /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

2.2 创建SSL配置：

keytool -keystore keystore -alias jetty -genkey -keyalg RSA

运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下:

输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
[否]： y
密码在此我输入的是hadoop
输入的主密码

    （如果和 keystore 密码相同，按回车）：

再次输入新密码:
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目:

sudo mv keystore azkaban/azkaban-web-server

2.3 部署 azkaban-web-server

cd ./azkaban

sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/

cd ./azkaban-web-server/conf

配置azkaban.properties:

默认时区,已改为亚洲/上海 默认为美国

default.timezone.id=Asia/Shanghai
database.type=mysql #数据库类型

h2.path=./h2

h2.create.tables=true

mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码

jetty.use.ssl=true
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=hadoop #SSL文件密码
jetty.keypassword=hadoop #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=hadoop # SSL文件密码

执行服务器属性

executor.port=12321 #执行服务器端口

邮件设置 可不设计

mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录
配置log4j.properties（默认就可以了，如有其他需求可修改）:

log4j.rootLogger=INFO, Console
log4j.logger.azkaban=INFO, server
log4j.appender.server=org.apache.log4j.RollingFileAppender
log4j.appender.server.layout=org.apache.log4j.PatternLayout
log4j.appender.server.File=logs/azkaban-webserver.log
log4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
log4j.appender.server.MaxFileSize=102400MB
log4j.appender.server.MaxBackupIndex=2
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n
添加管理员用户:

sudo vim azkaban-users.xml







2.4 部署 azkaban-exec-server

cd /mnt/addDisk1/BigData/azkaban

sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/

cd ./azkaban-exec-server/conf

配置azkaban.properties：

sudo vim azkaban.properties

Azkaban

default.timezone.id=Asia/Shanghai #时区

Azkaban JobTypes 插件配置

azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置

Loader for projects

executor.global.properties=conf/global.properties
azkaban.project.dir=projects

数据库设置

database.type=mysql #数据库类型(目前只支持mysql)
mysql.port=3306 #数据库端口号
mysql.host=localhost #数据库IP地址
mysql.database=azkaban #数据库实例名
mysql.user=azkaba #数据库用户名
mysql.password=azkaba #数据库密码
mysql.numconnections=100 #最大连接数

执行服务器配置

executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与web服务中一致)
executor.flow.threads=30 #线程数
在azkaban-exec-server和azkaban-web-server安装目录下创建extlib目录，将lib目录下的mysql-connector-java-5.1.28.jar包拷备这extlib目录：

cd /mnt/addDisk1/BigData/azkaban

sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/

sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/

2.5 启动web-server和exec-server

./azkaban-exec-server/bin/start-exec.sh

./azkaban-web-server/bin/start-web.sh

2.6 访问https://ip:8443打开azkaban的web页面

 2.7 测试
回到顶部
三、遇到的问题

3.1、 找到guava-*.jar包版本过低，但在/lib/下的是0.21版本，不低了，根据排除可知找到系统中版本过低的而使用。
2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;
2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.(Status.java:40)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.(FetchActiveFlowDao.java:177)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102)
2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)
2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224)
解决方案： https://blog.csdn.net/andyguan01_2/article/details/88353889

vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh

将如下：
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$CLASSPATH:$file
done

改为：
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$file:$CLASSPATH
done

vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh

将如下：
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$CLASSPATH:$file
done

改为：
for file in $azkaban_dir/lib/*.jar;
do
CLASSPATH=$file:$CLASSPATH
done

3.2 解决executor非active的问题
解决方案：1）

cd ./azkaban/azkaban-exec-server/

curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

2）也可以通过在MySQL中修改：https://blog.csdn.net/JavaDestiny/article/details/90091118

参考：https://blog.csdn.net/niuchenliang524/article/details/80733890

作者：buildings

原文地址https://www.cnblogs.com/luengmingbiao/p/12820576.html

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/758587

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【万字长文】别再报班了，一篇文章带你入门Python

【万字长文】别再报班了，一篇文章带你入门Python 最近有许多小伙伴后台联系我，说目前想要学习Python，但是没有一份很好的资料入门。一方面的确现在市面上Python的资料过多，导致新手会不知如何选择，另一个问题很多资料内容也很杂，从1+1到深度学习都包括，纯粹关注Python本身语法的优质教材并不太多。 刚好我最近看到一份不错的英文Python入门资料，我将它做了一些整理和翻译写下了本文。这份资料非常纯粹，只有Python的基础语法，专门针对想要学习Python的小白。 注释Python中用#表示单行注释，#之后的同行的内容都会被注释掉。 Python中单行注释用#表示，#之后同行字符全部认为被注释。 使用三个连续的双引号表示多行注释，两个多行注释标识之间内容会被视作是注释。 """ 与之对应的是多行注释 用三个双引号表示，这两段双引号当中的内容都会被视作是注释 """基础变量类型与操作符Python当中的数字定义和其他语言一样： 获得一个整数 3 获得一个浮点数 10.0我们分别使用+, -, *, /表示加减乘除四则运算符。 1 + 1 # => 28 - 1 # =&...
2020-05-03
3460
上一篇

C# 基础知识系列- 14 IO篇 文件的操作

C# 基础知识系列- 14 IO篇 文件的操作 本篇继续前两篇内容，跟大家介绍一下Path类以及FileSystemInfo这个类的主要方法和属性。 上文提到，在《C# 基础知识系列-IO篇》之文件相关的内容完结之后，会带领大家开发一个小工具-快速检索文件所在目录。 1.3. PathPath的中文名称有路径的意思，所以Path类就是路径类，C#把Path设置为工具类，路径的实例被区分为文件和目录了。以下是它的定义： public static class Path路径是描述文件和目录的位置的字符串，路径并不一定指向硬盘上，换句话说就是路径不一定是物理路径也有可能是虚拟路径或者网络路径。在不同的操作系统和平台上，路径有着不同的表现，所以Path类是对不同平台行为的统一抽象。具体的路径表示需要参照具体的系统表示形式。 那么我们先来看看Path为我们提供了哪些内容，让我们一睹为快： 1.3.1 字段public static readonly char AltDirectorySeparatorChar;public static readonly char DirectorySepara...
2020-05-03
639
下一篇

相关文章

发表评论

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
SpringBoot4 HarmonyOS6 Gemini3 Service Mesh Redis Rocky Nacos3 Kubernetes Docker Jdk25 DeepSeek SpringCloud OpenAi

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册