kafka + jstorm版本升级安装（三）-低调大师

kafka + jstorm版本升级安装（三）

2017-11-21 653

版本升级 (使用stable最新版)

zookeeper-3.4.5 --->>> zookeeper-3.4.6

发行日志：http://zookeeper.apache.org/doc/r3.4.6/releasenotes.html

kafka_2.9.2-0.8.1 --->>> kafka_2.9.2-0.8.2.2

发行日志：https://archive.apache.org/dist/kafka/0.8.2.2/RELEASE_NOTES.html

升级说明：http://kafka.apache.org/documentation.html#upgrade_82

jstorm-0.9.2 --->>> jstorm-2.1.0

机器规划（使用hadoop用户，采用解压缩的方式安装）

host	ip	server
vm13	10.1.2.208	Kafka，QuorumPeerMain（zookeeper），Supervisor（Jstorm），NimbusServer（Jstorm）
vm7	10.1.2.197	Kafka，QuorumPeerMain（zookeeper），Supervisor（Jstorm）
vm8	10.1.2.198	Kafka，QuorumPeerMain（zookeeper），Supervisor（Jstorm）

机器配置

CPU：24核，内存：64G，磁盘2T*4

zookeeper安装

1.进入主目录，cd /home/hadoop

2.下载zookeeper安装包，http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.6.tar.gz

3.解压安装包，tar -zxf zookeeper-3.4.6.tar.gz

4.进入目录，cd zookeeper-3.4.6

5.将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg也放在conf目录下，修改其中的配置

vi conf/zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/data0/zookeeper/data

clientPort=2181

server.1=10.1.2.208:12888:13888

server.2=10.1.2.197:12888:13888

server.3=10.1.2.198:12888:13888

vi conf/log4j.properties

zookeeper.root.logger=INFO,ROLLINGFILE

zookeeper.console.threshold=INFO

zookeeper.log.dir=/data0/zookeeper/logs

zookeeper.log.file=zookeeper.log

zookeeper.log.threshold=INFO

zookeeper.tracelog.dir=/data0/zookeeper/logs

zookeeper.tracelog.file=zookeeper_trace.log

vi bin/zkEnv.sh

if [ "x${ZOO_LOG_DIR}" = "x" ]

then

ZOO_LOG_DIR="/data0/zookeeper/logs"

fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]

then

ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

fi

分别在每个节点的${zookeeper.log.dir}目录下创建myid，内容为serverId

比如在10.1.2.208上，echo ''1 > /data0/zookeeper/data/myid

6.启动服务

依次在三个节点上启动 ./bin/zkServer.sh start

7.验证测试

使用客户端进入zookeeper控制套台 ./bin/zkCli.sh -server dckafka1:12181

查看当前服务是leader还是flower， ./bin/zkServer.sh status

8.参考文档

log4j配置：http://www.cnblogs.com/zhwbqd/p/3957018.html

http://stackoverflow.com/questions/26612908/why-does-zookeeper-not-use-my-log4j-properties-file-log-directory

kafka安装

1.进入主目录，cd /home/hadoop

2.下载kafka安装包，wget "http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.9.2-0.8.2.2.tgz"

3.解压安装包，tar -zxf kafka_2.9.2-0.8.2.2.tgz

4.进入目录，cd kafka_2.9.2-0.8.2.2

5.配置修改（更多配置请参考http://kafka.apache.org/documentation.html#topic-config）

vi conf/server.properties

# 每个broker都可以用一个唯一的非负整数id进行标识

broker.id=0

# 服务监听端口

port=9092

# broker处理网络请求的最大线程数，一般情况下数量为CPU核数

num.network.threads=12

# broker处理磁盘IO的最大线程数，数值为CPU核数两倍

num.io.threads=12

# kafka存放数据的路径。这个路径并不是唯一的，可以是多个，路径之间只需要使用逗号分隔即可；每当创建新partition时，都会选择在包含最少partitions的路径下进行

log.dirs=/data2/kafka/data,/data3/kafka/data

# 默认topic分区数，也可以在创建topic时指定

num.partitions=6

# 关闭自动创建topics

auto.create.topics.enable=false

# 允许删除topics

delete.topic.enable=true

# log保留的最大时间，小时单位

log.retention.hours=72

# zookeeper连接字符串的格式为：hostname1:port1, hostname2:port2, hostname3:port3，

# zooKeeper增加一个“chroot”路径，将集群中所有kafka数据存放在特定的路径下，格式为：hostname1:port1，hostname2:port2，hostname3:port3/chroot/path

# 这样设置就将所有kafka集群数据存放在/chroot/path路径下。注意，在你启动broker之前，你必须创建这个路径，并且consumers必须使用相同的连接格式。

zookeeper.connect=vm13:2181,vm7:2181,vm8:2181

vi conf/consumer.properties

# 消费端链接的zookeeper配置，要与server.properties中的zookeeper.connect保存一致

zookeeper.connect=vm13:2181,vm7:2181,vm8:2181

# 一般会在consumer客户端自定义group

group.id=test.consumer-group

vi conf/producer.properties

# kafka broker列表

metadata.broker.list=vm13:9092,vm7:9092,vm8:9092

# 消息异步发送到broker

producer.type=async

# 异步批量发送的消息数

batch.num.messages=200

vi conf/log4j.properties

# 指定服务日志目录

kafka.logs.dir=/data2/kafka/logs

log4j.rootLogger=INFO, kafkaAppender

创建启动脚本 cat > startKafkaServer.sh

nohup ./bin/kafka-server-start.sh config/server.properties &

if [ $? -eq 0 ]; then

echo "Kafka server start success..."

else

echo "Kafka server start success..."

fi

6.启动服务

./startKafkaServer.sh

7.验证测试

a.创建topic

./bin/kafka-topics.sh --zookeeper dckafka1:12181,dckafka2:12181 --create --topic mytest --replication-factor 1 --partitions 9

b.查看topic列表

./bin/kafka-topics.sh --zookeeper dckafka1:12181,dckafka2:12181 --list

c.创建生产者

./bin/kafka-console-producer.sh --broker-list dckafka1:9092,dckafka2:9092,dckafka3:9092 --topic mytest

d.创建消费者

./bin/kafka-console-consumer.sh --zookeeper dckafka1:12181,dckafka2:12181,dckafka3:12181 --topic mytest --from-beginning

jstorm安装

1.进入主目录，cd /home/hadoop

2.下载storm包，wget "http://42.121.19.155/jstorm/jstorm-2.1.0.tar.bz2"

（This version is for Alibaba Global Shopping Festival, November 11th 2015）

3.解压安装包，tar -jxf jstorm-2.1.0.tar.bz2

4.变更目录，mv deploy/jstorm jstorm-2.1.0; cd jstorm-2.1.0

jstorm-2.1.0新增了一些部署和管理脚本脚本，这里先不用理会

5.配置修改（参考https://github.com/alibaba/jstorm/wiki/如何安装）

vi ~/.bashrc

修改或添加如下内容

export JSTORM_HOME=/home/hadoop/jstorm-2.1.0

export PATH=$PATH:$JSTORM_HOME/bin

vi conf/storm.yaml

修改或添加如下内容

storm.zookeeper.servers:

- "dckafka1"

- "dckafka2"

- "dckafka3"

storm.zookeeper.port: 2181

storm.zookeeper.root: "/jstorm2"

storm.local.dir: "/data1/jstorm/data"

jstorm.log.dir: "/data1/jstorm/logs"

supervisor.slots.ports.base: 6800

supervisor.slots.port.cpu.weight: 1.0

supervisor.slots.port.mem.weight: 0.6

6.启动服务

nohup ./bin/jstorm supervisor & （所有机器都执行）

nohup ./bin/jstorm nimbus &（选择一台机器作为nimbus节点）

7.安装jstorm Web UI

mkdir ~/.jstorm

cp $JSTORM_HOME/conf/storm.yaml ~/.jstorm

将jstorm-ui-2.1.0.war放入tomcat容器，启动

访问UI页面：http://127.0.0.1:9091

8.提交topology任务（对于提交客户端，需要在home目录下创建 ln -s .jstorm/storm.yaml $JSTORM_HOME/conf/storm.yaml）

本文转自 zouqingyun 51CTO博客，原文链接：http://blog.51cto.com/zouqingyun/1740179，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/460725

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hdfs日志上传脚本(三)

为了上传文件到hdfs，我们曾写过脚本，也曾搭过webdav；但是原来写脚本时，我们把日志下载到linux服务器，这样就多了一步磁盘I/O操作，而通过webdav直接从windows上传日志到hdfs又遇到了些麻烦。下一步，我们想测试一下flume等日志收集系统，看看它们是否能够更方便、更实时地上传日志到hdfs。但现在，我们暂且回到脚本方式，但换了一下思路：原始日志在windows上直接处理成lzo格式，然后放到共享目录，我们linux服务器挂载这个windows共享目录，然后调用Hadoop命令进行上传，这样不就减少了本地磁盘I/O操作了吗？看来思路很重要。这次的脚本，我们用两台linux服务器都挂载windows共享目录，两台linux服务器上都运行脚本，只需要在上传之前判断一下日志文件是否冲突，通过改名的方法达到独占的目的。 #!/bin/bash #2012-03-02byqinshan.li # exportPATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin windows="/h...

2017-11-21

630

我写了一个非常简单的脚本，用于上传某个文件到hadoop中hdfs的某个目录。在输入文件名称或目录名称时，有时候会输错，需要删除错误输入，但在敲退格键时时出现乱码^H，每按一下退格键就会出现一个^H。搜索网上资料，参考了如下网页，得到解决办法：http://hi.baidu.com/moonlight_bupt/blog/item/1b6a7acc5435c00700e928df.html，它提供了两个方法：一是，在敲退格键时，同时按住ctrl键；二是，修改.bash_profile文件： a）在bash下：$ stty erase ^? 或者把 stty erase ^? 添加到.bash_profile中。 b）在csh下：$ stty erase ^H 或者把 stty erase ^H 添加到.cshrc中。 stty erase "^H" 我两个方法都试验了一下，第一个方法没有问题，但在试验第二个方法时，出了问题，如下：我的默认shell是bash，脚本中调用的也是bash。我在.bash_profile中写入$ stty era...

2017-11-21

701

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。