storm0.9.5集群安装-低调大师

storm0.9.5集群安装

2016-10-22 596

安装前的准备工作

关闭防火墙
chkconfig iptables off && setenforce 0


创建用户
groupadd realtime &&　useradd realtime　&& usermod -a -G realtime realtime


创建工作目录并赋权
mkdir /export
mkdir /export/servers
chmod 755 -R /export


切换到realtime用户下
su realtime

1、安装一个zookeeper集群,并启动zookeeper集群。

2、上传storm的安装包，解压

3、修改storm配置文件storm.yaml

必填配置

 
      #所使用的zookeeper集群主机的ip地址
storm.zookeeper.servers:
- "weekend01"
- "weekend02"
- "weekend03"
#storm中nimbus所在的主机名
nimbus.host: "weekend04" 
     

可选配置

#指定一个supervisor上可以启动几个work进程，每个进程占用一个端口，如果不配置默认是4个work进程。
supervisor.slots.ports
-6701
-6702
-6703
-6704
-6705
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts:"-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts:"-Xmx1024m"
#指定supervisor节点上，每一个worker启动JVM最大可用内存大小
worker.childopts:"-Xmx1024m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上
ui.childopts:"-Xmx1024m"
等等....

新浪微博：intsmaze刘洋洋哥

启动storm

在storm/bin目录下

先在nimbus主机上启动nimbus

./storm nimbus

./storm ui

这样启动如果关闭会话窗口nimbus服务就会关闭。

输入下面命令，让nimbus在后台进程；运行。

nohup ./storm nimbus 1>/dev/null 2>&1 &

可以通过打印台看到其实就是执行该命令，启动一个java类：Running: /export/servers/jdk/bin/java -server backtype.storm.daemon.nimbus

nohup ./storm ui 1>/dev/null 2>&1 &

在supervisor主机上

nohup ./storm supervisor 1>/dev/null 2>&1 &

Running: /export/servers/jdk/bin/java -server backtype.storm.daemon.supervisor

启动./storm ui后，就可以访问图形界面了。

访问nimbus.host:/8080，即可看到storm的ui界面。

4、Storm常用操作命令

有许多简单且有用的命令可以用来管理拓扑，它们可以提交、杀死、禁用、再平衡拓扑。

提交任务命令格式：storm jar 【jar路径】【拓扑包名.拓扑类名】【拓扑名称】

bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount
杀死任务命令格式：storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）

storm kill topology-name -w 10
停用任务命令格式：storm deactivte 【拓扑名称】

storm deactivte topology-name

我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

启用任务命令格式：storm activate【拓扑名称】

storm activate topology-name
重新部署任务命令格式：storm rebalance 【拓扑名称】

storm rebalance topology-name
再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配工人，并重启拓扑。

5、Storm集群的进程及日志熟悉

5.1、查看nimbus的日志信息

在nimbus的服务器上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/nimbus.log

5.2、查看ui运行日志信息

在ui的服务器上，一般和nimbus一个服务器
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/ui.log

5.3、查看supervisor运行日志信息

在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/supervisor.log

5.4、查看supervisor上worker运行日志信息

在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/worker-6702.log

作者： intsmaze(刘洋)

出处： http://www.cnblogs.com/intsmaze/

老铁，你的--->推荐，--->关注,--->评论--->是我继续写作的动力。

微信公众号号：Apache技术研究院

由于博主能力有限，文中可能存在描述不正确，欢迎指正、补充！

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

微信关注我们

原文链接：https://yq.aliyun.com/articles/617635

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云数据，大计算—海量日志数据分析与应用

课程介绍网站日志分析是大数据应用场景中非常常见的一种，今天我们通过实例对网站日志数据进行分析，从日志采集——>日志数据清洗、加工做画像分析——>BI报表展现，更进一步，通过社交数据分析做好友推荐，对整个全链路过程做实验操作演练，希望能给大家提供一些帮助。准备工作杭州TI专场，workshop现场是在云中沙箱账号环境进行的实验操作，若您想在自己的项目中进行演练，请准备好如下事项： 1、购买MaxCompute 2、在数据开发控制台中创建项目 3、进入数据开发界面课程内容 1、场景介绍及技术点分析 2、数据采集：日志数据上传 3、数据加工：用户画像 4、数据分析展现：可视化报表及嵌入应用

2016-10-21

688

打开微信扫一扫，关注微信公众号【数据与算法联盟】转载请注明出处： http://blog.csdn.net/gamer_gyt 博主微博： http://weibo.com/234654758 Github： https://github.com/thinkgamer 写在前边的话 elk是日志分析的利器，但是就elk本身而言室友一个弊端的那就是任何人都可以访问和操作，权限的管理方面似乎是一个空白，但是幸好elastic公司对其有辅助的产品Shield，Shield是一个收费的项目，但幸好有一个月的试用期，那么接下来我们就来玩玩这个shield Shield简介 Shield是Elastic公司官方发布的权限管理产品。其主要特性包括：提供集群节点身份验证和集群数据访问身份验证提供基于身份角色的细粒度资源和行为访问控制，细到索引级别的读写控制提供节点间数据传输通道加密保护输出传输安全提供审计功能以插件的形式发布基本部署 1：Elasticsearch安装shield 2.4.0插件，最基本的用户验证先决条件： Java version >= java 7 Elast...

2016-10-23

633

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。