storm的3节点集群详细启动步骤（非HA和HA）（图文详解）-低调大师

storm的3节点集群详细启动步骤（非HA和HA）（图文详解）

2017-11-12 630

启动storm集群（HA）

　本博文情况是

　　master（主）　　　　　　nimbus

　　slave1（主）（从）　　　　　　 nimbus　　　　supervisor

　　slave2（从）　　　　　　 supervisor

1、先在master上启动

nohup bin/storm nimbus >/dev/null 2>&1 &

[hadoop@master storm]$ jps
2374 QuorumPeerMain
7862 Jps
3343 AzkabanWebServer
2813 ResourceManager
3401 AzkabanExecutorServer
2515 NameNode
2671 SecondaryNameNode
[hadoop@master storm]$ nohup bin/storm nimbus >/dev/null 2>&1 & 
[1] 7876
[hadoop@master storm]$ jps
2374 QuorumPeerMain
7905 Jps
7910 config_value
3343 AzkabanWebServer
2813 ResourceManager
3401 AzkabanExecutorServer
2515 NameNode
2671 SecondaryNameNode
[hadoop@master storm]$

2、再在slave1上启动

nohup bin/storm nimbus >/dev/null 2>&1 &

[hadoop@slave1 storm]$ jps
2421 NodeManager
2342 DataNode
4892 Jps
2274 QuorumPeerMain
[hadoop@slave1 storm]$ nohup bin/storm nimbus >/dev/null 2>&1 & 
[1] 4904

[hadoop@slave1 storm]$ jps
2421 NodeManager
5244 Jps
2342 DataNode
5135 nimbus
5234 config_value
2274 QuorumPeerMain

3、先在slave1和slave2上启动

nohup bin/storm supervisor >/dev/null 2>&1 &

[hadoop@slave2 storm]$ jps
4868 Jps
4089 supervisor
2365 NodeManager
2291 DataNode
2229 QuorumPeerMain
[hadoop@slave2 storm]$ nohup bin/storm supervisor >/dev/null 2>&1 & 
[1] 4903
[hadoop@slave2 storm]$ jps
4918 Jps
4089 supervisor
2365 NodeManager
2291 DataNode
2229 QuorumPeerMain
[hadoop@slave2 storm]$

4、在master上启动

nohup bin/storm ui>/dev/null 2>&1 &

[hadoop@master storm]$ jps
8550 config_value
2374 QuorumPeerMain
8113 supervisor
3343 AzkabanWebServer
2813 ResourceManager
8560 Jps
3401 AzkabanExecutorServer
8524 config_value
8372 core
2515 NameNode
2671 SecondaryNameNode
[hadoop@master storm]$ nohup bin/storm ui>/dev/null 2>&1 & 
[7] 8582
[hadoop@master storm]$ jps
2374 QuorumPeerMain
8113 supervisor
8623 Jps
3343 AzkabanWebServer
2813 ResourceManager
3401 AzkabanExecutorServer
8372 core
2515 NameNode
8597 config_value
2671 SecondaryNameNode
8613 config_value
[hadoop@master storm]$

5、在master、slave1和slave2上启动

nohup bin/storm logviwer >/dev/null 2>&1 &

启动storm集群（非HA）

　本博文情况是

　　master（主）　　　　　　nimbus

　　slave1（主）（从）　　　 supervisor

　　slave2（从）　　　　　　 supervisor

1、先在master上启动

nohup bin/storm nimbus >/dev/null 2>&1 &

[hadoop@master storm]$ jps
2374 QuorumPeerMain
7862 Jps
3343 AzkabanWebServer
2813 ResourceManager
3401 AzkabanExecutorServer
2515 NameNode
2671 SecondaryNameNode
[hadoop@master storm]$ nohup bin/storm nimbus >/dev/null 2>&1 & 
[1] 7876
[hadoop@master storm]$ jps
2374 QuorumPeerMain
7905 Jps
7910 config_value
3343 AzkabanWebServer
2813 ResourceManager
3401 AzkabanExecutorServer
2515 NameNode
2671 SecondaryNameNode

9743 nimbus
[hadoop@master storm]$

2、先在slave1和slave2上启动

nohup bin/storm supervisor >/dev/null 2>&1 &

[hadoop@slave2 storm]$ jps
4868 Jps
4089 supervisor
2365 NodeManager
2291 DataNode
2229 QuorumPeerMain
[hadoop@slave2 storm]$ nohup bin/storm supervisor >/dev/null 2>&1 & 
[1] 4903
[hadoop@slave2 storm]$ jps
4918 Jps
4089 supervisor
2365 NodeManager
2291 DataNode
2229 QuorumPeerMain
[hadoop@slave2 storm]$

3、在master上启动

nohup bin/storm ui>/dev/null 2>&1 &

[hadoop@master storm]$ jps
8550 config_value
2374 QuorumPeerMain
8113 supervisor
3343 AzkabanWebServer
2813 ResourceManager
8560 Jps
3401 AzkabanExecutorServer
8524 config_value
8372 core
2515 NameNode
2671 SecondaryNameNode
[hadoop@master storm]$ nohup bin/storm ui>/dev/null 2>&1 & 
[7] 8582
[hadoop@master storm]$ jps
2374 QuorumPeerMain
8113 supervisor
8623 Jps
3343 AzkabanWebServer
2813 ResourceManager
3401 AzkabanExecutorServer
8372 core
2515 NameNode
8597 config_value
2671 SecondaryNameNode
8613 config_value
[hadoop@master storm]$

4、在master、slave1和slave2上启动

nohup bin/storm logviwer >/dev/null 2>&1 &

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7247483.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/365573

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm编程入门API系列之Storm的Topology多个tasks数目控制实现

　StormTopologyMoreTask.java package zhouls.bigdata.stormDemo; import java.util.Map; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.storm.StormSubmitter; import org.apache.storm.generated.AlreadyAliveException; import org.apache.storm.generated.AuthorizationException; import org.apache.storm.generated.InvalidTopologyException; import org.apache.storm.spout.SpoutOutputCollector; import org.apache.storm.task.OutputCollector; import org.apache.storm.task....

2017-11-13

576

对于storm来说，并行度的概念非常重要！大家一定要好好理解和消化。 storm的并行度，可以简单的理解为多线程。如何提高storm的并行度？storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bolt)。那这些task实例是需要在线程(executor)里面运行的，而线程是需要在进程(worker)里面执行的。这些，都是可以在代码中控制的到。 1、所以想要提高storm的处理能力，最直接的就是提高executor线程的并行度。 2、提高worker的数量有什么好处呢？可以间接提高storm的处理能力，因为一个worker进程的处理能力是有限的，如果线程太多了，是需要使用多个进程的，否则，多线程的效率也不高。假设一个进程里面运行10个线程效率最高，如果你把100个线程都在一个进程里面运行。 3、提高task的数量有什么好处呢？因为线程内部不能并行处理，所以就算提高线程内部的task的数量，也不能提高storm的并行度。它的好处是，可以方便后期...

2017-11-13

485

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。