storm安装配置-低调大师

storm安装配置

2015-04-05 633

1.修改主机名：
vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=MASTER

2.修改IP：

先用ifconfig得到ip信息，将其复制

设置ip地址为静态

vim /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO="static"

HWADDR="00:0C:29:FC:62:B6"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="d0731a46-36df-4ab1-9bac-42bb151acc41"

IPADDR="192.168.1.250"

NETMASK="255.255.255.0"

GATEWAY="192.168.1.1"

DNS1="8.8.8.8"

DNS2="8.8.4.4"

3.修改主机和IP的映射关系
vim /etc/hosts

4.关闭防火墙

5.上传安装jdk，配置环境变量

上传
zeromq-2.1.7.tar.gz
jzmq-master.zip
storm-0.8.2.zip
zookeeper-3.4.5.tar.gz
等文件

1.编译安装ZMQ：

tar -xzf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

#编译可能会出错：configure: error: Unable to find a working C++ compiler

#安装一下依赖的rpm包（在vm虚拟机中加载安装的cd盘文件，里面的services文件夹有所有的包）：
libstdc++-devel
gcc-c++
libuuid-devel

./configure

make
make install

2.编译安装JZMQ：
cd jzmq

./autogen.sh

#报错:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
缺少libtool
yum install libtool

或者手动安装

autoconf-2.63-5.1.el6.noarch.rpm

automake-1.11.1-4.el6.noarch.rpm

libtool-2.2.6-15.5.el6.x86_64.rpm

./configure

make

make install

3.安装启动zookeeper

4.上传解压storm
进入conf目录
修改storm.yaml

#zookeeper的节点
storm.zookeeper.servers:
- "cloud4"
- "cloud5"
- "cloud6"
#nimbus主节点
nimbus.host: "cloud4"

启动nimbus

输出日志到null下

在后台运行

./storm nimbus > ../dev/null 2>&1 &

微信关注我们

原文链接：https://yq.aliyun.com/articles/667820

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop集群上检查磁盘使用量和清理相关日志文件脚本

#####----检查Hadoop集群上的磁盘使用量----##### #!/bin/sh #检查Hadoop集群上的磁盘使用量 function diskState(){ COUNT=1 while [ ${COUNT} -le ${NUM} ] do echo "********检查Hadoop${COUNT}上的磁盘使用量**********" #获取远程机器上的磁盘状态 ssh -t -p 22 hadoop${COUNT} "df -h" COUNT=$((${COUNT}+1)) done } NUM=$1 #hadoop 集群的数量 echo "Hadoop集群数量${NUM}" if [ "${NUM}" -le "0" ] ;then echo "警告:$0 num " else diskState echo "********======磁盘检查结束======***********" fi #########——删除Hadoop集群的日志文件和/tmp下的文件——######### #!/bin/sh #删除文件的方法 function deleteFile(){...

2015-04-06

587

storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思？就如同蝴蝶效应一样，从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生，想想那个计算一篇文章中每个单词出现次数的topology. 帮助 1 2 3 4 5 6 7 8 9 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout( 1 , new KestrelSpout( "kestrel.backtype.com" , 22133 , "sentence_queue" , new StringScheme())); builder.setBolt( 2 , new SplitSentence(), 10 ) .shuffleGrouping( 1 ); builder.setBolt( 3 , new WordCount(), 20 ) .fieldsGrouping(...

2015-04-07

635

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。