首页 文章 精选 留言 我的

精选列表

搜索[系统],共10000篇文章
优秀的个人博客,低调大师

Twitter Storm安装配置(Ubuntu系统)单机版

要使用storm首先要安装以下工具:JDK、Python、zookeeper、zeromq、jzmq、storm (注:各个模块都是独立的,如果安装失败或者卡顿可以单独百度某个模块的安装,都是可以的。) JDK1.7安装 参见上篇《Ubuntu下安装配置JDK1.7》http://www.cnblogs.com/stone_w/p/4469548.html 第一步,安装Python2.7.2(ubuntu) wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz tar zxvf Python-2.7.2.tgz cd Python-2.7.2 ./configure make make install vi /etc/ld.so.conf 追加/usr/local/lib/ sudo ldconfig 第二步,安装zookeeper 下载zookeeper解压,安装:http://pan.baidu.com/s/1jGjA90M tar -zxvf zookeeper-3.3.5.tar.gz cp -R zookeeper-3.3.5 /usr/local/ ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper gedit /etc/profile (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin) export ZOOKEEPER_HOME="/path/to/zookeeper" export PATH=$PATH:$ZOOKEEPER_HOME/bin cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg) mkdir /tmp/zookeeper mkdir /var/log/zookeeper zookeeper的单机安装已经完成了。 第三步,安装zeromq以及jzmqjzmq的安装貌似是依赖zeromq的,所以应该先装zeromq,再装jzmq。1)安装zeromq: wget http://download.zeromq.org/zeromq-2.2.0.tar.gz tar zxf zeromq-2.2.0.tar.gz cd zeromq-2.2.0 ./configure make make install sudo ldconfig (更新LD_LIBRARY_PATH) zeromq安装完成。注意:如有有依赖报错,需要安装:jzmqdependencies依赖包sudoyuminstalluuid*sudoyuminstalllibtoolsudoyuminstalllibuuidsudoyuminstalllibuuid-devel2)安装jzmq yum install git git clone git://github.com/nathanmarz/jzmq.git cd jzmq ./autogen.sh ./configure make make install 然后,jzmq就装好了.注意:在./autogen.sh这步如果报错:autogen.sh:error:couldnotfindlibtoolisrequiredtorunautogen.sh,这是因为缺少了libtool,可以用#yuminstalllibtool*来解决。 第四步,安装Storm 我使用的Storm版本是最新的稳定版0.8.2,下载,解压,修改/conf/storm.yaml配置文件: Storm0.8.2下载http://pan.baidu.com/s/1sjODKPB unzip storm-0.8.2.zip mv storm-0.8.2 /usr/local/ ln -s /usr/local/storm-0.8.2/ /usr/local/storm gedit /etc/profile export STORM_HOME=/usr/local/storm-0.8.2 export PATH=$PATH:$STORM_HOME/bin 到此为止单机版的Storm就安装完毕了。 启动Storm /usr/local/zookeeper/bin/zkServer.sh start cd /usr/local/storm-0.8.2 bin/storm nimbus & bin/storm supervisor & bin/storm ui & 如果我们没有为storm添加环境变量,那么在启动的时候,我们就需要使用绝对路径或相对路径来定位/chenny/Storm/storm-0.8.2/bin/storm这个程序。启动完成后,我们可以使用jps来查看进程状态:>>jps在没有运行任务时,我们必须应该要看到5个进程:QuorumPeerMain、nimbus、core、Jps、supervisor。否则就需要检查是否正确地启动,如果启动之后没有过多久就停止了,我们就需要查看~/storm-0.8.2/logs下面的对应的log文件,查看引起异常的原因是什么,然后解决后再次启动。同时,我们可以在浏览器中输入http://127.0.0.1:8080来进入StormUI的界面,可以查看Storm运行期间的相关信息。 第五步,测试一下本地模式的WordCount 网上别的资料介绍了许多方式来编译可执行的Topology程序,我们这里提供一个简单的办法,只需要使用Eclipse和相关的Jar包即可,Ubuntu或者Windows环境下均可。我们需要从github上下载下来一个供初学者学习的storm-starter,同时,我们还需要有commons-collections-3.2.1-bin.tar.gz、twitter4j-2.2.6.zip和storm-0.8.2.zip等软件包,如果没有的话,需要去下载。以WindowsXP下的Eclipse为例。首先我们将所有需要的包解压放到桌面,打开Eclipse,新建JavaProject,名字任意取,我取名叫做MyFirstStormApp,然后点击Finish。 在MyFirstStormApp上右键,选择Import,然后选择FileSystem: 在FromDirectory中输入相应的路径或者点击Browse,选择路径: 我们依次展开storm-starter-master/src/jvm/storm,选中jvm文件夹,点击确定,然后勾选jvm,点击finish: 这样,我们就在左侧看到Project的结构: 拖动storm到src中,然后安装同样的方式将storm-starter-master/storm-starter-master/multilang导入到项目中,然后我们就在左侧看到如下图所示的结构: 可以看到上面有很多红叉,此时,我们就需要导入项目所依赖的jar包,在项目上右键,选择Properties,然后JavaBuildPath,切换到Libraries选项夹下,点击AddExternalJARs: 将storm-0.8.2/lib目录下的所有jar包都加入到项目中,将 commons-collections-3.2.1.jar添加到项目中,将twitter4j-2.2.6/lib中的所有jar包加入到项目中,将storm-0.8.2/storm-0.8.2.jar加入到项目中,然后点击OK,这个时候,可以看到项目中的所有错误都消失了。接下来,我们将PrintSampleStream.java和TwitterSampleSpout.java中的注释取消,或者将这两个文件删除 在项目上选择Export,然后选择JARfile,在下一页,我们将项目导出,勾选如下图所示: 点击finish后,如果没有错误,只有warning的话,就不用管了,否则我们需要检查错误,然后重新打包。打包后的jar包是MyFirstStormApp.jar,将它拷贝到部署有Storm的机器上(/usr/local/storm-0.8.2目录下),然后在终端中输入: >>bin/stormjarMyFirstStormApp.jarstorm.starter.WordCountTopologytest2如果没有错误,就成功提交了,在浏览器中输入http://127.0.0.1:8080,可以看到这个Topology已经在运行了,点击它的名字,可以进入Topologysummary: 如果看到这些数据,就说明我们正确地完成了配置。 如果本文对你有所帮助,请打赏——1元就足够感动我:) 联系邮箱:intdb@qq.com 我的GitHub: https://github.com/vipstone 关注公众号: 作者: 王磊 出处: http://vipstone.cnblogs.com/ 本文版权归作者和博客园共有,欢迎转载,请标明出处。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册