第 135 章 Twitter Storm

135.1. 单机版

操作系统环境:Ubuntu 13.04 KVM虚拟机

安装 storm 涉及到安装以下包:python、zookeeper、zeromq、jzmq、storm

过程 135.1. Ubuntu + Storm 单机环境安装

  1. 安装 zookeeper

    $ sudo apt-get install zookeeper zookeeper-bin zookeeperd
    				
  2. 安装 zeromq 与 jzmq

    $ sudo apt-get install openjdk-7-jdk
    $ sudo apt-get install libzmq-dev
    				

    设置 JAVA_HOME 环境变量

    $ export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
    				

    编译安装 jzmq

    				
    $ cd /usr/local/src/
    $ git clone git://github.com/nathanmarz/jzmq.git
    $ cd jzmq
    $ ./autogen.sh
    $ ./configure --prefix=/srv/jzmq-2.1.0
    $ javac src/org/zeromq/*.java
    $ touch src/classdist_noinst.stamp
    $ make && make install
    
    $ ls /srv/jzmq-2.1.0/
    lib  share
    				
    				
  3. 安装 Storm

    下载地址:https://github.com/nathanmarz/storm/downloads

    $ sudo apt-get install unzip
    
    $ cd /usr/local/src/
    $ $ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
    $ unzip storm-0.8.1.zip
    $ $ sudo mv storm-0.8.1 /srv/
    $ sudo ln -s /srv/storm-0.8.1 /srv/storm
    				

    				
    cat >> ~/.bashrc <<'EOF'
    
    export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
    export ZOOKEEPER_HOME="/usr/lib/zookeeper"
    export STORM_HOME=/srv/storm
    export PATH=$PATH:$PATH:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin
    EOF
    				
    				

    修改 Storm CONF_DIR 目录位置

    $ sed -i 's:CONF_DIR = os.path.expanduser("~/.storm"):CONF_DIR = "/srv/storm-0.8.1/conf":' /srv/storm/bin/storm
    				
  4. 启动服务

    启动 zookeeper 服务

    $ sudo service zookeeper start
    				

    启动 storm 服务

    				
    /srv/storm/bin/storm nimbus &
    /srv/storm/bin/storm supervisor &
    /srv/storm/bin/storm ui &
    				
    				

    Storm UI

    http://192.168.6.2:8080/

    查看 Java 进程

    $ jps
    10382 Jps
    10228 supervisor
    10294 core
    10173 nimbus
    				
  5. 测试 Storm

    $ sudo apt-get install maven2
    
    $ git clone git://github.com/nathanmarz/storm-starter
    $ cd storm-starter
    $ mvn -f m2-pom.xml package
    				

    先进入Storm UI http://192.168.6.2:8080/, 然后运行下面与命令

    $ storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology wordcountTop
    				

    在次进入 Storm UI 你会看到 wordcountTop




原文出处:Netkiller 系列 手札
本文作者:陈景峯
转载请与作者联系,同时请务必标明文章原始出处和作者信息及本声明。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/307641

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。