《Storm分布式实时计算模式》——2.4　把toplogy提交到集群中-低调大师

《Storm分布式实时计算模式》——2.4　把toplogy提交到集群中

2017-07-02 612

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.4节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.4　把toplogy提交到集群中

现在我们已经有一个正在运行的Storm集群了，让我们回顾一下前面说的单词计数的例子，然后使之能够像本地模式一样运行在集群环境。前面的例子使用LocalCluster类将topology运行在本地模式：

https://yqfile.alicdn.com/63d28581ae69e11343f78f3caa0f0ee1cb98b094.png" >

提交一个topology到远程集群非常简单，只需要使用StormSubmitter类中同样的方法和名称：

https://yqfile.alicd

微信关注我们

原文链接：https://yq.aliyun.com/articles/118259

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm分布式实时计算模式》——2.5　自动化集群配置

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.5节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.5　自动化集群配置迄今为止，我们已经在命令行模式下手工配置了单节点伪集群。这种方法应对小规模集群当然是行得通，但当集群规模不断增加时，这种方式就变得难以维护了。考虑到配置十个，甚至成百上千节点的场景。配置任务可以通过脚本来自动执行，但即使是基于脚本的自动化解决方案在扩展性上也是有问题的。幸运的是，已有一些有效的技术来帮助解决管理大规模服务器集群的配置和定制问题。Chef和Puppet都提供了声明式的配置方式，来定义机器的状态（意味着机器安装了哪些软件包，以及如何配置的）和分类（例如，一个Apache Web Server类

2017-07-03

543

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。或许我们可以这样说，Hadoop是大数据的启蒙，借助Hadoop让企业步入了大数据时代。而最近几年，Spark的风头似乎超越了Hadoop。而且网上有一种声音就是Spark将会取代Hadoop成为大数据的统治者，事实上是这样么？且听笔者娓娓道来。其实，Hadoop与Spark不存在冲突，因为Spark是运行于Hadoop顶层的内存处理方案，也就是说目前部署Spark的企业，其实都在现有的Hadoop集群中运行Spark。主流的Hadoop发行版本提供商比如Cloudera和Hortonworks将Spark列为他们Hadoop发行的一部分。我们可以说Hadoop和Spark均是大数据框架，都提供了执行常见大数据任务的工具。虽然Spark在某些应用场景下比Hadoop，但是Spark本身没有一个分布式存储系统，而是依赖于Hadoop的HDFS。Spark的高级分析应用也是依赖于HDFS存储数据。与Hadoop相比，Spark真正的优势在于速度。因为Spark的大部分操作都是在内存中，而Hadoop的Ma...

2017-07-03

508

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。