《Storm分布式实时计算模式》——2.5　自动化集群配置-低调大师

《Storm分布式实时计算模式》——2.5　自动化集群配置

2017-07-02 528

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.5节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5　自动化集群配置

迄今为止，我们已经在命令行模式下手工配置了单节点伪集群。这种方法应对小规模集群当然是行得通，但当集群规模不断增加时，这种方式就变得难以维护了。考虑到配置十个，甚至成百上千节点的场景。配置任务可以通过脚本来自动执行，但即使是基于脚本的自动化解决方案在扩展性上也是有问题的。
幸运的是，已有一些有效的技术来帮助解决管理大规模服务器集群的配置和定制问题。Chef和Puppet都提供了声明式的配置方式，来定义机器的状态（意味着机器安装了哪些软件包，以及如何配置的）和分类（例如，一个Apache Web Server类

微信关注我们

原文链接：https://yq.aliyun.com/articles/118262

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Pentaho 7.0更新：数据准备和分析两不误

Pentaho公司的软件定位一直是做整合数据集成和分析，不过在即将发布的7.0平台中，该公司提供了用于加速和提升数据准备流程的功能。升级后的分析、集成、数据准备工具于11月发布，支持用户在处理和准备过程中的任何环节直观地检查数据。这样数据科学家、数据工程师和业务分析师都可以使用图表、图形和其它可视化组件来动态检查数据，发现并提前解决潜在的数据质量问题，而无需等到完成整个分析工作才能发现。例如，他们可以看到整合两个表的数据结果对于支持准确分析来说，是否缺少了很多数值；或者在抽取、转换和加载（ETL）集成处理过程中应用回归分析技术检查是否产生错误信息。Pentaho 7.0还支持IT团队发布预定义数据源给业务用户，这样可以加速数据准备阶段的协作。 Pentaho公司表示，在运行过程中，通过准备流程以协作的方式可视化检查和评估数据，这样的功能可以缩短数据科学家和其它用户为分析用途准备数据的时间。当然，数据工程师不大可能会对数据质量问题创建流程（减少了错误概率）。（2015年日立集团有限公司收购了Pentaho公司） Pentaho 7.0还提供了新功能，支持与Spark SQL集成，方便...

2017-07-03

450

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.4节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.4　把toplogy提交到集群中现在我们已经有一个正在运行的Storm集群了，让我们回顾一下前面说的单词计数的例子，然后使之能够像本地模式一样运行在集群环境。前面的例子使用LocalCluster类将topology运行在本地模式： https://yqfile.alicdn.com/63d28581ae69e11343f78f3caa0f0ee1cb98b094.png" > 提交一个topology到远程集群非常简单，只需要使用StormSubmitter类中同样的方法和名称： https://yqfile.alicd

2017-07-03

592

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。