《Storm分布式实时计算模式》——2.5　自动化集群配置-低调大师

《Storm分布式实时计算模式》——2.5　自动化集群配置

2017-07-02 514

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.5节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.5　自动化集群配置

迄今为止，我们已经在命令行模式下手工配置了单节点伪集群。这种方法应对小规模集群当然是行得通，但当集群规模不断增加时，这种方式就变得难以维护了。考虑到配置十个，甚至成百上千节点的场景。配置任务可以通过脚本来自动执行，但即使是基于脚本的自动化解决方案在扩展性上也是有问题的。
幸运的是，已有一些有效的技术来帮助解决管理大规模服务器集群的配置和定制问题。Chef和Puppet都提供了声明式的配置方式，来定义机器的状态（意味着机器安装了哪些软件包，以及如何配置的）和分类（例如，一个Apache Web Server类

微信关注我们

原文链接：https://yq.aliyun.com/articles/118262

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Pentaho 7.0更新：数据准备和分析两不误

Pentaho公司的软件定位一直是做整合数据集成和分析，不过在即将发布的7.0平台中，该公司提供了用于加速和提升数据准备流程的功能。升级后的分析、集成、数据准备工具于11月发布，支持用户在处理和准备过程中的任何环节直观地检查数据。这样数据科学家、数据工程师和业务分析师都可以使用图表、图形和其它可视化组件来动态检查数据，发现并提前解决潜在的数据质量问题，而无需等到完成整个分析工作才能发现。例如，他们可以看到整合两个表的数据结果对于支持准确分析来说，是否缺少了很多数值；或者在抽取、转换和加载（ETL）集成处理过程中应用回归分析技术检查是否产生错误信息。Pentaho 7.0还支持IT团队发布预定义数据源给业务用户，这样可以加速数据准备阶段的协作。 Pentaho公司表示，在运行过程中，通过准备流程以协作的方式可视化检查和评估数据，这样的功能可以缩短数据科学家和其它用户为分析用途准备数据的时间。当然，数据工程师不大可能会对数据质量问题创建流程（减少了错误概率）。（2015年日立集团有限公司收购了Pentaho公司） Pentaho 7.0还提供了新功能，支持与Spark SQL集成，方便...

2017-07-03

435

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.4节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.4　把toplogy提交到集群中现在我们已经有一个正在运行的Storm集群了，让我们回顾一下前面说的单词计数的例子，然后使之能够像本地模式一样运行在集群环境。前面的例子使用LocalCluster类将topology运行在本地模式： https://yqfile.alicdn.com/63d28581ae69e11343f78f3caa0f0ee1cb98b094.png" > 提交一个topology到远程集群非常简单，只需要使用StormSubmitter类中同样的方法和名称： https://yqfile.alicd

2017-07-03

581

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。