《Spark核心技术与高级应用》——1.1节什么是Spark-低调大师

《Spark核心技术与高级应用》——1.1节什么是Spark

2017-05-01 504

本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章，第1.1节什么是Spark，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看

1.1　什么是Spark
说起大数据，很多人会想起Doug Cutting以自己儿子玩具小象命名的开源项目Hadoop。Hadoop解决了大多数批处理工作负载问题，成为了大数据时代企业的首选技术。但随着大数据时代不可逆的演进，人们发现，由于一些限制，Hadoop对一些工作负载并不是最优选择，比如：
缺少对迭代的支持；
中间数据需输出到硬盘存储，产生了较高的延迟。
探其究竟，MapReduce设计上的约束比较适合处理离线数据，在实时查询和迭代计算上存在较大的不足，而随着具体业务的发展，业界对实时查询和迭代计算有更多的需求。
2009年，美国加州大学伯克利分校实验室小伙

微信关注我们

原文链接：https://yq.aliyun.com/articles/108401

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm入门之附录A

本文翻译自《Getting Started With Storm》译者：吴京润编辑：郭蕾方腾飞安装Storm客户端 Storm客户端能让我们使用命令管理集群中的拓扑。按照以下步骤安装Storm客户端：从Storm站点下载最新的稳定版本（https://github.com/nathanmarz/storm/downloads）当前最新版本是storm-0.8.1。（译者注：原文是storm-0.6.2，不过翻译的时候已经是storm-0.8.1了）把下载的文件解压缩到/usr/local/bin/storm的Storm共享目录。把Storm目录加入PATH环境变量，这样就不用每次都输入全路径执行Storm了。如果我们使用了/usr/local/bin/storm，执行export PATH=$PATH:/usr/local/bin/storm。最后，创建Storm本地配置文件：~/.storm/storm.yaml，在配置文件中按如下格式加入nimbus主机： nimbus.host:"我们的nimbus主机" 现在，你可以管理你的Storm集群中的拓扑了。 N...

2017-05-02

640

本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.5节，作者：蒋燚峰译者：苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.5　ZooKeeper安装分布式的HBase需要运行一个ZooKeeper集群。HBase集群的所有节点和客户端都必须能够访问该ZooKeeper仲裁团。此节将描述如何建立一个ZooKeeper集群。我们将仅为我们的HBase集群建立一个单机运行的ZooKeeper节点，但是如果是在生产环境中，就应该建立一个至少含有三个节点ZooKeeper仲裁团。此外，还要确保运行节点的个数是奇数。我们将在本节的“1.5.4 补充说明”一节中讨论集群式ZooKeeper的安装。 1.5.1　准备首先，要确保在你的ZooKeeper服务器上已经安装好了Java。我们将使用hadoop用户来作为所有ZooKeeper守护进程和文件的所有者。所有ZooKeeper文件和数据将被存储在/usr/local/ZooKeeper目录下，你需要预先创建好该目录。我们的ZooKeeper也将安装在master1上。我们将在client1上安装一个Zo...

2017-05-02

591

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。