《Spark核心技术与高级应用》——1.1节什么是Spark-低调大师

《Spark核心技术与高级应用》——1.1节什么是Spark

2017-05-01 483

本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章，第1.1节什么是Spark，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看

1.1　什么是Spark
说起大数据，很多人会想起Doug Cutting以自己儿子玩具小象命名的开源项目Hadoop。Hadoop解决了大多数批处理工作负载问题，成为了大数据时代企业的首选技术。但随着大数据时代不可逆的演进，人们发现，由于一些限制，Hadoop对一些工作负载并不是最优选择，比如：
缺少对迭代的支持；
中间数据需输出到硬盘存储，产生了较高的延迟。
探其究竟，MapReduce设计上的约束比较适合处理离线数据，在实时查询和迭代计算上存在较大的不足，而随着具体业务的发展，业界对实时查询和迭代计算有更多的需求。
2009年，美国加州大学伯克利分校实验室小伙

微信关注我们

原文链接：https://yq.aliyun.com/articles/108401

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm入门之附录A

本文翻译自《Getting Started With Storm》译者：吴京润编辑：郭蕾方腾飞安装Storm客户端 Storm客户端能让我们使用命令管理集群中的拓扑。按照以下步骤安装Storm客户端：从Storm站点下载最新的稳定版本（https://github.com/nathanmarz/storm/downloads）当前最新版本是storm-0.8.1。（译者注：原文是storm-0.6.2，不过翻译的时候已经是storm-0.8.1了）把下载的文件解压缩到/usr/local/bin/storm的Storm共享目录。把Storm目录加入PATH环境变量，这样就不用每次都输入全路径执行Storm了。如果我们使用了/usr/local/bin/storm，执行export PATH=$PATH:/usr/local/bin/storm。最后，创建Storm本地配置文件：~/.storm/storm.yaml，在配置文件中按如下格式加入nimbus主机： nimbus.host:"我们的nimbus主机" 现在，你可以管理你的Storm集群中的拓扑了。 N...

2017-05-02

618

本节书摘来异步社区《HBase管理指南》一书中的第1章，第1.5节，作者：蒋燚峰译者：苏南，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.5　ZooKeeper安装分布式的HBase需要运行一个ZooKeeper集群。HBase集群的所有节点和客户端都必须能够访问该ZooKeeper仲裁团。此节将描述如何建立一个ZooKeeper集群。我们将仅为我们的HBase集群建立一个单机运行的ZooKeeper节点，但是如果是在生产环境中，就应该建立一个至少含有三个节点ZooKeeper仲裁团。此外，还要确保运行节点的个数是奇数。我们将在本节的“1.5.4 补充说明”一节中讨论集群式ZooKeeper的安装。 1.5.1　准备首先，要确保在你的ZooKeeper服务器上已经安装好了Java。我们将使用hadoop用户来作为所有ZooKeeper守护进程和文件的所有者。所有ZooKeeper文件和数据将被存储在/usr/local/ZooKeeper目录下，你需要预先创建好该目录。我们的ZooKeeper也将安装在master1上。我们将在client1上安装一个Zo...

2017-05-02

565

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。