《Spark与Hadoop大数据分析》——2.4　安装 Hadoop 和 Spark 集群-低调大师

《Spark与Hadoop大数据分析》——2.4　安装 Hadoop 和 Spark 集群

2017-08-31 597

2.4　安装 Hadoop 和 Spark 集群

在安装 Hadoop和Spark之前，让我们来了解一下 Hadoop和Spark的版本。在 Cloudera、Hortonworks和MapR这所有三种流行的Hadoop发行版中，Spark都是作为服务提供的。在本书编写的时候，最新的Hadoop和Spark版本分别是2.7.2和2.0。但是，Hadoop发行版里可能是一个较低版本的Spark，这是因为Hadoop和 Spark 的发行周期并不同步。

对于后续章节的实践练习，我们会使用来自 Cloudera、Hortonworks 和 MapR 的免费虚拟机（virtual machine，VM），或使用开源版本的 Apache Spark。这些 VM 让我们很容易开始使用 Spark 和 Hadoop。同样的练习也可以在较大的集群上运

微信关注我们

原文链接：https://yq.aliyun.com/articles/212119

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

青云QingCloud推出HBase集群服务支持SQL等高级功能

ZD至顶网服务器频道 08月22日新闻消息：为了更好地满足用户对大数据基础平台的需求，企业级基础云服务商青云QingCloud（qingcloud.com）日前宣布正式推出HBase集群服务，包含HBase数据库服务、HDFS分布式文件系统、Phoenix查询引擎三大组件。在原生HBase的基础上，QingCloud在配置的易用性、监控告警、在线伸缩等方面进行全面优化，并支持二级索引、SQL和JDBC API，以及完全ACID事务等高级功能，用户能够在2-3分钟内创建一个HBase集群，并能够在控制台直接修改配置文件并应用，极大地减轻了HBase集群的运维难度。作为Hadoop生态圈的重要成员，HBase是一个具有高可靠性、高性能、可伸缩性、列式存储的分布式NoSQL数据库。与关系型数据库相比，HBase能够支持PB级的数据量和每秒百万次的吞吐量。通常情况下，HBase应用于建立互联网索引、推荐系统后台、浏览历史及监控数据的存储和查询等场景。依托Hadoop的分布式文件系统HDFS作为底层存储，HBase能够为数十亿行、数百万列的海量数据表提供随机、实时的读写访问。与Hadoop...

2017-09-01

499

文章讲的是卢东明：Hadoop不能适用所有大数据场， “大数据”自诞生之日起，业界对它的概念、技术和应用就存在一定争议。究竟什么是大数据?有哪些大数据技术?大数据的未来是怎样的?每个人都有自己的理解。在2013大数据产品评选活动举办之际，笔者采访了此次担任评委的几位专家学者，看看专家眼中的“大数据”是什么样的? 近日，在一次微访谈活动中，SAP亚太区数据库解决方案技术总监卢东明回答了笔者的提问，分享了对大数据的几点看法，笔者整理如下： ▲SAP亚太区数据库解决方案技术总监卢东明小数据是结构化的几天和@赵国栋TMT 一起聊大数据，我说现在最难的问题就是“定义”什么是大数据。我认为大数据目前处于发展的早期，很多观点都不错，但是我不认为能够、也不喜欢用简单的几个标签来定义“什么是“大数据” 。“大数据”中最有活力的词是“大”，但是“大”是个相对的词，各个时期，各个阶段，各个角度所谈的大是不一样的，数据量也只是大数据中的一个指标，有点行业，例如互联网，电信，很容易收集到TB级，甚至百TB级的数据，但是并不等于有些深度挖掘的公司在百GB级不可能发掘出价值。大数据的时代了解何为“小数据”也许...

2017-09-01

578

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。