《Spark大数据分析：核心概念、技术及实践》一第3章 Spark Core-低调大师

《Spark大数据分析：核心概念、技术及实践》一第3章 Spark Core

2017-05-01 622

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第3章，第3.1节，作者[美]　穆罕默德·古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第3章

Spark Core

Spark是大数据领域最活跃的开源项目，甚至比Hadoop还要热门。如第1章所述，它被认为是Hadoop的继任者。Spark的使用率大幅增长。很多组织正在用Spark取代Hadoop。

从概念上看，Spark类似于Hadoop，它们都用于处理大数据。它们都能用商用硬件以很低的成本处理大数据。然而，相比于Hadoop，Spark有很多的优势，这些将在本章进行介绍。

本章主要介绍Spark Core，这也是Spark生态系统的基础。我们首先概述Spark Core，然后介绍Spark的总体架构和应用程序运

微信关注我们

原文链接：https://yq.aliyun.com/articles/88772

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop MapReduce实战手册》一2.2 HDFS基准测试

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.2节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.2 HDFS基准测试 Hadoop MapReduce实战手册运行基准测试程序，可以很好地验证HDFS集群是否已如预期般正确设置并执行。DFSIO是一个Hadoop自带的基准测试，可以用来分析一个HDFS集群的I/O性能。该部分展示了如何使用DFSIO来对HDFS集群的读取和写入性能进行基准测试。准备工作在运行这些基准程序之前，必须安装和部署HDFS和MapReduce。导出HADOOP_HOME环境变量，将其指向Hadoop安装根目录： >export HADOOP_HOME = /../hadoop-1.0.4 该基准测试程序在$HADOOP_HOME/hadoop-*test.jar文件中。操作步骤下列步骤显示了如何运行写入性能基准测试。在$HADOOP_HOME目录下执行以下命令来测试写入性能的基准程序。...

2017-05-02

628

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.4节MLlib，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.4　MLlibMLlib是构建在Spark上的分布式机器学习库，充分利用了Spark的内存计算和适合迭代型计算的优势，将性能大幅度提升。同时由于Spark算子丰富的表现力，让大规模机器学习的算法开发不再复杂。3.4.1　MLlib简介MLlib是一些常用的机器学习算法和库在Spark平台上的实现。MLlib是AMPLab的在研机器学习项目MLBase的底层组件。MLBase是一个机器学习平台，MLI是一个接口层，提供很多结构，MLlib是底层算法实现层，如图3-17所示。 MLlib中包含分类与回归、聚类、协同过滤、数据降维组件以及底层的优化库，如通过图3-18读者可以对ML

2017-05-02

624

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。