《Spark大数据分析实战》——3.5节本章小结-低调大师

《Spark大数据分析实战》——3.5节本章小结

2017-05-01 695

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.5节本章小结，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看

3.5　本章小结
本章主要介绍了BDAS中广泛应用的几个数据分析组件。SQL on Spark提供在Spark上的SQL查询功能。让用户可以基于内存计算和SQL进行大数据分析。通过Spark Streaming，用户可以构建实时流处理应用，其高吞吐量，以及适合历史和实时数据混合分析的特性使其在流数据处理框架中突出重围。GraphX充当Spark生态系统中图计算的角色，其简洁的API让图处理算法的书写更加便捷。最后介绍了MLlib——Spark上的机器学习库，它充分利用Spark内存计算和适合迭代的特性，使分布式系统与并行机器学习算法实现了完美的结合。相信随着Spark生态系统的日臻

微信关注我们

原文链接：https://yq.aliyun.com/articles/108607

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop MapReduce实战手册》一2.1 简介

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.1节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.1 简介 Hadoop MapReduce实战手册Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）被设计成适合运行在低廉的通用硬件上的面向块结构的分布式文件系统。HDFS支持海量数据存储，并提供高吞吐量的数据访问。HDFS通过跨多个节点的冗余方式存储文件数据，以确保容错性和高聚合带宽。 HDFS是Hadoop MapReduce计算默认使用的分布式文件系统。Hadoop在处理存储在HDFS上的数据时支持数据本地化感知。然而，HDFS也可以用作一个通用的分布式文件系统。HDFS架构主要由一个用于处理文件系统元数据的中央NameNode以及很多个用于存储真实数据块的DataNode组成。HDFS数据块通常是粗粒度的，适合存储大数据产品。 1.5节和第1章中的其他各节说明了如何部...

2017-05-01

592

目录简介概念安装部署 ES安装数据索引索引优化内存优化 1 简介 ElasticSearch（简称ES）是一个分布式、Restful的搜索及分析服务器，设计用于分布式计算；能够达到实时搜索，稳定，可靠，快速。和Apache Solr一样，它也是基于Lucence的索引服务器，而ElasticSearch对比Solr的优点在于：轻量级：安装启动方便，下载文件之后一条命令就可以启动。 Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构。多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置。分布式：Solr Cloud的配置比较复杂。 2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。近年ElasticSearch发展迅猛，已经超越了其最初的纯搜索引擎的角色，现在已经增加了数据聚合分析（aggregation）和可视化的特性，如果你有数百万的文档需要通过关键词进行定位时，ElasticSearch肯定是最佳选择。当然，如果你的文档是J...

2017-05-01

570

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。