《Spark大数据分析实战》——3.5节本章小结-低调大师

《Spark大数据分析实战》——3.5节本章小结

2017-05-01 611

本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.5节本章小结，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看

3.5　本章小结
本章主要介绍了BDAS中广泛应用的几个数据分析组件。SQL on Spark提供在Spark上的SQL查询功能。让用户可以基于内存计算和SQL进行大数据分析。通过Spark Streaming，用户可以构建实时流处理应用，其高吞吐量，以及适合历史和实时数据混合分析的特性使其在流数据处理框架中突出重围。GraphX充当Spark生态系统中图计算的角色，其简洁的API让图处理算法的书写更加便捷。最后介绍了MLlib——Spark上的机器学习库，它充分利用Spark内存计算和适合迭代的特性，使分布式系统与并行机器学习算法实现了完美的结合。相信随着Spark生态系统的日臻

微信关注我们

原文链接：https://yq.aliyun.com/articles/108607

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop MapReduce实战手册》一2.1 简介

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.1节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.1 简介 Hadoop MapReduce实战手册Hadoop分布式文件系统（Hadoop Distributed File System，HDFS）被设计成适合运行在低廉的通用硬件上的面向块结构的分布式文件系统。HDFS支持海量数据存储，并提供高吞吐量的数据访问。HDFS通过跨多个节点的冗余方式存储文件数据，以确保容错性和高聚合带宽。 HDFS是Hadoop MapReduce计算默认使用的分布式文件系统。Hadoop在处理存储在HDFS上的数据时支持数据本地化感知。然而，HDFS也可以用作一个通用的分布式文件系统。HDFS架构主要由一个用于处理文件系统元数据的中央NameNode以及很多个用于存储真实数据块的DataNode组成。HDFS数据块通常是粗粒度的，适合存储大数据产品。 1.5节和第1章中的其他各节说明了如何部...

2017-05-02

508

目录简介概念安装部署 ES安装数据索引索引优化内存优化 1 简介 ElasticSearch（简称ES）是一个分布式、Restful的搜索及分析服务器，设计用于分布式计算；能够达到实时搜索，稳定，可靠，快速。和Apache Solr一样，它也是基于Lucence的索引服务器，而ElasticSearch对比Solr的优点在于：轻量级：安装启动方便，下载文件之后一条命令就可以启动。 Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构。多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置。分布式：Solr Cloud的配置比较复杂。 2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。近年ElasticSearch发展迅猛，已经超越了其最初的纯搜索引擎的角色，现在已经增加了数据聚合分析（aggregation）和可视化的特性，如果你有数百万的文档需要通过关键词进行定位时，ElasticSearch肯定是最佳选择。当然，如果你的文档是J...

2017-05-02

505

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。