《Spark与Hadoop大数据分析》——第3章深入剖析Apache Spark-低调大师

《Spark与Hadoop大数据分析》——第3章深入剖析Apache Spark

2017-08-31 661

第3章

深入剖析Apache Spark

Apache Spark 的技术、社区和用户群都在快速增长。2015 年推出了两个新的API：DataFrame API 和 DataSet API。这两个 API 构建在基于 RDD 的核心 API 之上。我们有必要了解 RDD 的更深层概念，包括运行时的架构和它在 Spark 各种资源管理器上的表现。

本章分为以下子主题：

微信关注我们

原文链接：https://yq.aliyun.com/articles/212228

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云杉网络发布数据驱动的云网可视化与分析产品

网络与业务正在脱节通常来说，企业业务的经营与管理离不开“业务架构”、“应用系统”和“IT基础设施”三个有机部分。其中，应用系统是业务的直观体现，而业务架构彰显的是运营模式，IT基础设施则作为前两者的载体存在。在云计算时代，企业本身朝着数字化转型，业务架构朝着服务化转型，应用系统则迈入了DevOps时代，随之，IT基础设施迎来云时代。在IT基础设施中，和计算、存储一样，网络（网络架构、网络服务、网络运维管理）如果不变革，网络将无法适应业务发展的需求，其结果就是与业务逐渐脱节。云网时代及其挑战在SDxCentral发布的《2017下一代数据中心网络研究报告》中指出，下一代数据中心对网络的关键需求为可视化与Troubleshooting、关键趋势为大数据分析。企业数据中心网络正在积极拥抱SDN，以最大程度上适应云网时代的发展、消除网络与业务的脱节。迈入虚拟化及云网时代的数据中心网络具有以下三大特征。 ? 虚拟化：网络及网络功能变得由软件定义和用户可编程。 ? 去边界化：内网流量成主导，虚拟化让传统网络的边界消失。 ? 高度动态化：业务的动态性要求网络可以更快地响应。什么是云网？云...

2017-09-01

643

当用户从PC端向移动端转移的过程中，因为移动端的小屏化、浏览时间碎片化的特点，在有限的时间、空间中仅能向用户呈现有限的内容，因此对APP内容提供者的推荐算法能力提出了新的挑战。在电商购物环境下更有其自身的特点，如用户需求动态变化、商品种类数量繁多、促销活动频繁等，在此，我们从手机淘宝的实践中，选取若干具有创新性的案例和技术，进行分析与讨论。图1是结合电商特点，由实际需求驱动的一个三层推荐系统架构图，简要说明如下。第一层是item（可以是商品、店铺、内容等）相关的选品设计：根据各无线产品的定位，我们为特定人群选择他们所需要的优质商品。第二层是用户与item的匹配层：它包含以协同过滤为主的算法，考虑用户短中长期兴趣和需求的变化，以及空间时间上下文的变化，从海量item库中找出最可能满足其当前需要的物品。第三层是精确排序层：基于经典的Learning to Rank技术来进行精准推送；同时，为了更早、更准确地捕捉用户意图的变化，在计算层引入流式计算引擎，并研发了在线学习框架。由上述的三层推荐系统构建的技术体系，我们得以支撑电商中数百个应用场景和产品，包括最具技术挑战的“双11”场景...

2017-09-01

557

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。