基于Alluxio系统的Spark DataFrame高效存储管理技术-低调大师

基于Alluxio系统的Spark DataFrame高效存储管理技术

2019-01-29 579

介绍
越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。在未使用Alluxio之前，他们发现生产环境中的一些Spark作业会变慢甚至无法完成。而在采用Alluxio后这些作业可以很快地完成。在这篇文章中，我们将介绍如何使用Alluxio帮助Spark变得更高效，具体地，我们将展示如何使用Alluxio高效存储Spark DataFrame。

Alluxio和Spark缓存
用户使用Alluxio存储Spark DataFrame非常简单：通过Spark DataFrame write API将DataFrame作为一个文件写入Alluxio。通常的做

微信关注我们

原文链接：https://yq.aliyun.com/articles/689408

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云分析引擎Spark On 多数据源介绍

主题：阿里云分析引擎Spark On 多数据源介绍讲师：云覆（周广成)--阿里数据库产品专家内容概要：阿里云的分析引擎基于开源Spark构建分析HBase数据、Phoenix、MongoDB、RDS等多数据源的能力，本次分享主要介绍分析引擎Spark分析多数据库的原理、用法和场景介绍。视频回看地址：https://yq.aliyun.com/live/854 PPT下载地址：https://yq.aliyun.com/download/3313

2019-01-29

648

近日，阿里云安全团队发布了《2018年云上挖矿分析报告》。该报告以阿里云2018年的攻防数据为基础，对恶意挖矿态势进行了分析，并为个人和企业提出了合理的安全防护建议。热点热议《2018年云上挖矿态势分析报告》发布，非Web类应用安全风险需重点关注作者：云安全专家 3分钟，了解阿里云热门开发者工具 Cloud Toolkit 作者：银时发表在：阿里中间件团队优酷IPv6改造纪实：视频行业首家拥抱下一代网络技术作者：技术小能手发表在：阿里技术知识整理基于Alluxio系统的Spark DataFrame高效存储管理技术作者：开源大数据发表在：Apache Spark中国技术社区 Spark in action on Kubernetes - Playground搭建与架构浅析作者：开源大数据发表在：Apache Spark中国技术社区 Kubernetes 实战教学，手把手教您在 K8s 集群上部署 Istio Mesh（二）作者：docker公司发表在：Docker公司 Fescar example解析 - TC流程作者：晴天哥 Mac神兵利器（四）时间管理工具作...

2019-01-30

621

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。