基于Alluxio系统的Spark DataFrame高效存储管理技术-低调大师

基于Alluxio系统的Spark DataFrame高效存储管理技术

2019-01-29 613

介绍
越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。在未使用Alluxio之前，他们发现生产环境中的一些Spark作业会变慢甚至无法完成。而在采用Alluxio后这些作业可以很快地完成。在这篇文章中，我们将介绍如何使用Alluxio帮助Spark变得更高效，具体地，我们将展示如何使用Alluxio高效存储Spark DataFrame。

Alluxio和Spark缓存
用户使用Alluxio存储Spark DataFrame非常简单：通过Spark DataFrame write API将DataFrame作为一个文件写入Alluxio。通常的做

微信关注我们

原文链接：https://yq.aliyun.com/articles/689408

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云分析引擎Spark On 多数据源介绍

主题：阿里云分析引擎Spark On 多数据源介绍讲师：云覆（周广成)--阿里数据库产品专家内容概要：阿里云的分析引擎基于开源Spark构建分析HBase数据、Phoenix、MongoDB、RDS等多数据源的能力，本次分享主要介绍分析引擎Spark分析多数据库的原理、用法和场景介绍。视频回看地址：https://yq.aliyun.com/live/854 PPT下载地址：https://yq.aliyun.com/download/3313

2019-01-29

688

近日，阿里云安全团队发布了《2018年云上挖矿分析报告》。该报告以阿里云2018年的攻防数据为基础，对恶意挖矿态势进行了分析，并为个人和企业提出了合理的安全防护建议。热点热议《2018年云上挖矿态势分析报告》发布，非Web类应用安全风险需重点关注作者：云安全专家 3分钟，了解阿里云热门开发者工具 Cloud Toolkit 作者：银时发表在：阿里中间件团队优酷IPv6改造纪实：视频行业首家拥抱下一代网络技术作者：技术小能手发表在：阿里技术知识整理基于Alluxio系统的Spark DataFrame高效存储管理技术作者：开源大数据发表在：Apache Spark中国技术社区 Spark in action on Kubernetes - Playground搭建与架构浅析作者：开源大数据发表在：Apache Spark中国技术社区 Kubernetes 实战教学，手把手教您在 K8s 集群上部署 Istio Mesh（二）作者：docker公司发表在：Docker公司 Fescar example解析 - TC流程作者：晴天哥 Mac神兵利器（四）时间管理工具作...

2019-01-30

666

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。