MaxCompute Spark开发指南
MaxCompute Spark开发指南
0. 概述
本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。
MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景。
本文将重点介绍MaxCompute Spark能够支撑的应用场景,同时说明开发的依赖条件和环境准备,重点对Spark作业开发、提交到MaxCompute集群执行、诊断进行介绍。
1. 前提条件
MaxCompute Spark是阿里云提供的Spark on MaxCompute的解决方案,能够让Spark应用运行在托管的MaxCo
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
一文快速了解MaxCompute
一文快速了解MaxCompute 很多刚初次接触MaxCompute的用户,面对繁多的产品文档内容以及社区文章,往往很难快速、全面了解MaxCompute产品全貌。同时,很多拥有大数据开发经验的开发者,也希望能够结合自身的背景知识,将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射,以快速寻找或判断MaxCompute是否满足自身的需要,并结合相关经验更轻松地学习和使用产品。 本文将站在一个更宏观的视角来分主题地介绍MaxCompute产品,以期读者能够通过本文快速获取对MaxCompute产品的认识。 概念篇 产品名称:大数据计算服务(英文名:MaxCompute) 产品说明:MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。
- 下一篇
大数据Hadoop最新版实战Linux Ubuntu 16.04安装与运行测试例子
大数据Hadoop运行环境,依赖于Java JDK,核心的大数据框架基于Java开发的,目前互联网公司、电商、医疗、银行、医院等都有大数据应用,开源Hadoop生态统治了大数据领域,基本没有对手。企业要做大数据,基本最成熟的开源大数据平台就是Hadoop体系。今天基于Linux Ubuntu 16.04安装最新的Hadoop。大数据Hadoop最新版3.2.0实战安装与测试Linux Ubuntu 16.04,并运行文本分析的例子。 1、安装Java JDK 1.8 环境,确保Hadoop运行。可以选择安装Oracle JDK或者Open JDK。目前企业开发建议使用Open JDK。如果是付费用户,愿意安装Oracle JDK也行。 sudo apt-get install oracle-java8-installer sudo a
相关文章
文章评论
共有0条评论来说两句吧...