通过SDK提交MapReduce作业-低调大师

通过SDK提交MapReduce作业

2016-07-04 720 89

快速、完全托管的TB/PB级数据仓库解决方案，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

通过SDK提交MR作业的步骤如下：

步骤一：
编写MR程序，导出jar包，jar包可以不包含main方法（main方法是在本地执行）

步骤二：
上传jar包及所需的资源
（1）通过console上传jar包到server端： add jar xxx.jar
（2）也可以通过SDK写程序上传，参考相关方法：com.aliyun.odps.ODPS.resources().create(xxx,xxx)

步骤三：

对main方法进行改进，主要包括两部分

微信关注我们

原文链接：https://yq.aliyun.com/articles/57263

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-07-05 00:00:00

从分析性数据库ADS中导出数据

ADS是阿里云提供的分析性数据库，实现百亿数据毫秒级计算。将ADS中的数据导出，有2种思路，通过select或dump实现。这两种方法各有优缺点。 select导出因为ADS支持MySQL客户端，通过客户端，可以编写select进行数据导入。在这个过程中需要解决1个问题： select在公共云上查询的返回行数最大为10000行，所以无法通过select无法一次获取所有的数据如果想通过分区的方式，分多次，一次10000行将数据导出，需要解决分区的问题： limit语法只支持[0,n]，不支持[m,n] 没有提供rownum或者其它可以获取行数的函数所以，使用select的方式还是挺麻烦的。 dump导出语法 dump可以导出海量的数据，语法如下： DUMP DATA [OVERWRITE] INTO 'odps://project_name/table_name' SELECT C1, C2 FROM DB1.TABLE1 WHERE C1 = 'xxxx' LIMIT 100000 在导入之前需要先在ODPS对garuda_data@aliyun.com赋权，对于项目，需...

1041

2016-07-05 00:00:00

Spark的运行架构分析（二）之运行模式详解

在上一篇博客 spark的运行架构分析（一）中我们有谈到Spark的运行模式是多种多样的，那么在这篇博客中我们来具体谈谈Spark的运行模式一：Spark On Local 此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压即可使用，运行时Spark目录下的bin目录执行bin/spark-shell即可具体可参考这篇博客：http://blog.csdn.net/happyanger6/article/details/47070223 二：Spark On Local Cluster（Spark Standalone）即Spark的伪分布模式，安装部署可参考：http://blog.csdn.net/gamer_gyt/article/details/51638023 Standalone模式是Spark实现的资源调度框架，其主要的节点有Client节点、Master节点和Worker节点。其中Driver既可以运行在Master节点上中，也可以运行在本地Client端。当用spark-shell交互式工具提交Spar...

779

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。