通过SDK提交MapReduce作业-低调大师

通过SDK提交MapReduce作业

2016-07-04 759

快速、完全托管的TB/PB级数据仓库解决方案，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

通过SDK提交MR作业的步骤如下：

步骤一：
编写MR程序，导出jar包，jar包可以不包含main方法（main方法是在本地执行）

步骤二：
上传jar包及所需的资源
（1）通过console上传jar包到server端： add jar xxx.jar
（2）也可以通过SDK写程序上传，参考相关方法：com.aliyun.odps.ODPS.resources().create(xxx,xxx)

步骤三：

对main方法进行改进，主要包括两部分

微信关注我们

原文链接：https://yq.aliyun.com/articles/57263

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从分析性数据库ADS中导出数据

ADS是阿里云提供的分析性数据库，实现百亿数据毫秒级计算。将ADS中的数据导出，有2种思路，通过select或dump实现。这两种方法各有优缺点。 select导出因为ADS支持MySQL客户端，通过客户端，可以编写select进行数据导入。在这个过程中需要解决1个问题： select在公共云上查询的返回行数最大为10000行，所以无法通过select无法一次获取所有的数据如果想通过分区的方式，分多次，一次10000行将数据导出，需要解决分区的问题： limit语法只支持[0,n]，不支持[m,n] 没有提供rownum或者其它可以获取行数的函数所以，使用select的方式还是挺麻烦的。 dump导出语法 dump可以导出海量的数据，语法如下： DUMP DATA [OVERWRITE] INTO 'odps://project_name/table_name' SELECT C1, C2 FROM DB1.TABLE1 WHERE C1 = 'xxxx' LIMIT 100000 在导入之前需要先在ODPS对garuda_data@aliyun.com赋权，对于项目，需...

2016-07-05

1086

在上一篇博客 spark的运行架构分析（一）中我们有谈到Spark的运行模式是多种多样的，那么在这篇博客中我们来具体谈谈Spark的运行模式一：Spark On Local 此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压即可使用，运行时Spark目录下的bin目录执行bin/spark-shell即可具体可参考这篇博客：http://blog.csdn.net/happyanger6/article/details/47070223 二：Spark On Local Cluster（Spark Standalone）即Spark的伪分布模式，安装部署可参考：http://blog.csdn.net/gamer_gyt/article/details/51638023 Standalone模式是Spark实现的资源调度框架，其主要的节点有Client节点、Master节点和Worker节点。其中Driver既可以运行在Master节点上中，也可以运行在本地Client端。当用spark-shell交互式工具提交Spar...

2016-07-05

827

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。