MaxCompute MapReduce的7个性能优化策略-低调大师

MaxCompute MapReduce的7个性能优化策略

2016-10-10 643

1. 输入表的列裁剪

对于列数特别多的输入表，Map阶段处理只需要其中的某几列，可以通过在添加输入表时明确指定输入的列，减少输入量；
例如只需要c1,c2俩列，可以这样设置：

InputUtils.addTable(TableInfo.builder().tableName("wc_in").cols(newString[]{"c1","c2"}).build(), job);

设置之后，你在map里的读取到的Record也就只有c1,c2俩列，如果之前是使用列名获取Record数据的，不会有影响，而用下标获取的需要注意这个变化。

2. 减少中间环节

如果有多个MR作业，之间有关联关系，前一个作业的输出是后一个作业的输入，可以考虑采用Pipeline的模式，将多个串行的MR作业合并为一个，这样可以用更少的作业数量完成同样的任务，一方面减少

微信关注我们

原文链接：https://yq.aliyun.com/articles/61531

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MaxCompute数据安全机制

文章转自dongkai 和传统的计算平台类似，MaxCompute使用多租户隔离租户间的数据。租户内利用访问控制保护用户数据。但是作为一个云计算、大数据平台，MaxCompute在实现时做了一系列的创新。这些创新主要体现在三个方面：1、访问可追溯；2、更细粒度的访问控制；3、跨租户访问控制。访问可追溯传统的计算平台都会内建一个账号系统。用户以平台内账号连接计算平台、提交作业。平台的权限控制和审计也使用内部账号而不是真实的用户。MaxCompute作为aliyun的一个产品，直接使用阿里云官网的账号系统。这使得请求的主体更加的真实。用户必须用官网颁发的AccessId请求MaxCompute。MaxCompute通过阿里云官网的身份认证系统确认请求者身份；利用共享密钥机制防止“中间人攻击”。因此MaxCompute所有

2016-10-11

669

文章转自duzhuan 本文主要介绍一些ODPS表操作的优化技巧，通过这些技巧，可以有效节省ODPS存储空间和计算量。合理设置分区表 ODPS支持分区表的概念，分区表指的是在创建表时指定的partition的分区空间，即指定表内的某几个字段作为分区列。在大多数情况下，用户可以将分区类比为文件系统下的目录。 ODPS将分区列的每个值作为一个分区(目录)。用户可以指定多级分区，即将表的多个字段作为表的分区，分区之间正如多级目录的关系。在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。比如：create table src (key string, value bigint) partitioned by (pt string);，使用select * from src where p

2016-10-11

804

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。