MaxCompute（原ODPS）任务优化之列裁剪

2016-10-25 765 89

免费开通大数据服务：https://www.aliyun.com/product/odps

转自kaiding

最近因为几个ODPS任务节点扣分严重，计算健康度一度堕落至85分的红线以下，上了一次黑榜，立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化，略作记录。

什么是列裁剪以及为什么要做列裁剪

列裁剪，即针对OpenMR任务Map阶段的输入，如果只使用了其中的某几列，则裁剪掉不需要使用的列，只指定需要使用的列。这样做的好处也就很明显了，减少网络I/O，提升Map计算效率等等。其实从使用上来看或许叫做输入列指定更顾名思义一些。

如何看任务是否需要列裁剪

这里贴一个本次重点做了列裁剪的节点，在列裁剪优化之前的logview(由于系统只保留最近几天的日志，所以这里就不贴链接了)，这里就贴部分内容吧，具体查看路径为：
1. 在

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/62361

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

[Hive]Hive使用指南四 客户端导入数据
2016-10-26 00:00:00

[Hive]Hive使用指南四 客户端导入数据

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/52935649 根据导入的地方不一样，主要介绍下面几种方式: 从本地文件系统中导入数据到Hive表 从HDFS上导入数据到Hive表 从别的表中查询出相应的数据并导入到Hive表中 1. 本地文件系统导入Hive表中 1.1 导入普通Hive表 1.1.1 创建Hive普通表 CREATE TABLE IF NOT EXISTS order_uid_total( uid string, bucket_type string, file_name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE; 1.1.2 导入数据 load data local inpath '/home/xiaosi/adv/order_uid_total.txt' into table order_uid_tot...
688
上一篇
Search-guard在ELK Stack日志分析系统中的应用
2016-10-26 00:00:00

Search-guard在ELK Stack日志分析系统中的应用

打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处： http://blog.csdn.net/gamer_gyt 博主微博： http://weibo.com/234654758 Github： https://github.com/thinkgamer 写在前边的话 在之前的一篇文章中介绍了Shield在Elk Stack中的权限保护，但由于Shield是收费的，所以就有人给出了免费的解决方案——Search-guard 简单说明 search-guard是elastcisearch的一款插件，提供加密，身份验证和授权，基于search guard SSL，另外提供可插入的身份验证/授权模块，search-guard是shield的替代品，可免费提供所有的基本安全功能，其功能特性： 基于用户和角色的权限控制 支持SSL和TLS方式安全认证 支持LDAP认证 环境说明 Ubuntu 16.04 Elasticsearch 2.4.1 Logstash 2.4.0 Kibana 4.6.1 部署 Elasticsearch配置search-guard 进入elastics...
633
下一篇

相关文章

发表评论

资源下载

更多资源
Mario，低调大师唯一一个Java游戏作品

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat7、8、9（Java Web服务器）

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
SpringBoot Docker HarmonyOS NEXT 服务网格 ChatGPT DeepSeek SpringCloud Jdk25 K8s Redis Nacos

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273