Hadoop客户端Job提交流程-低调大师

Hadoop客户端Job提交流程

2018-03-11 578

从源码层面，总结下Hadoop客户端提交作业的流程：

1. 选择使用分布式环境通信协议，还是本地调试通信协议

org.apache.hadoop.mapreduce.Job#connect

2. 上传作业代码jobjar, libjar等，从本地文件系统到HDFS中去。

copyAndConfigureFiles(job, submitJobDir);

3. 拆分输入文件，生成splits

org.apache.hadoop.mapreduce.JobSubmitter#writeSplits()

a. 调用job.getInputFormat().getSplits()

b. 根据split size (通常就是HDFS block size), 将文件拆分成多个逻辑上的Split。

微信关注我们

原文链接：https://yq.aliyun.com/articles/530364

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【入门指南】操作阿里云Kibana

Elastic公司的“ELK”是目前最火的日志分析三剑客，其中ElasticSearch负责日志的索引，Logstash负责日志的收集，Kibana负责日志的展示和分析。事实上并不局限于日志分析，ELK技术栈同样适用于通用的数据采集、索引、分析业务，不可谓不强大。 Elastic与阿里云达成了合作伙伴关系，推出“阿里云 Elasticsearch”服务，提供了开箱即用的Elasticsearch和Kibana环境，方便我们快速搭建数据分析平台。下面我们将手把手演示一下如何在阿里云上创建并使用ElasticSearch服务。首先，我们创建阿里云Elasticsearch服务，阿里云提供了一个月的免费体验服务。如图，选择自己服务器所在的区域、VPC以及下面的虚拟交换机。对于大规模集群，可以勾选dedicated master，专用主节点

2018-03-12

609

信息时代，能吃到虫子的已不再是早起的鸟儿，而是那些数据驱动的、早起的鸟儿。像百度、阿里巴巴和腾讯这样的大公司，都在不断囤积数据，因为他们都知道数据是金灿灿的宝贝。但仅仅囤积数据是不够的。你需要熟练地筛选、全盘了解数据湖中溢出的所有数据。只有这样，你才能通过这些数据，做出更好的决策，打造更智能的产品。然而，在拥挤不堪、投资过剩的数据分析市场上，供应商为了卖出自己的产品不断放出烟雾弹，想要穿过烟雾看到“真相”，却是一大难事。以下五点，是未来数据分析市场可能的走向，仅供参考。 1、BI迁移到应用程序在过去的20年里，我们见证了一场革命。不是一夜之间发生的那种，而是逐渐发生的，缓慢的，可能很多人没有注意到。BI(商业智能)正走向死亡。或者更准确地说，BI正在进行着彻头彻尾的改变。每年，用户都在通过他们使用的应用程序——比如HubSpot、SalesForce和MailChimp——进行更多的分析。分析正在迁移到业务应用程序的结构中。从本质上讲，业务应用程序正在获取它们自己的分析接口，根据它们的数据和用例进行定制。这种集成和自定义使得其分析接口比深奥的、复杂的通用BI更容易被用户接受。...

2018-03-12

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。