Hadoop客户端Job提交流程-低调大师

Hadoop客户端Job提交流程

2018-03-11 589

从源码层面，总结下Hadoop客户端提交作业的流程：

1. 选择使用分布式环境通信协议，还是本地调试通信协议

org.apache.hadoop.mapreduce.Job#connect

2. 上传作业代码jobjar, libjar等，从本地文件系统到HDFS中去。

copyAndConfigureFiles(job, submitJobDir);

3. 拆分输入文件，生成splits

org.apache.hadoop.mapreduce.JobSubmitter#writeSplits()

a. 调用job.getInputFormat().getSplits()

b. 根据split size (通常就是HDFS block size), 将文件拆分成多个逻辑上的Split。

微信关注我们

原文链接：https://yq.aliyun.com/articles/530364

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【入门指南】操作阿里云Kibana

Elastic公司的“ELK”是目前最火的日志分析三剑客，其中ElasticSearch负责日志的索引，Logstash负责日志的收集，Kibana负责日志的展示和分析。事实上并不局限于日志分析，ELK技术栈同样适用于通用的数据采集、索引、分析业务，不可谓不强大。 Elastic与阿里云达成了合作伙伴关系，推出“阿里云 Elasticsearch”服务，提供了开箱即用的Elasticsearch和Kibana环境，方便我们快速搭建数据分析平台。下面我们将手把手演示一下如何在阿里云上创建并使用ElasticSearch服务。首先，我们创建阿里云Elasticsearch服务，阿里云提供了一个月的免费体验服务。如图，选择自己服务器所在的区域、VPC以及下面的虚拟交换机。对于大规模集群，可以勾选dedicated master，专用主节点

2018-03-12

632

信息时代，能吃到虫子的已不再是早起的鸟儿，而是那些数据驱动的、早起的鸟儿。像百度、阿里巴巴和腾讯这样的大公司，都在不断囤积数据，因为他们都知道数据是金灿灿的宝贝。但仅仅囤积数据是不够的。你需要熟练地筛选、全盘了解数据湖中溢出的所有数据。只有这样，你才能通过这些数据，做出更好的决策，打造更智能的产品。然而，在拥挤不堪、投资过剩的数据分析市场上，供应商为了卖出自己的产品不断放出烟雾弹，想要穿过烟雾看到“真相”，却是一大难事。以下五点，是未来数据分析市场可能的走向，仅供参考。 1、BI迁移到应用程序在过去的20年里，我们见证了一场革命。不是一夜之间发生的那种，而是逐渐发生的，缓慢的，可能很多人没有注意到。BI(商业智能)正走向死亡。或者更准确地说，BI正在进行着彻头彻尾的改变。每年，用户都在通过他们使用的应用程序——比如HubSpot、SalesForce和MailChimp——进行更多的分析。分析正在迁移到业务应用程序的结构中。从本质上讲，业务应用程序正在获取它们自己的分析接口，根据它们的数据和用例进行定制。这种集成和自定义使得其分析接口比深奥的、复杂的通用BI更容易被用户接受。...

2018-03-12

653

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。