Hadoop零基础入门-低调大师

Hadoop零基础入门

2018-03-07 583

转自：http://blog.csdn.net/column/details/13153.html

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop（单机模式+伪分布模式）

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop（完全分布模式）

hadoop安装配置中的权限管理

【Hadoop入门学习系列之二】HDFS架构和编程

【Hadoop入门学习系列之三】YARN原理和资源调度

【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型

【Hadoop入门学习系列之五】MapReduce 2.0编程实战

【Hadoop入门学习系列之六】HBase基本架构、编程模型和应用案例

微信关注我们

原文链接：https://yq.aliyun.com/articles/666477

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

再见Hadoop之父，大数据应用新认知

前不久，有机会再次见到hadoop之父--Doug Cutting先生，与2014年见面稍有不同的是，这次Doug Cutting先生身份变为了Cloudera首席架构师。结合Hadoop、大数据和人工智能等热点，对他进行了深入采访。问：作为Hadoop创始人，请您回顾一下Hadoop历史和初衷 Doug Cutting ：创建Hadoop的时候，当时我正在做一个项目，这个项目的代号叫Nutch。当时希望能够基于开源去创建出一种网络搜索的引擎，实现一种具有可扩展性、可收缩性的数据技术。同期我看到了来自于Google的几篇论文，我觉得他们的想法和我们的想法是完全一致的，所以我们把Google的想法放到了Nutch项目当中来实施了。当时我是个人有这样的一个需要，就是要做好手上的项目，当时我确实是没有预想到一旦创建出来这个技术以后，它具有如此之广的用途，没有预见到它在制造、银行、电信等很多行业的价值。这让我感觉到非常惊喜。问：如今Hadoop的进展，有没有和最初设想不太一样的地方 Doug Cutting ：当初也没有一个关于Hadoop将来如何发展的计划，Hadoop发展的演进范...

2018-03-07

581

转自：Spark下Yarn-Cluster和Yarn-Client的区别 0 首先注意的概念 ResourceManager：是集群所有应用程序的资源管理器，能够管理集群的计算资源并为每个Application分配，它是一个纯粹的调度器。 NodeManager：是每一台slave机器的代理，执行应用程序，并监控应用程序的资源使用情况。 Application Master：每一个应用程序都会有一个Application Master，它的主要职责是向RM申请资源、在每个NodeManager上启动executors、监控和跟踪应用程序的进程等。 1 Yarn-Cluster 执行过程：（1）客户端提交Application到RM，这个过程做的工作有判断集群资源是否满足需求、读取配置文件、设置环境变量、设置Application名字等等；（2）RM在某一台NodeManager上启动Application Master，AM所在的机器是YARN分配的，事先是不知道的；（3）AM初始化SparkContext，开始驱动程序，这个NodeManager便是Driver；（4）AM向...

2018-03-08

544

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。