搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

Hadoop集群（第2期）_机器信息分布表

hadoop（全小写）一般用户名称（Name） hadoop（全小写）一般用户密码（PWD） hadoop（全小写） 2.2 Slave1服务器名称详细信息机器名称 Slave1.Hadoop

2017-12-31

Hadoop集群（第7期）_Eclipse开发环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-

2017-12-31

Hadoop MapReduce工作详细流程（Partitioner/SortComparator/GroupingComparator）

转自：http://blog.sina.com.cn/s/blog_7581a4c30102veem.html map阶段 1. 使用job.setInputFormatClass(TextInputFormat)做为输入格式。注意输出应该符合自定义Map中定义的输出。 2. 进入Mapper的map()方法，生成一个List。 3. 在map阶段的最后，会先调用job.setPartitionerClass()对这个List进行分区，每个分区映射到一个reducer。 4. 每个分区内又调用job.setSortComparatorClass()设置的key比较函数类排序(如果没有通过job.setSortComparatorClass()设置key比较函数类，则使用key的实现的compareTo方法)。可以看到，这是一个二次排序。 5. 如果设置了Combiner（job.setCombinerClass）对output进行一次合并，从而减少对reduce的输出流量和预处理reduce的input数据。但不一定会执行，对于Combiner执行时机参考Reference[4]。【说明】以上步骤省略了collect阶段、cache阶段等细节，更详细步骤参考Reference[3] reduce阶段 1. shuffle阶段 reducer开始fetch所有映射到这个reducer的map输出。 2.1 sort阶段再次调用job.setSortComparatorClass()设置的key比较函数类对所有数据对排序(因为一个reducer接受多个mappers，需要重新排序)。 2.2 secondary sort阶段然后开始构造一个key对应的value迭代器。这时就要用到分组，使用jobjob.setGroupingComparatorClass()设置的分组函数类。只要这个比较器比较的两个key相同，他们就属于同一个组，它们的value放在一个value迭代器，而这个迭代器的key使用属于同一个组的所有key的第一个key。 3.reduce阶段最后就是进入Reducer的reduce()方法，reduce()方法的输入是所有的（key和它的value迭代器）。同样注意输入与输出的类型必须与自定义的Reducer中声明的一致。【注意】reducers的输出是无序的。

2017-12-25

单机安装 CentOS 5 + hadoop-0.20.0

这种安装方式仅仅适用于做实验，快速搭建Hadoop环境，不适合生产环境。

2017-12-21

[Hadoop大数据]——Hive连接JOIN用例详解

/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/hadoop/hadoop-2.6.4/

2017-12-04

hadoop+hive使用中遇到的问题汇总

问题排查方式一般的错误，查看错误输出，按照关键字google 异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志 hadoop

2017-11-29

CentOS 7 快速架设hadoop 2.5.1集群

主机用户2: hadoop 密码 hadoop c.JDK位置： /usr/local 即/usr/local/jdk1.7.0_71 d.hadoop 位置: /opt 即/opt/hadoop-

2017-11-27

运行Hadoop自带的wordcount单词统计程序

] #pwd /usr/local/hadoop/share/hadoop/mapreduce [root@leafmapreduce] #ls hadoop-mapreduce-client-app-

2017-11-26

hadoop 测试第一个mapreduce程序

说明：测试hadoop自带的实例 wordcount程序（此程序统计每个单词在文件中出现的次数） 2.6.0版本jar程序的路径是 /usr/local/hadoop-2.6.0/share/hadoop

2017-11-22

Centos6.4 +Hadoop 1.2.1集群配置

Hadoop 1.2.1版本下载地址：http://apache.dataguru.cn/hadoop/common/hadoop-1.2.1/ 本文章配置的是完全分布模式。

2017-11-22

Hadoop项目之Cloudera 5.6.0.1（CDH）的安装部署

1 前言 Cloudera是基于Apache原生的Hadoop组件进行重新封装和加强，Cloudera可以简化Hadoop组件的部署。

2017-11-22

小白学习大数据测试之hadoop初探

Hadoop的历史这里就不多说了，网上很多资料，总而言之对于hadoop谷歌和雅虎对于ta的贡献功不可没。

2017-11-22

CDH5.4.7安装Hadoop集群检查主机报错

应用场景在用CDH5.4.7搭建Hadoop集群的时候，难免遇到一些错误，比如在检查主机的时候遇到各种报错等等。

2017-11-21

CDH5.4.7安装Hadoop集群安装主机失败

应用场景在用CDH5.4.7搭建Hadoop集群的时候，难免遇到一些错误，比如在检查主机的时候遇到各种报错等等。

2017-11-21

Hadoop项目实战－用户行为分析之编码实践

下面我们来看看本课程有哪些课时，如下图所示：首先，我们来学习第一课时：《Hadoop项目基础代码》。

2017-11-20

Hadoop2源码分析－HDFS核心模块分析

1.概述这篇博客接着《Hadoop2源码分析－RPC机制初识》来讲述，前面我们对MapReduce、序列化、RPC进行了分析和探索，对Hadoop V2的这些模块都有了大致的了解，通过对这些模块的研究

2017-11-20

Hadoop2源码分析－序列化篇

这些缺点对于Hadoop来说是不合适的，导致Hadoop没有采用Java自身的序列化机制，而是Hadoop自己开发了一套适合自己的序列化机制。

2017-11-20

CDH5.4.7安装分布式Hadoop集群

应用场景部署Hadoop集群过程中，可以使用开源的Apache Hadoop或者可以用CDH【国外的一家公司基于开源的封装的】，搭建更加方便，方便扩充节点规模，组件管控，性能监控等等，但是也有一个弊端

2017-11-20

hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍

此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。在分布式存储和分布式计算方面，Hadoop都是用从/从（Master/Slave）架构。

2017-11-17

Hadoop分布式文件系统架构部署

（如果是真实线上环境，请下载64位hadoop版本，这样可以避免很多问题，这里我实验采用的是32位版本） 1 2 3 4 Hadoop下载地址 http: //apache.claz.org/hadoop

2017-11-15

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

精选列表

Hadoop集群（第2期）_机器信息分布表

Hadoop集群（第7期）_Eclipse开发环境设置

Hadoop MapReduce工作详细流程（Partitioner/SortComparator/GroupingComparator）

单机安装 CentOS 5 + hadoop-0.20.0

[Hadoop大数据]——Hive连接JOIN用例详解

hadoop+hive使用中遇到的问题汇总

CentOS 7 快速架设hadoop 2.5.1集群

运行Hadoop自带的wordcount单词统计程序

hadoop 测试第一个mapreduce程序

Centos6.4 +Hadoop 1.2.1集群配置

Hadoop项目之Cloudera 5.6.0.1（CDH）的安装部署

小白学习大数据测试之hadoop初探

CDH5.4.7安装Hadoop集群检查主机报错

CDH5.4.7安装Hadoop集群安装主机失败

Hadoop项目实战－用户行为分析之编码实践

Hadoop2源码分析－HDFS核心模块分析

Hadoop2源码分析－序列化篇

CDH5.4.7安装分布式Hadoop集群

hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍

Hadoop分布式文件系统架构部署

资源下载

优质分享App

Mario

Spring

Rocky Linux

欢迎您来访！