搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

hadoop完全分布式集群下安装sqoop

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署

2017-11-15

构建Hadoop+Hbase+ZooKeeper分布式存储

（如果是真实线上环境，请下载64位hadoop版本，这样可以避免很多问题，这里我实验采用的是32位版本） 1 2 3 4 Hadoop下载地址 http: //apache .claz.org /hadoop

2017-11-15

Hadoop完全分布式集群安装zookeeper集群

应用场景 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

2017-11-15

HDFS的管理节点是NameNode，用于存储并管理元数据。那么具体的文件数据存储在哪里呢?DataNode就是负责存储数据的组件，一个数据块Block会在多个DataNode中进行冗余备份;而一个DataNode对于一个块最多只包含一个备份。所以可以简单地认为DataNode上存储了数据块ID和数据块内容，以及它们的映射关系。一个HDFS集群可能包含上千个DataNode节点，这些DataNode定时和NameNode进行通信，接受NameNode的指令，为了减轻NameNode的负担，NameNode上并不永久保存哪个DataNode上有哪些数据块的信息，而是通过DataNode启动时的上报来更新NameNode上的映射表。DataNode和NameNode建立连接后，就会不断地和NameNode保持联系，反馈信息中也包含了NameNode对DataNode的一些命令，如删除数据库或者把数据块复制到另一个DataNode。应该注意的是:NameNode不会发起到DataNode的请求，在这个通信过程中，它们严格遵从客户端/服务器架构。当然DataNode也作为服务器接受来自客户端的i方问，处理数据块读/写请求。DataNode之间还会相互通信，执行数据块复制任务，同时，在客户端执行写操作的时候，DataNode之间需要相互配合，以保证写操作的一致性。 HDFS体系结构中有两类节点，一类是NameNode，另一类是DataNode。这两类节点分别承担Master和Worker的任务。NameNode就是Master管理集群中的执行调度，DataNode就是Worker具体任务的执行节点。NameNode管理文件系统的命名空间，维护整个文件系统的文件目录树及这些文件的索引目录(本质上还是名字)。这些信息以两种形式存储在本地文件系统中，一种是命名空间镜像(Namespaee image );一种是编辑日志(Edit log )。从NameNode中你可以获得每个文件的每个块所在的DataNode。有一点需要注意的是，这些信息不是永久保存的，NameNode会在每次启动系统时动态地重建这些信息。当运行任务时，客户端通过NameNode获取元数据信息，和DataNode进行交互以访问整个文件系统。系统会提供一个类似于POSIX的文件接口，这样用户在编程时无须考虑NameNode和DataNode的具体功能。 DataNode是文件系统Worker中的节点，用来执行具体的任务:存储文件块，被客户端和NameNode调用。同时，它会通过心跳(Heartbeat)定时向NameNode发送所存储的文件块信息。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5081183.html，如需转载请自行联系原作者

2017-11-14

Hadoop HDFS概念学习系列之NameNode（五）

HDFS采用Master/Slave架构。NameNode就是HDFS的Master架构。HDFS系统包括一个NameNode组件，主要负责HDFS文件系统的管理工作，具体包括名称空间(namespace)管理，文件Block管理。 NameNode提供的是始终被动接收服务的server。 NameNode主要有三类协议接口: ClientProtocol接口，提供给客户端，用于访问NameNode。它包含了文件的HDFS功能。和GFS一样. HDFS不提供POSIX形式的接口，而使用了一个私有接口。DataNodeProtocol接口，用于从DataNode向NameNode通信。NameNodeProtocol接口，用于从NameNode到NameNode的通信。在HDFS内部，一个文件被分成一个或多个Block，这些Block存储在DataNode集合里，NameNode就负责管理文件Block的所有元数据信息，这些元数据信息主要为:“文件名 -> 数据块‘’映射 “数据块 -> DataNode列表”映射其中，"文件名 -> 数据块"保存在磁盘上进行持久化存储，需要注意的是NameNode上不保存‘’数据块 -> DataNode列表”映射，该列表是通过DataNode上报给NameNode建立起来的。NameNode执行文件系统的名称空间(namespace)操作，例如打开、关闭、重命名文件和目录，同时决定文件数据块到具体DataNode节点的映射。和NameNode最相关的还有一个概念就是Secondary NameNode，其主要是定时对NameNode的数据snapshots进行备份，这样可尽量降低NameNode崩溃之后导致数据丢失的风险，其所做的工作就是从NameNode获得fsimage和edits后把两者重新合并发给NameNode，这样，既能减轻NameNode的负担又能安全地备份，一旦HDFS的Master架构失效，就可以借助Secondary NameNode进行数据恢复。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5081112.html，如需转载请自行联系原作者

2017-11-14

CentOS6.7-64bit编译hadoop2.6.4

/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:/usr/local/protobuf/bin source /etc/profile protoc --version 9

2017-11-14

Hadoop概念学习系列之版本变迁（六）

至2012年5月，Apache Hadoop的四大分支构成了四个系列的Hadoop版本。

2017-11-14

IBM BigInsights -- 基于 Hadoop 的数据分析平台

，在集成与扩展 Hadoop 主要组件的同时，还提供了 IBM 特有的数据处理与分析模块。

2017-11-14

python调用mrjob实现hadoop的mapreduce日志解析

mrjob 可以让用 Python 来编写 MapReduce 运算，并在多个不同平台上运行，你可以：使用纯 Python 编写多步的 MapReduce 作业在本机上进行测试在 Hadoop 集群上运行

2017-11-14

搭建hadoop2.6.0完全分布式集群

安装配置hadoop2.6.0集群 hadoop2.6.0下载地址 8.1 安装hadoop 操作步骤： 1.将下载的hadoop2.6.0压缩包，上传到主节点的opt目录下 2.进行解压缩 3.配置环境变量

2017-11-13

Hadoop源码的编译过程详细解读（各版本）

是因为之前下的binary版，解压后直接用，发现每次执行命令都会报个WARN，如：hd_admin@master:/usr/local/hadoop$ hadoop fs -ls14/10/27 19:

2017-11-13

如何理解Hadoop-Hbase原理与应用小结

数据越来越多直到memstore占满，再写入硬盘storefile中，每次写入形成一个单独storefile，当storefile达到一定的数量后，就会开始把小storefile合并成大storefile，因为hadoop

2017-11-13

Hadoop分布式文件系统HDFS架构

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上

2017-11-12

mac或linux下安装hadoop-2.8流程

mac上安装hadoop 1,mac下的java ll /usr/bin |grep'java' 默认: /System/Library/Frameworks/JavaVM.framework/Versions

2017-11-12

原生态在hadoop上运行java程序

/testdata/ 5,开始执行jar hadoop jar /home/hadoop/Docum/Test.jar /user/hadoop/temperatur output 这是一种利用jar来运行的

2017-11-12

Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装

前提：已经安装好三个节点的 hadoop 集群，参考http://blog.csdn.net/zhang123456456/article/details/77621487 这里选用mySql作为元数据库

2017-11-12

hadoop mapreduce开发实践之本地文件分发by streaming

场景：程序运行所需要的文件、脚本程序或者配置文件不在hadoop集群上，则首先要将这些文件分发到hadoop集群上才可以进行计算； hadoop提供了自动分发文件也压缩包的功能，只需要在启动hadoop

2017-11-12

hadoop mapreduce开发实践之HDFS文件分发by streaming

思路：mapper和reducer程序都不需要修改，只是在运行streaming的时候需要使用-cacheFile 指定hdfs上的文件； 1.1、streaming命令格式 $HADOOP_HOME/

2017-11-12

hadoop mapreduce开发实践之输出数据压缩

1、hadoop 输出数据压缩 1.1、为什么要压缩？输出数据较大时，使用hadoop提供的压缩机制对数据进行压缩，可以指定压缩的方式。

2017-11-12

0基础搭建Hadoop大数据处理-初识

优点： Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性。

2017-11-10

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

hadoop完全分布式集群下安装sqoop

构建Hadoop+Hbase+ZooKeeper分布式存储

Hadoop完全分布式集群安装zookeeper集群

Hadoop HDFS概念学习系列之DataNode（六）

Hadoop HDFS概念学习系列之NameNode（五）

CentOS6.7-64bit编译hadoop2.6.4

Hadoop概念学习系列之版本变迁（六）

IBM BigInsights -- 基于 Hadoop 的数据分析平台

python调用mrjob实现hadoop的mapreduce日志解析

搭建hadoop2.6.0完全分布式集群

Hadoop源码的编译过程详细解读（各版本）

如何理解Hadoop-Hbase原理与应用小结

Hadoop分布式文件系统HDFS架构

mac或linux下安装hadoop-2.8流程

原生态在hadoop上运行java程序

Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装

hadoop mapreduce开发实践之本地文件分发by streaming

hadoop mapreduce开发实践之HDFS文件分发by streaming

hadoop mapreduce开发实践之输出数据压缩

0基础搭建Hadoop大数据处理-初识

资源下载

优质分享App

Mario

腾讯云软件源

Sublime Text

欢迎您来访！