搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8441篇文章

Hadoop的加速发动机Impala

应用场景在使用Hive的过程中，编写了HQL语句，发现HQL执行过程是非常慢的，因为hive采用的是把HQL转化成hadoop的MapReduce任务，然后编译，打包成jar包，分发到各个server

2017-11-30

hadoop2.7.2 联邦配置文件

配置文件如下： hadoop 联邦配置： 1.配置hadoop-env.sh vim hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr

2017-11-27

zookeeper是一个针对大型分布式系统的可靠协调系统。 1）它提供的功能包括：配置维护，名字服务，分布式同步，组服务等； 2）它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定的系统提供给用户；特点： 1，最终一致性：为客户端展示同一试图 2，可靠性：如果一条消息被一台服务器接受，那么它将被所有的服务器接受。 3，实时性：zookeeper不能保证两个客户端同时得到刚刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 4，等待无关（wait-free）：慢的或者失效的client不干预快速的client的请求。 5，原子性：更新操作要么成功，要么失败，没有中间状态。 6，顺序性：对于所有server，同一消息发布顺序一致。基本原理 server很多，有主从之分，不过有一个leader,其他是follower, 每个server，在内存中存有一份数据，启动时，将选举出一个leader，根据poxos协议选举 leader负责处理数据更新操作，用到zab协议一个更新操作成功的标志，大多数server在内存，成功修改数据（一个有5个，有3个写成功了）本文转自 skinglzw 51CTO博客，原文链接：http://blog.51cto.com/skinglzw/1833186，如需转载请自行联系原作者

2017-11-26

Hadoop完全分布式安装Flume

应用场景按照搭建hadoop完全分布式集群博文搭建完hadoop集群后，发现hadoop完全分布式集群自带了HDFS，MapReduce，Yarn等基本的服务，一些其他的服务组件需要自己重新安装，比如

2017-11-22

Hadoop完全分布式安装Kafka

2017-11-22

hadoop-mapreduce在maptask执行分析

包括input(RecordReader)与output,也就是上面提到的collector. org.apache.hadoop.mapreduce.MapContext<INKEY,INVALUE

2017-11-21

Hadoop2源码分析－准备篇

1.概述我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。

2017-11-19

hadoop常用进程和web端口整理

应用场景 Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。操作步骤 1.

2017-11-19

hadoop伪分布式2.4.1安装

： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export

2017-11-14

Hadoop2.x HDFS shell命令

Hadoop2 HDFS shell命令 1.hdfs dfs -appendToFile <localsrc> ...

2017-11-14

hadoop-0.20.1部署手记

hadoop-0.20.1跟旧的版相比，有些文件发生了变化，主要的变化是conf目录，我在这里给出一个简单的对比表： Hadoop-0.19.0 Hadoop-0.20.1 ll hadoop-0.19.0

2017-11-14

shell下一键安装hadoop

最近在一些论坛上看到hadoop这个文件系统很是热门啊，据说淘宝，google都是采用这个玩意做的分布式的部署和存储，今天有空来玩玩，第一步安装必须解决啊，第一步就是安装JDK，因为hadoop是基于java

2017-11-14

搭建基于MyEclipse的Hadoop开发环境

是没有安装过Hadoop的插件。

2017-11-13

Hadoop完全分布式安装Hive

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署

2017-11-13

一次Hadoop开发思路分享

其实，我们可以发现，上面的MapReduce其实可以是一个通用的程序，类似于COMMAND： hadoop jar XXX.jar 主题ID 数量 [input1,input2,input3,...]

2017-11-13

hadoop之 exceeds the limit of concurrent xcievers处理

dfs.datanode.max.transfer.threads 参数设置过小，datanode 异常： ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration

2017-11-13

Cloudera Mountable HDFS (hadoop-fuse-dfs).

1rootroot201Jul142011cloudera-cdh3.repo 3 导入 rpm key rpm--importhttp://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera 4 安装 hadoop

2017-11-13

Hadoop伪分布式安装Spark

应用场景搭建部署了hadoop环境后，使用MapReduce来进行计算，速度非常慢，因为MapReduce只是分布式批量计算，用于跑批的场景，并不追求速率，因为它需要频繁读写HDFS，并不能实时反馈结果

2017-11-13

Hadoop、Hbase完全分布式搭建

/home/hadoop/ [root@master~] #cd/home/hadoop/hadoop/etc/hadoop #修改hadoop-env.sh文件 export JAVA_HOME= /

2017-11-13

hadoop+zookeeper+hbase 开机自启动

hadoop2.7.3+zookeeper3.4.9+hbase1.2.6 我想让它们实现开机自启动，需要2个脚本实现。h1.sh 和h2.sh. #!

2017-11-12

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

Hadoop的加速发动机Impala

hadoop2.7.2 联邦配置文件

hadoop核心组件zookeeper简介与特点

Hadoop完全分布式安装Flume

Hadoop完全分布式安装Kafka

hadoop-mapreduce在maptask执行分析

Hadoop2源码分析－准备篇

hadoop常用进程和web端口整理

hadoop伪分布式2.4.1安装

Hadoop2.x HDFS shell命令

hadoop-0.20.1部署手记

shell下一键安装hadoop

搭建基于MyEclipse的Hadoop开发环境

Hadoop完全分布式安装Hive

一次Hadoop开发思路分享

hadoop之 exceeds the limit of concurrent xcievers处理

Cloudera Mountable HDFS (hadoop-fuse-dfs).

Hadoop伪分布式安装Spark

Hadoop、Hbase完全分布式搭建

hadoop+zookeeper+hbase 开机自启动

资源下载

Mario

Rocky Linux

Sublime Text

WebStorm

欢迎您来访！