搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

Hadoop的加速发动机Impala

应用场景在使用Hive的过程中，编写了HQL语句，发现HQL执行过程是非常慢的，因为hive采用的是把HQL转化成hadoop的MapReduce任务，然后编译，打包成jar包，分发到各个server

2017-12-01

hadoop2.7.2 联邦配置文件

配置文件如下： hadoop 联邦配置： 1.配置hadoop-env.sh vim hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr

2017-11-28

zookeeper是一个针对大型分布式系统的可靠协调系统。 1）它提供的功能包括：配置维护，名字服务，分布式同步，组服务等； 2）它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定的系统提供给用户；特点： 1，最终一致性：为客户端展示同一试图 2，可靠性：如果一条消息被一台服务器接受，那么它将被所有的服务器接受。 3，实时性：zookeeper不能保证两个客户端同时得到刚刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 4，等待无关（wait-free）：慢的或者失效的client不干预快速的client的请求。 5，原子性：更新操作要么成功，要么失败，没有中间状态。 6，顺序性：对于所有server，同一消息发布顺序一致。基本原理 server很多，有主从之分，不过有一个leader,其他是follower, 每个server，在内存中存有一份数据，启动时，将选举出一个leader，根据poxos协议选举 leader负责处理数据更新操作，用到zab协议一个更新操作成功的标志，大多数server在内存，成功修改数据（一个有5个，有3个写成功了）本文转自 skinglzw 51CTO博客，原文链接：http://blog.51cto.com/skinglzw/1833186，如需转载请自行联系原作者

2017-11-27

Hadoop完全分布式安装Flume

应用场景按照搭建hadoop完全分布式集群博文搭建完hadoop集群后，发现hadoop完全分布式集群自带了HDFS，MapReduce，Yarn等基本的服务，一些其他的服务组件需要自己重新安装，比如

2017-11-23

Hadoop完全分布式安装Kafka

2017-11-23

hadoop-mapreduce在maptask执行分析

包括input(RecordReader)与output,也就是上面提到的collector. org.apache.hadoop.mapreduce.MapContext<INKEY,INVALUE

2017-11-22

Hadoop2源码分析－准备篇

1.概述我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。

2017-11-20

hadoop常用进程和web端口整理

应用场景 Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。操作步骤 1.

2017-11-20

hadoop伪分布式2.4.1安装

： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export

2017-11-15

hadoop-0.20.1部署手记

hadoop-0.20.1跟旧的版相比，有些文件发生了变化，主要的变化是conf目录，我在这里给出一个简单的对比表： Hadoop-0.19.0 Hadoop-0.20.1 ll hadoop-0.19.0

2017-11-15

Hadoop2.x HDFS shell命令

Hadoop2 HDFS shell命令 1.hdfs dfs -appendToFile <localsrc> ...

2017-11-15

shell下一键安装hadoop

最近在一些论坛上看到hadoop这个文件系统很是热门啊，据说淘宝，google都是采用这个玩意做的分布式的部署和存储，今天有空来玩玩，第一步安装必须解决啊，第一步就是安装JDK，因为hadoop是基于java

2017-11-15

Cloudera Mountable HDFS (hadoop-fuse-dfs).

1rootroot201Jul142011cloudera-cdh3.repo 3 导入 rpm key rpm--importhttp://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera 4 安装 hadoop

2017-11-14

Hadoop、Hbase完全分布式搭建

/home/hadoop/ [root@master~] #cd/home/hadoop/hadoop/etc/hadoop #修改hadoop-env.sh文件 export JAVA_HOME= /

2017-11-14

Hadoop伪分布式安装Spark

应用场景搭建部署了hadoop环境后，使用MapReduce来进行计算，速度非常慢，因为MapReduce只是分布式批量计算，用于跑批的场景，并不追求速率，因为它需要频繁读写HDFS，并不能实时反馈结果

2017-11-14

hadoop之 exceeds the limit of concurrent xcievers处理

dfs.datanode.max.transfer.threads 参数设置过小，datanode 异常： ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration

2017-11-14

搭建基于MyEclipse的Hadoop开发环境

是没有安装过Hadoop的插件。

2017-11-14

Hadoop完全分布式安装Hive

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署

2017-11-14

一次Hadoop开发思路分享

其实，我们可以发现，上面的MapReduce其实可以是一个通用的程序，类似于COMMAND： hadoop jar XXX.jar 主题ID 数量 [input1,input2,input3,...]

2017-11-14

hadoop+zookeeper+hbase 开机自启动

hadoop2.7.3+zookeeper3.4.9+hbase1.2.6 我想让它们实现开机自启动，需要2个脚本实现。h1.sh 和h2.sh. #!

2017-11-13

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

精选列表

Hadoop的加速发动机Impala

hadoop2.7.2 联邦配置文件

hadoop核心组件zookeeper简介与特点

Hadoop完全分布式安装Flume

Hadoop完全分布式安装Kafka

hadoop-mapreduce在maptask执行分析

Hadoop2源码分析－准备篇

hadoop常用进程和web端口整理

hadoop伪分布式2.4.1安装

hadoop-0.20.1部署手记

Hadoop2.x HDFS shell命令

shell下一键安装hadoop

Cloudera Mountable HDFS (hadoop-fuse-dfs).

Hadoop、Hbase完全分布式搭建

Hadoop伪分布式安装Spark

hadoop之 exceeds the limit of concurrent xcievers处理

搭建基于MyEclipse的Hadoop开发环境

Hadoop完全分布式安装Hive

一次Hadoop开发思路分享

hadoop+zookeeper+hbase 开机自启动

资源下载

优质分享App

Mario

腾讯云软件源

Nacos

欢迎您来访！