搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8443篇文章

Hadoop的加速发动机Impala

应用场景在使用Hive的过程中，编写了HQL语句，发现HQL执行过程是非常慢的，因为hive采用的是把HQL转化成hadoop的MapReduce任务，然后编译，打包成jar包，分发到各个server

2017-11-30

hadoop2.7.2 联邦配置文件

配置文件如下： hadoop 联邦配置： 1.配置hadoop-env.sh vim hadoop-2.7.2/etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr

2017-11-27

zookeeper是一个针对大型分布式系统的可靠协调系统。 1）它提供的功能包括：配置维护，名字服务，分布式同步，组服务等； 2）它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效，功能稳定的系统提供给用户；特点： 1，最终一致性：为客户端展示同一试图 2，可靠性：如果一条消息被一台服务器接受，那么它将被所有的服务器接受。 3，实时性：zookeeper不能保证两个客户端同时得到刚刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 4，等待无关（wait-free）：慢的或者失效的client不干预快速的client的请求。 5，原子性：更新操作要么成功，要么失败，没有中间状态。 6，顺序性：对于所有server，同一消息发布顺序一致。基本原理 server很多，有主从之分，不过有一个leader,其他是follower, 每个server，在内存中存有一份数据，启动时，将选举出一个leader，根据poxos协议选举 leader负责处理数据更新操作，用到zab协议一个更新操作成功的标志，大多数server在内存，成功修改数据（一个有5个，有3个写成功了）本文转自 skinglzw 51CTO博客，原文链接：http://blog.51cto.com/skinglzw/1833186，如需转载请自行联系原作者

2017-11-26

Hadoop完全分布式安装Flume

应用场景按照搭建hadoop完全分布式集群博文搭建完hadoop集群后，发现hadoop完全分布式集群自带了HDFS，MapReduce，Yarn等基本的服务，一些其他的服务组件需要自己重新安装，比如

2017-11-22

Hadoop完全分布式安装Kafka

2017-11-22

hadoop-mapreduce在maptask执行分析

包括input(RecordReader)与output,也就是上面提到的collector. org.apache.hadoop.mapreduce.MapContext<INKEY,INVALUE

2017-11-21

hadoop常用进程和web端口整理

应用场景 Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。操作步骤 1.

2017-11-19

Hadoop2源码分析－准备篇

1.概述我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。

2017-11-19

hadoop伪分布式2.4.1安装

： 1、解压： tar -zxvf hadoop-2.4.1.tar.gz -C /opt/tool 2、将hadoop添加到环境变量中 sudovi /etc/profile #在文件最后添加 export

2017-11-14

hadoop-0.20.1部署手记

hadoop-0.20.1跟旧的版相比，有些文件发生了变化，主要的变化是conf目录，我在这里给出一个简单的对比表： Hadoop-0.19.0 Hadoop-0.20.1 ll hadoop-0.19.0

2017-11-14

Hadoop2.x HDFS shell命令

Hadoop2 HDFS shell命令 1.hdfs dfs -appendToFile <localsrc> ...

2017-11-14

shell下一键安装hadoop

最近在一些论坛上看到hadoop这个文件系统很是热门啊，据说淘宝，google都是采用这个玩意做的分布式的部署和存储，今天有空来玩玩，第一步安装必须解决啊，第一步就是安装JDK，因为hadoop是基于java

2017-11-14

一次Hadoop开发思路分享

其实，我们可以发现，上面的MapReduce其实可以是一个通用的程序，类似于COMMAND： hadoop jar XXX.jar 主题ID 数量 [input1,input2,input3,...]

2017-11-13

搭建基于MyEclipse的Hadoop开发环境

是没有安装过Hadoop的插件。

2017-11-13

Hadoop完全分布式安装Hive

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署

2017-11-13

hadoop之 exceeds the limit of concurrent xcievers处理

dfs.datanode.max.transfer.threads 参数设置过小，datanode 异常： ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration

2017-11-13

Cloudera Mountable HDFS (hadoop-fuse-dfs).

1rootroot201Jul142011cloudera-cdh3.repo 3 导入 rpm key rpm--importhttp://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera 4 安装 hadoop

2017-11-13

Hadoop、Hbase完全分布式搭建

/home/hadoop/ [root@master~] #cd/home/hadoop/hadoop/etc/hadoop #修改hadoop-env.sh文件 export JAVA_HOME= /

2017-11-13

Hadoop伪分布式安装Spark

应用场景搭建部署了hadoop环境后，使用MapReduce来进行计算，速度非常慢，因为MapReduce只是分布式批量计算，用于跑批的场景，并不追求速率，因为它需要频繁读写HDFS，并不能实时反馈结果

2017-11-13

hadoop+zookeeper+hbase 开机自启动

hadoop2.7.3+zookeeper3.4.9+hbase1.2.6 我想让它们实现开机自启动，需要2个脚本实现。h1.sh 和h2.sh. #!

2017-11-12

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

Hadoop的加速发动机Impala

hadoop2.7.2 联邦配置文件

hadoop核心组件zookeeper简介与特点

Hadoop完全分布式安装Flume

Hadoop完全分布式安装Kafka

hadoop-mapreduce在maptask执行分析

hadoop常用进程和web端口整理

Hadoop2源码分析－准备篇

hadoop伪分布式2.4.1安装

hadoop-0.20.1部署手记

Hadoop2.x HDFS shell命令

shell下一键安装hadoop

一次Hadoop开发思路分享

搭建基于MyEclipse的Hadoop开发环境

Hadoop完全分布式安装Hive

hadoop之 exceeds the limit of concurrent xcievers处理

Cloudera Mountable HDFS (hadoop-fuse-dfs).

Hadoop、Hbase完全分布式搭建

Hadoop伪分布式安装Spark

hadoop+zookeeper+hbase 开机自启动

资源下载

腾讯云软件源

Spring

Sublime Text

WebStorm

欢迎您来访！