搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8432篇文章

基于Docker快速搭建多节点Hadoop集群

作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。项目已经更新!!!

2018-01-28

docker一键部署hadoop心得（一）

:982)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2217)at org.apache.hadoop.ipc.Server$Handler

2018-01-22

docker一键部署hadoop心得（二）

at org.apache.hadoop.mapred.YARNRunner.getJobStatus(YARNRunner.java:601) at org.apache.hadoop.mapreduce.Job

2018-01-22

Hadoop集群（第9期）_MapReduce初级案例

; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IntWritable; importorg.apache.hadoop.io.Text

2017-12-31

Hadoop集群（第8期）_HDFS初探之旅

1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的

2017-12-31

Hadoop集群（第6期）_WordCount运行详解

2.1 准备工作现在以"hadoop"普通用户登录"Master.Hadoop"服务器。

2017-12-31

Hadoop 少量map/reduce任务执行慢问题

最近在做报表统计，跑hadoop任务。之前也跑过map/reduce但是数据量不大，遇到某些map/reduce执行时间特别长的问题。执行时间长有几种可能性： 1.

2017-12-23

Hadoop Trash回收站使用指南

blog.csdn.net/SunnyYoona/article/details/78869778 我们在删除一个文件时，遇到如下问题，提示我们不能删除文件放回回收站: sudo -uxiaosi hadoop

2017-12-22

hadoop集群常见问题解决

1：namenode启动 datanode未启动解决： /hadoop/tmp/dfs/name/current VERSION 查看截取id 与 data/current VERSION集群ID 保持一致

2017-12-19

学习一：hadoop 1.0.1集群安装

用vmware搭建三台Linux虚拟机，具体步骤如下： 1、hadoop下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/ 2、下载java6软件包

2017-12-17

Hadoop streaming 排序、分桶参数设置

编写hadoop任务经常需要用到partition和排序。这里记录一下几个参数。 1.

2017-12-16

Hadoop下进行反向索引(Inverted Index)操作

0.参考资料：代码参考1：http://www.pudn.com/downloads212/sourcecode/unix_linux/detail999273.html 理论参考2：http://zhangyu8374.javaeye.com/blog/86307，http://nything.javaeye.com/blog/411787 1.分析假如有file0，file1，file2三个文件，这些文件中都保存了一些文本内容，比如在file0中只有一个句子，内容为"we are happy"。一般的索引都是记录在这个文件中没有一个单词的索引号。比如file0的索引可以是(we,0),(are,1),(happy,2)。这样的键值对中key是单词，value是这个单词在这个文件中的位置。但是，反向索引刚好相反，对应于多个文件，我们要求出某一个单词在所有这些文件中出现的位置。我们可以按如下操作进行实验：在本地创建文件夹IndexTest并在里面创建3个文件，每个文件中的内容如下。 * T0 = "it is what it is" * T1 = "what is it" * T2 = "it is a banana" 其中T0，T1，T2分别是文件名，后面为文件内容。将IndexTest文件夹上传到DFS中。然后运行反向索引程序。反向索引程序见代码示例。最后输出结果为： a (T2, 3) banana (T2, 4) is (T2, 2) (T0, 2) (T0, 5) (T1, 2) it (T1, 3) (T2, 1) (T0, 1) (T0, 4) what (T0, 3) (T1, 1) 2.代码示例 InvertedIndex.java View Code TokenInputFormat.java View Code ValuePair.java View Code ps：2012-5-20 这里键值对valuepair的运用让我想到了前几天写的Hashmap实现原理。在hashmap的实现过程中，也运用了键值对类Entry。两者之间有共通之处，有空可以再改进Hashmap实现原理。本文转自xwdreamer博客园博客，原文链接：http://www.cnblogs.com/xwdreamer/archive/2011/01/07/2297043.html，如需转载请自行联系原作者

2017-12-12

[Hadoop大数据]——Hive部署入门教程

Hive是为了解决hadoop中mapreduce编写困难，提供给熟悉sql的人使用的。

2017-12-05

[Hadoop大数据]——Hive数据的导入导出

Hive作为大数据环境下的数据仓库工具，支持基于hadoop以sql的方式执行mapreduce的任务，非常适合对大量的数据进行全量的查询分析。

2017-12-05

Hadoop示例程序WordCount详解及实例

2.简单过程： Input: Hello World Bye World Hello Hadoop Bye Hadoop Bye Hadoop Hello Hadoop Map: <Hello,1&

2017-12-04

完全分布式Hadoop集群安装Phoenix

应用场景当我们按照之前的博文，安装完Hadoop分布式集群之后，再安装了Hbase，当准备通过hbase shell命令开始使用Hbase的时候，发现hbase非常的难用，都是一些scan，status

2017-11-29

ElasticSearch 在Hadoop生态圈的位置

它的位置非常清晰，直接贴图。更详细点，见本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6612671.html，如需转载请自行联系原作者

2017-11-26

mac osx 系统 brew install hadoop 安装指南

mac osx 系统 brew install hadoop 安装指南 brew install hadoop 配置 core-site.xml:配置hdfs文件地址（记得chmod 对应文件夹，否则无法正常启动

2017-11-25

hadoop cluster decommission node (下线节点，超级实用)

centos 6.6_64bit hadoop 2.6.0 二、操作步骤（动态下线）下线节点主机名如下，在hadoop用户下操作，配置文件都在conf目录下 host-10-10-10-10 ##

2017-11-23

hadoop2集群搭建过程

在节点hadoop0和hadoop1中使用cluster1，在节点hadoop2和hadoop3中使用cluster2】 1 2 3 4 <property> <name>hadoop.tmp

2017-11-23

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

基于Docker快速搭建多节点Hadoop集群

docker一键部署hadoop心得（一）

docker一键部署hadoop心得（二）

Hadoop集群（第9期）_MapReduce初级案例

Hadoop集群（第8期）_HDFS初探之旅

Hadoop集群（第6期）_WordCount运行详解

Hadoop 少量map/reduce任务执行慢问题

Hadoop Trash回收站使用指南

hadoop集群常见问题解决

学习一：hadoop 1.0.1集群安装

Hadoop streaming 排序、分桶参数设置

Hadoop下进行反向索引(Inverted Index)操作

[Hadoop大数据]——Hive部署入门教程

[Hadoop大数据]——Hive数据的导入导出

Hadoop示例程序WordCount详解及实例

完全分布式Hadoop集群安装Phoenix

ElasticSearch 在Hadoop生态圈的位置

mac osx 系统 brew install hadoop 安装指南

hadoop cluster decommission node (下线节点，超级实用)

hadoop2集群搭建过程

资源下载

Mario

腾讯云软件源

Rocky Linux

Sublime Text

欢迎您来访！