搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8443篇文章

Hadoop API文档地址

经常需要查阅，做一下笔记 http://hadoop.apache.org/docs/ http://hadoop.apache.org/docs/current1/api/ http://hadoop.apache.org

2016-12-09

[Hadoop]MapReduce多输出

; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable

2016-12-05

Hadoop的RPC分析

一、基础知识原理http://www.cnblogs.com/edisonchou/p/4285817.html，这个谢了一些rpc与hadoop的例子。

2016-12-05

单点搭建HADOOP系统

/jdk-6u20-linux-i586.bin安装jdk; 4.执行java -version验证jdk是否安装成功；如果安装成功会输出java的版本信息；安装Hadoop 5.下载hadoop

2016-07-17

Windows下安装Hadoop

不需要在Cygwin下安装Hadoop，官方也不推荐使用Cygwin。 Hadoop版本支持情况：Hadoop 2.2版本起包括Windows的原生支持。

2016-07-07

Hadoop数据读写原理

Hadoop把输入数据划分成等长的小数据发送到MapReduce，称之为输入分片。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数来分析每个分片中的记录。

2016-05-27

Hadoop开发环境搭建

我是把hadoop解压后放在/home/admin1/下载/hadoop-2.5.2。我们主要是在etc/hadoop 中配置文件。

2016-05-24

Hadoop学习资源集合

为了帮助大家进一步了解Hadoop，云栖社区组织翻译了GitHub Awesome Hadoop 资源，涵盖Hadoop中常见的库与工具、存储方式、数据库，以及相关的书籍、网站等资源。

2016-05-17

Hadoop的管理目录

Hadoop在NameNode之外的节点上运行了一个Secondary NameNode进程，它的任务是为原NameNode内存中的文件系统元数据产生检查点。

2016-05-14

Hadoop: Why Not Use RAID?

一、针对hadoop集群的磁盘配置建议针对datanode,建议采用一组单独的磁盘，针对namenode节点，建议采用raid5或raid1来实现针对metadata的冗灾。

2016-05-12

Hadoop - 实时查询Drill

可独立部署在物理机上，不必与Hadoop集群部署在一起。这里需要注意的是，物理机的内存至少留有4G空闲给Drill去使用。

2016-04-24

Hadoop - Azkaban 作业调度

1.概述在调度 Hadoop 的相关作业时，有以下几种方式：基于 Linux 系统级别的 Crontab。 Java 应用级别的Quartz。第三方的调度系统。

2016-04-24

Hadoop 基本架构

（2） NameNode 整个Hadoop 集群中只有一个 NameNode。它是整个系统的“ 总管”，负责管理 HDFS的目录树和相关的文件元数据信息。

2016-04-20

Hadoop社区版搭建

2.创建Hadoop用户在管理Hadoop集群时，不推荐使用root用户去操作，我们可以通知运维，叫他创建一个hadoop用户去专门用于维护和管理集群。

2016-04-18

问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看编辑文件/etc/security/limits.conf 在文件后面添加： # End of file * soft nofile 102400 * hard nofile 409600 遇到这种错误网上也有不同的可能解决方法和解释，你们可以自己找找。问题2：yarn日志页面出现异常： Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_hdp/6676 Try using the -Djava.io.tmpdir= option to select an alternate temp location 原因是根目录空间不足，解决问题的办法之一是清理根目录下不必要的文件，解决办法二就是，上面也就有提示了，不多说了。 /tmp/hsperfdata_username 目录的作用是什么呢？ jvm运行时在linux下默认在/tmp下生成上面的目录，目录下存放pid文件，和一些jvm进程信息，jmap、jstack等工具会读取该目录下的pid文件获取链接信息问题3：当任务不能跑满集群的时，为什么集群的节点会出现几个节点跑满容器，而其他节点则非常空闲？原因是集群调度器默认处于批处理模式下，一个心跳会尽可能的分配任务，心跳先到达则会优先领取任务，我们可以通过参数yarn.scheduler.fair.max.assign参数设置为1，就可以大致的均衡任务到不同的节点转http://hackershell.cn/?p=217

2016-02-26

Hadoop常见错误1

hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated.

2016-02-25

Hadoop资料整理导向

一、Hadoop快速入门分布式计算开源框架Hadoop_入门实践一篇不错的hadoop介绍文章用 Hadoop 进行分布式数据处理---- 入门 Hadoop入门实验 Hadoop入门一图解说Hadoop

2016-02-25

Hadoop常用下载地址

组件地址: Apache Hadoop下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/ CDH Hadoop下载地址：http://archive.cloudera.com

2016-02-20

【整理】Hadoop学习资料

Hadoop视频资料: http://pan.baidu.com/s/1o7YPdTC 注:有些视频是转载的，没有解压密码！so sorry!!!

2016-02-10

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。