搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

Hadoop API文档地址

经常需要查阅，做一下笔记 http://hadoop.apache.org/docs/ http://hadoop.apache.org/docs/current1/api/ http://hadoop.apache.org

2016-12-10

[Hadoop]MapReduce多输出

; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable

2016-12-06

Hadoop的RPC分析

一、基础知识原理http://www.cnblogs.com/edisonchou/p/4285817.html，这个谢了一些rpc与hadoop的例子。

2016-12-06

单点搭建HADOOP系统

/jdk-6u20-linux-i586.bin安装jdk; 4.执行java -version验证jdk是否安装成功；如果安装成功会输出java的版本信息；安装Hadoop 5.下载hadoop

2016-07-18

Windows下安装Hadoop

不需要在Cygwin下安装Hadoop，官方也不推荐使用Cygwin。 Hadoop版本支持情况：Hadoop 2.2版本起包括Windows的原生支持。

2016-07-08

Hadoop数据读写原理

Hadoop把输入数据划分成等长的小数据发送到MapReduce，称之为输入分片。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数来分析每个分片中的记录。

2016-05-28

Hadoop开发环境搭建

我是把hadoop解压后放在/home/admin1/下载/hadoop-2.5.2。我们主要是在etc/hadoop 中配置文件。

2016-05-25

Hadoop学习资源集合

为了帮助大家进一步了解Hadoop，云栖社区组织翻译了GitHub Awesome Hadoop 资源，涵盖Hadoop中常见的库与工具、存储方式、数据库，以及相关的书籍、网站等资源。

2016-05-18

Hadoop的管理目录

Hadoop在NameNode之外的节点上运行了一个Secondary NameNode进程，它的任务是为原NameNode内存中的文件系统元数据产生检查点。

2016-05-15

Hadoop: Why Not Use RAID?

一、针对hadoop集群的磁盘配置建议针对datanode,建议采用一组单独的磁盘，针对namenode节点，建议采用raid5或raid1来实现针对metadata的冗灾。

2016-05-13

Hadoop - 实时查询Drill

可独立部署在物理机上，不必与Hadoop集群部署在一起。这里需要注意的是，物理机的内存至少留有4G空闲给Drill去使用。

2016-04-25

Hadoop - Azkaban 作业调度

1.概述在调度 Hadoop 的相关作业时，有以下几种方式：基于 Linux 系统级别的 Crontab。 Java 应用级别的Quartz。第三方的调度系统。

2016-04-25

Hadoop 基本架构

（2） NameNode 整个Hadoop 集群中只有一个 NameNode。它是整个系统的“ 总管”，负责管理 HDFS的目录树和相关的文件元数据信息。

2016-04-21

Hadoop社区版搭建

2.创建Hadoop用户在管理Hadoop集群时，不推荐使用root用户去操作，我们可以通知运维，叫他创建一个hadoop用户去专门用于维护和管理集群。

2016-04-19

问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看编辑文件/etc/security/limits.conf 在文件后面添加： # End of file * soft nofile 102400 * hard nofile 409600 遇到这种错误网上也有不同的可能解决方法和解释，你们可以自己找找。问题2：yarn日志页面出现异常： Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_hdp/6676 Try using the -Djava.io.tmpdir= option to select an alternate temp location 原因是根目录空间不足，解决问题的办法之一是清理根目录下不必要的文件，解决办法二就是，上面也就有提示了，不多说了。 /tmp/hsperfdata_username 目录的作用是什么呢？ jvm运行时在linux下默认在/tmp下生成上面的目录，目录下存放pid文件，和一些jvm进程信息，jmap、jstack等工具会读取该目录下的pid文件获取链接信息问题3：当任务不能跑满集群的时，为什么集群的节点会出现几个节点跑满容器，而其他节点则非常空闲？原因是集群调度器默认处于批处理模式下，一个心跳会尽可能的分配任务，心跳先到达则会优先领取任务，我们可以通过参数yarn.scheduler.fair.max.assign参数设置为1，就可以大致的均衡任务到不同的节点转http://hackershell.cn/?p=217

2016-02-27

Hadoop常见错误1

hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated.

2016-02-26

Hadoop资料整理导向

一、Hadoop快速入门分布式计算开源框架Hadoop_入门实践一篇不错的hadoop介绍文章用 Hadoop 进行分布式数据处理---- 入门 Hadoop入门实验 Hadoop入门一图解说Hadoop

2016-02-26

Hadoop常用下载地址

组件地址: Apache Hadoop下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/ CDH Hadoop下载地址：http://archive.cloudera.com

2016-02-21

【整理】Hadoop学习资料

Hadoop视频资料: http://pan.baidu.com/s/1o7YPdTC 注:有些视频是转载的，没有解压密码！so sorry!!!

2016-02-11

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。