Hadoop3.2.0使用详解
Hadoop3.2.0使用详解1.概述Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的。截止本篇博客书写为止,Hadoop发布了3.2.0。接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些问题,以及解决方法。 2.内容2.1 基础软件包在使用这些组件时,我们需要做一些准备工作,内容如下: Hadoop-3.2.0安装包(建议Hadoop-3.2.0源代码也一起下载,后面步骤需要用到)Maven-3.6.1(编译Hadoop-3.2.0源代码)ProtoBuf-2.5.0(编译Hadoop-3.2.0源代码)2.2 部署环境SSH,用户创建,免密登录等这些操作这里就不介绍了,大家可以参考这篇博客【配置高可用的Hadoop平台】。在部署用户下配置好Hadoop的环境变量,例如HADOOP_HOME、HADOOP_CONF_DIR等。 2.2.1 配置环境变量具体内容如下: 复制代码vi ~/.bash_profile 编辑如下变量 export MAVEN_OPTS="-Xms256m -Xmx512m"export JAVA_HOME=/data/soft/ne...