cloudera 部署Hadoop 更方便-低调大师

cloudera 部署Hadoop 更方便

2017-11-13 575

注意：以下操作对应 rhel5/centos5

1 获取cdh3 yum 源

wget -c http://archive.cloudera.com/redhat/cdh/cdh3-repository-1.0-1.noarch.rpm

2 安装下载的rpm 包

yum --nogpgcheck localinstall cdh3-repository-1.0-1.noarch.rpm

//安装后将得到 cloudera-cdh3.repo 文件

[root@namenode ~]# ll /etc/yum.repos.d/
total 40
-rw-r--r-- 1 root root 1926 Aug 29 2011 CentOS-Base.repo
-rw-r--r-- 1 root root 631 Aug 29 2011 CentOS-Debuginfo.repo
-rw-r--r-- 1 root root 626 Aug 29 2011 CentOS-Media.repo
-rw-r--r-- 1 root root 5390 Aug 29 2011 CentOS-Vault.repo
-rw-r--r-- 1 root root 201 Jul 14 2011 cloudera-cdh3.repo

3 导入 rpm key

rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

4 安装 hadoop 主程序

yum install hadoop-0.20

5 hadoop <daemon type>

namenode
datanode
secondarynamenode
jobtracker
tasktracker

//比如安装 namenode 为: yum install hadoop-0.20-datanode ，不同角色安装不同服务

6 安装后 hadoop 目录

//hadoop 配置文件目录
[root@namenode ~]# ll /etc/hadoop/
total 8
lrwxrwxrwx 1 root root 34 Feb 17 02:56 conf -> /etc/alternatives/hadoop-0.20-conf
drwxr-xr-x 2 root root 4096 Feb 28 10:13 conf.empty
drwxr-xr-x 2 root root 4096 Feb 28 10:15 conf.pseudo
//hadoop 日志目录
[root@namenode ~]# ll /var/log/hadoop
lrwxrwxrwx 1 root root 28 Feb 17 02:56 /var/log/hadoop -> /etc/alternatives/hadoop-log
//hadoop 进程脚本
[root@namenode ~]# ll /etc/init.d/ | grep hadoop
-rwxr-xr-x 1 root root 3041 Feb 17 02:26 hadoop-0.20-datanode
-rwxr-xr-x 1 root root 3067 Feb 17 02:26 hadoop-0.20-jobtracker
-rwxr-xr-x 1 root root 3041 Feb 17 02:26 hadoop-0.20-namenode
-rwxr-xr-x 1 root root 3158 Feb 17 02:26 hadoop-0.20-secondarynamenode
-rwxr-xr-x 1 root root 3080 Feb 17 02:26 hadoop-0.20-tasktracker

7 修改配置文档 (hdfs 方面)

//slaves 配置文件 namenode 上配置即可
cat /etc/hadoop/conf/slaves
datanode1
datanode2
//hdfs-site.xml 配置文件
cat /etc/hadoop/conf/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!-- Immediately exit safemode as soon as one DataNode checks in.
On a multi-node cluster, these configurations must be removed. -->
<property>
<name>dfs.safemode.extension</name>
<value>0</value>
</property>
<property>
<name>dfs.safemode.min.datanodes</name>
<value>1</value>
</property>
<!--
<property>
specify this so that running 'hadoop namenode -format' formats the right dir
<name>dfs.name.dir</name>
<value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value>
</property>
-->
<property>
<name>dfs.data.dir</name>
<value>/data/dfs/data</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/dfs/tmp</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>200000</value>
</property>
</configuration>
//core-site.xml 配置文件
cat /etc/hadoop/conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:8020</value>
</property>
</configuration>

8 java 环境

//下载安装jdk
chmod +x jdk-6u26-linux-x64-rpm.bin
./jdk-6u26-linux-x64-rpm.bin
//编辑 profile
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_26
export PATH=$JAVA_HOME/bin:$PATH
//载入环境变量
souce /etc/profile

9 启动hadoop 相应进程

[root@namenode ~]# /etc/init.d/hadoop-0.20-namenode start
[root@namenode ~]# jps
5599 NameNode
12889 Jps

本文转自 dongnan 51CTO博客，原文链接：
http://blog.51cto.com/dngood/791719

微信关注我们

原文链接：https://yq.aliyun.com/articles/419485

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

屏蔽storm ui的kill功能

今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。有两种方法： 1.前端增加nginx，做location 分析ui页面，对应kill的button，html中的action为： 1 < input enabled = "" onclick = "confirmAction('xxxxxxxxxx','xxxxxxxx','kill',true,30)" type = "button" value = "Kill" > 调用了js的confirmAction方法，这个方法存在于storm-core/src/ui/public/js/script.js 中，方法的定义如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 function confirmAction(id,name,...

2017-11-14

680

之前同事处理的一个case，记录下 hive升级到0.13之后，在创建表时，发现报锁竞争的问题，信息如下： 1 conflictinglockpresent for vipdwmodeEXCLUSIVE hive中有锁是没有问题，但是这里的锁却是数据库层面的锁！而且是排他锁！这个锁的粒度就太大了，这个锁会导致所有的关于这个库的hive操作都要等待这个锁的释放. 这个应该是去拿表的锁啊。。怎么可以拿库的锁。。根据之前的分析，hive的锁由DummyTxnManager类实现：在DummyTxnManager类中，关于EXCLUSIVE锁的获取如下代码路径： 1 ql/src/java/org/apache/hadoop/hive/ql/lockmgr/DummyTxnManager.java 原始代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 for (WriteEntityoutput:plan.getOutputs()){ LOG.debug( "Adding" +output.getNa...

2017-11-14

688

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。