cloudera 部署Hadoop 更方便-低调大师

cloudera 部署Hadoop 更方便

2017-11-13 604

注意：以下操作对应 rhel5/centos5

1 获取cdh3 yum 源

wget -c http://archive.cloudera.com/redhat/cdh/cdh3-repository-1.0-1.noarch.rpm

2 安装下载的rpm 包

yum --nogpgcheck localinstall cdh3-repository-1.0-1.noarch.rpm

//安装后将得到 cloudera-cdh3.repo 文件

[root@namenode ~]# ll /etc/yum.repos.d/
total 40
-rw-r--r-- 1 root root 1926 Aug 29 2011 CentOS-Base.repo
-rw-r--r-- 1 root root 631 Aug 29 2011 CentOS-Debuginfo.repo
-rw-r--r-- 1 root root 626 Aug 29 2011 CentOS-Media.repo
-rw-r--r-- 1 root root 5390 Aug 29 2011 CentOS-Vault.repo
-rw-r--r-- 1 root root 201 Jul 14 2011 cloudera-cdh3.repo

3 导入 rpm key

rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

4 安装 hadoop 主程序

yum install hadoop-0.20

5 hadoop <daemon type>

namenode
datanode
secondarynamenode
jobtracker
tasktracker

//比如安装 namenode 为: yum install hadoop-0.20-datanode ，不同角色安装不同服务

6 安装后 hadoop 目录

//hadoop 配置文件目录
[root@namenode ~]# ll /etc/hadoop/
total 8
lrwxrwxrwx 1 root root 34 Feb 17 02:56 conf -> /etc/alternatives/hadoop-0.20-conf
drwxr-xr-x 2 root root 4096 Feb 28 10:13 conf.empty
drwxr-xr-x 2 root root 4096 Feb 28 10:15 conf.pseudo
//hadoop 日志目录
[root@namenode ~]# ll /var/log/hadoop
lrwxrwxrwx 1 root root 28 Feb 17 02:56 /var/log/hadoop -> /etc/alternatives/hadoop-log
//hadoop 进程脚本
[root@namenode ~]# ll /etc/init.d/ | grep hadoop
-rwxr-xr-x 1 root root 3041 Feb 17 02:26 hadoop-0.20-datanode
-rwxr-xr-x 1 root root 3067 Feb 17 02:26 hadoop-0.20-jobtracker
-rwxr-xr-x 1 root root 3041 Feb 17 02:26 hadoop-0.20-namenode
-rwxr-xr-x 1 root root 3158 Feb 17 02:26 hadoop-0.20-secondarynamenode
-rwxr-xr-x 1 root root 3080 Feb 17 02:26 hadoop-0.20-tasktracker

7 修改配置文档 (hdfs 方面)

//slaves 配置文件 namenode 上配置即可
cat /etc/hadoop/conf/slaves
datanode1
datanode2
//hdfs-site.xml 配置文件
cat /etc/hadoop/conf/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!-- Immediately exit safemode as soon as one DataNode checks in.
On a multi-node cluster, these configurations must be removed. -->
<property>
<name>dfs.safemode.extension</name>
<value>0</value>
</property>
<property>
<name>dfs.safemode.min.datanodes</name>
<value>1</value>
</property>
<!--
<property>
specify this so that running 'hadoop namenode -format' formats the right dir
<name>dfs.name.dir</name>
<value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value>
</property>
-->
<property>
<name>dfs.data.dir</name>
<value>/data/dfs/data</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/dfs/tmp</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>200000</value>
</property>
</configuration>
//core-site.xml 配置文件
cat /etc/hadoop/conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:8020</value>
</property>
</configuration>

8 java 环境

//下载安装jdk
chmod +x jdk-6u26-linux-x64-rpm.bin
./jdk-6u26-linux-x64-rpm.bin
//编辑 profile
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_26
export PATH=$JAVA_HOME/bin:$PATH
//载入环境变量
souce /etc/profile

9 启动hadoop 相应进程

[root@namenode ~]# /etc/init.d/hadoop-0.20-namenode start
[root@namenode ~]# jps
5599 NameNode
12889 Jps

本文转自 dongnan 51CTO博客，原文链接：
http://blog.51cto.com/dngood/791719

微信关注我们

原文链接：https://yq.aliyun.com/articles/419485

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

屏蔽storm ui的kill功能

今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。有两种方法： 1.前端增加nginx，做location 分析ui页面，对应kill的button，html中的action为： 1 < input enabled = "" onclick = "confirmAction('xxxxxxxxxx','xxxxxxxx','kill',true,30)" type = "button" value = "Kill" > 调用了js的confirmAction方法，这个方法存在于storm-core/src/ui/public/js/script.js 中，方法的定义如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 function confirmAction(id,name,...

2017-11-13

707

之前同事处理的一个case，记录下 hive升级到0.13之后，在创建表时，发现报锁竞争的问题，信息如下： 1 conflictinglockpresent for vipdwmodeEXCLUSIVE hive中有锁是没有问题，但是这里的锁却是数据库层面的锁！而且是排他锁！这个锁的粒度就太大了，这个锁会导致所有的关于这个库的hive操作都要等待这个锁的释放. 这个应该是去拿表的锁啊。。怎么可以拿库的锁。。根据之前的分析，hive的锁由DummyTxnManager类实现：在DummyTxnManager类中，关于EXCLUSIVE锁的获取如下代码路径： 1 ql/src/java/org/apache/hadoop/hive/ql/lockmgr/DummyTxnManager.java 原始代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 for (WriteEntityoutput:plan.getOutputs()){ LOG.debug( "Adding" +output.getNa...

2017-11-13

714

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。