Ambari安装之部署单节点集群

2017-11-20 726

1）部署Agent

1) 注册并安装agent

http://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/

2）为集群取个名字，我这里，就直接取为hdpCluster，然后点击next

http://192.168.80.144:8080/#/installer/step0

3)选择HDP2.4的版本并选择高级配置，注意和自己下载安装的版本一致。

http://192.168.80.144:8080/#/installer/step1

　　需要改成以下地址

http://192.168.80.144/hdp2.4/centos6/

4）配置本地源地址并点击next

5）添加目标主机的主机名并配置ambari-server的私钥，保证其他节点能够和ambari-server免密码通信，并选择对应的hadoop用户（因为我们是在hadoop用户下配置的SSH免密码登录）然后点击注册。

http://192.168.80.144:8080/#/installer/step2

[hadoop@ambari01 ~]$ pwd
/home/hadoop
[hadoop@ambari01 ~]$ cd .ssh
[hadoop@ambari01 .ssh]$ pwd
/home/hadoop/.ssh
[hadoop@ambari01 .ssh]$ ll
total 16
-rw-------. 1 hadoop hadoop 1588 Mar 30 17:00 authorized_keys
-rw-------. 1 hadoop hadoop 1675 Mar 30 16:15 id_rsa
-rw-------. 1 hadoop hadoop  397 Mar 30 16:15 id_rsa.pub
-rw-r--r--. 1 hadoop hadoop 1620 Mar 30 17:49 known_hosts
[hadoop@ambari01 .ssh]$ cat id_rsa

　　经过一段时间后，

　　那是因为，如下：

6）注册过程中可能会遇到一些问题，比如openssl的版本问题，这个时候我们只需要在对应节点上更新一下openssl的版本即可，然后重新注册。

[hadoop@ambari02 .ssh]$ sudo rpm -qa | grep openssl
openssl-1.0.1e-15.el6.x86_64
[hadoop@ambari01 .ssh]$ sudo yum install openssl
Loaded plugins: fastestmirror, refresh-packagekit, security
Setting up Install Process
Loading mirror speeds from cached hostfile
 * base: mirrors.zju.edu.cn
 * extras: mirrors.zju.edu.cn
 * updates: mirrors.zju.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package openssl.x86_64 0:1.0.1e-15.el6 will be updated
---> Package openssl.x86_64 0:1.0.1e-48.el6_8.4 will be an update
--> Finished Dependency Resolution

Dependencies Resolved

===============================================================================================================================================================================================
 Package                                    Arch                                      Version                                                 Repository                                  Size
===============================================================================================================================================================================================
Updating:
 openssl                                    x86_64                                    1.0.1e-48.el6_8.4                                       updates                                    1.5 M

Transaction Summary
===============================================================================================================================================================================================
Upgrade       1 Package(s)

Total download size: 1.5 M
Is this ok [y/N]: y
Downloading Packages:
openssl-1.0.1e-48.el6_8.4.x86_64.rpm                                                                                                                                    | 1.5 MB     00:01     
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
  Updating   : openssl-1.0.1e-48.el6_8.4.x86_64                                                                                                                                            1/2 
  Cleanup    : openssl-1.0.1e-15.el6.x86_64                                                                                                                                                2/2 
  Verifying  : openssl-1.0.1e-48.el6_8.4.x86_64                                                                                                                                            1/2 
  Verifying  : openssl-1.0.1e-15.el6.x86_64                                                                                                                                                2/2 

Updated:
  openssl.x86_64 0:1.0.1e-48.el6_8.4                                                                                                                                                           

Complete!
[hadoop@ambari02 .ssh]$

　　然后，再来重新注册

7）注册成功之后，我们还要查看一下警告信息，一定要在部署hadoop组件之前把所有的警告信息都消除掉。

　　由此，可见，需要如下来做。

8）比如时钟同步问题，我们可以通过如下方式解决

[hadoop@ambari02 ~]$ sudo service ntpd status
ntpd is stopped
[hadoop@ambari02 ~]$ sudo service ntpd start
Starting ntpd:                                             [  OK  ]
[hadoop@ambari02 ~]$

9）下面这个问题的解决方法 The following hosts have Transparent Huge Pages (THP) enabled。THP should be disabled to avoid potential Hadoop performance issues.

关闭Transparent HugePages的办法：在linux的root用户下下执行

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

[hadoop@ambari02 ~]$ su root
Password: 
[root@ambari02 hadoop]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
[root@ambari02 hadoop]# echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
[root@ambari02 hadoop]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@ambari02 hadoop]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@ambari02 hadoop]#

10）然后，重新检测，保证没有警告之后，我们点击next

（2）部署HDFS

1）选择我们要安装的组件名称，然后点击next

http://192.168.80.144:8080/#/installer/step4

　　我这里为了演示给大家后续的如何去新增一个进来。就只选择 HDFS + Zookeeper + Ambari Metrics。

2）如果没有其他疑问，就一直点击next，ambari就会进入自动的安装部署过程。

http://192.168.80.144:8080/#/installer/step6

　　带着看看信息

　　当然，如果牵扯到高级优化等，或者一些其他自定义的，以后自己在搭建好之后，是可以返回来改的！

　　等待一段时间。

3）中间可能会出现一些问题，我们只需要针对性的解决就行，比如下面的问题

　　这里是，自动就会检测出问题出来。我们直接Next，后面来手动处理它！。即到ambari02机器上去。

Traceback (most recent call last):
  File "/var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/scripts/service_check.py", line 165, in <module>
    AMSServiceCheck().execute()
  File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py", line 219, in execute
    method(env)
  File "/usr/lib/python2.6/site-packages/ambari_commons/os_family_impl.py", line 89, in thunk
    return fn(*args, **kwargs)
  File "/var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/scripts/service_check.py", line 160, in service_check
    raise Fail("Values %s and %s were not found in the response." % (random_value1, current_time))
resource_management.core.exceptions.Fail: Values 0.32072445008 and 1490951249000 were not found in the response.

　　其实，这一步每个人安装时，出现的错误不一样。具体是报什么错误，去百度就好。

请移步

安装ambari的时候遇到的ambari和hadoop问题集

OK，到此为止，我们刚才安装的所有组件就都能够成功启动了.

（3）部署Mapreduce和YARN

1）接下来我们就来演示一下如何添加新的服务

2）然后我们选择需要添加的服务，然后按照提示点击next即可，ambari会进入自动安装并启动

Python script has been killed due to timeout after waiting 300 secs

　　具体，请移步

ambari的安装以及集群部署

Python script has been killed due totimeoutafter waiting 1800 secs

vim /etc/ambari-server/conf/ambari.properties（此错误为ambari-server ssh连接ambari-agent安装超时）

agent.package.install.task.timeout=1800更改为9600（时间可根据网络情况继续调整）

　　说白了，就是，跟大家的网速有关。

或者

这里装着装着就失败了，显示Python script has been killed due to timeout after waiting 1800 secs

解决办法：

vim /etc/yum.conf，把installonly_limit的值设成600

后来仍然有超时失败，只能retry了，最后终于成功了！

3）一段时间之后，我们发现所有的服务就都启动起来了

Ambari部署时问题之Ambari Metrics无法启动

Ambari里如何删除某指定的服务（图文详解）

Ambari安装之部署（Metrics Collector和 Metrics Monitor） Install Pending ...问题

　　然后，成功解决了，如下

（4）运行MapReduce程序

实际上在mapreduce检测的过程中，系统已经跑过一个mapreduce进行测试了

OK，到此为止，我们的单节点集群就部署成功了。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6629249.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/368482

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

浅谈Hive和HBase区别

1.两者分别是什么？　 Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务。Hive被分区为表格，表格又被进一步分割为列簇。列簇必须使用schema定义，列簇将某一类型列集合起来（列不要求schema定义）。例如，“message”列簇可能包含：“to”, ”from” “date”, “subject”, 和”body”. 每一个 key/value对在Hbase中被定义为一个cell，每一个key由row-key，列簇、列和时间戳。在Hbase中，行是key/value映射的集合，这个映射通过row-key来唯一标识。Hbase利用Hadoop的基础设施...

2017-11-21

479

Hadoop里如何Mysql编程

mysql数据库读写 hadoop技术推出一度曾遭到关系数据库研究者的挑衅和批评，认为MapReduce不具有关系数据库中的结构化数据存储和处理能力。为此，hadoop社区和研究人员做了多的努力，在hadoop0.19版支持MapReduce访问关系数据库，如：MySQL、Mongodb、PostgreSQL、Oracle等几个数据库系统。Hadoop 访问关系数据库主要通过DBInputFormat类实现的，包的位置在 org.apache.hadoop.mapred.lib.db。以 Mysql为例来学习 MapReduce读写数据。 MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于Oracle旗下公司。MySQL 最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。 Mongodb百度百科： http://baike.baidu.com/subview/3385614/9338180.htm...

2017-11-21

571

发表评论

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。