CDH4/5配置文件之深度解析-低调大师

CDH4/5配置文件之深度解析

2016-05-30 622

一.目录

二.实验1.web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hadoop/* 和 /var/run/cloudera-scm-agent/process/*

A.这时界面会出现两个按钮:

1>.【过期配置:需要重启】

2>.【过期配置:需要重新部署客户端配置】

B.当我们单击【过期配置:需要重启】或者【过期配置:需要重新部署客户端配置】功能默认是一样的，都是a.重新部署客户端配置(默认勾选) ;b.立即重启集群

然后集群会做两件事:

1>.会更新/etc/hadoop/*目录

2>.同时也更新/var/run/cloudera-scm-agent/process/*目录

三.实验2.再次在web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从150改为180,单击【保存更改】按钮,直接修改到数据库

A.当我们单击【部署客户端配置】

1>.会更新/etc/hadoop/*目录

2>.同时也更新/var/run/cloudera-scm-agent/process/目录,但只生成ccdeploy_部署文件夹,但这时mapreduce 运行的mapreduce.job.counters.max值还是150，并没有改变为180，故可以重启mapreduce服务或者整个集群，来重新生成配置文件。

B.重启MapReduce单个服务

只更新/var/run/cloudera-scm-agent/process/*目录

#因为只重启MapReduce服务，没有重启其他服务，如Hive,所以就只更新MapReduce

四.个人理解总结:

cm web界面修改------>数据库表configs表------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*

1. a.web界面修改参数,保存,到configs表

2. b.重新部署客户端,到/etc/hadoop/的某个目录下,然后通过alternatives命令动态更新到conf文件夹;且会在/var/run/cloudera-scm-agent/process/目录下生成deploy文件夹

3. c.重启集群或者重启单个服务,会在/var/run/cloudera-scm-agent/process/目录下生成各个组件的运行的配置文件夹(是有序号标识的)

http://blog.itpub.net/30089851/viewspace-1991862/

微信关注我们

原文链接：https://yq.aliyun.com/articles/578855

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

[Hive]Hive使用指南二 Hive命令的3种调用方式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/51549329 1. 多语句执行执行HQL脚本 hive –f /root/shell/hive-script.sql hive-script.sql类似于script一样，直接写查询命令就行。 hive-script.sql是hive 语句的集合： xiaosi@qunar：～$ vim hive_script.sql select * from search_click; select count(*) from search_click; 这里可以和静音模式-S联合使用，通过第三方程序调用，第三方程序通过hive的标准输出获取结果集。 # 不会显示mapreduct的操作过程 $HIVE_HOME/bin/hive -S -f /home/my/hive-script.sql 2. 短语句执行命令行执行HQL hive -e 'sql语句' 例如执行： xiaosi@Qunar:~$ hive -e 'select * fr...

2016-05-31

709

jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout， Bolt的编程规范即可开发出一个扩展性极好的应用，底层rpc，worker之间冗余，数据分流之类的动作完全不用考虑。扩展性极好:当一级处理单元速度，直接配置一下并发数，即可线性扩展性能健壮:当worker失效或机器出现故障时，自动分配新的worker替换失效worker 数据准确性: 可以采用Acker机制，保证数据不丢失。如果对精度有更多一步要求，采用事务机制，保证数据准确。优点： Nimbus 实现HA 彻底解决Storm雪崩问题：底层RPC采用netty + disruptor保证发送速度和接受速度是匹配的新增supervisor、Supervisor shutdown时、提交新任务，worker数不够时，均不自动触发任务rebalance 新topology不影响现有任务，新任务无需去抢占老任务的cpu，memory，disk和net 减少对ZK的访问量：去掉大量无用的watch；t...

2016-05-31

588

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。