CDH4/5配置文件之深度解析-低调大师

CDH4/5配置文件之深度解析

2016-05-30 606 89

一.目录

二.实验1.web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hadoop/* 和 /var/run/cloudera-scm-agent/process/*

A.这时界面会出现两个按钮:

1>.【过期配置:需要重启】

2>.【过期配置:需要重新部署客户端配置】

B.当我们单击【过期配置:需要重启】或者【过期配置:需要重新部署客户端配置】功能默认是一样的，都是a.重新部署客户端配置(默认勾选) ;b.立即重启集群

然后集群会做两件事:

1>.会更新/etc/hadoop/*目录

2>.同时也更新/var/run/cloudera-scm-agent/process/*目录

三.实验2.再次在web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从150改为180,单击【保存更改】按钮,直接修改到数据库

A.当我们单击【部署客户端配置】

1>.会更新/etc/hadoop/*目录

2>.同时也更新/var/run/cloudera-scm-agent/process/目录,但只生成ccdeploy_部署文件夹,但这时mapreduce 运行的mapreduce.job.counters.max值还是150，并没有改变为180，故可以重启mapreduce服务或者整个集群，来重新生成配置文件。

B.重启MapReduce单个服务

只更新/var/run/cloudera-scm-agent/process/*目录

#因为只重启MapReduce服务，没有重启其他服务，如Hive,所以就只更新MapReduce

四.个人理解总结:

cm web界面修改------>数据库表configs表------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*

1. a.web界面修改参数,保存,到configs表

2. b.重新部署客户端,到/etc/hadoop/的某个目录下,然后通过alternatives命令动态更新到conf文件夹;且会在/var/run/cloudera-scm-agent/process/目录下生成deploy文件夹

3. c.重启集群或者重启单个服务,会在/var/run/cloudera-scm-agent/process/目录下生成各个组件的运行的配置文件夹(是有序号标识的)

http://blog.itpub.net/30089851/viewspace-1991862/

微信关注我们

原文链接：https://yq.aliyun.com/articles/578855

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

[Hive]Hive使用指南二 Hive命令的3种调用方式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/51549329 1. 多语句执行执行HQL脚本 hive –f /root/shell/hive-script.sql hive-script.sql类似于script一样，直接写查询命令就行。 hive-script.sql是hive 语句的集合： xiaosi@qunar：～$ vim hive_script.sql select * from search_click; select count(*) from search_click; 这里可以和静音模式-S联合使用，通过第三方程序调用，第三方程序通过hive的标准输出获取结果集。 # 不会显示mapreduct的操作过程 $HIVE_HOME/bin/hive -S -f /home/my/hive-script.sql 2. 短语句执行命令行执行HQL hive -e 'sql语句' 例如执行： xiaosi@Qunar:~$ hive -e 'select * fr...

693

java-jstorm

jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架，使用简单，特点如下：开发非常迅速: 接口简单，容易上手，只要遵守Topology，Spout， Bolt的编程规范即可开发出一个扩展性极好的应用，底层rpc，worker之间冗余，数据分流之类的动作完全不用考虑。扩展性极好:当一级处理单元速度，直接配置一下并发数，即可线性扩展性能健壮:当worker失效或机器出现故障时，自动分配新的worker替换失效worker 数据准确性: 可以采用Acker机制，保证数据不丢失。如果对精度有更多一步要求，采用事务机制，保证数据准确。优点： Nimbus 实现HA 彻底解决Storm雪崩问题：底层RPC采用netty + disruptor保证发送速度和接受速度是匹配的新增supervisor、Supervisor shutdown时、提交新任务，worker数不够时，均不自动触发任务rebalance 新topology不影响现有任务，新任务无需去抢占老任务的cpu，memory，disk和net 减少对ZK的访问量：去掉大量无用的watch；t...

563

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。