CDP集群主机和角色分配
集群主机可以广义地描述为主控主机、工具主机、网关主机和工作主机。
主控主机运行Hadoop主控进程，例如HDFS NameNode和YARN Resource Manager。
实用程序主机运行不是主进程的其他集群进程，例如Cloudera Manager和Hive Metastore。
网关主机是用于在集群中启动作业的客户端访问点。所需网关主机的数量取决于工作负载的类型和大小。
工作主机主要运行DataNode和其他分布式进程，例如Impalad。
重要
Cloudera建议在生产环境中使用运行时时始终启用高可用性。
下表描述了针对不同集群大小的建议角色分配。请注意，这些配置考虑了可能不太明显的服务依赖性。例如，运行Atlas或Ranger还需要运行HBase、Kafka、Solr和ZooKeeper。有关详细信息，请参阅Cloudera Manager中的服务依赖性。
3-10个工作主机且没有启用高可用性
主控主机 | 工具主机 | 网关主机 | 工作主机 |
|---|---|---|---|
主控主机1: NameNode YARN ResourceManager JobHistory Server ZooKeeper Kudu master Spark History Server HBase master Schema Registry | One host for all Utility and Gateway roles: Secondary NameNode Cloudera Manager Cloudera Manager Management Service Cruise Control Hive Metastore HiveServer2 Impala Catalog Server Impala StateStore Hue Oozie Gateway configuration HBase backup master Ranger Admin, Tagsync, Usersync servers Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) Streams Messaging Manager Streams Replication Manager Service ZooKeeper | 3 - 10 个工作主机: DataNode NodeManager Impalad Kudu tablet server Kafka Broker Kafka Connect HBase RegionServer Solr server (用于Cloudera搜索) Streams Replication Manager Driver ZooKeeper (推荐一共三台服务器) | |
3 - 20 个工作主机且启用了高可用性
主控主机 | 工具主机 | 网关主机 | 工作主机 |
|---|---|---|---|
主控主机 1: NameNode JournalNode FailoverController YARN ResourceManager ZooKeeper JobHistory Server Kudu master HBase master Schema Registry 主控主机 2: NameNode JournalNode FailoverController YARN ResourceManager ZooKeeper Kudu master HBase master Schema Registry 主控主机 3: Kudu master (Kudu requires an odd number of masters for HA.) Spark History Server JournalNode (requires dedicated disk) ZooKeeper | 工具主机 1: Cloudera Manager Cloudera Manager Management Service Cruise Control Hive Metastore Impala Catalog Server Impala StateStore Oozie Ranger Admin, Tagsync, Usersync servers Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) Streams Messaging Manager Streams Replication Manager Service 工具主机 2: Ranger Admin server Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) | 一个或者多个网关主机: Hue HiveServer2 Gateway configuration | 3 - 20 个工作主机: DataNode NodeManager Impalad Kudu tablet server Kafka Broker (推荐最少3台Broker) Kafka Connect HBase RegionServer Solr server (用于Cloudera搜索, 推荐最少3台服务器) Streams Replication Manager Driver |
20 - 80 个工作主机且启用了高可用性
主控主机 | 工具主机 | 网关主机 | 工作主机 |
|---|---|---|---|
主控主机 1: NameNode JournalNode FailoverController YARN ResourceManager ZooKeeper Kudu master HBase master Schema Registry 主控主机 2: NameNode JournalNode FailoverController YARN ResourceManager ZooKeeper Kudu master HBase master Schema Registry 主控主机 3: ZooKeeper JournalNode JobHistory Server Spark History Server Kudu master HBase master | 工具主机 1: Cloudera Manager Cruise Control Ranger Admin server Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) Streams Messaging Manager Streams Replication Manager Service 工具主机 2: Cloudera Manager Management Service Hive Metastore Impala Catalog Server Oozie Ranger Admin, Tagsync, Usersync servers Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) | 一个或者多个网关主机: Hue HiveServer2 Gateway configuration | 20 - 80 个工作主机: DataNode NodeManager Impalad Kudu tablet server Kafka Broker (推荐最少3台Broker) Kafka Connect HBase RegionServer Solr server (用于Cloudera搜索, 推荐最少3台服务器) Streams Replication Manager Driver |
80 - 200 个工作主机且启用了高可用性
主控主机 | 工具主机 | 网关主机 | 工作主机 |
|---|---|---|---|
主控主机 1: NameNode JournalNode FailoverController YARN ResourceManager ZooKeeper Kudu master HBase master Schema Registry 主控主机 2: NameNode JournalNode FailoverController YARN ResourceManager ZooKeeper Kudu master HBase master Schema Registry 主控主机 3: ZooKeeper JournalNode JobHistory Server Spark History Server Kudu master HBase master | 工具主机 1: Cloudera Manager Cruise Control Streams Messaging Manager Streams Replication Manager Service 工具主机 2: Hive Metastore Impala Catalog Server Impala StateStore Oozie 工具主机 3: Activity Monitor 工具主机 4: Host Monitor 工具主机 5: Ranger Admin, Tagsync, Usersync servers Atlas server Solr server 工具主机 6: Ranger Admin server Atlas server Solr server 工具主机 7: Reports Manager 工具主机 8: Service Monitor | 一个或者多个网关主机: Hue HiveServer2 Gateway configuration | 80 - 200 个工作主机: DataNode NodeManager Impalad Kudu tablet server (推荐最多100个Tablet服务器) Kafka Broker (推荐最少3台Broker) Kafka Connect HBase RegionServer Solr server (用于Cloudera搜索, 推荐最少3台服务器) Streams Replication Manager Driver |
200 - 500 个工作主机且启用了高可用性
主控主机 | 工具主机 | 网关主机 | 工作主机 |
|---|---|---|---|
主控主机 1: NameNode JournalNode FailoverController ZooKeeper Kudu master HBase master 主控主机 2: NameNode JournalNode FailoverController ZooKeeper Kudu master HBase master 主控主机 3: YARN ResourceManager ZooKeeper JournalNode Kudu master HBase master Schema Registry 主控主机 4: YARN ResourceManager ZooKeeper JournalNode Schema Registry 主控主机 5: JobHistory Server Spark History Server ZooKeeper JournalNode We recommend no more than three masters for Kudu and HBase. | 工具主机 1: Cloudera Manager Cruise Control Streams Messaging Manager Streams Replication Manager Service 工具主机 2: Hive Metastore Impala Catalog Server Impala StateStore Oozie 工具主机 3: Activity Monitor 工具主机 4: Host Monitor 工具主机 5: Ranger Admin, Tagsync, Usersync servers Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) 工具主机 6: Ranger Admin server Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) 工具主机 7: Reports Manager 工具主机 8: Service Monitor | 一个或者多个网关主机: Hue HiveServer2 Gateway configuration | 200 - 500 个工作主机: DataNode NodeManager Impalad Kudu tablet server (推荐最多100个Tablet服务器) Kafka Broker (推荐最少3台Broker) Kafka Connect HBase RegionServer Solr server (用于Cloudera搜索, 推荐最少3台服务器) Streams Replication Manager Driver |
500 -1000 个工作主机且启用了高可用性
主控主机 | 工具主机 | 网关主机 | 工作主机 |
|---|---|---|---|
主控主机 1: NameNode JournalNode FailoverController ZooKeeper Kudu master HBase master 主控主机 2: NameNode JournalNode FailoverController ZooKeeper Kudu master HBase master 主控主机 3: YARN ResourceManager ZooKeeper JournalNode Kudu master HBase master Schema Registry 主控主机 4: YARN ResourceManager ZooKeeper JournalNode Schema Registry 主控主机 5: JobHistory Server Spark History Server ZooKeeper JournalNode 对于Kudu和HBase，我们建议不超过三个主控。 | 工具主机 1: Cloudera Manager Cruise Control Streams Messaging Manager Streams Replication Manager Service 工具主机 2: Hive Metastore Impala Catalog Server Impala StateStore Oozie 工具主机 3: Activity Monitor 工具主机 4: Host Monitor 工具主机 5: Ranger Admin, Tagsync, Usersync servers Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) 工具主机 6: Ranger Admin server Atlas server Solr server (用于支持Atlas的CDP-INFRA-SOLR实例) 工具主机 7: Reports Manager 工具主机 8: Service Monitor | 一个或者多个网关主机: Hue HiveServer2 Gateway configuration | 500 - 1000 个工作主机: DataNode NodeManager Impalad Kudu tablet server (推荐最多100个Tablet服务器) Kafka Broker (推荐最少3台Broker) Kafka Connect HBase RegionServer Solr server (用于Cloudera搜索, 推荐最少3台服务器) Streams Replication Manager Driver |
原文链接：https://docs.cloudera.com/cdp-private-cloud-base/7.1.4/installation/topics/cdpdc-runtime-cluster-hosts-role-assignments.html
本文分享自微信公众号 - 大数据杂货铺（bigdataGrocery）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
一文看透NGINX开发史
大咖专题 洪志道 白山云技术专家，拥有多年服务器开发经验。NGINX 社区贡献者，熟悉整个NGINX 生态。目前是njs核心开发者，Unit积极贡献者，NGINX 专家。 我的职业生涯大部分时间都在跟NGINX打交道，有足够的经验分享整个NGINX开发史的演进。本文以事后诸葛的角度揭示怎么形成现在这个生态。 此图展示了现如今活跃在NGINX生态的重要开源模块和产品。 ►一切从C开始 NGINX是纯C实现的软件，源码质量很高。即使不从事NGINX的人也可以将它作为很好的学习软件。作者Igor很早就有支持脚本语言的意图。所以问题就变成了C如何跟脚本语言引擎的结合了。这些主流脚本语言python, php, v8(js),perl, lua都有C的API，考虑到两方面：轻量级和性能，perl成为了当时的NGINX首选。甚至他还实现了一个迷你的SSI模块，自定义的脚本功能。但是从现在看，个人觉得Lua是和C交互最好的语言，天生为C设计的脚本语言，足够轻量，足够快。@agentzh将Lua引入NGINX，怎么看都是正确和极具工程实用的选择。估计NGINX社区也没料到Lua模块能如此成功。 但是呢...
- 下一篇
QUIC 协议简介
QUIC的全称是 Quick UDP Internet Connections protocol，由 Google 设计提出，目前由 IETF 工作组推动进展，其设计的目标是替代 TCP 成为 HTTP/3 的数据传输层协议。熹乐科技在物联网（IoT）和边缘计算（Edge Computing）场景也一直在打造底层基于 QUIC 通讯协议的边缘计算微服务框架YoMo，长时间关注 QUIC 协议的发展，本文章简单介绍了 QUIC 协议的特点和术语。 在线社区：discord/quic 维护者：YoMo QUIC 是一种多路复用和安全的通用传输协议，它提供： 流（stream）多路复用 流（stream）和连接（connection）级别的流量控制 建立低延迟连接（1-RTT 或者 0-RTT） 连接迁移（Connection migration）和弹性 NAT 重绑定 经过身份验证和加密的头部（header） 和有效载荷（payload） QUIC 建立了客户端（client）和服务端（server）之间有状态的交互连接。连接的主要目的是通过应用协议支持结构化的数据交换。 应用协议通过 Q...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- CentOS7编译安装Gcc9.2.0，解决mysql等软件编译问题
- CentOS8编译安装MySQL8.0.19
- CentOS8安装Docker，最新的服务器搭配容器使用
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Redis，开启缓存，提高访问速度
- Mario游戏-低调大师作品
- Docker安装Oracle12C，快速搭建Oracle学习环境
- CentOS7安装Docker，走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx，支持https2.0的开启
微信收款码
支付宝收款码