《Hadoop实战第2版》——2.4节安装和配置Hadoop集群
2.4 安装和配置Hadoop集群
2.4.1 网络拓扑
通常来说,一个Hadoop的集群体系结构由两层网络拓扑组成,如图2-3所示。结合实际应用来看,每个机架中会有30~40台机器,这些机器共享一个1GB带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器,通常来说其网络交换能力为1GB或更高。可以很明显地看出,同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富。这也是Hadoop随后设计数据读写分发策略要考虑的一个重要因素。
2.4.2 定义集群拓扑
在实际应用中,为了使Hadoop集群获得更高的性能,读者需要配置集群,使Hadoop能够感知其所在的网络拓扑结构。当然,如果集群中机器数量很少且存在于一个机架中,那么就不用做太多额外的工作;而当集群中存在多个机架时,就要使Hadoop清晰地知道每台机器所在的机架。