构建大数据网络 你不得不重视的六个问题
在我们考虑大数据时,我们注意到了“大”这个字,但是在建设基础架构时,我们还应该注意“分布式”。 事实上,大数据应用程序需要处理大规模信息,而且在出于弹性的考虑将数据复制到多个位置时,信息的规模变得越来越大。但是,大数据的最重要属性并不在于它的规模,而在于它将大作业分割成许多小作业的能力,它能够将处理一个任务的资源分散到多个位置变为并行处理。 在将大规模和分布式架构组合在一起时,我们就能发现大数据网络有一组特殊的需求。下面是需要考虑的六个方面: 1.网络弹性与大数据应用程序 如果有一组分布式资源必须通过互联网络进行协调时,可用性就变得至关重要。如果网络出现故障,那么造成的后果是出现不连续的坏计算资源与数据集。 准确地说,大多数网络架构和工程师的主要关注点是正常运行时间。但是,网络故障时间的根源又各不相同。它们可能源自于各个方面,包括设备故障(硬件与软件)、维护和人为错误。故障是不可避免的。虽然网络的高度可用性也很重要,但是想要设计完美可用性是不可能的。 网络架构师不能用故障来逃避目标,而应该设计一些能适应故障的弹性网络。网络的弹性取决于路径多样性(资源之间设置多条路径)和故障转移(能够快...