大数据和HPC联手的三个关键途径
如今,大数据正变得越来越廉价,而不仅仅是广泛分布商品硬件上廉价的存储和计算。大数据分析可能很快成为高性能计算(HPC)新的“杀手级应用”。 此外,还有比大数据更多的大量的信息。它还涉及大量的分布式活动,如复杂的查询和计算。换句话说,通过计算获得的价值就像数据集本身的大小一样“大”。事实上,高性能计算大数据已经被分析公司IDC所创造,如“高性能数据分析。” 高性能计算(HPC)能很好地实现大数据典型的工作流程的所有三个阶段,包括数据采集和过滤,分析,结果可视化。除了这三个阶段,计算的速度和规模一样重要。为了发掘大数据的全部潜力,我们要以“大计算”与HPC进行匹配。 对于大数据和高性能计算的融合,以及企业如何充分利用这一现象来改善大型处理,以下有三个方法: 1.Hadoop联手Infiniband 许多人认为最常用的超级计算机互连技术InfiniBand,可以尽可能多满足HPC作为裸机处理的基本要求。如果不能快速移动节点之间的信息,就会限制了你可以实现的水平的可扩展性。远程直接内存访问(RDMA)的ApacheHadoop提供了一个极好的高速、低延迟互连的大数据平台。甚至可以在云端利用RD...



