本文作者由戴尔EMC Adnan Khaleel，首发于CIO.com。

　　高性能计算(HPC)和大数据的融合已经进行了多年。虽然以前HPC和大数据在不同的环境中发展，但现在正走向融合。使用HPC应用程序的人通常使用大数据，而处理大数据的人通常需要HPC系统的处理能力。这种融合将企业带入了HPDA的时代。

▲（图片来源于网络）

　　让我们退一步。对于企业来说，数据的传输速度远远快于任何人的预期。无论是来自物联网，网页，商业交易或其他来源，涌入企业数据中心的数据量超过了当前的存储容量。这种大量的数据创造了一类新的数据整合，数据处理和数据管理挑战。企业不能只是让数据堆积。他们现在需要对要存储的数据，要分析的数据以及要丢弃的数据做出慎重的决定。

　　最重要的是，企业需要找到方法将大量的数据变成有意义的洞察力。此过程越来越需要HPC功能，使应用程序尽可能快地运行。在许多情况下，企业需要实时生成洞察力。如需要优化远程设备的性能，更快地响应客户的需求，抑或是组织潜在的欺诈性交易。

　　让我们举个例子，许多企业受到来自互联设备(物联网)领域不断增长的数据浪潮的打击。为了利用这些数据，无论是实时还是一段时间，企业都需要运用复杂的机器学习和深度学习技术，这些技术需要与大数据平台和数据分析工具配合使用的HPC系统。

　　借助HPDA，企业使用HPC技术来分析大数据，以便获得快速洞察，实时结果和预测分析。一项研究发现，67%的HPC用户已经在使用HPDA，而不是传统的HPC。

　　虽然HPDA在传统研究驱动的HPC应用中是需要的，但它在企业环境中变得必不可少。根据行业的不同，企业可能需要利用以数据为中心的HPC平台，用于传统的HPC应用程序，如基因学，金融建模和信号处理，以及新兴的HPDA应用程序，如个性化医疗，欺诈检测和机器学习。

　　新工具和技术的兴起

　　对于需要HPDA的企业，在技术方面有一个好消息：将HPC与数据分析合并的工具和技术正在快速成熟。更好的是，HPC和大数据平台以减少在HPC和存储环境之间来回移动数据的需要方式进行融合。此融合可帮助企业避免不同系统附带的大量开销和延迟。

　　今天，企业可以选择快速增长的工具和技术，如流分析，图形分析和在HPC环境中的探索性数据分析。让我们简单看看这些工具。

　　流分析提供了新的算法和方法，帮助企业快速分析高带宽，高吞吐量的流数据。这些进步支持新兴图形模式，数据融合和压缩以及大规模网络分析的解决方案。

　　图形分析技术支持图形建模，可视化和评估，以了解大型，复杂的网络。具体应用包括语义数据分析，大数据可视化，图形分析研究的数据集，基于活动的分析，大图数据工具的性能分析和防逃避异常检测。

　　探索性数据分析提供了探索和分析大量流数据源的机制，以获得新的见解和决策。应用包括探索性图分析，地理启发式并行仿真和网络分析数据集。

　　HPDA在行动：案例研究

　　让我们来考虑一些现实生活中的HPDA实例。这些例子显示了公司如何利用高性能计算和大数据技术的融合。

　　为了帮助抵抗癌症和其他疾病，TGen需要极其可扩展，可靠和可用的HPC节点来开发个性化的治疗。为了满足这一需求，TGen优化了其基础设施，利用戴尔EMC PowerEdge刀片扩展其现有的戴尔EMC HPC集群。该系统结合了强大的大数据和分析工具，利用戴尔EMC Hadoop平台和Statistica软件。提高的性能有助于TGen加速结果，使研究人员能够将治疗扩展到更多的患者。

　　另一个戴尔EMC客户Sensus需要增加其数据集大小，以便能够更轻松地查看仪表传感器性能问题。为了满足这一需求，该公司实施了一个基于Hadoop平台的数据集群和数据湖，以及来自Dell EMC和Intel的技术，整合了制造，测试和其他数据流。有了这个统一的平台，Sensus可以快速分析1700万个气体，电表和水表传感器的数据，并主动识别设备问题，帮助预测和防止未来设备故障。

　　使用HPDA启用主动维护

　　在物联网方面，HPDA技术能够对资产进行预测性维护，以帮助防止设备故障，延长机器寿命，并帮助企业获得更好的资产回报。这些技术超越了状态监测，使条件理解。就其自身而言，状态监视提供了行动的时间，但是当数据被动态地提供给特定于设备的预测模型时，可以实现条件理解。这意味着用户将有时间对维护事件采取行动，并清楚地了解他们需要采取的行动。

　　对于新的物联网企业，面临的挑战众多，涵盖硬件和软件。例如，他们需要：

　　确定什么是最佳传感器网络架构和边缘节点的最佳位置

　　确定早期分析需要什么数据，哪些数据可以丢弃，以及数据中心深度分析需要哪些数据

　　识别启用数据分析和过滤的边缘节点上所需的软件堆栈

　　管理整个端到端流程，记住时间到洞察(如果失败已经发生，数据有什么好处?)

　　推进部署，包括数据移动，数据安全和合规性的行业最佳实践

　　保持成本可管理

　　这就是专业知识非常方便的地方。考虑到这一想法，戴尔EMC与Software AG和Kepware合作，为主动维护生成端到端解决方案。它提供了完整的硬件，软件堆栈，可轻松实现物联网传感器的管理，生成的数据以及实时分析数据，从而最终简化基于IoT的基础设施维护解决方案的部署。

作者：Adnan Khaleel

来源：IT168

原文链接:HPC与数据分析融合将企业带入HPDA时代