拥抱开源！解析IBM Power8与Hadoop的不解之缘-低调大师

拥抱开源！解析IBM Power8与Hadoop的不解之缘

2017-08-01 570

大数据分析不仅改变了企业开展业务的地点和方式,而且还在改变业务决策流程的速度与范围。企业希望通过投资大数据分析技术来增强客户体验、提高客户忠诚度、开创全新的创收机会。他们需要部署经济高效的、高性能的、可靠敏捷的IT基础架构,以便利用特殊的数据资产来产生最佳业务成效。

与x86架构相比,客户能够通过数量更少但却更加可靠的Power8服务器来降低总体拥有成本(TCO)。更重要的是,这些客户还将能够受益于不断发展壮大的IBM合作伙伴开源生态圈(OpenPOWER基金会)及一致性附加处理器接口(CAPI)等颠覆性创新技术所交付的卓越价值。

IBM以开放的态度拥抱开源

IBM一直将开源合作视为创新驱动力，倡导、参与和支持Linux和开源软件，并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来，他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持，也使今天的开发者更容易利用开源技术开发大数据分析应用。

IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道，用以轻松实现云部署，建成新的大数据和移动软件应用，并帮助提升现有云端应用的性能。基于Power 的Ubuntu对已经全线支持红帽和SUSE Linux操作系统的Power Systems产品线提供了良好的补充。

此外，IBM通过OpenPOWER基金会使POWER8用于开放式的开发。OpenPOWER基金会是一个多家业内公司围绕着POWER8平台成立的联合组织，致力于加快数据中心的创新及基于POWER8架构的系统设计变革。OpenPOWER基金会中不仅包括家喻户晓的科技巨头(如Google、Samsung、NVIDIA、Micron及Mellanox)，还包括浪潮、中兴等国内企业。OpenPOWER基金会提供Power软硬件用于开放型开发，以及Power知识产权许可。Power8的开放将为大数据分析、移动、社交催生更好的基础架构平台。

Power8让Hadoop应用性能提升3.65倍

Hadoop是一个能够对大数据进行分布式存储和处理的软件框架，它具有高可靠性、高扩展、容错、高效、低成本的特点，一度广受互联网公司青睐，企业级用户也越来越多的接受Hadoop。但凡事都有两面性，佘晖表示，星环科技在做Hadoop应用和技术的时候，发现Hadoop是非常耗费计算资源的，用户希望获得更优秀的性能。

通过测试发现，IBM Power8产品非常适合Hadoop应用。据星环科技提供资料显示，在与IBM合作针对Hadoop的性能优化和调优后，IBM做了很多改进，与x86处理器相比，POWER8实现了3.65倍的运行速度提升。除了性能外，POWER在中国很多的行业、在企业级市场有着深厚的积淀和客户群，产品也非常适合这些客户，这也是星环科技选择POWER的原因。

大数据助力空气质量预测

拥有强大集群能力的POWER服务器在应用方面有何过人之处呢？帮助北京预测空气质量就是其中之一。IBM在去年就与北京市政府签署协议，利用先进的天气预报和云计算技术，协助中国防治大气污染。

据了解，北京市政府是IBM“绿色地平线”计划（Green Horizon）的合作伙伴之一。IBM与北京市相关单位合作并共同研发，利用IBM认知计算、大数据分析以及物联网技术的优势，分析空气监测站和气象卫星传送的实时数据流，凭借自学习能力和超级计算处理能力，提供未来72小时的高精度空气质量预报，实现对北京地区的污染物来源和分布状况的实时监测。

绿色地平线项目IBM实验室会跟环保局、监测站，收取很多的检验数据，通过软件做预计分析。比如原来可以预测3天，现在可能提前到10天。

据IBM大中华区硬件系统部PowerSystems产品总监李红介绍，IBM实验室有一套资产算法，去分析大气污染，提供算法服务和支撑。因为是计算密集型的，需要大量计算，所以用到了刚刚发布的S812LC平台。包括其他产品在内，构成了整个云平台环境，去完成对大数据的分析，对污染环境的预测等等。这个项目目前还在进行中，政府也希望这个项目未来可以推广扩展到其他的城市。

总的来看，IBM Power8依然是高性能、高可靠性的代表，它比较适合计算比较密集的场景，更适合于做数据仓库、做批处理、数据挖掘、模型建模等方面应用。因此，它与Hadoop也就有着不解之缘，未来的各种行业应用还在拓展之中，让我们拭目以待！

本文作者：云中子

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/198029

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《虚拟数据中心构建指南》——3.3　存储网络

3.3 　存储网络前一节已经作过解释，可能使用的网络有两种：IP以太网（NAS或者iSCSI模式）和FC网络(FC或者FCoE)。 3.3.1　IP存储网络这类网络原来的设计不是用于提供高性能存储的，而是在网络不同要素之间传递信息。因此，它不适合于需要高性能的应用，例如数据库应用。IP网络处于OSI第3层，所以它可以路由，适合于长距离网络互联。FC网络位于第2层，因此无法路由。目前，IP网络的吞吐量达到10GbE，未来将达到40GbE和100GbE。 IP网络的问题在于因为如下因素而导致“丢包”：物理线路上的信号衰减路由问题缓冲区溢出（接收器无法处理输入流）TCP/IP协议允许丢包重传（如果发送数据没有得到接收方的确认），但是这对性能有显著影响。另一个问题是，在一个IP包中只能传输有限的数据量，称作最大传输单元（Meximum Tranomission Unit，MTU）。这个数量（有效载荷，payload）对于以太网数据包为1500个字节。超过1500个字节的数据在发送之前必须分段。每当网卡接收到一个包，就向主机发送一个中断以确定接收。这增加了主机的负载和CPU周期（称作开销，...

2017-08-02

705

随着云计算技术的不断发展及云计算商业模式的不断明晰，其完整的产业链也在不断地完善，无论是公有云、私有云还是混合云，均得到进一步深化。云计算的信息安全和运维服务问题越来越被人们所关注，一直是云计算实施的国际热点问题，在企业私有云领域，更是成为是否采纳云计算的首要问题。在我国云计算标准工作中，信息安全、运维服务也是被关注的重点。本文针对云计算的信息安全、运维服务这些国际热点问题，在IaaS云特别是企业私有云领域，综合平衡商用关键、综合成本、实用易用等因素，设计了信息安全系统和运维服务系统，并在国内多个行业实施取得了良好的效果。 1、IaaS简介 IaaS服务的核心思想是以服务产品的形式向用户交付各种能力，而这些能力直接来自各种资源池，因此IaaS服务提供商需要完成资源池化、服务和产品设计与组装以及服务产品交付等方面的工作。 IaaS的技术架构是以数据中心IT基础架构为基础，以满足用户需求的特定IT基础架构为交付物的服务交付过程的层次化模型，如图1所示。在IaaS的技术架构中，通过采用资源池构建、资源调度、服务封装等手段，可以将IT资产迅速转变为可交付的IT服务，从而实现了IaaS云的随...

2017-08-02

500

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。