Hadoop一体机将挑战传统企业IT团队-低调大师

Hadoop一体机将挑战传统企业IT团队

2017-08-31 547

文章讲的是 Hadoop一体机将挑战传统企业IT团队， IT部门通常是以一个个“孤岛”的方式组织起来的，包括数据库管理员、网络工程师、系统管理员以及存储管理员等。Oracle Exadata由于其软硬件集成的架构方式，使得传统的企业IT运营将发生一些变化，同时存在着一定的挑战。

　　用不了多久，客户就会了解到Exadata需要一个统一的团队来负责整个机器的管理与运维。而随着越来越多客户使用Hadoop来支撑大数据项目，他们也会面临着同样的困境。

　　传统IT运营孤岛使得团队无法有效协作，效率低下，这与Oracle所倡导的简化IT理念是背道而驰的。取而代之，大多数采用Exadata的客户为了简化运营，都选择了建立或者外包一个专门的Exadata管理团队或者数据库一体机管理(DMA)团队。作为预集成的系统，Exadata内部虽然包含了管理以及自动化软件，但它需要的知识储备远比普通DBA要多，这其中包括核心的数据库技能以及网络和存储等硬件技能。

　　Hadoop作为大数据的核心技术之一，也同样给企业IT部门造成了挑战，它所需的技能要比Exadata还要更专业，包括深度的硬件、网络、存储和Linux知识，还需要核心的数据管理技能用来构建和运营Hadoop集群。除此之外，成功的大数据项目需要运营团队与开发团队、数据科学家以及业务部门更紧密地协作。

　　之所以需要一个特定团队来支撑大数据项目，是因为大数据会涉及到IT系统中的所有组件，并高效运行。我们这里所讨论的是上千个节点以及上万个处理器的规模，即使是10%的效率低下都会造成很严重的影响，近电力能源消耗可能就会让一个企业吃不消。

　　把Hadoop集群想象成一个数据超级计算机。Hadoop的组件需要彼此协作以达到最高效，因为即使一个组件出现问题，那么它就会成为整个系统的瓶颈，最终拉低系统的整体性能。更重要的是，团队的职责不仅仅是Hadoop运维，还包括一系列的数据管理以及外部系统整合工作等。

　　大数据仍然处于初级阶段。在可以预见的未来，大数据核心技术以及应用仍将以飞快的速度不断变化。数据仓库项目通常包含业务逻辑分析、数据建模、ETL开发、报表开发、数据集市开发以及运营支持等阶段。但一个基于Hadoop的大数据项目不仅包含上述的阶段，还要持续同步地进行，团队成员需要紧密协作。为了大数据项目的最终成功，企业IT部门需要成立一个综合的团队，能够应对大数据每个方面所带来的挑战。

作者：孙瑞译

来源：IT168

原文链接:Hadoop一体机将挑战传统企业IT团队

微信关注我们

原文链接：https://yq.aliyun.com/articles/222457

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Informatica ：数据价值赋能商业变革！

文章讲的是 Informatica ：数据价值赋能商业变革，随着技术商业的创新性发展，释放数据潜能，将成为未来商业取得颠覆性变革的重要因素。谁能充分挖掘数据价值、释放数据潜能、深耕数据红利，谁就能够在新生态、新竞争中更胜一筹。作为云数据管理厂商，Informatica将继续坚定不移的帮助企业释放数据潜能，推动智能化颠覆变革，决胜未来商业。十年荣耀，昨日成就今日 Informatica公司自1993年创立以来，一直专注于数据领域，成为业界IT从业者公认的最得心应手的工具，并发展成为今天全球领先的企业云数据管理领域领先者。 ▲Informatica大中国区总经理王晨杰对于Informatica中国而言，2017年是非常重要的一年——Informatica进入中国市场已经整整十年。这十年里，Informatica不忘初心，专注于数据管理领域，帮助上千家中国企业实现以数据为驱动的数字化变革，智胜未来。十年传承跨越，技术为根。这十年里，Informatica像个执着的“技术男”一样，不断迭代超越、不断创新突破，让专业的技术、产品和服务为企业数据保驾护航，一系列的技术成果及技术方案就是最...

2017-09-01

582

文章讲的是直面Hadoop MapReduce问题与复杂性，作为最具代表性的大数据技术之一，Hadoop对那些准备探索业务影响力数据的IT部门非常有吸引力。Hadoop的分布式处理方法更适合处理海量非结构化数据，但是Hadoop及其相关的MapReduce编程模型并不是万灵药，MapReduce和Hadoop的问题时刻影响着大数据新手们。部署Hadoop的用户可能遇到的问题包括复杂性、性能和系统管理。但是，人们对它的关注仍在不断提高。MarketAnalysis.com估计，Hadoop MapReduce市场将以每年58%的速度增长，到2018年前达到22亿美元。Hadoop(最初由雅虎开发)生态系统包含的工具非常多，而且仍在不断增加。但是，找到合适的团队成员并不是一件容易的事。数据仓库咨询公司Caserta Concepts的总裁Joe Caserta说：“当我们谈到Hadoop时，它实际上只是一种分布式文件系统。所有分布式系统都有一些工具，只有这些工具才能操作分布式数据系统的数据。它们包括Hive查询工具，可以模拟结构化数据;Pig，它实际上是一个操作Hadoop数据的E...

2017-09-01

553

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。