首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/136522

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MapReduce朝不保夕的江湖地位

可怜的MapReduce,直到2013年末,都是Hadoop系统中的关键一环,在这个开源大数据处理框架中,它既是集群的资源管理器,又作为主要编程手段和处理环境存在。但如今看来,情况正在发生变化。 Apache Software Foundation的Hadoop 2版本添加了一个名叫YARN的新技术,取代了MapReduce的资源管理角色,并将Hadoop发展成了超越MapReduce批处理作业的应用程序。目前有很多厂商推出了SQL-on-Hadoop工具,让用户编写针对Hadoop数据分析查询的标准SQL,以代替MapReduce。Spark 处理引擎也应运而生,其支持者声称它运行批处理作业的速度比MapReduce快100多倍,并且支持时下流行的高级编程语言,如Java和Python 等。 随着上述新兴技术的出现,MapReduce已经不再像以往那么重要,就像一个古老的蒸汽引擎被迫让位于更时尚的柴油机车一样。这个现实在纽约 Strata + Hadoop World 2015 会议后更为凸显,在此次会议中,与会者广泛讨论了摆脱MapReduce的议题。用一位发言人的话说,“摆脱Ma...

大数据亦需要数据虚拟化

摘要:为了实现大数据所勾画出的美好愿景,你需要在数据层和基础设施层等基础架构中对数据进行抽象化的工作。在云上的大数据拥有跨越大量节点、集群和层的众多潜在功能服务层,而这些节点、集群和层很容易变得不堪重负。为了应对这些问题。首先,你应该规划一个全面的云数据虚拟化基础设施。虚拟化云分析法是新时代中的大数据典范。作为一种集成方法,它能够确保大数据的统一访问、建模、部署、优化和管理成为一种异构资源。 在云上的大数据拥有跨越大量节点、集群和层的众多潜在功能服务层,而这些节点、集群和层很容易变得不堪重负。为了应对这些问题。首先,你应该规划一个全面的云数据虚拟化基础设施。虚拟化云分析法是新时代中的大数据典范。作为一种集成方法,它能够确保大数据的统一访问、建模、部署、优化和管理成为一种异构资源。 与任何虚拟化一样,数据虚拟化是一种允许用户访问、管理和优化异构基础架构的方法,就好像它们是一种单一、且在逻辑上是统一的资源一样。这使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化。 与支持逻辑上统一的访问、查询、报告、预测分析,以及针对关系型、Hadoop、NoSQL等不同后端数据库应用...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。