谷歌弃用 MapReduce, 推出替代品 Cloud Dataflow-低调大师

谷歌弃用 MapReduce, 推出替代品 Cloud Dataflow

2017-06-01 661

谷歌在周三发布了 Cloud Dataflow，一个用来既可以使用流式处理又可以使用批处理模式的大数据分析服务。

这个消息是在旧金山举行的谷歌 I/O 大会上公布的。它帮助完成了搜索巨头的云计算格局，为了对抗亚马逊的网络服务而一直在添加新功能。

谷歌高级副总裁乌尔斯·霍泽尔简要介绍了 Dataflow，并演示了一个围绕处理推特上的数据和世界杯人气的 demo。Dataflow 是介绍的一系列云服务里的头条。

霍泽尔说谷歌内部已经使用 Dataflow 替代了 MapReduce（MapReduce 已停用好些年了）。Cloud Dataflow 被设计成流式分析任意大的数据集。

“Cloudflow 处理整个数据流，而MapReduce 处理单一的流”，他说道。

总的来说，谷歌的 Cloudflow 将对抗亚马逊的数据托管网络服务 Amazon Redshift 以及使用 hadoop 来处理大数据的弹性云服务 MapReduce。

Cloud Dataflow能创建数据管道，在批处理和流处理模式下摄取、转变和分析数据。Cloud Dataflow可以降低运营开销，更容易的从数据中获取到可行的见解。（Solidot）

微信关注我们

原文链接：https://yq.aliyun.com/articles/113731

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark 体系架构

最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多。因此，在周末的业余时间里，将此文的核心内容译成中文，并在这里与大家分享。如在翻译过程中有文字上的表达纰漏，还请大家指出。首先来看一张Spark 1.3.0 官方给出的图片，如下：在这张图中，你会看到很多的术语，诸如“executor”, “task”, “cache”, “Worker Node” 等。原作者表示，在他开始学spark的时候，上述图是唯一一张可以找到的图片（Spark 1.3.0），形势很不乐观。更加不幸地是，这张图并没有很好地表达出Spark内在的一些概念。因此，通过不断地学习，作者将自己所学的知识整理成一个系列，而此文仅是其中的一篇。下面进入核心要点。 Spark 内存分配在你的cluster或是local machine上正常运行的任何Spark程序都是一个JVM...

2017-06-02

561

大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 2.Spark——使用简单、支持所有重要的大数据语言（Scala、Python、Java、R）。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 3.NiFi——Apache NiFi是由美国国家安全局(NSA)贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。基于其工作流式的编程理念，NiFi非常易于使用、强大、可靠、高可配置。两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系...

2017-06-02

484

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。