Apache Spark 成为 Apache 基金会顶级项目-低调大师

Apache Spark 成为 Apache 基金会顶级项目

2017-06-04 496

Apache 基金会宣布旗下的 Apache Spark 项目成为基金会的顶级项目，拥有顶级域名 http://spark.apache.org/

基金会称 Spark 的用户包括：阿里巴巴、Cloudera、Databricks、IBM、英特尔和雅虎。

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Apache Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

文章转载自开源中国社区 [http://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/113977

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

李元佳：漫谈 Greenplum 开源背后的动机

作者：李元佳这几天最大的消息莫过于 Greenplum 的开源，年初开始 Pivotal 就宣布了 greenplum 的开源，经过大半年的翘首等待，终于在十月底在欧洲的 Postgres 大会宣布开源，并兑现在 Github 上开放代码（https://github.com/greenplum-db/gpdb ），社区的官网为 http://greenplum.org/，其官方博客也有提到相关事项。代码是采用 Apache 许可，今天已经有社区的朋友尝鲜从社区取下代码，在 Greenplum 上测试了 tpch 的性能，虽然测试比较粗糙但是结果基本和商业版的一样，印证了之前 greenplum 将走向全开源的消息。虽然里面关键的新一代优化器 orca 还没有看到代码，但据消息这部分后续也会开出来，估计这个是其对这个最核心资产的一个谨慎的操作。总体的印象来看，其采取开放的 Apache 许可，代码基本上无保留开源，这次的开源更大程度是公司层面的战略行为，而不是简单的市场推广的战术行为。 Greenplum 的开源，在我看来有几个驱动力。首先是受其 cloud foundry 开...

2017-06-05

576

日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案－ Apache Eagle (http://goeagle.io )，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全。背景随着大数据的发展，越来越多的成功企业或者组织开始采取数据驱动商业的运作模式。在eBay，我们拥有数万名工程师、分析师和数据科学家，他们每天访问分析数PB级的数据，以为我们的用户带来无与伦比的体验。在全球业务中，我们也广泛地利用海量大数据来连接我们数以亿计的用户。近年来，Hadoop已经逐渐成为大数据分析领域最受欢迎的解决方案，eBay也一直在使用Hadoop技术从数据中挖掘价值，例如，我们通过大数据提高用户的搜索体验，识别和优化精准广告投放，充实我们的产品目录，以及通过点击流分析以理解用户如何使用我们的在线市场平台等。目前，eBay的Hadoop集群总节点数据超过10000多...

2017-06-05

469

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。