Apache Spark 成为 Apache 基金会顶级项目-低调大师

Apache Spark 成为 Apache 基金会顶级项目

2017-06-04 484

Apache 基金会宣布旗下的 Apache Spark 项目成为基金会的顶级项目，拥有顶级域名 http://spark.apache.org/

基金会称 Spark 的用户包括：阿里巴巴、Cloudera、Databricks、IBM、英特尔和雅虎。

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Apache Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

文章转载自开源中国社区 [http://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/113977

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

李元佳：漫谈 Greenplum 开源背后的动机

作者：李元佳这几天最大的消息莫过于 Greenplum 的开源，年初开始 Pivotal 就宣布了 greenplum 的开源，经过大半年的翘首等待，终于在十月底在欧洲的 Postgres 大会宣布开源，并兑现在 Github 上开放代码（https://github.com/greenplum-db/gpdb ），社区的官网为 http://greenplum.org/，其官方博客也有提到相关事项。代码是采用 Apache 许可，今天已经有社区的朋友尝鲜从社区取下代码，在 Greenplum 上测试了 tpch 的性能，虽然测试比较粗糙但是结果基本和商业版的一样，印证了之前 greenplum 将走向全开源的消息。虽然里面关键的新一代优化器 orca 还没有看到代码，但据消息这部分后续也会开出来，估计这个是其对这个最核心资产的一个谨慎的操作。总体的印象来看，其采取开放的 Apache 许可，代码基本上无保留开源，这次的开源更大程度是公司层面的战略行为，而不是简单的市场推广的战术行为。 Greenplum 的开源，在我看来有几个驱动力。首先是受其 cloud foundry 开...

2017-06-05

557

日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案－ Apache Eagle (http://goeagle.io )，该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全。背景随着大数据的发展，越来越多的成功企业或者组织开始采取数据驱动商业的运作模式。在eBay，我们拥有数万名工程师、分析师和数据科学家，他们每天访问分析数PB级的数据，以为我们的用户带来无与伦比的体验。在全球业务中，我们也广泛地利用海量大数据来连接我们数以亿计的用户。近年来，Hadoop已经逐渐成为大数据分析领域最受欢迎的解决方案，eBay也一直在使用Hadoop技术从数据中挖掘价值，例如，我们通过大数据提高用户的搜索体验，识别和优化精准广告投放，充实我们的产品目录，以及通过点击流分析以理解用户如何使用我们的在线市场平台等。目前，eBay的Hadoop集群总节点数据超过10000多...

2017-06-05

461

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。